- 相关博文
- 最新资讯
-
全网最详细的Hive文章系列，强烈建议收藏加关注！后面更新文章都会列出历史文章目录，帮助大家回顾知识重点。系列历史文章2021年大数据Hive（五）：Hive的内置函数（数学、字符串、日期、条件、转换、行转列）2021年大数据Hive（四）：Hive查询语法2021年大数据Hive（三）：手把手教你如何吃透Hive数据库和表操作（学会秒变数仓大佬）2021年大数据Hive（二）：Hive的三种安装模式和MySQL搭配使用2021年大数据Hive（一）：Hive基本概念前言2021年全网.
-
- Lansonli
- 2021-06-14
-
-
原文编注：近日，中科院院士、清华大学人工智能研究院院长张钹教授接受记者采访时认为，目前基于深度学习的人工智能在技术上已经触及天花板。从长远来看，必须得走人类智能这条路，最...
-
- 大数据周刊
- 2019-09-20
-
-
全网最详细的Hive文章系列，强烈建议收藏加关注！后面更新文章都会列出历史文章目录，帮助大家回顾知识重点。目录系列历史文章前言Hive的开窗函数一、窗口函数 ROW_NUMBER,RANK,DENSE_RANK1、数据准备2、ROW_NUMBER3、RANK 和 DENSE_RANK二、Hive分析窗口函数 SUM,AVG,MIN,MAX1、数据准备2、SUM（结果和ORDER BY相关.
-
- Lansonli
- 前天
-
-
如果Redis用作纯缓存，则可直接禁用AOF和RDB模式，从而关闭不必要的开销。 一、RDB （RedisDataBase）简介意思就是将整个Reids的数据（通过二进制格式），持久化到磁盘里，注意 —— RDB是Redis默认的持久化机制 。工作原理：fork子进程（默认bgwrite模式下是这个，这样的话就不会阻塞请求了，因为还有主线程在工作）进行当前数据的二进制文件写入磁盘。每次都是对当前所有的数据进行二进制文件写入，然后会替换掉之前老的二进制文件。（这就有个风险，如果不做.
-
- 削尖的螺丝刀
- 前天
-
-
文章目录前言一、insert ignore into二、on duplicate key update三、replace into总结前言Mysql插入不重复的数据，当大数据量的数据需要插入值时，要判断插入是否重复，然后再插入，那么如何提高效率？解决的办法有很多种，不同的场景解决方案也不一样，数据量很小的情况下，怎么搞都行，但是数据量很大的时候，这就不是一个简单的问题了。一、insert ignore into会忽略数据库中已经存在 的数据，如果数据库没有数据，就插入新的数据，如果有数据的话就
-
- DT辰白
- 2021-06-14
-
-
业务场景篇一、Spring的概述Spring 是完全面向接口的设计，降低程序耦合性，主要是事务控制并创建bean实例对象。在ssh整合时，充当黏合剂的作用。IOC(Inversion of Control) 控制反转/依赖注入，又称DI(Dependency Injection) (依赖注入)IOC的作用：产生对象实例，所以它是基于工厂设计模式的Spring IOC的注入通过属性进行注入，通过构造函数进行注入，注入对象数组 注入List集合注入Map集合 注入Properties
-
- z1427094386
- 前天
-
-
软件工程软件工程的设计工程软件设计的任务软件设计有两个步骤:概要设计和详细设计(过程设计).概要设计将软件需求转化为数据结构和软件的系统结构.详细设计通过对结构表示进行细化,得到软件的详细的数据结构和算法.概要设计阶段要完成的工作有:(1)制订规范,首先为软件开发组制订在设计时应该共同遵守的标准(如文档编写规范,函数命名准则等)，以便协调组内各成员的工作.(2)软件体系结构的总体设计。（3）处理方式设计。（4）数据结构设计. (5)可靠性设计.(6)编写概要设计阶段的文档.(7)概要设计评审.详细
-
- 枯木逢春又如何
- 2021-06-15
-
-
new()和make的区别二者看起来没什么区别，但是他们的行为不同，分别适用于不同的类型new (T) 为每个新的类型 T 分配一片内存，初始化为 0 并且返回类型为 * T 的内存地址：这种方法 返回一个指向类型为 T，值为 0 的地址的指针，它适用于值类型如数组和结构体；它相当于 &T{}。make(T) 返回一个类型为 T 的初始值，它只适用于 3 种内建的引用类型：切片、map 和 channelbytes包类型 []byte 的切片十分常见，Go 语言有一个 bytes
-
- Hoult-吴邪
- 2021-06-14
-
-
ForkJoin什么是ForkJoinForkJion 在JDK1.7,并行执行任务！提高效率。大数据量！大数据：Map Reduce(将大任务拆分为小任务)ForkJion 特点：工作窃取这个里面维护的都是双端队列，A 线程没有执行完，B线程执行完了，B 线程则去 执行A 中的（红框）未执行完任务ForkJion代码案例：package com.forkjoin;import java.util.concurrent.ExecutionException;imp
-
- 偶像java练习生
- 2021-06-14
-
-
文章目录引言文章传送门:程序员小姐姐的烦恼数据抽取的需求准备工作找到小姐姐的Excel文件构建Kettle数据流图配置Kettle数据流图中的组件保存并启动执行Kettle转换确认执行结果到这里，恭喜你，程序员小姐姐小花的问题你已经帮她解决了，晚上让她请你吃个饭吧。总结引言大家好,我是ChinaManor,直译过来就是中国码农的意思,俺希望自己能成为国家复兴道路的铺路人,大数据领域的耕耘者,平凡但不甘于平庸的人。一文快速搞懂系列讲究快速入门掌握一个新的大数据组件,帮助新手了解大数据技术,以下是系列
-
- ChinaManor
- 2021-06-13
-
-
1.技术选型的考量条件业内常用的MQ有哪些？ 每一种MQ各自的表现如何？ 这些MQ在同等机器条件下，能抗多少QPS（每秒抗几千QPS还是几万QPS）？ 性能有多高（发送一条消息给他要2ms还是20ms）？ 可用性能不能得到保证（要是MQ部署的机器挂了怎么办）？2.深层次的考量他们会不会丢数据？ 如果需要的话能否让他们进行线性的集群扩容（就是多加机台机器）？ 消息中间件经常需要使用的一些功能他们都有吗（比如说延迟消息、事务消息、消息堆积、消息回溯、死信队列，等待）？3.Kafka、Ra
-
- 鮀城小帅
- 2021-06-14
-
-
文章目录1 Hadoop 概述1.1 Hadoop 是什么1.2 Hadoop 优势1.3 Hadoop 组成1.3.1 HDFS 架构概述2 组管理和权限管理2.1 组管理2.2 权限管理3 任务调度1 Hadoop 概述1.1 Hadoop 是什么（1）Hadoop是一个由Apache基金会所开发的分布式系统基础架构（2）主要解决海量数据的存储和海量数据的分析计算问题（3）广义上来说，Hadoop通常是指一个更广泛的概念——Hadoop生态圈1.2 Hadoop 优势（1）高可靠性：H.
-
- @从一到无穷大
- 2021-06-14
-
-
也称空号在线过滤，在线筛号，号码在线清洗。 用户批量上传TXT文件，我们基于互联网大数据，提供活也称空号在线过滤，在线筛号，号码在线清洗。 用户批量上传TXT文件，我们基于互联网大数据，提供活跃号、空号、风险号、沉默号等4种号码状态识别反馈，方便企业进行精准营销。也称空号在线过滤，在线筛号，号码在线清洗。 用户批量上传TXT文件，我们基于互联网大数据，提供活跃号、...
-
- Q1700716793
- 2021-06-14
-
-
RDD编程初级实践一、实验目的（1）熟悉Spark的RDD基本操作及键值对操作；（2）熟悉使用RDD编程解决实际具体问题的方法。二、实验平台操作系统：Ubuntu16.04Spark版本：2.4.0Python版本：3.4.3三、实验内容和要求1.pyspark交互式编程本作业提供分析数据data.txt，该数据集包含了某大学计算机系的成绩，数据格式如下所示：Tom,DataBase,80Tom,Algorithm,50Tom,DataStructure,60Jim,DataBa
-
- space202020
- 2021-06-14
-
-
MyBatis批量操作前言一、批量添加1.Mapper.xml2.Controller层3.Json集合数据二、批量更新1.Mapper.xml2.Controller层3.Json集合数据三、批量删除1.Mapper.xml2.Controller层3.Json集合数据四、批量查询1.Mapper.xml2.Controller层3.Json集合数据总结前言工作中，经常会遇到很多批量操作的需求：批量添加、批量更新、批量删除、批量导入、批量审核等等，下面这篇文章我们将一一复现。一、批量添加1.M
-
- DT辰白
- 前天
-
-
参考资料：https://blog.csdn.net/weixin_43893397/article/details/105289992 https://zhuanlan.zhihu.com/p/75779188 https://blog.csdn.net/u010675669/article/details/81744386 https://blog.csdn.net/weixin_43924642/article/details/89388432首先将需要的input文件本地传至HDF.
-
- 影月风格厂
- 2021-06-14
-
-
-
-
-
-
王坚博士曾经做过这样一个非常形象的比喻，他将做 App 比作是在别人的花园里弄盆栽，「种点花草是没有问题的」，不过「别人叫你的产品下架你就得下架，这是有问题的」，现在在 GitHub 上，众多的开发者显然遭遇了这样的问题。
-
-
刚刚获悉，腾讯在光网络设备和数据中心领域的两大硬件自研设计“OPC-4”和“TMDC”顺利通过OCP（Open Compute Project）审核并正式接受为官方开源贡献。这是腾讯在硬件领域的开源设计首次被OCP官方正式认可，同时，腾讯也成为中国首家对OCP有开源贡献的互联网公司。
-
NVIDIA今日宣布，在NVIDIA GPU Cloud (NGC)容器注册上，向交通运输行业开源NVIDIA DRIVE™自动驾驶汽车开发深度神经网络。
-
11月28日，阿里云正式开源机器学习平台 Alink，这也是全球首个批流一体的算法平台，旨在降低算法开发门槛，帮助开发者掌握机器学习的生命全周期。
-
近日，开源数据库厂商MongoDB与阿里云在北京达成战略合作，作为合作的第一步，最新版MongoDB 4.2数据库产品正式上线阿里云平台。
-
-
-
首次落地中国大陆的OpenInfra：中国对于开源做出的贡献力量已不可忽视
一张标志着上海现代建筑地标的东方明珠海报，另一张展示着上海悠久历史的豫园景区海报，不仅向我们展示了这座城市浓厚的历史气息与现代化的繁荣，也让我们看到了OpenStack历经9年历史背后仍有着新鲜的科技气息。仅从这两张景色迷人且拥有时尚气息的两张海报，便能够看出此次开源基础设施峰会的用心良苦。没错，前身为OpenStack Summit的Open Infrastructure Summit首次落地中国大陆，而此次也正是阿丹第一次参加这场盛会，深感荣幸。
-
四大开源项目联合发布 腾讯已成Github全球贡献前十公司！
近日在Techo开发者大会上，腾讯正式对四大重点开源项目进行了联合发布，包括分布式消息中间件TubeMQ、基于最主流的 OpenJDK8开发的Tencent Kona JDK、分布式HTAP数据库 TBase，以及企业级容器平台TKEStack。
-
正式开源TKE和TBase，腾讯正成为大数据领域开源全面的厂商
在11月6日召开的Techo开发者大会上，腾讯云副总裁、腾讯数据平台部总经理蒋杰博士正式对外披露腾讯大数据平台10年技术演进历程。经过10年的积累，腾讯大数据平台的算力资源池目前已有超过20万台的规模，每天实时数据计算量超过30万亿条，并且随着资源管理平台核心TKE和分布式数据库TBase正式对外开源，腾讯正在成为大数据领域开源全面的公司。
-
首次落地中国大陆的OpenInfra：中国对于开源做出的贡献力量已不可忽视
一张标志着上海现代建筑地标的东方明珠海报，另一张展示着上海悠久历史的豫园景区海报，不仅向我们展示了这座城市浓厚的历史气息与现代化的繁荣，也让我们看到了OpenStack历经9年历史背后仍有着新鲜的科技气息。仅从这两张景色迷人且拥有时尚气息的两张海报，便能够看出此次开源基础设施峰会的用心良苦。没错，前身为OpenStack Summit的Open Infrastructure Summit首次落地中国大陆，而此次也正是阿丹第一次参加这项盛会，并感到十分荣幸。
-
雪花算法(snowflake) ：分布式环境，生成全局唯一的订单号
snowflake是Twitter开源的分布式ID生成算法，结果是一个long型的ID。 这种方案大致来说是一种以划分命名空间（UUID也算，由于比较常见，所以单独分析）来生成ID的一种算法，这种方案把64-bit分别划分成多段，分开来标示机器、时间等。 其核心思想是：使用41bit作为毫秒数，10bit作为机器的ID（5个bit是数据中心，5个bit的机器ID），12bit作为毫秒内的流水号，最后还有一个符号位，永远是0。
-
Q：什么是Spark？A：简单理解，Spark是在Hadoop基础上的改进，是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架，Spark基于map reduce算法实现的分布式计算，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的map reduce的算法。
活动
-
2021-03-09
-
2020-12-16
-
2021-01-31
精品推荐
关于我们
关注「云计算」
转载 & 投稿：songhui@csdn.net
商务合作：zhangjing@csdn.net