• 相关博文
  • 最新资讯
  • 全网最详细的Hive文章系列,强烈建议收藏加关注!后面更新文章都会列出历史文章目录,帮助大家回顾知识重点。系列历史文章2021年大数据Hive(五):Hive的内置函数(数学、字符串、日期、条件、转换、行转列)2021年大数据Hive(四):Hive查询语法2021年大数据Hive(三):手把手教你如何吃透Hive数据库和表操作(学会秒变数仓大佬)2021年大数据Hive(二):Hive的三种安装模式和MySQL搭配使用2021年大数据Hive(一):Hive基本概念前言2021年全网.
    xiaoweite1
    Lansonli
    2021-06-14
  • 原文编注:近日,中科院院士、清华大学人工智能研究院院长张钹教授接受记者采访时认为,目前基于深度学习的人工智能在技术上已经触及天花板。从长远来看,必须得走人类智能这条路,最...
    r6Auo52bK
    大数据周刊
    2019-09-20
  • 全网最详细的Hive文章系列,强烈建议收藏加关注!后面更新文章都会列出历史文章目录,帮助大家回顾知识重点。目录系列历史文章前言Hive的开窗函数一、窗口函数 ROW_NUMBER,RANK,DENSE_RANK1、数据准备​​​​​​​2、ROW_NUMBER​​​​​​​3、RANK 和 DENSE_RANK​​​​​​​二、Hive分析窗口函数 SUM,AVG,MIN,MAX​​​​​​​1、数据准备​​​​​​​2、SUM(结果和ORDER BY相关.
    xiaoweite1
    Lansonli
    前天
  • 如果Redis用作纯缓存,则可直接禁用AOF和RDB模式,从而关闭不必要的开销。 一、RDB (RedisDataBase)简介意思就是将整个Reids的数据(通过二进制格式),持久化到磁盘里,注意 —— RDB是Redis默认的持久化机制 。工作原理:fork子进程(默认bgwrite模式下是这个,这样的话就不会阻塞请求了,因为还有主线程在工作)进行当前数据的二进制文件写入磁盘。每次都是对当前所有的数据进行二进制文件写入,然后会替换掉之前老的二进制文件。(这就有个风险,如果不做.
    sinat_25207295
    削尖的螺丝刀
    前天
  • 文章目录前言一、insert ignore into二、on duplicate key update三、replace into总结前言Mysql插入不重复的数据,当大数据量的数据需要插入值时,要判断插入是否重复,然后再插入,那么如何提高效率?解决的办法有很多种,不同的场景解决方案也不一样,数据量很小的情况下,怎么搞都行,但是数据量很大的时候,这就不是一个简单的问题了。一、insert ignore into会忽略数据库中已经存在 的数据,如果数据库没有数据,就插入新的数据,如果有数据的话就
    qq_41107231
    DT辰白
    2021-06-14
  • 业务场景篇一、Spring的概述Spring 是完全面向接口的设计,降低程序耦合性,主要是事务控制并创建bean实例对象。在ssh整合时,充当黏合剂的作用。IOC(Inversion of Control) 控制反转/依赖注入,又称DI(Dependency Injection) (依赖注入)IOC的作用:产生对象实例,所以它是基于工厂设计模式的Spring IOC的注入通过属性进行注入,通过构造函数进行注入,注入对象数组 注入List集合注入Map集合 注入Properties
    z1427094386
    z1427094386
    前天
  • 软件工程软件工程的设计工程软件设计的任务软件设计有两个步骤:概要设计和详细设计(过程设计).概要设计将软件需求转化为数据结构和软件的系统结构.详细设计通过对结构表示进行细化,得到软件的详细的数据结构和算法.概要设计阶段要完成的工作有:(1)制订规范,首先为软件开发组制订在设计时应该共同遵守的标准(如文档编写规范,函数命名准则等),以便协调组内各成员的工作.(2)软件体系结构的总体设计。(3)处理方式设计。(4)数据结构设计. (5)可靠性设计.(6)编写概要设计阶段的文档.(7)概要设计评审.详细
    qq_40183281
    枯木逢春又如何
    2021-06-15
  • new()和make的区别二者看起来没什么区别,但是他们的行为不同,分别适用于不同的类型new (T) 为每个新的类型 T 分配一片内存,初始化为 0 并且返回类型为 * T 的内存地址:这种方法 返回一个指向类型为 T,值为 0 的地址的指针,它适用于值类型如数组和结构体;它相当于 &T{}。make(T) 返回一个类型为 T 的初始值,它只适用于 3 种内建的引用类型:切片、map 和 channelbytes包类型 []byte 的切片十分常见,Go 语言有一个 bytes
    hu_lichao
    Hoult-吴邪
    2021-06-14
  • ForkJoin什么是ForkJoinForkJion 在JDK1.7,并行执行任务!提高效率。大数据量!大数据:Map Reduce(将大任务拆分为小任务)ForkJion 特点:工作窃取这个里面维护的都是双端队列,A 线程没有执行完,B线程执行完了,B 线程则去 执行A 中的(红框)未执行完任务ForkJion代码案例:package com.forkjoin;import java.util.concurrent.ExecutionException;imp
    weixin_39436556
    偶像java练习生
    2021-06-14
  • 文章目录引言文章传送门:程序员小姐姐的烦恼数据抽取的需求准备工作找到小姐姐的Excel文件构建Kettle数据流图配置Kettle数据流图中的组件保存并启动执行Kettle转换确认执行结果到这里,恭喜你,程序员小姐姐小花的问题你已经帮她解决了,晚上让她请你吃个饭吧。总结引言大家好,我是ChinaManor,直译过来就是中国码农的意思,俺希望自己能成为国家复兴道路的铺路人,大数据领域的耕耘者,平凡但不甘于平庸的人。一文快速搞懂系列讲究快速入门掌握一个新的大数据组件,帮助新手了解大数据技术,以下是系列
    xianyu120
    ChinaManor
    2021-06-13
  • javascript 大数据精度丢失问题问题:number类型数据 :25838098052251640-25838098052251645 25838098052251646-25838098052251650 值为 25838098052251650Number.MAX_SAFE_INTEGER 常量表示在 JavaScript 中最大的安全整数(maxinum safe integer)(2^53 - 1)。数据运算结果数据长度Number.MAX_SAFE
    qq_41595733
    SuperAnt_me
    前天
  • 1.技术选型的考量条件业内常用的MQ有哪些? 每一种MQ各自的表现如何? 这些MQ在同等机器条件下,能抗多少QPS(每秒抗几千QPS还是几万QPS)? 性能有多高(发送一条消息给他要2ms还是20ms)? 可用性能不能得到保证(要是MQ部署的机器挂了怎么办)?2.深层次的考量他们会不会丢数据? 如果需要的话能否让他们进行线性的集群扩容(就是多加机台机器)? 消息中间件经常需要使用的一些功能他们都有吗(比如说延迟消息、事务消息、消息堆积、消息回溯、死信队列,等待)?3.Kafka、Ra
    weixin_42405670
    鮀城小帅
    2021-06-14
  • 文章目录1 Hadoop 概述1.1 Hadoop 是什么1.2 Hadoop 优势1.3 Hadoop 组成1.3.1 HDFS 架构概述2 组管理和权限管理2.1 组管理2.2 权限管理3 任务调度1 Hadoop 概述1.1 Hadoop 是什么(1)Hadoop是一个由Apache基金会所开发的分布式系统基础架构(2)主要解决海量数据的存储和海量数据的分析计算问题(3)广义上来说,Hadoop通常是指一个更广泛的概念——Hadoop生态圈1.2 Hadoop 优势(1)高可靠性:H.
    huxili2020
    @从一到无穷大
    2021-06-14
  • 也称空号在线过滤,在线筛号,号码在线清洗。 用户批量上传TXT文件,我们基于互联网大数据,提供活也称空号在线过滤,在线筛号,号码在线清洗。 用户批量上传TXT文件,我们基于互联网大数据,提供活跃号、空号、风险号、沉默号等4种号码状态识别反馈,方便企业进行精准营销。也称空号在线过滤,在线筛号,号码在线清洗。 用户批量上传TXT文件,我们基于互联网大数据,提供活跃号、...
    Q1700716793
    Q1700716793
    2021-06-14
  • RDD编程初级实践一、实验目的(1)熟悉Spark的RDD基本操作及键值对操作;(2)熟悉使用RDD编程解决实际具体问题的方法。二、实验平台操作系统:Ubuntu16.04Spark版本:2.4.0Python版本:3.4.3三、实验内容和要求1.pyspark交互式编程本作业提供分析数据data.txt,该数据集包含了某大学计算机系的成绩,数据格式如下所示:Tom,DataBase,80Tom,Algorithm,50Tom,DataStructure,60Jim,DataBa
    space202020
    space202020
    2021-06-14
  • MyBatis批量操作前言一、批量添加1.Mapper.xml2.Controller层3.Json集合数据二、批量更新1.Mapper.xml2.Controller层3.Json集合数据三、批量删除1.Mapper.xml2.Controller层3.Json集合数据四、批量查询1.Mapper.xml2.Controller层3.Json集合数据总结前言工作中,经常会遇到很多批量操作的需求:批量添加、批量更新、批量删除、批量导入、批量审核等等,下面这篇文章我们将一一复现。一、批量添加1.M
    qq_41107231
    DT辰白
    前天
  • 导读:本文介绍不同类型的机器学习方法,以及模型评估的相关概念。作者:布奇·昆托(Butch Quinto)来源:大数据DT(ID:hzdashuju)01 有监督学习有监督学习是利用训练数...
    zw0Pi8G5C1x
    大数据v
    2021-06-13
  • 目录一、题目要求第一题:月平均气温统计第二题:每日空气质量统计第三题:各空气质量分类天数统计二、问题思路(一)、月平均气温统计1、思路2、代码(二)、每日空气质量统计1、思路2、代码(三)、各空气质量分类天数统计1、思路2、代码一、题目要求原数据如下:第一题:月平均气温统计得到示例结果如下:第二题:每日空气质量统计示例结果如下:第三题:各空气质量分类天数统计结果示例如下:下面我将对这三个问题进..
    qq_51196770
    一 研 为定
    前天
  • 参考资料:https://blog.csdn.net/weixin_43893397/article/details/105289992 https://zhuanlan.zhihu.com/p/75779188 https://blog.csdn.net/u010675669/article/details/81744386 https://blog.csdn.net/weixin_43924642/article/details/89388432首先将需要的input文件本地传至HDF.
    qq_30899339
    影月风格厂
    2021-06-14
加载中...
  • Spark3.0发布了,代码拉过来,打个包,跑起来!| 附源码编译

    Spark3.0已经发布有一阵子了,官方发布了预览版,带来了一大波更新,对于我们程序员来说,首先当然是代码拉过来,打个包,跑起来!!

    2020-04-02 0
  • 从代码到 Docker、Kubernetes、Istio、Knative……,或许是时候重新思考从代码到云的编程了...

    早些时候,开发人员只需编写程序、构建,然后运行。如今,开发人员还需要考虑各种运行方式,作为可执行文件在机器上运行(很有可能是虚拟机),还是打包到容器中;将容器部署到Kubernetes中,还是部署到serverless的环境中或服务网格中。然而,这些部署方式并不是开发人员编程经验的一部分。开发人员必须以某种方式编写代码才能在特定的执行环境中正常工作,因此编程时不考虑这些问题是不行的。

    2020-03-31 0
  • 十分钟上手 ES 2020 新特性

    ES2020 是 ECMAScript 对应 2020 年的版本。这个版本不像 ES6 (ES2015)那样包含大量新特性。但也添加了许多有趣且有用的特性。本文的代码地址:https://github.com/ljianshu/Blog 本文以简单的代码示例来介绍 ES2020新特性。这样,你可以很快理解这些新功能,而不需要多么复杂的解释。

    2020-03-27 0
  • 如何与亦敌亦友的 null 说拜拜?大神原来是这么做的!

    从 10 年前我开始写第一行 Java 代码至今,一直觉得 null 在 Java 中是一个最特殊的存在,它既是好朋友,可以把不需要的变量置为 null 从而释放内存,提高性能;它又是敌人,因为它和大名鼎鼎且烦不胜烦的 NullPointerException(NPE)如影随形,而 NPE 的发明人 Tony Hoare 曾在 2009 年承认:“Null References 是一个荒唐的设计,就好像我赌输掉了十亿美元”。

    2020-03-12 0
  • 你以为这样写代码很6,但我看不懂

    为了提高 Java 编程的技艺,作者最近在 GitHub 上学习一些高手编写的代码。下面这一行代码(出自大牛之手)据说可以征服你的朋友,让他们觉得你写的代码很 6,来欣赏一下吧。

    2020-03-12 0
  • 不看就亏系列!这里有完整的 Hadoop 集群搭建教程,和最易懂的 Hadoop 概念!| 附代码...

    Hadoop 是 Lucene 创始人 Doug Cutting,根据 Google 的相关内容山寨出来的分布式文件系统和对海量数据进行分析计算的基础框架系统,其中包含 MapReduce 程序,hdfs 系统等![它受到最先由 Google Lab 开发的 Map/Reduce 和 Google File System(GFS) 的启发。]

    2020-03-10 0
  • 6 个步骤,教你在Ubuntu虚拟机环境下,用Docker自带的DNS配置Hadoop | 附代码

    最近,作者整理了一套Hadoop搭建方案。最后的镜像大小1.4G多,使用docker子网,容器重新启动不需要重新配置/etc/hosts文件。 配置过程中参考了如下博客,有些细节问题这些博客里面解释的更加详细。

    2020-03-08 0
  • 如何使用5个Python库管理大数据?

    如今,Python真是无处不在。尽管许多看门人争辩说,如果他们不使用比Python更难的语言编写代码,那么一个人是否真是软件开发人员,但它仍然无处不在。

    2020-02-17 0
  • 经过卖房创业与“云吞面”群聊,老季带着优刻得迎来了“开市大吉”……

    今日,优刻得UCloud科技股份有限公司正式在科创板挂牌上市,股票简称优刻得,股票代码为688158。作为唯一一家没有“爸爸”的云计算服务商,2012年成立的优刻得UCloud,自创立近8年来始终坚持中立,不涉足客户业务领域,致力于打造一个安全、可信赖的云计算服务平台。

    2020-01-20 0
  • CPU 到底是怎么认识代码的?涨姿势了!

    最近读到这样一篇好文章,从底层硬件角度出发剖析了一下CPU对代码的识别和读取,内容非常精彩,读完感觉大学里学到的很多东西瞬间联系起来了,这里分享给大家,希望能认真读完并有所收获。

    2020-01-17 0
  • Nutanix企业云助力嘉里大通提升核心竞争力

    企业云计算领导者Nutanix(纳斯达克代码:NTNX)近日宣布,物流行业领导企业嘉里大通 (Kerry EAS) 已采用Nutanix超融合基础架构(HCI)和企业云解决方案,进行企业数据中心的现代化改造。

    2020-01-16 0
  • 亚信科技高念书:“一巩固三发展”五年打造百亿企业

    12月23日下午,“AI你—2019亚信科技媒体沟通会”在北京举办,亚信科技(股票代码:01675.HK)执行董事兼CEO高念书,高级副总裁兼公共与政府事务中心总经理陈武,副总裁兼CTO欧阳晔博士,副总裁兼战略与市场中心总经理王力平,与数十位来自党政、财经、IT行业和大众等主流媒体的记者编辑共聚一堂,就亚信科技近年来转型创新成果及未来五年的战略规划等展开深度沟通交流。大家踊跃发言,深度互动,共商发展,共期未来。

  • 云+X案例展 | 民生类:基于AWS PaaS构建基础集团企业级中台

    “为了实现企业持续高效发展,经过长期调研,基础集团业务中台选择了炎黄盈动AWS PaaS。低代码、轻量级的AWS PaaS可快速开发、部署各类应用,同时根据建筑行业的项目管理,项目招投标、项目策划、项目质量管理、安全管理、进度、成本、竣工验收、项目结算等一套施工项目流程,做成数据强相关、不需要纸质表单的业务系统,解决了流程管理的难题。"

    2019-12-17 0
  • 代码写成这样,老板把我开除了

    今天聊一聊遇到过的一些神逻辑代码,不一定很全,但真心让小编我自叹不如啊!

    2019-11-14 0
  • 是时候展现真正的技术了!4道程序员智力题你能对几道| IT巨能唠

    程序员对很多人来说那就是个神秘组织,高薪、加班多都是他们的代名词。但是,大家好像还忘了一点,那就是他们也绝对聪明!黑客、代码天才、编程老手……层出不穷,晦涩的计算机难题也是分分钟搞定,想想就令人神往。那想不想试试自己是否也具备成为程序员的潜质呢,下面分享四道程序员面试智力题,请大家务必要大展身手,千万别谦虚~!

    2019-11-05 0
  • 【角度刁钻】如果把线程当作一个人来对待,秒懂

    多线程的问题都曾经困扰过每个开发人员,今天将从全新视角来解说,希望读者都能明白。强烈建议去运行下文章中的示例代码,自己体会下。

    2019-10-17 0