• 相关博文
  • 最新资讯
  • 全网最详细的Hive文章系列,强烈建议收藏加关注!后面更新文章都会列出历史文章目录,帮助大家回顾知识重点。系列历史文章2021年大数据Hive(五):Hive的内置函数(数学、字符串、日期、条件、转换、行转列)2021年大数据Hive(四):Hive查询语法2021年大数据Hive(三):手把手教你如何吃透Hive数据库和表操作(学会秒变数仓大佬)2021年大数据Hive(二):Hive的三种安装模式和MySQL搭配使用2021年大数据Hive(一):Hive基本概念前言2021年全网.
    xiaoweite1
    Lansonli
    2021-06-14
  • 原文编注:近日,中科院院士、清华大学人工智能研究院院长张钹教授接受记者采访时认为,目前基于深度学习的人工智能在技术上已经触及天花板。从长远来看,必须得走人类智能这条路,最...
    r6Auo52bK
    大数据周刊
    2019-09-20
  • 全网最详细的Hive文章系列,强烈建议收藏加关注!后面更新文章都会列出历史文章目录,帮助大家回顾知识重点。目录系列历史文章前言Hive的开窗函数一、窗口函数 ROW_NUMBER,RANK,DENSE_RANK1、数据准备​​​​​​​2、ROW_NUMBER​​​​​​​3、RANK 和 DENSE_RANK​​​​​​​二、Hive分析窗口函数 SUM,AVG,MIN,MAX​​​​​​​1、数据准备​​​​​​​2、SUM(结果和ORDER BY相关.
    xiaoweite1
    Lansonli
    前天
  • 如果Redis用作纯缓存,则可直接禁用AOF和RDB模式,从而关闭不必要的开销。 一、RDB (RedisDataBase)简介意思就是将整个Reids的数据(通过二进制格式),持久化到磁盘里,注意 —— RDB是Redis默认的持久化机制 。工作原理:fork子进程(默认bgwrite模式下是这个,这样的话就不会阻塞请求了,因为还有主线程在工作)进行当前数据的二进制文件写入磁盘。每次都是对当前所有的数据进行二进制文件写入,然后会替换掉之前老的二进制文件。(这就有个风险,如果不做.
    sinat_25207295
    削尖的螺丝刀
    前天
  • 文章目录前言一、insert ignore into二、on duplicate key update三、replace into总结前言Mysql插入不重复的数据,当大数据量的数据需要插入值时,要判断插入是否重复,然后再插入,那么如何提高效率?解决的办法有很多种,不同的场景解决方案也不一样,数据量很小的情况下,怎么搞都行,但是数据量很大的时候,这就不是一个简单的问题了。一、insert ignore into会忽略数据库中已经存在 的数据,如果数据库没有数据,就插入新的数据,如果有数据的话就
    qq_41107231
    DT辰白
    2021-06-14
  • 业务场景篇一、Spring的概述Spring 是完全面向接口的设计,降低程序耦合性,主要是事务控制并创建bean实例对象。在ssh整合时,充当黏合剂的作用。IOC(Inversion of Control) 控制反转/依赖注入,又称DI(Dependency Injection) (依赖注入)IOC的作用:产生对象实例,所以它是基于工厂设计模式的Spring IOC的注入通过属性进行注入,通过构造函数进行注入,注入对象数组 注入List集合注入Map集合 注入Properties
    z1427094386
    z1427094386
    前天
  • 软件工程软件工程的设计工程软件设计的任务软件设计有两个步骤:概要设计和详细设计(过程设计).概要设计将软件需求转化为数据结构和软件的系统结构.详细设计通过对结构表示进行细化,得到软件的详细的数据结构和算法.概要设计阶段要完成的工作有:(1)制订规范,首先为软件开发组制订在设计时应该共同遵守的标准(如文档编写规范,函数命名准则等),以便协调组内各成员的工作.(2)软件体系结构的总体设计。(3)处理方式设计。(4)数据结构设计. (5)可靠性设计.(6)编写概要设计阶段的文档.(7)概要设计评审.详细
    qq_40183281
    枯木逢春又如何
    2021-06-15
  • new()和make的区别二者看起来没什么区别,但是他们的行为不同,分别适用于不同的类型new (T) 为每个新的类型 T 分配一片内存,初始化为 0 并且返回类型为 * T 的内存地址:这种方法 返回一个指向类型为 T,值为 0 的地址的指针,它适用于值类型如数组和结构体;它相当于 &T{}。make(T) 返回一个类型为 T 的初始值,它只适用于 3 种内建的引用类型:切片、map 和 channelbytes包类型 []byte 的切片十分常见,Go 语言有一个 bytes
    hu_lichao
    Hoult-吴邪
    2021-06-14
  • ForkJoin什么是ForkJoinForkJion 在JDK1.7,并行执行任务!提高效率。大数据量!大数据:Map Reduce(将大任务拆分为小任务)ForkJion 特点:工作窃取这个里面维护的都是双端队列,A 线程没有执行完,B线程执行完了,B 线程则去 执行A 中的(红框)未执行完任务ForkJion代码案例:package com.forkjoin;import java.util.concurrent.ExecutionException;imp
    weixin_39436556
    偶像java练习生
    2021-06-14
  • 文章目录引言文章传送门:程序员小姐姐的烦恼数据抽取的需求准备工作找到小姐姐的Excel文件构建Kettle数据流图配置Kettle数据流图中的组件保存并启动执行Kettle转换确认执行结果到这里,恭喜你,程序员小姐姐小花的问题你已经帮她解决了,晚上让她请你吃个饭吧。总结引言大家好,我是ChinaManor,直译过来就是中国码农的意思,俺希望自己能成为国家复兴道路的铺路人,大数据领域的耕耘者,平凡但不甘于平庸的人。一文快速搞懂系列讲究快速入门掌握一个新的大数据组件,帮助新手了解大数据技术,以下是系列
    xianyu120
    ChinaManor
    2021-06-13
  • javascript 大数据精度丢失问题问题:number类型数据 :25838098052251640-25838098052251645 25838098052251646-25838098052251650 值为 25838098052251650Number.MAX_SAFE_INTEGER 常量表示在 JavaScript 中最大的安全整数(maxinum safe integer)(2^53 - 1)。数据运算结果数据长度Number.MAX_SAFE
    qq_41595733
    SuperAnt_me
    前天
  • 1.技术选型的考量条件业内常用的MQ有哪些? 每一种MQ各自的表现如何? 这些MQ在同等机器条件下,能抗多少QPS(每秒抗几千QPS还是几万QPS)? 性能有多高(发送一条消息给他要2ms还是20ms)? 可用性能不能得到保证(要是MQ部署的机器挂了怎么办)?2.深层次的考量他们会不会丢数据? 如果需要的话能否让他们进行线性的集群扩容(就是多加机台机器)? 消息中间件经常需要使用的一些功能他们都有吗(比如说延迟消息、事务消息、消息堆积、消息回溯、死信队列,等待)?3.Kafka、Ra
    weixin_42405670
    鮀城小帅
    2021-06-14
  • 文章目录1 Hadoop 概述1.1 Hadoop 是什么1.2 Hadoop 优势1.3 Hadoop 组成1.3.1 HDFS 架构概述2 组管理和权限管理2.1 组管理2.2 权限管理3 任务调度1 Hadoop 概述1.1 Hadoop 是什么(1)Hadoop是一个由Apache基金会所开发的分布式系统基础架构(2)主要解决海量数据的存储和海量数据的分析计算问题(3)广义上来说,Hadoop通常是指一个更广泛的概念——Hadoop生态圈1.2 Hadoop 优势(1)高可靠性:H.
    huxili2020
    @从一到无穷大
    2021-06-14
  • 也称空号在线过滤,在线筛号,号码在线清洗。 用户批量上传TXT文件,我们基于互联网大数据,提供活也称空号在线过滤,在线筛号,号码在线清洗。 用户批量上传TXT文件,我们基于互联网大数据,提供活跃号、空号、风险号、沉默号等4种号码状态识别反馈,方便企业进行精准营销。也称空号在线过滤,在线筛号,号码在线清洗。 用户批量上传TXT文件,我们基于互联网大数据,提供活跃号、...
    Q1700716793
    Q1700716793
    2021-06-14
  • RDD编程初级实践一、实验目的(1)熟悉Spark的RDD基本操作及键值对操作;(2)熟悉使用RDD编程解决实际具体问题的方法。二、实验平台操作系统:Ubuntu16.04Spark版本:2.4.0Python版本:3.4.3三、实验内容和要求1.pyspark交互式编程本作业提供分析数据data.txt,该数据集包含了某大学计算机系的成绩,数据格式如下所示:Tom,DataBase,80Tom,Algorithm,50Tom,DataStructure,60Jim,DataBa
    space202020
    space202020
    2021-06-14
  • MyBatis批量操作前言一、批量添加1.Mapper.xml2.Controller层3.Json集合数据二、批量更新1.Mapper.xml2.Controller层3.Json集合数据三、批量删除1.Mapper.xml2.Controller层3.Json集合数据四、批量查询1.Mapper.xml2.Controller层3.Json集合数据总结前言工作中,经常会遇到很多批量操作的需求:批量添加、批量更新、批量删除、批量导入、批量审核等等,下面这篇文章我们将一一复现。一、批量添加1.M
    qq_41107231
    DT辰白
    前天
  • 导读:本文介绍不同类型的机器学习方法,以及模型评估的相关概念。作者:布奇·昆托(Butch Quinto)来源:大数据DT(ID:hzdashuju)01 有监督学习有监督学习是利用训练数...
    zw0Pi8G5C1x
    大数据v
    2021-06-13
  • 目录一、题目要求第一题:月平均气温统计第二题:每日空气质量统计第三题:各空气质量分类天数统计二、问题思路(一)、月平均气温统计1、思路2、代码(二)、每日空气质量统计1、思路2、代码(三)、各空气质量分类天数统计1、思路2、代码一、题目要求原数据如下:第一题:月平均气温统计得到示例结果如下:第二题:每日空气质量统计示例结果如下:第三题:各空气质量分类天数统计结果示例如下:下面我将对这三个问题进..
    qq_51196770
    一 研 为定
    前天
  • 参考资料:https://blog.csdn.net/weixin_43893397/article/details/105289992 https://zhuanlan.zhihu.com/p/75779188 https://blog.csdn.net/u010675669/article/details/81744386 https://blog.csdn.net/weixin_43924642/article/details/89388432首先将需要的input文件本地传至HDF.
    qq_30899339
    影月风格厂
    2021-06-14
加载中...
  • 【建议收藏】数据中心服务器基础知识大全

    服务器对每个从事IT工作的人来说并不陌生,但是服务器所涉及的各种知识细节,并非大家都十分清楚,为了让大家深入了解服务器的关键知识点,笔者特意抽时间总结了这篇科普文章,旨在帮助读者全面了解服务器。今天内容就从服务器的架构和分类开始。

    2019-10-17 0
  • 【面试妥了】史上最全Spark面试题

    Q:什么是Spark?A:简单理解,Spark是在Hadoop基础上的改进,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于map reduce算法实现的分布式计算,拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是Job中间输出和结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的map reduce的算法。

    2019-10-17 0
  • 【明人不说暗话】我就只讲进程与线程

    进程(process)和线程(thread)是操作系统的基本概念,但是它们比较抽象,不容易掌握。最近,我读到一篇材料,发现有一个很好的类比,可以把它们解释地清晰易懂。

    2019-10-11 0
每页显示 共343条数据 < 1... 9 10 11 12 13 14 15 16 17 18 >      到第 GO