- 相关博文
- 最新资讯
-
数据获取本次数据是在网上获取的来源于： 数据集-阿里云天池 ，不在进行抓取或收集，大家可以看这篇文章Python爬虫-抓取数据到可视化全流程的实现，详细的写了数据抓取的过程数据清洗首先该数据是在多个文件下的CSV文件，通过递归对文件夹内所有文件进行查询，并合并了所有的指定文件，具体的操作步骤大家可以看数据集-阿里云天池这篇文章，里边详细的写了如何遍历所有文件夹，如何组合，如何批量的打开文件目录下的所有文件，并对多文件下的文件进行合并，本文就不再赘述数据合并的过程了，直接采用合并后的数据，大家不懂可
-
- 你隔壁的小王
- 昨天
-
-
1.Hadoop集群HA搭建可参考我的文章《Hadoop分布式搭建（一）》2.修改环境变量cd /opt/hadoop-3.1.2/etc/hadoopvi hadoop-env.shexport JAVA_HOME=/usr/lib/jvm/jdk1.8.0_111export HDFS_NAMENODE_USER=rootexport HDFS_DATANODE_USER=rootexport HDFS_JOURNALNODE_USER=rootexport HDFS_ZKFC_U
-
- 1024+
- 前天
-
-
1.准备三台机器 centos7安装步骤 略（ 可以看我的 虚拟机安装 centos7 文章）2.配置免秘钥访问略（可以看我的免秘钥配置文章）3.JKD 安装1.8略4.Hadoop官网下载3.1.2网址 http://hadoop.apache.org/https://archive.apache.org/dist/hadoop/common/hadoop-3.1.2/5.解压 tar -zxvf hadoop-3.1.2.tar.gz mv hadoop-3.1.2 /opt/t
-
- 1024+
- 前天
-
-
由于自己的项目需要大数据可视化，所以就得学习，对于数据的处理就是一个难事，我在想如何对男女这个数据进行处理，因为两个数据不可能存储在数据库中，所以就需要hashmap这种形式去存储，而且男女人数是存储在另外一张表的，需要使用sql去统计出来。所以我不是从数据库中直接读取的男女总数，代码如下：后端代码：controller：package com.controller;import com.alibaba.fastjson.JSON;import com.entity.Problem;imp.
-
- 程序猿向前跑
- 昨天
-
-
为什么不使用Redis?维度中user用户维度数据量大。为什么不适用MySQL?并发压力太大了，因为MySQL中的表本来就和用户打交道，响应用户请求，增删改查，再用它去查维度数据就没必要。初次之外还可以选择ES，这主要取决于实际场景或者架构师跟喜欢哪一种。...
-
- 养不起心爱的猫该如何是好
- 23小时前
-
-
MapReduce：自己处理业务相关代码 + 自身的默认代码文章目录1.MapReduce优缺点2.MapReduce进程3.序列化4 InputFormat数据输入4.1 切片与MapTask并行度决定机制4.2 Job提交流程源码详解4.3 FileInputFormat 切片机制4.4 FileInputFormat4.5 CombineTextInputFormat切片机制5.MapReduce工作流程6.Shffle机制6.1Shuffle机制大纲流程6.2 Partition分区6.3 Wri
-
- 未来影子
- 昨天
-
-
第1关：HBase的MapReduce快速入门本关任务：编写一个HBase的MapReduce配置程序。package com.processdata;import java.io.IOException;import java.util.List;import java.util.Scanner;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.conf.Configured;import org.a
-
- Ssaty.
- 22小时前
-
-
第1关：批量获取数据本关任务：编写Java程序批量获取HBase中指定表的所有数据。package step1;import java.io.IOException;import java.util.ArrayList;import java.util.List;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.Cell;import org.apache.hadoop.hbase.CellS
-
- Ssaty.
- 23小时前
-
-
第1关：Hbase数据库的安装本关任务：安装与配置HBase数据库。#创建 app 目录mkdir /app#进入 /opt 目录下cd /opt#解压 Hbase 压缩包tar -zxvf hbase-2.1.1-bin.tar.gz -C /app#编辑hbase-env.sh配置文件vi /app/hbase-2.1.1/conf/hbase-env.sh#进入后配置配置export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_111#编辑hbase-sit
-
- Ssaty.
- 23小时前
-
-
在腾讯工作了8年，工作压力大，节奏快，但是从技术上确实得到了成长，尤其是当你维护与大促相关的系统的时候，熬到8级也费了不少心思，小编也是个爱学习的人，把这几年的工作经验整理成了一份完整的笔记。此笔记已助朋友拿到腾讯，阿里，美团等互联网大厂10个offer ！由于细节内容实在太多太全面啦，所以只把部分知识点截图出来粗略的介绍，每个小节点里面都有更细化的内容！文末可免费获取。大致内容包括了： Java 集合、JVM、多线程、并发编程、设计模式、Spring全家桶、Java、MyBatis、Zo...
-
- 清朝程序猿
- 前天
-
-
在前面的两个章节：[《\[1\] Flink大数据流式处理利剑: 简介》](https://architect.blog.csdn.net/article/details/122149322)和[《\[2\] Flink大数据流式处理利剑: 用Flink进行统计的一个简单例子》](https://architect.blog.csdn.net/article/details/122164543) 主要对Flink进行了简单介绍并演示了一个简单的例子；这个章节，我们来看看Flink的部署架构。Flink支持各
-
- 朱清云的技术博客
- 昨天
-
-
公司简介北京金海乐游软件有限公司是一家以计算机软件架构开发为核心，实施计算机软硬件系统集成的现代科技企业。我司从事交通运输行业系统软件研发，技术覆盖且不限于 JAVA Spring框架（可选技术框架：C/C++、Python、Go）行业业务逻辑实现、TransCAD\TransModeler\超图\Arcgis等商业软件的二次开发和算法实现、大数据分析及数据中台、 交通资产管理。作者信息王扬 北京金海乐游软件有限公司 技术主管项目背景市级交通管理一图一库
-
- wallisyoung
- 昨天
-
-
目录博文链接下载链接1 前言2 SPSS对应分析教程3 结果分析4 注意博文链接【2021 年 MathorCup 高校数学建模挑战赛—赛道A二手车估价问题】1 数据分析及可视化【2021 年 MathorCup 高校数学建模挑战赛—赛道A二手车估价问题】2 问题一 Baseline 和数据【2021 年 MathorCup 高校数学建模挑战赛—赛道A二手车估价问题】3 问题二 Baseline 和数据【2021 年 MathorCup 高校数学建模挑战赛—赛道A二手车估价问题】4 问题三 思路和
-
- Better Bench
- 昨天
-
-
zookeeper是一个开源的分布式服务管理框架，为分布式应用提供协调服务的Apache项目。主要用来解决分布式集群中应用系统的一致性问题。ZooKeeper本质上是一个分布式的小文件存储系统。提供基于类似于文件系统的目录树方式的数据存储，并且可以对树中的节点进行有效管理。从而用来维护和监控你存储的数据的状态变化。通过监控这些数据状态的变化，从而可以达到基于数据的集群管理。zookeeper工作机制观察者模式的分布式服务管理框架存储和管理大家关心的数据，然后接受观察者的注册一旦数据发生变化，zo
-
- AlwaysDayOne
- 昨天
-
-
一、Tumbling Windowshttps://nightlies.apache.org/flink/flink-docs-release-1.14/docs/dev/datastream/operators/windows/
-
- zhengcongyi
- 昨天
-
加载中...
活动
-
2021-11-10
-
2021-03-09
-
2020-12-16
独家定制
-
-
3500人的专业安全团队与你同在
-
-
CSDN云计算在线公开课
-
-
IaaS市场高速增长，历久弥新
精品推荐
关于我们
关注「云计算」
转载 & 投稿：songhui@csdn.net
商务合作：zhangjing@csdn.net