- 相关博文
- 最新资讯
-
数据获取本次数据是在网上获取的来源于： 数据集-阿里云天池 ，不在进行抓取或收集，大家可以看这篇文章Python爬虫-抓取数据到可视化全流程的实现，详细的写了数据抓取的过程数据清洗首先该数据是在多个文件下的CSV文件，通过递归对文件夹内所有文件进行查询，并合并了所有的指定文件，具体的操作步骤大家可以看数据集-阿里云天池这篇文章，里边详细的写了如何遍历所有文件夹，如何组合，如何批量的打开文件目录下的所有文件，并对多文件下的文件进行合并，本文就不再赘述数据合并的过程了，直接采用合并后的数据，大家不懂可
-
- 你隔壁的小王
- 昨天
-
-
1.Hadoop集群HA搭建可参考我的文章《Hadoop分布式搭建（一）》2.修改环境变量cd /opt/hadoop-3.1.2/etc/hadoopvi hadoop-env.shexport JAVA_HOME=/usr/lib/jvm/jdk1.8.0_111export HDFS_NAMENODE_USER=rootexport HDFS_DATANODE_USER=rootexport HDFS_JOURNALNODE_USER=rootexport HDFS_ZKFC_U
-
- 1024+
- 前天
-
-
1.准备三台机器 centos7安装步骤 略（ 可以看我的 虚拟机安装 centos7 文章）2.配置免秘钥访问略（可以看我的免秘钥配置文章）3.JKD 安装1.8略4.Hadoop官网下载3.1.2网址 http://hadoop.apache.org/https://archive.apache.org/dist/hadoop/common/hadoop-3.1.2/5.解压 tar -zxvf hadoop-3.1.2.tar.gz mv hadoop-3.1.2 /opt/t
-
- 1024+
- 前天
-
-
由于自己的项目需要大数据可视化，所以就得学习，对于数据的处理就是一个难事，我在想如何对男女这个数据进行处理，因为两个数据不可能存储在数据库中，所以就需要hashmap这种形式去存储，而且男女人数是存储在另外一张表的，需要使用sql去统计出来。所以我不是从数据库中直接读取的男女总数，代码如下：后端代码：controller：package com.controller;import com.alibaba.fastjson.JSON;import com.entity.Problem;imp.
-
- 程序猿向前跑
- 昨天
-
-
为什么不使用Redis?维度中user用户维度数据量大。为什么不适用MySQL?并发压力太大了，因为MySQL中的表本来就和用户打交道，响应用户请求，增删改查，再用它去查维度数据就没必要。初次之外还可以选择ES，这主要取决于实际场景或者架构师跟喜欢哪一种。...
-
- 养不起心爱的猫该如何是好
- 23小时前
-
-
MapReduce：自己处理业务相关代码 + 自身的默认代码文章目录1.MapReduce优缺点2.MapReduce进程3.序列化4 InputFormat数据输入4.1 切片与MapTask并行度决定机制4.2 Job提交流程源码详解4.3 FileInputFormat 切片机制4.4 FileInputFormat4.5 CombineTextInputFormat切片机制5.MapReduce工作流程6.Shffle机制6.1Shuffle机制大纲流程6.2 Partition分区6.3 Wri
-
- 未来影子
- 昨天
-
-
第1关：HBase的MapReduce快速入门本关任务：编写一个HBase的MapReduce配置程序。package com.processdata;import java.io.IOException;import java.util.List;import java.util.Scanner;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.conf.Configured;import org.a
-
- Ssaty.
- 22小时前
-
-
第1关：批量获取数据本关任务：编写Java程序批量获取HBase中指定表的所有数据。package step1;import java.io.IOException;import java.util.ArrayList;import java.util.List;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.Cell;import org.apache.hadoop.hbase.CellS
-
- Ssaty.
- 23小时前
-
-
第1关：Hbase数据库的安装本关任务：安装与配置HBase数据库。#创建 app 目录mkdir /app#进入 /opt 目录下cd /opt#解压 Hbase 压缩包tar -zxvf hbase-2.1.1-bin.tar.gz -C /app#编辑hbase-env.sh配置文件vi /app/hbase-2.1.1/conf/hbase-env.sh#进入后配置配置export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_111#编辑hbase-sit
-
- Ssaty.
- 23小时前
-
-
在腾讯工作了8年，工作压力大，节奏快，但是从技术上确实得到了成长，尤其是当你维护与大促相关的系统的时候，熬到8级也费了不少心思，小编也是个爱学习的人，把这几年的工作经验整理成了一份完整的笔记。此笔记已助朋友拿到腾讯，阿里，美团等互联网大厂10个offer ！由于细节内容实在太多太全面啦，所以只把部分知识点截图出来粗略的介绍，每个小节点里面都有更细化的内容！文末可免费获取。大致内容包括了： Java 集合、JVM、多线程、并发编程、设计模式、Spring全家桶、Java、MyBatis、Zo...
-
- 清朝程序猿
- 前天
-
-
在前面的两个章节：[《\[1\] Flink大数据流式处理利剑: 简介》](https://architect.blog.csdn.net/article/details/122149322)和[《\[2\] Flink大数据流式处理利剑: 用Flink进行统计的一个简单例子》](https://architect.blog.csdn.net/article/details/122164543) 主要对Flink进行了简单介绍并演示了一个简单的例子；这个章节，我们来看看Flink的部署架构。Flink支持各
-
- 朱清云的技术博客
- 昨天
-
-
公司简介北京金海乐游软件有限公司是一家以计算机软件架构开发为核心，实施计算机软硬件系统集成的现代科技企业。我司从事交通运输行业系统软件研发，技术覆盖且不限于 JAVA Spring框架（可选技术框架：C/C++、Python、Go）行业业务逻辑实现、TransCAD\TransModeler\超图\Arcgis等商业软件的二次开发和算法实现、大数据分析及数据中台、 交通资产管理。作者信息王扬 北京金海乐游软件有限公司 技术主管项目背景市级交通管理一图一库
-
- wallisyoung
- 昨天
-
-
目录博文链接下载链接1 前言2 SPSS对应分析教程3 结果分析4 注意博文链接【2021 年 MathorCup 高校数学建模挑战赛—赛道A二手车估价问题】1 数据分析及可视化【2021 年 MathorCup 高校数学建模挑战赛—赛道A二手车估价问题】2 问题一 Baseline 和数据【2021 年 MathorCup 高校数学建模挑战赛—赛道A二手车估价问题】3 问题二 Baseline 和数据【2021 年 MathorCup 高校数学建模挑战赛—赛道A二手车估价问题】4 问题三 思路和
-
- Better Bench
- 昨天
-
-
zookeeper是一个开源的分布式服务管理框架，为分布式应用提供协调服务的Apache项目。主要用来解决分布式集群中应用系统的一致性问题。ZooKeeper本质上是一个分布式的小文件存储系统。提供基于类似于文件系统的目录树方式的数据存储，并且可以对树中的节点进行有效管理。从而用来维护和监控你存储的数据的状态变化。通过监控这些数据状态的变化，从而可以达到基于数据的集群管理。zookeeper工作机制观察者模式的分布式服务管理框架存储和管理大家关心的数据，然后接受观察者的注册一旦数据发生变化，zo
-
- AlwaysDayOne
- 昨天
-
-
一、Tumbling Windowshttps://nightlies.apache.org/flink/flink-docs-release-1.14/docs/dev/datastream/operators/windows/
-
- zhengcongyi
- 昨天
-
-
-
-
-
-
王坚博士曾经做过这样一个非常形象的比喻，他将做 App 比作是在别人的花园里弄盆栽，「种点花草是没有问题的」，不过「别人叫你的产品下架你就得下架，这是有问题的」，现在在 GitHub 上，众多的开发者显然遭遇了这样的问题。
-
-
刚刚获悉，腾讯在光网络设备和数据中心领域的两大硬件自研设计“OPC-4”和“TMDC”顺利通过OCP（Open Compute Project）审核并正式接受为官方开源贡献。这是腾讯在硬件领域的开源设计首次被OCP官方正式认可，同时，腾讯也成为中国首家对OCP有开源贡献的互联网公司。
-
NVIDIA今日宣布，在NVIDIA GPU Cloud (NGC)容器注册上，向交通运输行业开源NVIDIA DRIVE™自动驾驶汽车开发深度神经网络。
-
11月28日，阿里云正式开源机器学习平台 Alink，这也是全球首个批流一体的算法平台，旨在降低算法开发门槛，帮助开发者掌握机器学习的生命全周期。
-
近日，开源数据库厂商MongoDB与阿里云在北京达成战略合作，作为合作的第一步，最新版MongoDB 4.2数据库产品正式上线阿里云平台。
-
-
-
首次落地中国大陆的OpenInfra：中国对于开源做出的贡献力量已不可忽视
一张标志着上海现代建筑地标的东方明珠海报，另一张展示着上海悠久历史的豫园景区海报，不仅向我们展示了这座城市浓厚的历史气息与现代化的繁荣，也让我们看到了OpenStack历经9年历史背后仍有着新鲜的科技气息。仅从这两张景色迷人且拥有时尚气息的两张海报，便能够看出此次开源基础设施峰会的用心良苦。没错，前身为OpenStack Summit的Open Infrastructure Summit首次落地中国大陆，而此次也正是阿丹第一次参加这场盛会，深感荣幸。
-
四大开源项目联合发布 腾讯已成Github全球贡献前十公司！
近日在Techo开发者大会上，腾讯正式对四大重点开源项目进行了联合发布，包括分布式消息中间件TubeMQ、基于最主流的 OpenJDK8开发的Tencent Kona JDK、分布式HTAP数据库 TBase，以及企业级容器平台TKEStack。
-
正式开源TKE和TBase，腾讯正成为大数据领域开源全面的厂商
在11月6日召开的Techo开发者大会上，腾讯云副总裁、腾讯数据平台部总经理蒋杰博士正式对外披露腾讯大数据平台10年技术演进历程。经过10年的积累，腾讯大数据平台的算力资源池目前已有超过20万台的规模，每天实时数据计算量超过30万亿条，并且随着资源管理平台核心TKE和分布式数据库TBase正式对外开源，腾讯正在成为大数据领域开源全面的公司。
-
首次落地中国大陆的OpenInfra：中国对于开源做出的贡献力量已不可忽视
一张标志着上海现代建筑地标的东方明珠海报，另一张展示着上海悠久历史的豫园景区海报，不仅向我们展示了这座城市浓厚的历史气息与现代化的繁荣，也让我们看到了OpenStack历经9年历史背后仍有着新鲜的科技气息。仅从这两张景色迷人且拥有时尚气息的两张海报，便能够看出此次开源基础设施峰会的用心良苦。没错，前身为OpenStack Summit的Open Infrastructure Summit首次落地中国大陆，而此次也正是阿丹第一次参加这项盛会，并感到十分荣幸。
-
雪花算法(snowflake) ：分布式环境，生成全局唯一的订单号
snowflake是Twitter开源的分布式ID生成算法，结果是一个long型的ID。 这种方案大致来说是一种以划分命名空间（UUID也算，由于比较常见，所以单独分析）来生成ID的一种算法，这种方案把64-bit分别划分成多段，分开来标示机器、时间等。 其核心思想是：使用41bit作为毫秒数，10bit作为机器的ID（5个bit是数据中心，5个bit的机器ID），12bit作为毫秒内的流水号，最后还有一个符号位，永远是0。
-
Q：什么是Spark？A：简单理解，Spark是在Hadoop基础上的改进，是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架，Spark基于map reduce算法实现的分布式计算，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的map reduce的算法。
活动
-
2021-11-10
-
2021-03-09
-
2020-12-16
独家定制
-
-
3500人的专业安全团队与你同在
-
-
CSDN云计算在线公开课
-
-
IaaS市场高速增长，历久弥新
精品推荐
关于我们
关注「云计算」
转载 & 投稿：songhui@csdn.net
商务合作：zhangjing@csdn.net