- 相关博文
- 最新资讯
-
数据获取本次数据是在网上获取的来源于： 数据集-阿里云天池 ，不在进行抓取或收集，大家可以看这篇文章Python爬虫-抓取数据到可视化全流程的实现，详细的写了数据抓取的过程数据清洗首先该数据是在多个文件下的CSV文件，通过递归对文件夹内所有文件进行查询，并合并了所有的指定文件，具体的操作步骤大家可以看数据集-阿里云天池这篇文章，里边详细的写了如何遍历所有文件夹，如何组合，如何批量的打开文件目录下的所有文件，并对多文件下的文件进行合并，本文就不再赘述数据合并的过程了，直接采用合并后的数据，大家不懂可
-
- 你隔壁的小王
- 昨天
-
-
1.Hadoop集群HA搭建可参考我的文章《Hadoop分布式搭建（一）》2.修改环境变量cd /opt/hadoop-3.1.2/etc/hadoopvi hadoop-env.shexport JAVA_HOME=/usr/lib/jvm/jdk1.8.0_111export HDFS_NAMENODE_USER=rootexport HDFS_DATANODE_USER=rootexport HDFS_JOURNALNODE_USER=rootexport HDFS_ZKFC_U
-
- 1024+
- 前天
-
-
1.准备三台机器 centos7安装步骤 略（ 可以看我的 虚拟机安装 centos7 文章）2.配置免秘钥访问略（可以看我的免秘钥配置文章）3.JKD 安装1.8略4.Hadoop官网下载3.1.2网址 http://hadoop.apache.org/https://archive.apache.org/dist/hadoop/common/hadoop-3.1.2/5.解压 tar -zxvf hadoop-3.1.2.tar.gz mv hadoop-3.1.2 /opt/t
-
- 1024+
- 前天
-
-
由于自己的项目需要大数据可视化，所以就得学习，对于数据的处理就是一个难事，我在想如何对男女这个数据进行处理，因为两个数据不可能存储在数据库中，所以就需要hashmap这种形式去存储，而且男女人数是存储在另外一张表的，需要使用sql去统计出来。所以我不是从数据库中直接读取的男女总数，代码如下：后端代码：controller：package com.controller;import com.alibaba.fastjson.JSON;import com.entity.Problem;imp.
-
- 程序猿向前跑
- 昨天
-
-
为什么不使用Redis?维度中user用户维度数据量大。为什么不适用MySQL?并发压力太大了，因为MySQL中的表本来就和用户打交道，响应用户请求，增删改查，再用它去查维度数据就没必要。初次之外还可以选择ES，这主要取决于实际场景或者架构师跟喜欢哪一种。...
-
- 养不起心爱的猫该如何是好
- 昨天
-
-
MapReduce：自己处理业务相关代码 + 自身的默认代码文章目录1.MapReduce优缺点2.MapReduce进程3.序列化4 InputFormat数据输入4.1 切片与MapTask并行度决定机制4.2 Job提交流程源码详解4.3 FileInputFormat 切片机制4.4 FileInputFormat4.5 CombineTextInputFormat切片机制5.MapReduce工作流程6.Shffle机制6.1Shuffle机制大纲流程6.2 Partition分区6.3 Wri
-
- 未来影子
- 昨天
-
-
第1关：HBase的MapReduce快速入门本关任务：编写一个HBase的MapReduce配置程序。package com.processdata;import java.io.IOException;import java.util.List;import java.util.Scanner;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.conf.Configured;import org.a
-
- Ssaty.
- 23小时前
-
-
第1关：批量获取数据本关任务：编写Java程序批量获取HBase中指定表的所有数据。package step1;import java.io.IOException;import java.util.ArrayList;import java.util.List;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.Cell;import org.apache.hadoop.hbase.CellS
-
- Ssaty.
- 23小时前
-
-
第1关：Hbase数据库的安装本关任务：安装与配置HBase数据库。#创建 app 目录mkdir /app#进入 /opt 目录下cd /opt#解压 Hbase 压缩包tar -zxvf hbase-2.1.1-bin.tar.gz -C /app#编辑hbase-env.sh配置文件vi /app/hbase-2.1.1/conf/hbase-env.sh#进入后配置配置export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_111#编辑hbase-sit
-
- Ssaty.
- 23小时前
-
-
在腾讯工作了8年，工作压力大，节奏快，但是从技术上确实得到了成长，尤其是当你维护与大促相关的系统的时候，熬到8级也费了不少心思，小编也是个爱学习的人，把这几年的工作经验整理成了一份完整的笔记。此笔记已助朋友拿到腾讯，阿里，美团等互联网大厂10个offer ！由于细节内容实在太多太全面啦，所以只把部分知识点截图出来粗略的介绍，每个小节点里面都有更细化的内容！文末可免费获取。大致内容包括了： Java 集合、JVM、多线程、并发编程、设计模式、Spring全家桶、Java、MyBatis、Zo...
-
- 清朝程序猿
- 前天
-
-
在前面的两个章节：[《\[1\] Flink大数据流式处理利剑: 简介》](https://architect.blog.csdn.net/article/details/122149322)和[《\[2\] Flink大数据流式处理利剑: 用Flink进行统计的一个简单例子》](https://architect.blog.csdn.net/article/details/122164543) 主要对Flink进行了简单介绍并演示了一个简单的例子；这个章节，我们来看看Flink的部署架构。Flink支持各
-
- 朱清云的技术博客
- 昨天
-
-
公司简介北京金海乐游软件有限公司是一家以计算机软件架构开发为核心，实施计算机软硬件系统集成的现代科技企业。我司从事交通运输行业系统软件研发，技术覆盖且不限于 JAVA Spring框架（可选技术框架：C/C++、Python、Go）行业业务逻辑实现、TransCAD\TransModeler\超图\Arcgis等商业软件的二次开发和算法实现、大数据分析及数据中台、 交通资产管理。作者信息王扬 北京金海乐游软件有限公司 技术主管项目背景市级交通管理一图一库
-
- wallisyoung
- 昨天
-
-
目录博文链接下载链接1 前言2 SPSS对应分析教程3 结果分析4 注意博文链接【2021 年 MathorCup 高校数学建模挑战赛—赛道A二手车估价问题】1 数据分析及可视化【2021 年 MathorCup 高校数学建模挑战赛—赛道A二手车估价问题】2 问题一 Baseline 和数据【2021 年 MathorCup 高校数学建模挑战赛—赛道A二手车估价问题】3 问题二 Baseline 和数据【2021 年 MathorCup 高校数学建模挑战赛—赛道A二手车估价问题】4 问题三 思路和
-
- Better Bench
- 昨天
-
-
zookeeper是一个开源的分布式服务管理框架，为分布式应用提供协调服务的Apache项目。主要用来解决分布式集群中应用系统的一致性问题。ZooKeeper本质上是一个分布式的小文件存储系统。提供基于类似于文件系统的目录树方式的数据存储，并且可以对树中的节点进行有效管理。从而用来维护和监控你存储的数据的状态变化。通过监控这些数据状态的变化，从而可以达到基于数据的集群管理。zookeeper工作机制观察者模式的分布式服务管理框架存储和管理大家关心的数据，然后接受观察者的注册一旦数据发生变化，zo
-
- AlwaysDayOne
- 昨天
-
-
一、Tumbling Windowshttps://nightlies.apache.org/flink/flink-docs-release-1.14/docs/dev/datastream/operators/windows/
-
- zhengcongyi
- 昨天
-
-
-
就在不久前，Mobvista刚刚发布了2019年的财报数据。我们观察到其程序化广告收入已高达22.3亿元，同比增长40.8%；经调整后EBITDA达3.6亿元，同比增长高达19.5%……试想仅仅上市一年，Mobvista在增长放缓的大环境下依然能够取得如此“高光时刻”，可见其发展势头不容小觑。
-
近年来，我国文化产业蓬勃发展，文化产业价值年均增速远高于同期 GDP 增速，尽管中 国演出市场在开放竞争中逐步规范有序，但目前仍处于起步和培育阶段，尚不够完善和成熟。尤其在演出场馆基础设施、管理运营等方面参差不齐。
-
云应用程序是热门话题。很多时候，我们会遇到像云原生应用程序和云计算应用程序这样的术语。首先，很少有人同时使用这两个术语。但两者之间存在着模糊的界线。云原生和云计算的区别到底是什么呢？为什么它如此重要？让我们来看看！
-
“云原生全家桶“KubeSphere 如何让企业从容迈进云原生时代？
最近两年，云原生大火。究其原因，“数字化转型”几乎成为所有企业当下最迫切的需求，在这样的趋势下，恰逢新旧IT架构升级的契机，容器、微服务等技术与理念得以发挥所长。众多“上云”企业，寄望于业务能够快速迭代、缩短交付周期、弹性敏捷以及成本控制更优……以支持现有业务的快速发展及创新。
-
云改变了IT业态和市场格局，催生了应用大发展的时代，企业可以更加专注于构建符合其愿景的、更具生命力的业务创新。全面使用云服务构建软件的时代已经到来，在这个大背景下，云原生的概念被提出并迅速具象化，而以容器为代表的云原生技术，作为提升云化服务能力的最佳选择，也得以快速发展。
-
2019年技术盘点云数据库篇（一）：UCloud专家谈云数据库：千锤百炼 云之重器
公有云逐渐成为企业运行 IT 设施的新趋势，那么作为企业最核心的系统—数据库，数据上云也成为大数据时代的必然选择。对企业来说，数据可视为其命脉，因此数据迁移上云就意味着将企业“命脉”搬到云平台。事实上，数据上云有两种形式，数据库直接上云或者选择云数据库，而云数据库利用其云原生的优势具备了许多过去数据库产品不具备的优势，包括可靠性、弹性、存储容量以及成本等，正逐渐被更多的企业所接受。
-
IBM在中国发布Cloud Paks，牵手神州数码，助力企业云转型步入“第二篇章”
近日IBM中国今天宣布，IBM已经将其软件组合转化为云原生，并对其进行优化，使之在红帽OpenShift上运行。首批转型成果——IBM Cloud Paks产品组合——正式亮相中国市场。
-
加速布局无服务器生态，腾讯云与Serverless.com达成全球战略合作！
在云计算技术领域，“Serverless（无服务器）”作为一种新型的软件设计架构正在快速崛起。作为继虚拟机、容器后的第三代通用计算平台，Serverless技术也一直是腾讯云原生的重点发力领域。 近日，在由腾讯云主办的首届Techo开发者大会上，腾讯云宣布与全球最流行的Serverless开发平台Serverless.com达成战略合作，成为 Serverless.com的全球战略合作伙伴以及大中华区独家合作伙伴。截至目前，Serverless.com拥有百万级别的活跃应用程序以及50000+的日下载量。
-
活动
-
2021-11-10
-
2021-03-09
-
2020-12-16
独家定制
-
-
3500人的专业安全团队与你同在
-
-
CSDN云计算在线公开课
-
-
IaaS市场高速增长，历久弥新
精品推荐
关于我们
关注「云计算」
转载 & 投稿：songhui@csdn.net
商务合作：zhangjing@csdn.net