• 相关博文
  • 最新资讯

  • Hadoop集群搭建(步骤图文超详细版)

    选择理由，精准屏蔽

    一、前置条件需要安装下载方法Vmware Workstation官网下载链接Centos7系统百度网盘下载 ， 提取码：t6vajdk1.8官网下载链接MobaXterm百度网盘下载，提取码：f64vhadoop官网下载链接(最新)二、安装Centos系统三、配置Centos系统静态IP（很重要！）这里我之前的文章写过，这里就不详细讲了，有需要的可以看看我这篇文章：配置教程注意：不配置的话Centos系统无法连网
    huisoul
    HuiSoul
    昨天
    阅读数 438
    评论

  • 5万成员丨CSDN 大数据领域网红社区！

    选择理由，精准屏蔽

    一、社区愿景我的梦想很大，大到致力于打造大数据领域第一社区，赋能中国技术社区蓬勃发展。我的“格局”很小，小到每一篇优质文章，都会不吝啬加精，置顶。
    weixin_39032019
    不吃西红柿丶
    昨天
    阅读数 1273
    评论

  • Overloaded method foreachBatch with alternatives

    选择理由，精准屏蔽

    前言本文隶属于专栏《Spark异常问题汇总》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！本专栏目录结构和参考文献请见 Spark异常问题汇总正文问题描述Spark 编译报错：Error:(34, 25) overloaded method foreachBatch with alternatives: (function: org.apache.spark.api.java.function.VoidFunction2[org.apache.spark.sq
    Shockang
    Shockang
    昨天
    阅读数 183
    评论

  • Elasticsearch(一) 安装和配置启动

    选择理由，精准屏蔽

    前言: 本环境在阿里轻量级服务器(Ubuntu)上 执行(一) 环境搭建1.1 java环境环境：ES 为 java 语言编写， 需要有 java 环境版本说明：ES 5 需要 Java 8 及以上的版本ES 7 开始内置了 Java 环境apt updateapt install default-jre // 下载jdk环境验证输入: java --version 返回以下代码算成功1.2 Elasticsearch下载通过官方下载地址挑选你喜欢的下载包下载地址: h
    weixin_44544813
    king丶绝世佳友
    前天
    阅读数 396
    评论

  • 数据采集与清洗基础习题（四）Pandas初体验，头歌参考答案

    选择理由，精准屏蔽

    数据采集习题参考答案，会持续更新，点个关注防丢失。创作不易，一键三连给博主一个支持呗。为了方便查找，已按照头歌重新排版，朋友们按照头歌所属门类查找实训哦，该篇为Pandas。文章目录实训一：Pandas初体验第一关：了解数据处理对象--Series编程要求Pandas中的数据结构第一关答案第二关：了解数据处理对象-DataFrame编程要求相关知识第二关答案第三关：读取CSV格式数据编程要求相关知识第三关答案第四关：数据的基本操作——排序
    qq_48774513
    饲养猿
    昨天
    阅读数 427
    评论

  • SpringBoot基于Zookeeper和Curator生成唯一ID

    选择理由，精准屏蔽

    目录一、简介二、maven依赖一、简介  在分布式系统中，为了保证同一时间只能由一个客户端对共享资源操作，我们通常采用加锁来实现，常见有三种方式：基于数据库实现的分布式锁基于zookeeper实现的分布式锁基于redis实现的分布式锁  而在使用redis实现时Redisson是官方推荐的一种方案也是我们今天的主角。二、maven依赖...
    Alian_1223
    嘉禾嘉宁papa
    昨天
    阅读数 370
    评论

  • 2021年秋招总结

    选择理由，精准屏蔽

    学历：211本+985硕实习：无项目：一个简易的MVC应用网站论文：SCI二区四作（划水），EI会议一作，SCI在投一作目标：国企，其中包括银行，运营商，中石油，中石化等，还有研究所可做考虑，国网因为时间较晚，作最后备选。地点：北京或天津，更偏向于天津。按照收到回复的时间先后顺序作整理1. 中国农业银行所投岗位：研发中心，总行2个岗位，天津分行1个我的网申时间：2021/08/23，笔试时间：2021/09/06（应该是提前批或第一批）农行是所有银行里面开始招收最早的，抢人很激烈，如果打
    qq_41937076
    往往
    昨天
    阅读数 303
    评论

  • Linux安装Erlang、RabbtiMQ，添加新的用户、RabbitMQ常用命令等

    选择理由，精准屏蔽

    安装或者使用所有组件都是从官网入手RabbitMQ官网点击Get Started进入开始页面进行下载准备下载对应的版本（我这里是CentOS）安装Erlang环境RabbitMQ是Erlang语言编写的，所以在安装RabbitMQ之前， 安装之前先查看官网RabbitMQ与Erlang的版本对应关系。使用PackageCloud提供的脚本安装Erlang进入PackageCloud官网找到需要的Erlang版本# 1:执行脚本依赖curl -s https://pack
    weixin_45528650
    银魄清辉自夜凝
    前天
    阅读数 249
    评论

  • maven版本和jdk版本不一致导致的项目冲突！！（坑死）

    选择理由，精准屏蔽

    问题描述：最近在弄一个Hadoop项目，在IDEA上操作HDFS上传下载文件，我的maven版本是3.6.3，然后Hadoop版本是2.6.0运行报错如下：Exception in thread “main” java.io.IOException: No FileSystem for scheme: hdfs解决方案：我是通过更换maven版本来解决的这个问题，又下了一个3.6.1的版本。因为Hadoop2.6.0的版本使用的jdktools包是1.6，maven不支持，所以会导致错误。注意记得
    weixin_44911081
    万家林
    昨天
    阅读数 172
    评论

  • Elasticsearch 中为什么选择倒排索引而不选择 B 树索引

    选择理由，精准屏蔽

    Elasticsearch 中为什么选择倒排索引而选择 B 树索引前言为什么全文索引不使用 B+ 树进行存储全文检索正排索引倒排索引倒排索引如何存储数据FOR 压缩RBM 压缩倒排索引如何存储字典树（Tria Tree）FSTFSM构建 FST总结前言索引可能大家都不陌生，在用关系型数据库时，一些频繁用作查询条件的字段我们都会去建立索引来提升查询效率。在关系型数据库中，我们一般都采用 B 树索引进行存储，所以 B 树索引也是我们接触比较多的一种索引数据结构，然而在 es 中，进行全文搜索的时候却并没有选
    zwx900102
    双子孤狼
    昨天
    阅读数 218
    评论

  • MapReduce过程详解（非常全）

    选择理由，精准屏蔽

    MapReduce算法执行过程（1）MapReduce框架使用InputFormat模块做Map前的预处理，比如验证输入的格式是否符合输入定义；然后，将输入的文件切分为逻辑上的多个InputSplit，InputSplit是MapReduce对文件进行处理和运算的实际单位（逻辑概念），每个InputSplit没有对文件进行实际切割，只是记录了要处理的数据的位置和长度。（2）InputSplit是逻辑切分，所以需要通过RecordReader(RR)根据InputSplit的信息来处理InputSplit
    qq_45725767
    Love in BigData-渐进者
    昨天
    阅读数 191
    评论

  • docker部署Hadoop、HBase环境（Centos7系统）

    选择理由，精准屏蔽

    一、安装docker1.下载离线包Index of linux/static/stable/x86_64/2.
    u010588886
    u010588886
    昨天
    阅读数 181
    评论

  • 【推荐】如何将枯燥的大数据呈现为可视化的图和动画？

    选择理由，精准屏蔽

    随着我国数字化建设的逐渐深入，越来越多的企业认识到数据价值的重要性，纷纷用上了工作视觉化展示利器——可视化大屏。然而做一个可视化大屏，免不了要用到Echarts / HighCharts / D3这些框架，如果追求3D效果，还要加上WebGL与协调设计的时间，对于研发而言确实劳心又费力。那么，有没有一款低代码，还是免费开源的工具可以帮助用户快速做个大屏呢？推荐一款可视化工具—FlyFish。飞鱼平台(FlyFish)是云智慧公司自主设计、研发的一款低门槛、高拓展性的低代码应用开发平台，为大屏开发
    Sharon0408
    云智慧技术社区
    昨天
    阅读数 156
    评论

  • 2021-10-26

    选择理由，精准屏蔽

    HDFS写数据流程图
    m0_62617758
    m0_62617758
    22小时前
    阅读数 120
    评论

  • 2021-10-25

    选择理由，精准屏蔽

    优化选择排序选择排序的思想：第一次外层循环中找出数组中的最小值，放到数组最前端，接下来要遍历的长度就是[1,arr.length-1],(本身可遍历的是[0,arr.length-1])，第二次下来就是[2,arr.length-1]…优化思想：在一次外层外层循环中找出最小值和最大值，将最小值放到数组开头，将最大值放到数组末尾，这样一次循环之后数组可遍历的长度是[1,arr.length-2],效率比起原来提升了一倍，当最大值和最小值都走到中心的时候，可以进行判断是已经排好序，然后直接结束循环，这样又可
    qq_45134562
    不夸张怕你不相信
    前天
    阅读数 131
    评论

  • 学习笔记Kafka（五）—— Kafka 开发环境配置及Producer API

    选择理由，精准屏蔽

    一、开发环境说明1、创建Maven工程1.1、开发环境Maven && JDK 1.2、Pom配置Compiler Configuration 在pom.xml添加：<properties> <maven.compiler.target>1.8</maven.compiler.target> <maven.compiler.source>1.8</maven.compiler.so
    qq_46485161
    别呀
    23小时前
    阅读数 164
    评论

  • HDFS写数据流程

    选择理由，精准屏蔽

    在了解HDFS写数据流程之前，我们先来了解HDFS是什么，干什么用的。 HDFS可以实现大数据的存储，并处理巨大的文件。而HDFS处理巨大文件的思路是将巨大的文件割成小块文件进行存储，称为”数据块分布式处理“。 接下来让我们看一下HDFS的写数据流程！其中Namenode（nn）是名称节点用来管理文件系统的命名空间。Datenode(dn)数据节点是分布式文件系统HDFS的工作节点，负责数据的存储和读取。1.客户端向Namenode发出写数据请求。2.nn检查目...
    Guo142326
    Guo142326
    23小时前
    阅读数 170
    评论

  • 03-Eureka学习

    选择理由，精准屏蔽

    Eureka服务注册与发现Eureka包含两个组件:Eureka Server和Eureka client .Eureka Server提供服务注册服务，各个节点启动后，会在EurekaServer中进行注册，这样Eureka Server中的服务注册表中将会村粗所有可用服务节点的信息，服务节点的信息可以在界面中直观的看到。EurekaClient是一个Java客户端，用于简化EurekaServer的交互，客户端同时也具备一个内置的，使用轮询负载算法的负载均衡器。在应用启动后，将会向EurekaSe
    xixihaha_coder
    java全栈_coder
    昨天
    阅读数 163
    评论

  • BI与报表的区别

    选择理由，精准屏蔽

    接触BI时间不是很长，但是对于报表的认识可以说是从入行起就经常听说。像我们对于表表的认识，大多数就是类似于Excel表格一样，做出的各种列表式数据展示。做的更好一点的如在页面中增加一些图表，增加报表的可读性。近几年，对于商业智能，数据可视化，数据钻取，报表套打，BI，大数据分析，数据决策，数据辅助等等各种数据分析行业的名词可以说是迎面扑来，但是对于很多没了解过的人来说，这些词既熟悉又陌生。在这里就简单给大家概述一下，对于现在数据分析行业中的两大革命性产物，商业智能BI，商业智能报表做一个简单又详细的
    qq_20104119
    滴酒_醉红颜
    21小时前
    阅读数 155
    评论

  • 知识图谱|学习笔记|《知识图谱概念与技术》肖仰华——第1章 知识图谱概述

    选择理由，精准屏蔽

    知识图谱概述文章目录知识图谱概述1.1 知识图谱的基本概念1.1.1 知识图谱的狭义概念1.1.2 知识图谱的广义概念1.2 知识图谱的历史沿革1.2.1 知识图谱溯源1.2.2 大数据知识工程1.3 知识图谱的研究意义1.3.1 知识图谱的认知智能的基石1.3.2 知识引导成为解决问题的重要方式之一1.4 知识图谱的应用价值1.4.1 数据分析1.4.2 智慧搜索1.4.3 智能推荐1.4.4 自然人机交互1.4.5 决策支持1.5 知识图谱的分类1.5.1 知识图谱中的知识分类1.5.2 知识图谱的领
    HZCsummer
    YOLO_OnePiece
    昨天
    阅读数 130
    评论
加载中...

  • QingStor NeonSAN跻身四强 新风口下的青云QingCloud正在厚积薄发

    QingStor NeonSAN 青云 存储
    2020-04-29 0

  • 数据库设计的 10 个最佳实践

    数据库是应用及计算机的核心元素，负责存储运行软件应用所需的一切重要数据。为了保障应用正常运行，总有一个甚至多个数据库在默默运作。我们可以把数据库视为信息仓库，以结构化的方式存储了大量的相关信息，并合理分类，方便搜索及使用。

    数据库
    2020-04-02 0

  • 春日游湖不易，但居家聊聊数据湖还是可以的……

    其实“数据湖”的概念由来已久，如果追溯时间大概可以到2011年。如今我们经常提及的数据湖其实可以被认为是一个集中式的安全存储库，用户可以任何规模存储、管理、发现并共享所有结构化和非结构化数据，过程中无需预定义架构。

    2020-03-25 0

  • 云+X案例展 | 民生类：京东云突破数据中心光互联瓶颈

    随着数字化的进程，数据的处理、存储和传输得到了飞速的发展。高带宽的需求使得短距互联成了系统发展的瓶颈。受损耗和串扰等因素的影响，基于铜线的电互联的高带宽情况下的传输距离受到了限制，成本也随之上升。而且过多的电缆也会增加系统的重量和布线的复杂度。与电互连相比，基于多模光纤的光互连具有高带宽、低损耗、无串扰和匹配及电磁兼容等问题，而开始广泛地应用于机柜间、框架间和板间的高速互连。

    云+X案例
    2020-01-02 0

  • 云+X案例展 | 金融类：荣之联助力君康人寿构建新一代数据中心

    近年来，互联网、大数据、云计算和物联网等行业的蓬勃发展，对数据的存储、交换、计算等的应用需求不断增加，使得大数据发展需求下对上游基础设施领域的需求持续旺盛，促进了数据中心（简称“IDC”）需求的不断增加。同时，各国5G技术的发展和商用化的推广又进一步促进了IDC行业爆发增长。未来，IDC行业必将成为物联网、云计算及5G技术的不断完善与发展下又一风口。

    云+X案例
    2019-12-19 0

  • 云+X案例展 | 民生类：智领云数据中台为“健康武汉”增砖添瓦

    与前一个十年相比，如今企业对大规模应用的需求产生了巨大变化，例如： 在互联网领域内，高度连接的应用在海量数据的情况下对于可靠性、性能以及连接性的要求有了数个数量级的提高； 快速响应商业洞见； 快速响应市场/客户需求； 对于企业来说数据的存储、收集和分析变得至关重要，对前沿科技的技术(机器学习，人工智能)支持变得至关重要。

    云+X案例
    2019-12-18 0

  • 华为云TaurusDB计算存储分离架构：让数据“身”分离，“心”凝聚

    在2019年HC大会上，华为重磅推出最新一代高扩展海量存储分布式数据库——TaurusDB，它拥有一个最大的特点就是将存储和计算以一种分离的架构形式运行。很多人就会问到，华为云为什么会设计这款产品？核心竞争力是什么？对比原生MySQL的优势有哪些？借此时机，CSDN记者有幸采访到了华为云TaurusDB数据库资深技术专家，现在就请他来为我们一一解答。

    2019-11-30 0

  • 2019年技术盘点云数据库篇（一）：UCloud专家谈云数据库：千锤百炼 云之重器

    公有云逐渐成为企业运行 IT 设施的新趋势，那么作为企业最核心的系统—数据库，数据上云也成为大数据时代的必然选择。对企业来说，数据可视为其命脉，因此数据迁移上云就意味着将企业“命脉”搬到云平台。事实上，数据上云有两种形式，数据库直接上云或者选择云数据库，而云数据库利用其云原生的优势具备了许多过去数据库产品不具备的优势，包括可靠性、弹性、存储容量以及成本等，正逐渐被更多的企业所接受。

    云数据库 数据库
    2019-11-27 0

  • i 智慧 | IBM存储：全面贯彻新存储的“智慧之道”

    随着移动互联网、信息技术等创新发展，数据量呈指数级爆发式增长并表现在多个方面，即规模扩张、结构多元化的数据新形态；业务升级转型带来的场景化需求数据新部署；市场细分带来的数据应用新模式以及承载行业发展，发挥核心资源池地位的数据新价值等。据IDC预测，全球数据圈将从2018年的33ZB增至2025年的175ZB，实现5倍以上的增长。在新数据时代，数据在数据形态、部署环境、应用模式和价值需求等方面均出现了更为精细化的需求，应对数据爆发压力，欲将海量的连接、微秒级的延迟、极高的性能体验为我所用，创新存储价值则变得势在必行。

    IBM IBM存储 存储
    2019-11-27 0

  • 微信几亿人在线的点赞、取消点赞系统，用Redis如何实现？

    点赞功能大家都不会陌生，像微信这样的社交产品中都有，但别看功能小，想要做好需要考虑的东西还挺多的，如海量数据的分布式存储、分布式缓存、多IDC的数据一致性、访问路由到机房的算法等等。

    微信
    2019-11-27 0

  • 假如有人把支付宝存储服务器炸了

    哈哈哈哈哈哈哈哈，为了钱包里的2毛5分钱真是操碎了心

    支付宝
    2019-11-25 0

  • IBM：以现代化存储支持企业数字化转型

    存储 IBM
    2019-11-22 0

  • 腾讯Techo开发者大会揭晓云存储发展趋向：高性能、高可用、高性价比

    产业数字化转型过程中产生着比过去任何一个时代都多的数据。在这样的背景下，数据存储技术应该怎么发展？11月7日，在腾讯Techo开发者大会上，来自科研领域的专家和腾讯云存储业务的工程师们共同揭开了云存储的发展趋势。

    云存储
    2019-11-11 0

  • 戴尔与AMD强强联合：五款PowerEdge服务器 ，让用户无法抗拒的选择

    一口气发布5款产品，除了戴尔对于市场的乐观，更来源于对产品的自信，而这份自信则在于与AMD的强强联合。

    AMD 服务器 存储 戴尔
    2019-11-05 0

  • i 智慧 | 回首30年存储演进之路 再看新数据时代阿里云存储如何革故鼎新？

    人类以日新月异的速度刷新着科技的成果，其中存储的发展历史尤其悠久，堪称万年进化史。自文明诞生以来，我们就一直在寻求能够更有效存储信息的方式，从4万年前的洞穴壁画、6000年前泥板上的楔形文字，到今天普及的SSD/闪存，再到对量子存储、DNA存储技术的探索，脚步从未停止。据IDC预测，2025年全球数据将有175 ZettaBytes的总量。如此惊人而又庞大的数据量，为存储市场带来机遇的同时，也带来了不小的挑战。

    2019-11-05 0

  • 看完秒懂的排序算法

    排序算法这么多，这里先将排序算法做个简单分类： 一、可以根据待排序的数据量规模分类： 内部排序：在排序过程中，待排序的数据能够被全部加载进内存中 外部排序：待排序的数据太大，不能全部同时放入内存，排序过程中需要内存与外部存储交换数据

    2019-10-28 0

  • 阿里云存储负责人吴结生：安全可靠是云存储立身之本， 智能技术将激活存储技术新变革...

    人类以日新月异的速度刷新着科技的成果，其中存储的发展历史尤其悠久，堪称万年进化史。自文明诞生以来，我们就一直在寻求能够更有效存储信息的方式，从4万年前的洞穴壁画、6000年前泥板上的楔形文字，到今天普及的SSD/闪存，再到对量子存储、DNA存储技术的探索，脚步从未停止。

    2019-10-28 0

  • 【举栗子】Docker 容器磁盘占满的几种情况

    默认情况下，每个 Docker 容器都有 10G 的存储空间，当超出该大小时，容器就会出现问题。

    2019-10-23 0

活动

独家定制

饮水思源、万象更新-数据库开源（杭州站）沙龙活动

立即报名

腾讯安全专区

3500人的专业安全团队与你同在

C课有道

CSDN云计算在线公开课

云中不可忽视的IaaS创新

IaaS市场高速增长，历久弥新

精品推荐

关于我们

关注「云计算」​

转载 & 投稿：songhui@csdn.net

商务合作：zhangjing@csdn.net