- 相关博文
- 最新资讯
-
本文深入探讨了Hadoop分布式计算引擎的核心进程机制。文章首先介绍了HDFS、YARN和MapReduce三大组件的进程架构，包括NameNode、DataNode、ResourceManager、NodeManager等关键进程的功能与交互方式。随后分析了Hadoop进程的生命周期管理和通信机制，展示了从系统启动到集群就绪的完整流程。文章还重点阐述了进程监控与调优策略，提供了各核心进程的关键监控指标和资源占用分析。在故障排查部分，详细讨论了常见进程故障的分类与恢复机制。最后，文章介绍了Hadoop的进程
-
- 励志成为糕手
- 21小时前
-
-
本文结合某 GDP 万亿新一线城市智慧交通等 5 个实战项目，拆解智慧城市时空大数据 “规模大、多源异构、实时性高” 三大痛点，详解 Java 分布式存储技术栈（HDFS+HBase+Flink）的选型逻辑、架构设计、核心代码（HBase 表创建、Flink 实时写入、权限控制）及性能优化方案，提供从数据采集到安全合规的全流程落地指南，同步延伸智慧安防、智慧市政场景的泛化应用，解决查询延迟高、存储成本高、数据丢包等实际问题，代码可直接复用。
-
- 青云交
- 17小时前
-
-
可以把 MQ 消息队列想象成一个仓库，采购部门进货之后，把货物放在仓库里，生产部门从仓库中取出零件，并加工成产品，这样类比，可能更帮助我们理解，仓库放的是物品， MQ 放的是消息，仓库负责存储物品，并转发物品，同样的，，比如，在电子商务平台中，如果用户下单后一定时间内未支付，可以使用延迟队列在超时后自动取消订单（可以把 MQ 想象一个仓库，暂时存储了这些消息，到一定时候进行转发~），但这里的消息队列，只不过队列中存放的是消息，消息可以非常简单，也可以非常复杂。MQ 消息队列还可以用于日志处理，例如，
-
- JAVA学习通
- 昨天
-
-
RabbitMQ 作为消息中间件来说, 最重要的就是收发消息了, 但是我们在收发消息的时候, 可能会因为一系列特殊情况导致消息丢失 : RabbitMQ 对上面消息丢失的情况进行考虑, 做出了不同的应对措施 : RabbitMQ 向消费者发送消息后, 就会删除这条消息. 但是, 如果消费者处理消息异常, 就会造成消息丢失. 为了解决消息在 Broker 和 消费者之间问题 RabbitMQ 推出了消息确认.消费者在订阅队列时, 可以指定 autoAck 参数, 根据这个参数设置, 消息确认机制可以分为两种
-
- KIDAKN
- 昨天
-
-
本文介绍了Spark核心组件RDD（弹性分布式数据集）的五大特性及创建方式。RDD是不可变、可分区、并行计算的数据集合，具有五大特性：分区组成、分区计算函数、RDD间依赖关系、键值RDD分区器及最佳计算位置。RDD创建方式包括从集合创建（Java/Scala API）、从文件创建以及基于现有RDD转换。文章还强调RDD不存储数据，采用"计算移动，数据不移动"原则，并提供了具体代码示例说明如何创建RDD及设置分区数。
-
- Lansonli
- 15小时前
-
-
《大数据技术全景指南：2025学习路径与实战建议》摘要： 本文系统梳理了大数据技术体系与学习路径，涵盖六大核心模块：数据采集、存储、计算、建模、治理和应用。针对不同学习阶段（入门到专家）提供详细的学习计划，建议从Linux/SQL基础开始，逐步掌握Hadoop/Kafka生态，最终进阶Flink/Spark和数据湖技术。文章特别强调要避免常见误区：忽视基础SQL、工具原理不扎实、过度追逐新技术等。重点指出大数据技术在电商、金融、智慧城市等领域的核心价值，以及构建"数据采集→处理→可视化"
-
- 大数据狂人
- 昨天
-
-
（共有三台虚拟机node1,node2,node3)其中node1为主节点即为运行namenode和resourcemanager。最后可以在浏览器输入node1:8088进入网页可以更直观的看到我们的yarn是怎么运行的。yarn --daemon start +各进程名称进行启动。至此完成mapreduce,yarn集群完成配置。将我们配置好的文件复制到node2,node3。大家可以自己操作一下，只要细心就没问题！2.配置yarn-site.xml文件。1.配置yarn-env.sh文件。
-
- 霑潇雨
- 昨天
-
-
但是可以看到，我们并不能访问，如果要使用 guest 访问，则需要本机访问，才可以，因为从 RabbitMQ 3.3.0 开始，禁止使用 guest 权限通过 除了 localhost 外的访问（当然解除的方法也是有的，这里就介绍啦）之前，我们需要先部署 Erlang 环境，再安装 RabbitMQ 环境（就像运行 Java 程序，需要先安装 JDK~）RabbitMQ 是一套开源的消息队列服务软件，基于 Erlang 语言编写的，因此，在。可以看到，这里的管理界面是十分友好的，易于操作~
-
- JAVA学习通
- 昨天
-
-
本文介绍了Git项目初始化和SSH连接GitHub的完整流程。首先说明了如何初始化本地Git仓库、配置用户信息、创建.gitignore文件排除编译生成文件，以及首次提交和推送代码到远程仓库的步骤。接着详细讲解了如何从Git中移除已错误提交的文件。文章后半部分重点介绍了SSH连接GitHub的配置方法，包括生成SSH密钥、添加密钥到ssh-agent、测试连接以及修改远程仓库地址为SSH协议的操作。最后还提供了解决网络连接超时问题的建议，即通过配置SSH端口为443来确保连接稳定性。
-
- lzmLi
- 16小时前
-
-
hadoop jar hadoop-mapreduce-examples-3.3.1.jar java类名 程序参数1 程序参数2。6.统计结果保存在输出路径中的part-r-00000文件。4.使用命令将mapreduce程序提交到yarn中执行。在单词计数中程序参数1为输入路径，程序参数2为输出路径。words.txt(由单词组成，用空格隔开）也可以在yarn的可视化网站上查看，更加清晰。3.在hdfs中创建输入路径，和输出路径。2.创建一个数据文件。
-
- 霑潇雨
- 22小时前
-
-
-
当企业通过上云实现转型时，迁移是一个重要的无法回避的话题。 迁移是为了提高企业信息架构和应用的敏捷性，从而助力企业快速创新和发展；迁移也是为了提高企业全球化和数字化的水平。我们从正在进行转型的公司中看到，通过云迁移实现架构和应用的现代化，主要有四个大趋势。
-
其实“数据湖”的概念由来已久，如果追溯时间大概可以到2011年。如今我们经常提及的数据湖其实可以被认为是一个集中式的安全存储库，用户可以任何规模存储、管理、发现并共享所有结构化和非结构化数据，过程中无需预定义架构。
-
日前，ASPLOS 2020公布了计算机界最新科技成果，其中包括阿里云提交的名为《High-density Multi-tenant Bare-metal Cloud》的论文，该论文阐述了阿里云自研的神龙服务器架构如何解决困扰云计算行业多年的虚拟化性能损耗问题，打破物理机的性能神话，让云服务器突破性能极限。
-
让服务器突破性能极限 阿里云神龙论文入选计算机顶会ASPLOS
日前，ASPLOS 2020公布了计算机界最新科技成果，其中包括阿里云提交的名为《High-density Multi-tenant Bare-metal Cloud》的论文，该论文阐述了阿里云自研的神龙服务器架构如何解决困扰云计算行业多年的虚拟化性能损耗问题，打破物理机的性能神话，让云服务器突破性能极限。此次入选意味着全球计算机顶会对阿里云自研技术的认可，也意味着中国创新技术在全球计算机界争得了一席之地。
-
一文了解 Spring Boot 服务监控，健康检查，线程信息，JVM堆信息，指标收集，运行情况监控！...
去年我们项目做了微服务1.0的架构转型，但是服务监控这块却没有跟上。这不，最近我就被分配了要将我们核心的微服务应用全部监控起来的任务。我们的微服务应用都是SpringBoot 应用，因此就自然而然的想到了借助Spring Boot 的Actuator 模块。
-
从零单排HBase 02：全面认识HBase架构（建议收藏）
在网上看过很多HBaes架构相关的文章，内容深浅不一，直到发现了一篇MapR官网的文章，写得实在太生动了。
-
本文以淘宝作为例子，介绍从一百个到千万级并发情况下服务端的架构的演进过程，同时列举出每个演进阶段会遇到的相关技术，让大家对架构的演进有一个整体的认知，文章最后汇总了一些架构设计的原则。
-
稳定、可扩展、模块化、简化部署过程、版本控制……一文看懂 Kubernetes 到底如何运用！...
说实话，我是个Kubernetes爱好者。Kubernetes是软件开发的重要一步。当我遇到它时，我就想：“这就是将容器融入生产的方式”。我没有任何犹豫就投入了它的怀抱。有成千上万的架构师像我一样，已经深深爱上这项技术。
-
当微软前首席软件架构师雷·奥兹（Ray Ozzie）在2008年的PDC大会上发布Windows Azure时，没人能预估这个软件平台将会为该公司和整个行业带来什么样的影响。
-
微服务架构模式经过5年多的发展，在各行各业如火如荼地应用和实践。如何在企业中优雅地设计微服务架构？是企业面对的一个重要问题。本文将讲述微服务架构1.0设计与实践以及面临问题和破局，最后讲述微服务架构2.0设计与实践等方面，尝试去回答这个难题。
-
“云原生全家桶“KubeSphere 如何让企业从容迈进云原生时代？
最近两年，云原生大火。究其原因，“数字化转型”几乎成为所有企业当下最迫切的需求，在这样的趋势下，恰逢新旧IT架构升级的契机，容器、微服务等技术与理念得以发挥所长。众多“上云”企业，寄望于业务能够快速迭代、缩短交付周期、弹性敏捷以及成本控制更优……以支持现有业务的快速发展及创新。
-
企业云计算领导者Nutanix（纳斯达克代码：NTNX）近日宣布，物流行业领导企业嘉里大通 (Kerry EAS) 已采用Nutanix超融合基础架构（HCI）和企业云解决方案，进行企业数据中心的现代化改造。
-
随着云计算，大数据和人工智能技术应用，单靠CPU已经无法满足各行各业的算力需求。海量数据分析、机器学习和边缘计算等场景需要计算架构多样化，需要不同的处理器架构和GPU，NPU和FPGA等异构计算技术协同，满足特定领域的算法和专用计算需求。今天，笔者带大家详细了解下FPGA技术。 FPGA是英文Field Programmable Gate Array简称，即现场可编程门阵列。它是在PLA、PAL、GAL、CPLD等可编程器件的基础上进一步发展的产物。它是作为专用集成电路(ASIC)领域中的一种半定制电路，既解决了定制电路的不足，又克服了原有可编程器件门电路数有限的缺点。
-
随着云计算，大数据和人工智能技术发展，边缘计算发挥着越来越重要的作用，补充数据中心算力需求。计算架构要求多样化，需要不同的CPU架构来满足不断增长的算力需求，同时需要GPU，NPU和FPGA等技术加速特定领域的算法和专用计算。以此，不同CPU架构，不同加速技术应用而生。
-
作为一家年营收超1000亿美元全球化企业，华为有19万员工且多达1023个办公地点，遍布世界范围内170多个国家并横跨运营商、政企和消费者三大领域的业务规模……如此雄厚财力、庞大架构、繁杂业务，有何可愁？自然是对寻找一款能够支撑企业有效增长以及全球化运作的智能工作平台有高度迫切的需求，这就是华为云WeLink的缘起之因。“确实，WeLink在华为云产品序列中绝对算得上是战略级，我们对此投入了很多。”华为云副总裁、联接与协同业务总裁薛浩说。
-
京东任命周伯文担任京东云与AI事业部负责人 全面负责AI、云计算、IoT三大技术领域
2019年12月6日，京东集团宣布设立京东云与AI事业部，整合原京东云、人工智能、IoT三大事业部的架构与职责，由京东集团副总裁周伯文博士担任负责人，向京东集团董事局主席兼CEO刘强东先生汇报。周伯文博士将带领京东云、人工智能、IoT团队聚焦战略、技术、产品、创新、场景化顶层设计和商业落地，将京东“干锤百炼”的前沿技术与实体经济相融合，致力于实现学术前沿化、技术商业化的目标。
-
12月3日，广东省农村信用社联合社银信中心副总裁周丹在2019年阿里云广东峰会上透露，通过携手阿里云，广东农信实现了从传统架构向云化的转型升级，金融业务系统的搭建工期从按月计算缩短至按天计算，效率大幅提升。
-
-
华为云TaurusDB计算存储分离架构：让数据“身”分离，“心”凝聚
在2019年HC大会上，华为重磅推出最新一代高扩展海量存储分布式数据库——TaurusDB，它拥有一个最大的特点就是将存储和计算以一种分离的架构形式运行。很多人就会问到，华为云为什么会设计这款产品？核心竞争力是什么？对比原生MySQL的优势有哪些？借此时机，CSDN记者有幸采访到了华为云TaurusDB数据库资深技术专家，现在就请他来为我们一一解答。
活动
-
2021-11-10
-
2021-03-09
-
2020-12-16
独家定制
-
-
3500人的专业安全团队与你同在
-
-
CSDN云计算在线公开课
-
-
IaaS市场高速增长，历久弥新
精品推荐
关于我们
关注「云计算」
转载 & 投稿：songhui@csdn.net
商务合作：zhangjing@csdn.net