- 相关博文
- 最新资讯
-
本文深入探讨了Hadoop分布式计算引擎的核心进程机制。文章首先介绍了HDFS、YARN和MapReduce三大组件的进程架构，包括NameNode、DataNode、ResourceManager、NodeManager等关键进程的功能与交互方式。随后分析了Hadoop进程的生命周期管理和通信机制，展示了从系统启动到集群就绪的完整流程。文章还重点阐述了进程监控与调优策略，提供了各核心进程的关键监控指标和资源占用分析。在故障排查部分，详细讨论了常见进程故障的分类与恢复机制。最后，文章介绍了Hadoop的进程
-
- 励志成为糕手
- 昨天
-
-
本文结合某 GDP 万亿新一线城市智慧交通等 5 个实战项目，拆解智慧城市时空大数据 “规模大、多源异构、实时性高” 三大痛点，详解 Java 分布式存储技术栈（HDFS+HBase+Flink）的选型逻辑、架构设计、核心代码（HBase 表创建、Flink 实时写入、权限控制）及性能优化方案，提供从数据采集到安全合规的全流程落地指南，同步延伸智慧安防、智慧市政场景的泛化应用，解决查询延迟高、存储成本高、数据丢包等实际问题，代码可直接复用。
-
- 青云交
- 23小时前
-
-
可以把 MQ 消息队列想象成一个仓库，采购部门进货之后，把货物放在仓库里，生产部门从仓库中取出零件，并加工成产品，这样类比，可能更帮助我们理解，仓库放的是物品， MQ 放的是消息，仓库负责存储物品，并转发物品，同样的，，比如，在电子商务平台中，如果用户下单后一定时间内未支付，可以使用延迟队列在超时后自动取消订单（可以把 MQ 想象一个仓库，暂时存储了这些消息，到一定时候进行转发~），但这里的消息队列，只不过队列中存放的是消息，消息可以非常简单，也可以非常复杂。MQ 消息队列还可以用于日志处理，例如，
-
- JAVA学习通
- 昨天
-
-
RabbitMQ 作为消息中间件来说, 最重要的就是收发消息了, 但是我们在收发消息的时候, 可能会因为一系列特殊情况导致消息丢失 : RabbitMQ 对上面消息丢失的情况进行考虑, 做出了不同的应对措施 : RabbitMQ 向消费者发送消息后, 就会删除这条消息. 但是, 如果消费者处理消息异常, 就会造成消息丢失. 为了解决消息在 Broker 和 消费者之间问题 RabbitMQ 推出了消息确认.消费者在订阅队列时, 可以指定 autoAck 参数, 根据这个参数设置, 消息确认机制可以分为两种
-
- KIDAKN
- 前天
-
-
本文介绍了Spark核心组件RDD（弹性分布式数据集）的五大特性及创建方式。RDD是不可变、可分区、并行计算的数据集合，具有五大特性：分区组成、分区计算函数、RDD间依赖关系、键值RDD分区器及最佳计算位置。RDD创建方式包括从集合创建（Java/Scala API）、从文件创建以及基于现有RDD转换。文章还强调RDD不存储数据，采用"计算移动，数据不移动"原则，并提供了具体代码示例说明如何创建RDD及设置分区数。
-
- Lansonli
- 21小时前
-
-
《大数据技术全景指南：2025学习路径与实战建议》摘要： 本文系统梳理了大数据技术体系与学习路径，涵盖六大核心模块：数据采集、存储、计算、建模、治理和应用。针对不同学习阶段（入门到专家）提供详细的学习计划，建议从Linux/SQL基础开始，逐步掌握Hadoop/Kafka生态，最终进阶Flink/Spark和数据湖技术。文章特别强调要避免常见误区：忽视基础SQL、工具原理不扎实、过度追逐新技术等。重点指出大数据技术在电商、金融、智慧城市等领域的核心价值，以及构建"数据采集→处理→可视化"
-
- 大数据狂人
- 昨天
-
-
（共有三台虚拟机node1,node2,node3)其中node1为主节点即为运行namenode和resourcemanager。最后可以在浏览器输入node1:8088进入网页可以更直观的看到我们的yarn是怎么运行的。yarn --daemon start +各进程名称进行启动。至此完成mapreduce,yarn集群完成配置。将我们配置好的文件复制到node2,node3。大家可以自己操作一下，只要细心就没问题！2.配置yarn-site.xml文件。1.配置yarn-env.sh文件。
-
- 霑潇雨
- 昨天
-
-
但是可以看到，我们并不能访问，如果要使用 guest 访问，则需要本机访问，才可以，因为从 RabbitMQ 3.3.0 开始，禁止使用 guest 权限通过 除了 localhost 外的访问（当然解除的方法也是有的，这里就介绍啦）之前，我们需要先部署 Erlang 环境，再安装 RabbitMQ 环境（就像运行 Java 程序，需要先安装 JDK~）RabbitMQ 是一套开源的消息队列服务软件，基于 Erlang 语言编写的，因此，在。可以看到，这里的管理界面是十分友好的，易于操作~
-
- JAVA学习通
- 昨天
-
-
本文介绍了Git项目初始化和SSH连接GitHub的完整流程。首先说明了如何初始化本地Git仓库、配置用户信息、创建.gitignore文件排除编译生成文件，以及首次提交和推送代码到远程仓库的步骤。接着详细讲解了如何从Git中移除已错误提交的文件。文章后半部分重点介绍了SSH连接GitHub的配置方法，包括生成SSH密钥、添加密钥到ssh-agent、测试连接以及修改远程仓库地址为SSH协议的操作。最后还提供了解决网络连接超时问题的建议，即通过配置SSH端口为443来确保连接稳定性。
-
- lzmLi
- 22小时前
-
-
hadoop jar hadoop-mapreduce-examples-3.3.1.jar java类名 程序参数1 程序参数2。6.统计结果保存在输出路径中的part-r-00000文件。4.使用命令将mapreduce程序提交到yarn中执行。在单词计数中程序参数1为输入路径，程序参数2为输出路径。words.txt(由单词组成，用空格隔开）也可以在yarn的可视化网站上查看，更加清晰。3.在hdfs中创建输入路径，和输出路径。2.创建一个数据文件。
-
- 霑潇雨
- 昨天
-
加载中...
活动
-
2021-11-10
-
2021-03-09
-
2020-12-16
独家定制
-
-
3500人的专业安全团队与你同在
-
-
CSDN云计算在线公开课
-
-
IaaS市场高速增长，历久弥新
精品推荐
关于我们
关注「云计算」
转载 & 投稿：songhui@csdn.net
商务合作：zhangjing@csdn.net