- 相关博文
- 最新资讯
-
摘要（149字）： 本文深入剖析了即时通讯(IM)系统的核心架构设计与技术实现方案。系统采用微服务架构，划分为消息传输服务和存储检索服务两大模块，通过MySQL+Elasticsearch混合存储方案实现消息的可靠持久化与高效检索。消息传输服务基于brpc框架实现消息转发逻辑，采用Protobuf定义标准接口；存储层通过封装ES操作实现全文检索功能，MySQL负责结构化数据存储。系统整体通过etcd实现服务治理，利用RabbitMQ异步处理消息持久化，构建了一个高并发、低延迟的IM系统完整解决方案。
-
- 会开花的二叉树
- 昨天
-
-
文章摘要： 本文探讨了基于Java的大数据实时流处理技术在工业物联网（IIoT）设备状态监测中的应用与挑战。工业物联网通过传感器网络实现设备数据实时采集，而Java生态（如Apache Flink、Kafka）为数据流处理提供了高效架构，支持故障预测和预防性维护。文章详细解析了技术架构（采集-传输-处理-存储）、Flink的事件时间语义和状态管理机制，并附代码示例展示温度阈值监测。某钢铁企业案例验证了该技术能提前预警高炉异常，显著降低故障率。全文揭示了Java大数据技术在工业智能化转型中的核心价值。
-
- 青云交
- 昨天
-
-
MySQL DB] → (JDBC) → [鲲鹏 AArch64 服务器] → (HDFS/Kafka/Hive) → [CDP 7.3 集群 (x86_64)]⚠️ 需在鲲鹏服务器安装 Hadoop 客户端配置（core-site.xml, hdfs-site.xml），或使用 Hive JDBC 直接连接。✅ 数据将写入 CDP 集群的 HDFS 和 Hive 表中。在华为鲲鹏（Kunpeng）AArch64 架构环境下，将。：CDP 节点能访问 Oracle/MySQL 数据库。
-
- yumgpkpm
- 昨天
-
-
Java大数据在智能农业无人机植保中的应用 本文探讨了Java大数据技术在智能农业无人机植保作业中的创新应用。随着农业现代化发展，无人机植保作业面临路径规划不合理、药效评估不准确和数据管理困难三大挑战。研究提出利用Java开发高性能数据采集系统，采用MQTT协议实现稳定数据传输，并通过数据清洗、缺失值处理和异常值检测提高数据质量。在路径规划方面，采用A*等算法优化无人机飞行路线，有效解决传统方法的效率问题。Java大数据技术为智能农业提供了从数据采集到分析应用的全流程解决方案，对提升农业生产效率具有重要意义
-
- 青云交
- 2025-10-18
-
-
本文深入解析了Kafka服务端处理Producer请求的核心流程。首先通过RequestHandlerPool接收请求，经KafkaApis路由到ProduceRequest处理逻辑。随后ReplicaManager将数据写入本地日志，经过Partition校验后调用LogSegment执行文件写入操作。关键点包括：数据分片处理、日志分段策略（基于大小/时间）、索引文件维护等。整个流程展现了Kafka高效处理写入请求的分层设计，从请求接收、权限校验到最终数据持久化，各组件职责明确，共同保障了高吞吐的消息写入
-
- liangsheng_g
- 前天
-
-
本文介绍了在Docker中配置HBase分布式数据库的步骤。首先修改docker-compose.yml文件，添加ZooKeeper、HBaseMaster和HBaseRegionServer服务配置。配置完成后需重新构建容器，可通过两种方式拉取镜像：自动拉取或单独拉取harisekhon/hbase:2.1和zookeeper:3.8镜像。随后提供了Python操作HBase的代码示例，包括创建连接、建表、增删改查等基本操作，以及批量操作和统计行数等高级功能。代码通过happybase库连接HBase的T
-
- 快_跑
- 昨天
-
-
本教程详细介绍了Flink SQL与Kafka的整合使用。主要内容包括：1) 技术架构和适用场景，突出实时处理、SQL语法、流批一体等核心优势；2) 环境准备，包含版本要求、Maven依赖配置和Docker快速启动Kafka的方法；3) Kafka连接器基础操作，详细说明创建源表和结果表的SQL语法及核心参数；4) 数据格式支持，重点讲解JSON和CSV两种常用格式的配置。教程还提供了完整的实战案例和参数说明，帮助开发者快速掌握Flink SQL与Kafka的集成开发。
-
- wudl5566
- 昨天
-
-
宽依赖的核心成本源于Shuffle过程中的全局数据重分布，包括分区、排序、网络传输与合并等环节。本文对比Spark与MapReduce的Shuffle机制差异：MapReduce通过磁盘持久化保证稳定性，适合离线批处理；Spark则利用内存优化和Tungsten技术提升性能，适配迭代计算和交互分析。文章详细介绍SortShuffle、Bypass和Tungsten三种机制的适用场景，并结合AI与Serverless环境下的远程Shuffle服务（RSS）等创新实践，提供调优建议。通过流程图、对比表格等可视化
-
- 领码科技
- 前天
-
-
注意：部分版本中，可能需要勾选 “Force password change on next login”（强制用户下次登录时修改密码），增强安全性。在 “Password” 字段中直接输入新密码（无需知道旧密码），确认密码后点击。同步 GitLab 远程最新代码到本地（适用于多人协作或远程有更新时）。从 GitLab 克隆项目到本地，适用于本地无项目的场景。本地修改代码后，同步到 GitLab 远程仓库的完整流程。（管理员区域，通常在头像下拉菜单中）。（用户），找到需要重置密码的用户。
-
配置./etc/hadoop下的core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml、workers。集群遇到故障需要重新格式化的时候 停止集群、删除 ./logs ./data下的内容 再格式化。0、准备好jdk、免密登录、zk等前提环境。mapred-site.xml内容如下。core-site.xml内容如下。hdfs-site.xml内容如下。yarn-site.xml内容如下。2、下载并安装hadoop。worksers内容如下。
-
- 梁-大数据开发
- 昨天
-
-
计算机毕业设计Python+AI大模型智能路线规划数据分析与个性化推荐系统 旅游路线推荐系统 旅游路线规划系统 大数据毕业设计
-
- B站计算机毕业设计大学
- 昨天
-
-
-
从 10 年前我开始写第一行 Java 代码至今，一直觉得 null 在 Java 中是一个最特殊的存在，它既是好朋友，可以把不需要的变量置为 null 从而释放内存，提高性能；它又是敌人，因为它和大名鼎鼎且烦不胜烦的 NullPointerException（NPE）如影随形，而 NPE 的发明人 Tony Hoare 曾在 2009 年承认：“Null References 是一个荒唐的设计，就好像我赌输掉了十亿美元”。
-
“删库跑路”这个词儿，经常被挂在嘴边当玩笑，是因为大家都知道，一旦真的发生这样的事情，企业损失是无比惨重的。
-
为了提高 Java 编程的技艺，作者最近在 GitHub 上学习一些高手编写的代码。下面这一行代码（出自大牛之手）据说可以征服你的朋友，让他们觉得你写的代码很 6，来欣赏一下吧。
-
根据《哈佛商业评论》的说法，数据科学家是21世纪最性感的工作。在现在这个大数据的世界中，数据科学家们用AI 或深度学习方法来发掘宝贵的商业见解。
-
不看就亏系列！这里有完整的 Hadoop 集群搭建教程，和最易懂的 Hadoop 概念！| 附代码...
Hadoop 是 Lucene 创始人 Doug Cutting，根据 Google 的相关内容山寨出来的分布式文件系统和对海量数据进行分析计算的基础框架系统，其中包含 MapReduce 程序，hdfs 系统等！[它受到最先由 Google Lab 开发的 Map/Reduce 和 Google File System(GFS) 的启发。]
-
-
2020 年 1 月 14 日，微软正式停止了 Windows 7 系统的扩展支持，这意味着服役十年的 Windows 7，属于它的时代真的终结了，说不出的再见，只能怀恋。
-
如今智能经济时代已开启，消费者服务面临升级，企业技术服务的黄金机遇也已到来，我们相信品牌升级之后的京东智联云，未来定将一如既往，利用自身沉淀的能力洞察以及各产业场景中的实战经验，铸造更多“硬核”技术力量服务民生、技术报国，在一线。
-
-
-
6 个步骤，教你在Ubuntu虚拟机环境下，用Docker自带的DNS配置Hadoop | 附代码
最近，作者整理了一套Hadoop搭建方案。最后的镜像大小1.4G多，使用docker子网，容器重新启动不需要重新配置/etc/hosts文件。 配置过程中参考了如下博客，有些细节问题这些博客里面解释的更加详细。
-
近日，某SaaS服务商/微盟遭遇员工删库跑路，服务器出现大面积故障，一时间让平台上的几百万家商户生意基本停摆。这一事件发生后，不管是厂商还是平台上的用户，都在经历着非常不容易的时刻。
-
如果你觉得 git 很迷惑人，那么这份小抄正是为你准备的！请注意我有意跳过了 git commit、git pull/push 之类的基本命令，这份小抄的主题是 git 的一些「高级」用法。
-
月活用户突破2.39亿、还能表单买菜and在线千人大课……这个软件有点儿意思！
惊蛰之日万物复苏，回想春节期间突遭疫情的惨烈，如今仍心有余悸。我们深深地感受到，因为疫情的波及，原本诸多““线下”开展的活动统统搬到了“线上”，尤其是各级单位实时统计上报身体健康信息，员工在家远程办公以及学生在家线上学习等都成为迫在眉睫的事。
-
什么是 CD 管道？一文告诉你如何借助Kubernetes、Ansible和Jenkins创建CD管道！
CI/CD（CI全名Continuous Integration，持续集成；CD全名Continuous Deployment，持续部署）这个术语常常和DevOps、Agile、Scrum以及Kanban、自动化等其他术语一起出现。
-
-
-
本文以淘宝作为例子，介绍从一百个到千万级并发情况下服务端的架构的演进过程，同时列举出每个演进阶段会遇到的相关技术，让大家对架构的演进有一个整体的认知，文章最后汇总了一些架构设计的原则。
-
活动
-
2021-11-10
-
2021-03-09
-
2020-12-16
独家定制
-
-
3500人的专业安全团队与你同在
-
-
CSDN云计算在线公开课
-
-
IaaS市场高速增长，历久弥新
精品推荐
关于我们
关注「云计算」
转载 & 投稿：songhui@csdn.net
商务合作：zhangjing@csdn.net