- 相关博文
- 最新资讯
-
去年接了个内部需求，业务方要做一个"制度文档智能问答"，底层走 RAG。我带队，三个大数据方向的工程师，两个做 ETL 的，一个做数据治理的。Demo 两周就跑通了，业务方很满意。结果真正上线第一周，权限问题、日志丢失、响应时间不可观测，三个问题全来了。这篇文章复盘的就是那次项目，以及我作为数据工程师，在大模型工程化过程中踩过的坑和总结的方法论。---大数据转大模型，不是从零开始，而是能力迁移。数据工程师的核心优势有三：1. 数据治理方法论。
-
- IT技能树
- 昨天
-
-
在数据架构的演进史上，曾统治了数仓领域近十年：底层一套批处理（Hive/Spark）每天凌晨跑 T+1 离线汇总，上面一套流处理（Storm/Flink）计算实时大屏指标，最后在服务层（Serving Layer）将两份结果通过视图或应用层代码强行拼接。为了彻底消灭“两套账本”，Jay Kreps 在 2014 年提出了。然而，早期以 Kafka 为唯一存储的经典 Kappa 架构在落地时遇到了高昂的磁盘成本与历史回放瓶颈。近年来，随着的成熟，新一代架构终于迎来了工业级落地的黄金时代。
-
- AI智能体工作室
- 昨天
-
-
在分布式计算和数仓开发中，最让人头疼的故障往往不是直接报错挂掉，而是“假死”：Spark 或 Flink 作业的整体进度条一路飙到 99%，然后卡在最后几个 Task 上一动不动。半小时过去了，集群里的几百个 CPU 核心都在干等那一个或者两个任务。点开 Spark UI 一看，中位数 Task 只需要 3 秒处理 5MB 数据，而那两个“拖后腿”的 Task 却在苦苦消化 20GB 的 Shuffle Read，GC 频繁触发，甚至频繁报或。这就是典型的。
-
- AI智能体工作室
- 昨天
-
-
为了解决这些痛点，与作为现代湖仓表格式（Table Format）的两大巨头脱颖而出。然而，许多团队在选型时往往陷入“只看功能清单、不看负载轮廓”的误区。本文深入剖析 Hudi 与 Iceberg 在底层元数据树、索引更新机制（Record Index vs Delete Files）、COW/MOR 读写模型以及多引擎生态适配上的本质差异，给出生产级的选型决策模型与配置代码。
-
- AI智能体工作室
- 昨天
-
-
本文围绕Hadoop 高可用架构，介绍基于 ZooKeeper 的 HDFS 与 YARN 故障自动切换部署实践。首先部署 ZooKeeper 集群，随后配置 HDFS HA（core-site.xml/hdfs-site.xml）并启动集群，接着配置 YARN HA（mapred-site.xml/yarn-site.xml）并测试 ResourceManager 故障切换，最后介绍主备切换原理与资源回收配置，为企业级 Hadoop 高可用集群部署提供完整参考。
-
- NJCloud
- 22小时前
-
-
MySQL / PostgreSQL 关系型数据库。保障系统稳定运行，支持多活和故障恢复。模块化设计，降低复杂度，提高开发效率。ElasticSearch 搜索引擎。熔断降级、限流隔离，保障系统稳定性。SpringCloud 微服务框架。多层安全防护，保障数据与系统安全。服务注册发现、健康检查、负载均衡。认证授权、数据加密、全链路防护。Kubernetes 容器编排。模块化、标准化，支持敏捷迭代。日志、指标、告警，全面监控。RocketMQ 消息队列。MongoDB 文档数据库。全链路追踪，快速定位问题。
-
- 彩色斑马
- 20小时前
-
-
从项目类型来看，本月招标项目呈现出"新建与运维并重"的特点：既有新线建设相关的工程总承包、施工项目，也有已开通线路的运营维保、服务外包、物资采购项目，反映出河南轨道交通正处于"建设运营并重"的发展阶段。项目已发布招标预告，即将正式启动招标程序。业内人士指出，随着郑州地铁运营里程不断增长，安全保卫需求持续提升，规模化外包服务已成为行业常态，这也为安保服务企业带来了稳定的市场机会。本月河南轨道交通招标项目中，预算金额最高的两个项目均来自郑州地铁的安保服务采购，合计预算超过7700万元，占本月总预算的44%。
-
- 标小白
- 23小时前
-
-
本文提供了安全删除Git远程分支的完整指南，重点在于如何在不影响团队协作的前提下清理过时分支。文章首先强调了定期清理远程分支的重要性，包括减轻认知负担、优化CI/CD等。核心部分提出删除远程分支的三项铁律：只删自己的分支、确认已完全合并到主干、确保本地最新。详细介绍了如何在SourceGit中可视化确认合并状态，以及三种删除方式（GUI/命令行/批量删除）。最后强调删除后的清理步骤和常见陷阱，并总结了标准化操作流程。全文强调安全第一，推荐通过双重验证和团队沟通来避免误删风险。
-
- YahirQ
- 昨天
-
加载中...
-
Apache Kafka 是一个快速、可扩展的、高吞吐的、可容错的分布式“发布-订阅”消息系统， 使用 Scala 与 Java 语言编写，能够将消息从一个端点传递到另一个端点。
-
从提取层、处理层、基础结构入手，带你了解Spark和Kafka！
电子商务市场中典型的一天是这样的：每分钟发生1万个事件流，并且要选择合适的工具对其进行处理。
-
Apache Kafka 是一个快速、可扩展的、高吞吐的、可容错的分布式“发布-订阅”消息系统， 使用 Scala 与 Java 语言编写，能够将消息从一个端点传递到另一个端点，较之传统的消息中 间件(例如 ActiveMQ、RabbitMQ)，Kafka 具有高吞吐量、内置分区、支持消息副本和高容 错的特性，非常适合大规模消息处理应用程序。
-
-
本文主要列举一些 Kafka 的常用工具，以及举了一些例子来帮助理解。有需要的小伙伴，可以 Mark 起来再看。
活动
-
2021-11-10
-
2021-03-09
-
2020-12-16
独家定制
-
-
3500人的专业安全团队与你同在
-
-
CSDN云计算在线公开课
-
-
IaaS市场高速增长，历久弥新
精品推荐
关于我们
关注「云计算」
转载 & 投稿：songhui@csdn.net
商务合作：zhangjing@csdn.net