- 相关博文
- 最新资讯
-
RDD 全称 Resilient Distributed Dataset,中文译为弹性分布式数据集,是 Spark 框架中最基础、最核心的数据抽象,是一个不可变、可分区、支持并行计算的数据集合,也是 Spark 所有计算任务的基本数据单元。分布式的只读数据容器,数据被拆分多个分区,分散存储在集群不同节点,支持并行运算,且具备故障自动恢复能力。多个转换算子叠加 = 一条血缘链条(DAG),一次行动算子 = 一次任务执行,这也是 Spark 高效的核心原因:避免重复计算,批量执行任务。容错性强。
-
Apache Spark 是由加州大学伯克利分校 AMP 实验室研发、Apache 基金会托管的开源统一分布式大数据分析引擎,专为大规模数据处理设计,支持离线批处理、实时流式计算、交互式 SQL 查询、机器学习、图计算等几乎所有大数据计算场景。官方定位为统一数据分析引擎,区别于传统单一功能的计算框架,Spark 一套架构可以适配多种数据计算场景,彻底告别了“一套场景一套框架”的繁琐开发模式。
-
但换一个行业视角看,结论可能完全相反:行业之间的业务规则几乎不通,如果每进一个行业都是"从零做一遍",多行业非但不是资产,反而会把企业的经验切碎,让它在任何一个方向上都踩不出别人追不上的深度。新一代的AI能力,恰恰长在旧资产的土壤上。谁先把散落在专家脑子里、文档里、历史项目里的行业知识,编码成AI可调用的规则库和智能体,谁就踩出了新时代的经验曲线——把每一次对行业的理解,都变成下一次更便宜、更快的起点。行业过去常见的做法是"一省一策、一城一建",交付物不可迁移,经验沉淀在项目组的人头上,人一走,资产就散。
-
基于 Docker 构建的一体化开发环境,整合了大数据生态组件 + 企业级中间件 + 文档型数据库
-
轻量级 Elasticsearch 数据浏览与导出工具:连接集群、浏览索引与文档、构建查询、用自然语言生成 DSL、对索引数据 AI 问答、导出 Excel。
-
面试官:严肃、专业、不笑。候选人:谢飞机,简历写着「精通高并发」,实际是「高并发了他」。今天这场面试,业务线是这一整条链路。面试官按 3 轮、共 12 个问题往下问,一轮比一轮深。谢飞机在简单题上还能喘口气,复杂题就开始表演「含糊其辞的艺术」。文末有,小白可以放心往下翻。
-
在开发 Coding Agent 时,作者原以为死循环源于模型“不够聪明”,遂层层加码死循环检测机制。但深入排查后发现,真正问题在于 Runtime 的上下文管理——过早压缩、信息丢失导致模型反复回溯,误判为“死循环”。优化上下文保留策略后,无效重复显著减少,而激进治理反而误杀正常探索。这揭示:Agent 的“智能”不仅依赖模型,更取决于运行时对上下文与工具输出的精细管理。
-
本文系统探讨了MQ消息可靠性三大环节——发送者、消息代理(MQ)、消费者端的优化策略。通过发送者重连、确认机制(PublisherConfirm/PublishReturn)、消息持久化、LazyQueue、消费者确认(ACK/NACK/reject)及重试机制,显著提升可靠性。针对非幂等操作引入唯一消息ID与业务状态校验保障幂等性;结合死信交换机模拟延迟消息,解决支付超时等场景问题。最终通过插件化方案简化延迟消息实现,构建高可用、可兜底的消息系统。
-
操作前先记录时间、应用ID、节点信息;重大操作前先备份元数据,业务低峰期执行。巡检建议纳入监控平台(Prometheus + Grafana),对接钉钉/企业微信告警。日常巡检项固化:安全模式状态、DN存活数、Missing/Corrupt块数、磁盘使用率、NM健康、队列资源、节点服务器磁盘/内存/进程。均衡、退役、扩容等批量动作统一走变更流程,保留操作日志,方便回溯。针对 HDFS 数据倾斜、YARN 队列配额、磁盘容量做周期性容量规划。
-
咸鱼翻身,不再做“查数菇”~
-
深湾华依托深圳国资与华为双重赋能,打造全栈信创生态,实现从芯片、硬件到软件适配的自主可控。凭借650+行业方案、340+软件适配、180+解决方案,覆盖政务、教育、医疗、金融等多领域,提供旗舰性能、场景定制、智慧终端等全品类产品及全生命周期服务,已服务650+政企客户,助力数字中国建设。
-
本文实践了基于 Jenkins + Gitee + Argo CD + K3s 的 GitOps 交付链路。通过 Jenkins 构建并推送 nginx-gitops-lab:build-5 镜像,更新 Git 仓库中 Deployment 配置,由 Argo CD 检测变更并手动同步,实现应用从 build-3 升级至 build-5。随后使用 git revert 回滚提交,再次触发 Argo CD 同步,成功恢复至 build-3。最终通过 Git、Argo CD 状态、Kubernetes 部署镜像
-
读取文件是取,写入文件是存。Python提供了两个基本的写入方法:write()写单个字符串,writelines()写多个字符串。这篇文章深入探讨它们的使用技巧、注意事项和最佳实践。全文依次讲解write() 详解、writelines() 详解、实战技巧等内容。写入文件看起来简单,但细节决定成败。
-
想要理解这个场景的话,我们需要先对支付的大概流程有一个理解。
-
publisher:使用的是注解形式,交换机为batch.user.exchange,routingKey为batch.user,在消费端配置真正的交换机与队列的映射关系,此处的routingKey是个代号。在大量消息的消费阶段,涉及到数据库CURD操作时,如何去优化消费呢?创建两个基础的SpringBoot Module。消费消息的注意点(待补充)批量化的操作,索引如何取舍。各自的启动类需要配置一个。docker容器准备。
-
监控指标存入 Elasticsearch 后,长时间范围的趋势查询每次都要重扫上亿明细?本文实战 Rollup 汇算索引:后台 Job 按 1h/1d 粒度持续预聚合,_rollup_search 把汇算结果与保留期内明细透明合并;再配 date math 索引表达式锁当天索引、三层 terms 下钻、painless 从 _index 反解日期开时间窗取每日最新值、terms doc_count 一步数出数据最多的一天。8 个生产 DSL 可直接套用,附 8 条踩坑汇总。
-
用户上传图片失败,排查发现服务报503错误,根源为Pod因java.lang.OutOfMemoryError: Java heap space崩溃。日志显示内存溢出导致JVM无法处理请求,进而使Ingress无法找到健康后端,触发503。问题本质是应用内存配置不足或存在内存泄漏,需优化JVM参数或排查代码中内存占用过高的逻辑。
-
本文详解《行业 Buddy 应用》的构建与配置,揭示其由“专属首页、领域专家、行业技能、常用连接器”四要素组成。通过“定场景→选专家→挂技能→连数据→试点迭代”五步法,实现从“懂行业”到“懂公司”的升级。强调场景具体化、技能精简、数据对接与持续迭代,避免泛化、冗余等常见误区。最终以“一问就中、术语正确、够得着数据、稳定复现”四标准自检,助力企业打造高效、精准的AI工作台。
-
Cursor 是内置 AI 的代码编辑器,可以帮你读懂陌生项目、补全代码并按要求修改文件。本文介绍安装后打开项目、先让 AI 解释代码结构、Tab 补全、用 Agent 做一次小改动并审查差异,以及用规则文件统一习惯和隐私模式的设置。
加载中...



















