- 相关博文
- 最新资讯
-
本文系统介绍了分布式后端系统中配置模块的核心实践,涵盖数据库索引设计、中间件配置、线程池与本地缓存优化、热键探测及消息解析五大关键维度。在数据库层面,详细阐述了B+树索引设计原则与复合索引的最佳实践;中间件部分重点讲解了Elasticsearch、Redisson和Redis的标准化配置方案;性能优化方面提出了线程池参数调优和Caffeine本地缓存的三级架构设计;高可用保障方面则介绍了热键探测的动态保护机制和基于Canal的Outbox消息同步方案。这些实践有效解决了分布式系统中的查询性能、资源管控、热点
-
本文通过一个外卖订单的类比,系统性地分析了Kafka消息系统中消息丢失和重复消费的问题根源。文章指出消息可靠性需要贯穿生产者、Broker和消费者三个环节,并提出了"At-Least-Once"和"幂等处理"两大核心解决方案。
-
《国防科技工业科研经费管理办法》(财防〔2019〕12号)对研制类项目审价提出新要求,审价工作从成本合规性审查升级为全方位评估。研制类项目因实物化特征,材料费、专用费等占比高,管理复杂,需构建系统性应对策略。策略包括:深刻理解项目特殊性,组建跨职能团队,推行目标成本管理,夯实成本数据基础,编制高质量报价文件。审价中需专业应对各科目审查,强化证据链;审价后应复盘改进,优化管理流程。最终实现从合规遵从到价值创造的转变,提升企业核心竞争力。
-
RabbitMQ事务与消息分发机制解析 本文详细介绍了RabbitMQ的事务机制和消息分发机制。事务机制通过RabbitTransactionManager和事务信道保证消息发送的原子性,适用于对一致性要求高的场景,但会带来性能开销。消息分发方面,RabbitMQ默认采用轮询方式,可能导致消费者负载不均,可通过prefetchCount参数控制消费者预取消息数量实现限流。消费端限流需要配合手动确认模式,配置prefetch参数来限制未确认消息数量,保护消费者不被压垮。这两种机制共同保证了RabbitMQ在异
-
日志收集:使用Fluentd/Fluent Bit收集容器日志日志存储:使用Loki或Elasticsearch存储日志日志查询:使用Grafana或Kibana查询分析结构化日志:输出JSON格式日志便于分析日志轮转:定期清理旧日志建议建立完善的日志体系,实现日志的集中管理和分析。参考资料Loki文档Fluentd文档Elasticsearch文档。
-
Flink生产环境实践中的关键挑战与解决方案 摘要:本文深入探讨了Flink在生产环境中的实际应用挑战,包括数据资产入口失控、CDC稳定性不足、SQL开发体验割裂、Paimon湖表治理困难等问题。针对这些痛点,提出了基于StreamPark的Awestream解决方案,通过统一Catalog管理、CDC平台化增强、交互式SQL开发环境、湖表治理工具链和三层稳定性保障机制,实现了从开发到生产的全链路优化。该方案已在多个客户现场验证,有效解决了元数据漂移、同步稳定性、开发效率等核心问题,为实时湖仓建设提供了完整
-
每个算子就是水管上的一个加工/开关节点,数据就是水管里的水,上游是水龙头,下游是接水的容器;正常情况下,上游出水速度和下游接水/处理速度匹配,水流通畅;如果下游接水太慢(比如容器太小、倒水太慢),水管里的水就会在下游前面积压,甚至撑爆水管;这时候下游就会给上游发信号「别倒了!我忙不过来」,上游就自动减慢甚至暂停出水。这个「下游给上游踩刹车」的自我保护机制,就是Flink的反压(Backpressure)[1]。本质就是。
-
3.存储引擎 |:04 数据文件格式:TDengine v3.x(v3.3.x / v3.4.x) | 最后更新:2026-05-28TSDB 数据文件是 TDengine 时序数据的最终持久化形式。数据按时间范围组织为多个文件集(File Set),每个文件集包含索引文件、数据文件、预聚合文件等,内部采用列式存储和分块压缩,实现高压缩率和快速列裁剪查询。
-
一份面向 Git 初学者的简明指南,带你理解 Git 三大核心区域(工作区、暂存区、远程仓库)及常用操作。
-
本篇文章主要介绍使用 Docker Compose 搭建 Kafka 集群,实操性比较强。Kafka在2.8.0版本之前的集群部署中必须依赖Zookeeper,因为它承担了元数据管理、Controller选举、Broker状态监控等核心协调职责;但从2.8.0版本开始,Kafka引入KRaft模式逐步替代Zookeeper,到4.0版本已完全移除该依赖。本次部署的Kafka是比较久的版本。下面是一个。
-
本文主要内容是提供一种按照工作流程来学习git的思路的文章,帮助你解决面对繁多的git命令而无从下手的情况。
-
本文系统梳理了 Elasticsearch 的核心概念与常见操作,包括 Lucene、ELK 技术栈、Kibana 的作用,以及正向索引与倒排索引的区别。重点介绍了分词器机制、IK 分词器扩展词典配置,以及 ES 中文档、字段、索引、映射等核心概念。同时总结了 Elasticsearch 与 MySQL 的差异及适用场景,并详细演示了索引库和文档的 CRUD 操作,包括 mapping 映射设计、全量更新、局部更新、批量操作等常见 DSL 写法,适合作为 Elasticsearch 入门与开发实践笔记。
-
本文档详细介绍了Apache Kafka 3.9单节点部署方案,采用KRaft架构(无Zookeeper),并配置了三层安全策略:SSL单向加密、SCRAM-SHA-256账号认证和ACL权限控制。文档包含环境准备、Kafka安装、自签名证书生成、Broker配置等完整步骤,重点说明了如何先创建admin用户再启用安全认证的配置流程。最后提供了测试连接配置,确保Kafka服务在传输加密、身份验证和权限管控方面得到全面保护。本方案适用于测试环境和小型业务场景的单机Kafka安全部署。
-
本文围绕分布式系统中的通信机制与消息中间件展开,介绍了短轮询、长轮询与 WebSocket 的核心原理及应用场景,并分析了 MQ 在异步解耦、流量削峰和服务解耦中的重要作用。同时对 Redis、RabbitMQ 与 Kafka 的实现机制、消息可靠性、路由能力及适用场景进行了深入对比,帮助理解不同消息队列在高并发与微服务架构中的技术选型。
-
本文介绍了如何在高通跃龙IQ-9100 AI推理设备上部署开源RAG引擎RAGflow,构建本地化隐私安全的智能问答系统。系统采用四层架构,利用IQ-9100的Hexagon NPU加速Embedding和Rerank模型推理,显著提升性能并降低功耗。部署流程包括环境准备、基础服务安装、模型服务配置等步骤,支持BGE等主流模型通过ONNX Runtime在NPU上高效运行。该方案特别适合需要数据不出局域网的边缘计算场景,完整实现文档解析、智能分块、多路检索到生成的全流程NPU加速。
-
这次不是引发者,而是受害者
-
我国数字经济规模超50万亿元,但大数据人才缺口超百万,高校大数据实验室普遍陷入"建而不用"困境。主要存在四重问题:重硬件轻软件、实验与产业脱节、师资不足、课程滞后。建议构建四层建设框架:基础设施层提供弹性算力,实验教学层引入真实案例,产教融合层对接企业项目,成果输出层培养竞赛科研能力。关键要选择产教融合方案、使用真实产业数据、实现教学科研协同。未来需融入AI大模型实训,培养"数据+AI"复合能力。实验室建设应从"堆硬件"转向"建生态",打造数字人才锻造体系。
-
本文全面对比Elasticsearch数据同步的六种方案(双写、定时ETL、Logstash JDBC、Canal+MQ、Flink CDC、Debezium),深入实战Canal+RocketMQ+ES全链路,Logstash JDBC增量同步,Flink CDC实时管道,并重点讲解数据一致性保障、幂等处理、SaaS多租户同步隔离等工程细节。
-
RabbitMQ中的TTL(Time To Live)与死信队列是处理消息时效性和异常情况的重要机制。TTL用于控制消息的存活时间,分为消息级TTL和队列级TTL两种设置方式:消息级TTL允许为每条消息单独设置过期时间,而队列级TTL则统一设置队列中所有消息的过期时间。当消息过期后,会被自动清除或转发到死信队列。 死信队列专门接收那些因过期、拒收或队列容量限制而无法正常处理的消息。这两种机制常配合使用,典型应用场景包括订单超时自动取消、退款超时自动处理等时效性业务。通过合理配置TTL和死信队列,可以实现消息
-
在内容即资产的今天,每一位新媒体运营者都面临同样的困境:一篇文章要在公众号、知乎、小红书、头条、微博等十多个渠道各发一遍,每个平台的格式要求不同,受众偏好不同,发布节奏也不同。反复的手工改写、手工分发、手工复盘,吞噬了团队大量精力——真正花在"创作"上的时间反而少得可怜。
-
12月3日,广东省农村信用社联合社银信中心副总裁周丹在2019年阿里云广东峰会上透露,通过携手阿里云,广东农信实现了从传统架构向云化的转型升级,金融业务系统的搭建工期从按月计算缩短至按天计算,效率大幅提升。
-
12月3日,广州云峰会上,阿里云宣布推出面向混合云场景的CPFS一体机和视觉AI一体机,两款新品具备超高性能、开箱即用等特性,极大降低企业上云的周期和门槛。加上此前推出的POLARDB数据库一体机和蚂蚁mPaaS一体机,阿里云已为客户提供了四款一体机家族产品,集结了云、网、边、端一体化的能力,打破云的边界,让企业能够随时随地全栈、全态、甚至全域上云。
-
阿里云提出“云+Fintech”新金融战略 已助上万家金融机构上云
12月3日,阿里云峰会广东期间,阿里巴巴副总裁、阿里云智能数字政府事业部总裁许诗军表示,目前阿里云已成为中国数字政府大数据整体市场第一,也是数字政府大数据基础平台软件市场第一。
-
12月3日,阿里云峰会广东期间,阿里巴巴副总裁、阿里云智能数字政府事业部总裁许诗军表示,目前阿里云已成为中国数字政府大数据整体市场第一,也是数字政府大数据基础平台软件市场第一。
-
12月3日,在阿里云广东峰会上,阿里云联合超图软件、长光卫星、Maxar技术、四维测绘等顶级卫星影像产业链公司发布数字地球引擎,提供开放式的影像数据集、遥感AI能力、丰富的API接口等,在国土资源监管、水利河道治理、自然环境保护和农业估产等领域帮助政府和企业提升效率。
-
12月3日,阿里云广东峰会期间,大横琴科技公司联合阿里云发布了全国首个跨境服务创新平台。基于该平台,全国首个跨境服务APP“琴澳通”也正式发布。“琴澳通”将为澳门企业及个人提供服务,推动澳门和广东两地的产业经济联动,数字化升级。
-
“我们希望帮助工厂从原来的单点变成全产业链、全价值链、全要素的融合,变成数字化智能化的工厂,并为工业产品带来智能化。”库伟表示。
-
12月3日,在2019阿里云广东峰会上,阿里云智能总裁张建锋表示,全面迈入数字经济时代,数据成为社会经济发展的新生产要素,云智能是新基础设施。
-
-
不管我们是不是技术迷,无可否认的是,现在我们各自的生活都对互联网产生了高度依赖。在这个各种社交软件都离不开物联网设备的社会,它们以各式各样的方式将我们与网络世界连接起来。
-
华为云TaurusDB计算存储分离架构:让数据“身”分离,“心”凝聚
在2019年HC大会上,华为重磅推出最新一代高扩展海量存储分布式数据库——TaurusDB,它拥有一个最大的特点就是将存储和计算以一种分离的架构形式运行。很多人就会问到,华为云为什么会设计这款产品?核心竞争力是什么?对比原生MySQL的优势有哪些?借此时机,CSDN记者有幸采访到了华为云TaurusDB数据库资深技术专家,现在就请他来为我们一一解答。
-
本月12日,中国移动31个省的通信工程设计与可行性研究集采正式启动。 这次集采规模庞大,涵盖了无线网(5G、FDD、NB等)、核心网、承载网、支撑网等专业方向,预估基本规模超400亿元,预估扩展规模超600亿元。 毫无疑问,5G,是中国移动本次集采的主要目标。
-
不管我们是不是技术迷,无可否认的是,现在我们各自的生活都对互联网产生了高度依赖。在这个各种社交软件都离不开物联网设备的社会,它们以各式各样的方式将我们与网络世界连接起来。
-
11月28日,阿里云正式开源机器学习平台 Alink,这也是全球首个批流一体的算法平台,旨在降低算法开发门槛,帮助开发者掌握机器学习的生命全周期。
-
-
2019年技术盘点云数据库篇(一):UCloud专家谈云数据库:千锤百炼 云之重器
公有云逐渐成为企业运行 IT 设施的新趋势,那么作为企业最核心的系统—数据库,数据上云也成为大数据时代的必然选择。对企业来说,数据可视为其命脉,因此数据迁移上云就意味着将企业“命脉”搬到云平台。事实上,数据上云有两种形式,数据库直接上云或者选择云数据库,而云数据库利用其云原生的优势具备了许多过去数据库产品不具备的优势,包括可靠性、弹性、存储容量以及成本等,正逐渐被更多的企业所接受。
-
随着移动互联网、信息技术等创新发展,数据量呈指数级爆发式增长并表现在多个方面,即规模扩张、结构多元化的数据新形态;业务升级转型带来的场景化需求数据新部署;市场细分带来的数据应用新模式以及承载行业发展,发挥核心资源池地位的数据新价值等。据IDC预测,全球数据圈将从2018年的33ZB增至2025年的175ZB,实现5倍以上的增长。在新数据时代,数据在数据形态、部署环境、应用模式和价值需求等方面均出现了更为精细化的需求,应对数据爆发压力,欲将海量的连接、微秒级的延迟、极高的性能体验为我所用,创新存储价值则变得势在必行。



















