- 相关博文
- 最新资讯
-
对比项KafkaRabbitMQRocketMQPulsarActiveMQ核心定位事件流平台消息代理分布式业务消息 / 流云原生消息与流传统企业消息中间件典型模型吞吐倾向很高中高高很高中等路由灵活度相对简单很强较强较强较强顺序处理Partition 内有序Queue 场景下可维持顺序,但需考虑并发等因素支持顺序消息支持 Key_Shared 等模式处理有序需求支持传统队列顺序语义延迟消息通常需要业务设计或相关机制实现。
-
本文揭示了任务计划(Plan)与有向无环图(DAG)的核心区别在于依赖关系的判断标准。真正的依赖关系应通过输入输出来判定,而非任务排列顺序。文章提出三种主要依赖类型(数据/决策/状态依赖),并给出将线性计划转化为高效DAG的四步法:拆解任务、定义输入输出、建立依赖边、检查环路。特别强调优秀DAG应追求最小必要依赖,而非复杂连接,同时指出并行执行需同时考虑任务依赖和资源约束。最后提出以"输入-输出"为核心的分析框架,能自然衍生出依赖关系、
-
在传统的数据处理流程(离线计算)中,先是收集数据,然后将数据存储到数据库中。当需要某些数据时,则可以通过对数据库中的数据做操作,得到所需要的数据,再进行其它相关的处理。这样的处理流程会造成结果数据密集,结果数据密集则存在数据反馈不及时,若是在实时搜索的应用场景中,需要实时数据做决策,而传统的数据处理则并不能很好地解决问题,这就引出了一种新的数据计算——实时计算, 它可以针对海量数据进行实时计算,无论是在数据采集还是数据处理中,都可以达到秒级别的处理要求。
-
摘要:推送服务是应用触达用户的关键通道。本文基于 HarmonyOS 6(API 23)系统,深入讲解 Push Kit 推送服务的完整集成方案,涵盖客户端 Token 获取与上报、服务端 Spring Boot 集成华为推送 API v3、消息分类与频控策略、点击跳转与数据传递、推送效果分析等全链路内容,帮助开发者构建高到达率、低打扰的智能化推送体系。在移动互联网时代,用户每天面对数十个应用的竞争,如何让关键信息在合适的时间触达合适的用户,是每个开发者必须面对的命题。
-
实现从“人找数据、懂SQL的人用数据”向“人人可用数据”的转变
-
Linux 一切皆文件,没有 Windows 盘符概念,所有资源挂载在根目录下。/etc系统配置文件目录(网络、用户、服务配置几乎都在这里)/home:普通用户家目录/root:root 超级管理员家目录/var日志、缓存、数据库数据存放目录,排查日志必看/usr软件安装目录企业习惯:业务程序一般部署在/opt目录,日志输出到/var/log。
-
Linux在企业中常用命令一、帮助查询命令man 命令名 # 查看完整官方手册,q退出命令 --help # 查看命令简易帮助信息info 命令名 # 详细文档(较少用)二、文件目录操作(工作最高频)pwd # 显示当前所在绝对路径ls # 列出目录内容ls -l # 详细信息列表ls -lh # 人性化显示文件大小ls -a # 显示隐藏文件cd /etc # 切换到/etc目录cd ~ # 回到当前用户家目录cd - # 返回上一次所在目录。
-
合肥自友科技基于多年教育行业经验,推出涵盖26个子系统的智慧校园平台,其学工系统通过创新设计打破传统管理工具边界。系统融合游戏化任务、智能预警、跨平台联动等功能,为学生构建可视化成长路径,为教师提供数据决策支持,实现从单向管理到生态化服务的转型。通过大数据分析生成个人年度报告、趣味榜单等,将冰冷数据转化为有温度的互动体验,彰显"技术为舟,育人为本"的理念,推动校园管理向趣味化、智能化发展。
-
介绍多进程、多线程(两种)、线程池设计原则。仅介绍核心服务端处理模块,在TCP通信流程了解的情况,以便快速回顾与掌握重点。
-
一套 RabbitMQ 集群供给多个业务团队使用,每个团队分配独立 vhost,实现多租户隔离。开发环境的队列不会跑到测试环境,即使队列名字完全一样,也互不冲突。在已经存在的一条 TCP Connection 内部,开辟出来的。客户端与 RabbitMQ Broker 之间建立的一条。可以给不同用户分配不同 vhost 的访问权限。一台 RabbitMQ 服务同时给三个项目使用。权限粒度:对某个 vhost,配置用户的。同一套 RabbitMQ 集群给。共用时,使用 vhost 隔离。
-
近年来旅游业快速发展,利用智能技术优化游客体验成为研究热点。本系统基于用户评论主题挖掘,采用Django+Vue2架构与MySQL、Hadoop技术,构建集景点推荐与信息管理于一体的综合服务平台。系统分用户端与管理端,涵盖景点浏览、评论互动、热度分析及可视化展示等功能,通过深度分析评论数据挖掘用户兴趣,为游客提供个性化推荐,为景区服务优化提供数据支撑。
-
通过一场互联网大厂 Java 面试小剧场,围绕内容社区与UGC+AIGC 场景,串联 Spring Boot、Spring Cloud、MyBatis、Redis、Kafka、Elasticsearch、AI RAG 等技术栈,让初学者也能看懂从单体到微服务、从基础增删改查到搜索推荐与智能客服的完整技术演进。
-
【Bug已解决】[Bug] merge_dicts concatenates identical string metadata fields across streaming chunks (mo…
(合并多个流式 chunk 的 metadata)在合并时,把字符串直接了,而不是"保留一个"。比如每条流式 chunk 的 metadata 都带和这是因为对字符串冲突值用了**字符串拼接()**作为"合并"手段——它大概以为"合并 = 把多份拼一起",但对model_name这种"每片都一样、应取其一"的字段,拼接产生了无意义甚至有害的重复值。下游读拿到一堆重复字符串,日志/统计全乱。 -
短时间内的多个请求,合并成一次下游调用,再把结果按原顺序还回去。【不折叠】线程1 ──▶ SELECT id=1 ──▶ DB线程2 ──▶ SELECT id=2 ──▶ DB线程3 ──▶ SELECT id=3 ──▶ DB... 共 N 次往返【折叠后】线程1 ──┐线程2 ──┼──▶ Collapser 缓冲 ──▶ SELECT id IN (...) ──▶ DB线程3 ──┘ ││ timer 到期 / 凑满 N 条▼拆回各线程结果能换来什么点说明连接与线程。
-
消费者 1 慢、消费者 2 快;因为 prefetch=1,消费者 2 会处理更多任务,实现能者多劳。消费者处理完一条、手动 ACK 之后,再发下一条。缺点:如果消费者 1 处理很慢,就会出现任务堆积,消费者 2 空闲。耗时任务分发,多实例消费削峰:邮件发送、文件解析、订单异步处理。系统通知、缓存刷新、直播间消息推送,所有订阅方都收到消息。RabbitMQ 默认:队列依次把消息均衡分给消费者,只要队列绑定了该交换机,所有绑定队列都会收到消息副本。消费者 1、消费者 2 轮流拿消息。工作队列 ≠ 广播。
-
本文介绍了Apache Kafka消息从生产到消费的核心流程,重点解析了三个关键完成点的差异及其对消息可靠性的影响。通过流程图展示了消息从业务线程→Producer本地批次→Broker→Consumer的完整旅程,并提炼出Topic、Partition、Replica和Offset四个核心概念。文章详细拆解了Producer端的六步处理流程(序列化、分区选择、批次聚合、网络发送、Broker确认和回调通知),通过Java代码示例演示了如何实现可靠的消息发送。最后强调三个关键认知:1)send()返回≠发送
-
本文介绍了Elasticsearch的核心概念、优势及企业应用场景,对比了ES与传统数据库的差异,并详细演示了基于WSL+Docker的环境搭建步骤。主要内容包括: Elasticsearch简介:分布式搜索引擎,擅长全文检索、日志分析和实时聚合 与传统数据库对比:ES采用倒排索引和文档模型,在搜索场景性能远超MySQL 环境搭建:通过Docker容器部署ES 9.4.3,配置单节点集群 基础操作:文档的CRUD操作示例及常见查询语法 可视化工具:对比Kibana和DBX两款管理工具的特点 SpringBo
-
密码学核心技术主要围绕保障信息安全的三大目标(CIA三元组:机密性、完整性、不可否认性)展开,其核心支柱包括加密算法、哈希函数和数字签名。
-
摘要 本文深入探讨了Java Excel导入导出中的性能优化问题,重点介绍了JQuick-Excel框架的核心优化方案。针对大数据场景下常见的导出慢、内存占用高、样式数量限制等问题,JQuick-Excel提供了系统性的解决方案:采用SXSSF流式导出降低内存消耗;通过OPCPackage优化大文件导入;实现CellStyle样式缓存避免64000样式上限;自动检测随机访问需求平衡性能与功能。这些优化措施通过基准测试验证,显著提升了大数据量Excel处理的性能和稳定性,为Java开发者提供了可靠的Excel
-
本文摘要: Apache Kafka 4.3.x版本中,KafkaConsumer的核心API可归纳为四种状态控制:Partition所有权、读取位置、故障恢复位置及本地流量管理。重点包括: 线程安全要求:除wakeup()外所有API必须由专属线程串行调用 订阅模式二选一: subscribe()实现消费者组自动协调 assign()用于手动分区分配 poll()的三重职责:组协调、数据拉取和应用交付,需注意超时配置与处理时效 位点管理三要素: position()获取待读取位置 committed()查
加载中...
-
Apache Kafka 是一个快速、可扩展的、高吞吐的、可容错的分布式“发布-订阅”消息系统, 使用 Scala 与 Java 语言编写,能够将消息从一个端点传递到另一个端点。
-
从提取层、处理层、基础结构入手,带你了解Spark和Kafka!
电子商务市场中典型的一天是这样的:每分钟发生1万个事件流,并且要选择合适的工具对其进行处理。
-
Apache Kafka 是一个快速、可扩展的、高吞吐的、可容错的分布式“发布-订阅”消息系统, 使用 Scala 与 Java 语言编写,能够将消息从一个端点传递到另一个端点,较之传统的消息中 间件(例如 ActiveMQ、RabbitMQ),Kafka 具有高吞吐量、内置分区、支持消息副本和高容 错的特性,非常适合大规模消息处理应用程序。
-
本文主要列举一些 Kafka 的常用工具,以及举了一些例子来帮助理解。有需要的小伙伴,可以 Mark 起来再看。




