- 相关博文
- 最新资讯
-
本文介绍了RabbitMQ在微服务架构中的三大核心应用场景:消息推送、服务解耦和削峰填谷。RabbitMQ作为开源消息中间件,凭借高可靠性、灵活路由和易用性成为微服务通信的重要组件。文章首先回顾了RabbitMQ的核心概念,包括生产者、消费者、队列、交换机和绑定规则。随后重点通过电商订单场景,展示了如何使用Spring Boot实现异步消息推送,包含完整的代码示例(配置、生产者、消费者)和Mermaid架构图。该方案解决了同步调用导致的响应延迟和系统耦合问题,使订单服务能够快速返回,下游操作异步执行。文中还
-
在生产环境使用 Elasticsearch 时,日志、监控、行为数据会源源不断写入,磁盘很容易被打爆,查询速度急剧下降,甚至导致集群宕机。手动删除索引既危险又低效,因此必须实现自动化数据清理。ES 官方提供了非常完善的自动化清理方案,最简单、最稳定、最推荐的就是 ILM(Index Lifecycle Management)索引生命周期管理,配合按天索引,就能实现“7天自动删除、30天自动归档”等需求。本文从实战角度。
-
在 Elasticsearch 聚合分析场景中,我们经常会遇到基于聚合结果再进行二次计算的需求,例如:计算各分类平均销量的平均值、筛选出销售额高于均值的分类、对聚合结果进行导数/累计求和/移动平均等。普通的聚合(Bucket、Metric)无法实现这类需求,而Pipeline Aggregation(管道聚合)正是为此而生——它不直接对文档聚合,而是对其他聚合的结果进行二次加工、计算、处理。本文从核心原理、分类、完整语法、实战案例、典型场景、执行流程。
-
文章摘要 本文详细介绍了ELK技术栈(Elasticsearch、Logstash、Kibana)的安装与配置流程。主要内容包括:Kibana作为数据可视化平台的功能特性,ELK系统的硬件和软件要求,Elasticsearch的安装与配置,Logstash的日志收集处理设置,以及Kibana的部署步骤。文章特别强调了系统配置要点,如内存要求(至少4GB)、Swap关闭的必要性,并提供了完整的命令操作指南,帮助用户从零开始搭建完整的日志分析系统,实现日志数据的存储、检索和可视化展示。
-
在实际业务中(电商搜索、日志检索、内容平台、订单搜索),几乎 100% 的查询都是“全文搜索 + 结构化过滤”的组合。搜索标题包含“手机”(全文检索)并且是华为品牌(结构化)价格 1000-3000(结构化)状态上架(结构化)只使用全文检索,结果不准;只使用结构化查询,没有搜索体验。两者结合,才是 Elasticsearch 的真正威力!全文检索(match) + 结构化过滤(filter) = 完美查询。
-
摘要 本文探讨了如何利用RabbitMQ实现高并发场景下的削峰填谷架构设计。通过分析电商秒杀等瞬时流量洪峰场景的挑战,阐述了RabbitMQ作为消息中间件的核心优势:持久化、流量缓冲、消费者限流、死信队列和镜像队列等特性。文章提出了异步化、消费速率可控、消息幂等性等关键设计原则,并给出基于Spring Boot的Java实战示例,展示秒杀系统中RabbitMQ如何解耦请求处理流程,通过预减库存、异步创建订单等操作保护核心服务。最后,通过配置代码演示了RabbitMQ队列、交换机的声明及消费者QoS控制,为高
-
对于Python数据分析师或机器学习爱好者而言,当面对的数据量从几百万行跃升至几十GB甚至TB级时,单机版的Pandas往往会力不从心——内存飙升、程序崩溃、电脑卡死都是常见的“噩梦”。此时,Apache Spark的分布式计算框架便成为救星,而PySpark作为其Python官方API,让开发者能用熟悉的语法无缝调用Spark引擎。然而,在Windows上手动搭建PySpark开发环境并非易事。一条完整的配置路径需要串联起多个环节:安装合适的Java Development Kit(JDK)、配置JAVA
-
AllData 数据中台由一支敢为人先的大数据 +人工智能探索研究团队倾力打造,涵盖17+大模块、39+核心功能,更搭载国产化+信创一体化部署版本,全方位满足政企客户数据管理与信创转型需求。
-
本文探讨了如何结合HiRAG理论和LlamaIndex框架解决政策文档检索中的关键问题。传统RAG系统在处理复杂结构化文档时存在上下文碎片化、语义关联缺失等局限。HiRAG通过分层知识索引(构建智能目录)、层次化知识检索(三级检索机制)和融合知识图谱,显著提升了检索精度。文章详细介绍了基于LlamaIndex的实现方法,包括分层解析文档、两阶段检索和增强生成三个核心步骤,并提供了代码示例展示如何利用AutoMergingRetriever组件实现智能上下文合并。实践表明,该方法能有效避免"断章取义
-
HDF5是一种高效的二进制文件格式,专为存储和管理大规模科学数据而设计。它具有层次化结构(类似文件系统),支持多维数组存储,并集成了元数据管理功能。核心优势包括:高效部分读取能力,无需加载整个文件;内置压缩和并行I/O支持,适合TB级数据处理;自我描述特性确保数据长期可读性;跨平台兼容性支持多种编程语言访问。相比CSV、JSON等文本格式,HDF5在存储效率、访问速度和数据结构化方面具有显著优势,特别适合AI训练、科学计算等需要处理复杂多维数据的场景。其分块存储和虚拟数据集特性使其能够轻松应对数据规模的增长
-
git工程化留痕实用命令
-
宽论对 CDVA 的定位很直接:它不是用来预测的,是用来标记拐点和穿越事件的。乔烨(桥博士)在《概率的朋友》第10.1.3节里写得很明白,分型的作用是把价格或指标的走势,刻画成一段清晰的拐点或穿越事件,方便记录、比较、复盘。桥博士在第1.3节专门讲“历史回测”,说得非常硬:再合理的逻辑,也得放到大数据环境下验证。能把“这类信号出现后,历史胜率、盈亏比、持续时长如何”说清楚,才更接近宽论的思路。换句话说,CDVA的价值不在“神准”,而在“标准化”。第一类叫 线穿线:快线上穿慢线是 C,快线下穿慢线是 D;
-
本文针对大数据场景下时序数据库选型难题,从实际项目经验出发,分析了国外主流产品(InfluxDB、TimescaleDB、OpenTSDB)在写入性能、查询效率、存储成本等方面的痛点,重点推荐国产时序数据库DolphinDB。该数据库具备每秒千万级数据点写入、秒级复杂查询响应、10:1超高压缩比等优势,支持水平扩展和主流大数据生态对接,且国产化适配完善、授权成本仅为国外产品的1/3。通过实际案例证明,DolphinDB能显著降低存储成本(某项目节省90%存储空间),是时序数据管理的优选方案。
-
ELK企业日志分析系统摘要 ELK是一套开源的日志管理解决方案,由Elasticsearch、Logstash和Kibana三个核心组件组成。Elasticsearch作为分布式搜索引擎负责存储和分析数据;Logstash作为数据处理管道,负责收集、过滤和转发日志;Kibana提供可视化界面展示分析结果。系统工作原理是通过Logstash收集应用服务器日志,存储到Elasticsearch集群,再由Kibana进行可视化展示。典型部署包括配置Elasticsearch集群节点、设置Logstash数据处理规
-
这篇文章汇总了2026年春招期间字节、阿里、腾讯等公司的20场后端面试真题,涵盖算法、八股、项目深挖和系统设计。主要内容包括:字节跳动的LRU缓存实现和Redis持久化机制对比;Kafka高吞吐设计的核心技术如顺序写磁盘、零拷贝等;分布式事务的多种解决方案如2PC、TCC等。文章提供了详细的代码示例和技术对比表格,并针对高频考点给出实用建议,适合求职者收藏反复查阅以备战面试。
-
在大数据领域,Hive是一个不可忽视的重要工具。简单来说,Hive是一个基于Hadoop的数据仓库基础架构,它让你可以用熟悉的SQL语句来查询和分析存储在Hadoop分布式文件系统(HDFS)中的海量数据。你可能会问:为什么要用Hive?直接写MapReduce程序不行吗?答案是:Hive最大的价值在于降低学习成本。传统的MapReduce程序需要Java开发者编写复杂的代码,而Hive提供了类似SQL的查询语言(HiveQL或HQL),让熟悉SQL的数据分析师也能轻松处理大数据。
-
ES能正常访问,Kibana却反复崩溃,报错cluster_block_exception。这其实是个经典陷阱:系统根目录使用率超过95%,触发了ES的磁盘水位线保护,导致Kibana因无法写入.kibana索引而启动失败。本文将还原排查过程并给出解决方案。
-
TL;DR:先别急着背术语,先把这件事想成“怎么从拿到一帧图像”。用户程序先打开,问它支持什么格式和分辨率,再申请几块给摄像头写数据的内存,把这些内存排队交给驱动。驱动从硬件拿到一帧图像后,填进其中一块内存,用户程序再把这块内存取出来,于是就能把它保存成 jpg,或者直接显示到 LCD。这一章真正要学的,就是把这条“打开设备 -> 选格式 -> 申请 buffer -> 开始采集 -> 取出一帧 -> 再放回去继续采集”的链路看通。等这条白话链路稳定后,再把它和VIDIOC_*vb2。
-
本文介绍了使用Docker Compose搭建本地Elasticsearch环境的方法。文章提供了完整的docker-compose.yml配置模板,支持通过.env文件管理宿主机挂载目录、端口、密码等参数。配置包含网络设置、卷挂载、健康检查等关键功能,并详细说明了启动命令和IK分词器安装步骤。该方案采用模块化目录结构设计,可与其他服务(mysql、redis等)共享网络,实现统一管理。最后展示了访问测试结果,验证环境搭建成功。
-
本文介绍了一个基于Python开发的股票数据分析预测系统。系统采用Flask+Vue技术架构,通过IG507金融数据接口获取实时行情,运用ARIMA算法进行股价预测。主要功能包括:多周期K线图展示(分时/日/周/月)、ARIMA预测模型可视化、股市风向标(公告/停牌/排行榜)、股票筛选与详情查看等。系统实现了从数据获取、技术分析到预测建模的全流程功能,为投资者提供决策支持工具。项目界面展示了平安银行、东方财富等个股的K线走势、预测对比及公司详情等核心模块。
-
-
-
2020年边缘计算最新前沿报告:如何与核心云、5G、AI协同?如何打造新业态和部署运营?...
在数字经济的时代浪潮中,作为关键生产要素的数字技术的快速变革已成为新常态。正当人工智能开始崭露头角时,云计算的边缘化延伸趋势又成为了另一个新焦点。
-
根据《哈佛商业评论》的说法,数据科学家是21世纪最性感的工作。在现在这个大数据的世界中,数据科学家们用AI 或深度学习方法来发掘宝贵的商业见解。
-
开展人工智能和机器学习项目的人很早就知道,机器学习项目不是应用程序开发项目。机器学习项目的大部分价值在于模型、训练数据和配置信息,这些信息指导模型如何应用于特定的机器学习问题。
-
2020年第一个工作日,“达摩院2020十大科技趋势”发布。这是继2019年之后,阿里巴巴达摩院第二次预测年度科技趋势。 回望2019年的科技领域,静水流深之下仍有暗潮涌动。AI芯片崛起、智能城市诞生、5G催生全新应用场景……达摩院去年预测的科技趋势一一变为现实。科技浪潮新十年开启,围绕AI、芯片、云计算、区块链、工业互联网、量子计算等领域,达摩院继续提出最新趋势,并断言多个领域将出现颠覆性技术突破。
-
12月23日下午,“AI你—2019亚信科技媒体沟通会”在北京举办,亚信科技(股票代码:01675.HK)执行董事兼CEO高念书,高级副总裁兼公共与政府事务中心总经理陈武,副总裁兼CTO欧阳晔博士,副总裁兼战略与市场中心总经理王力平,与数十位来自党政、财经、IT行业和大众等主流媒体的记者编辑共聚一堂,就亚信科技近年来转型创新成果及未来五年的战略规划等展开深度沟通交流。大家踊跃发言,深度互动,共商发展,共期未来。
-
今日,华为在北京发布更懂企业的智能工作平台华为云WeLink,并携手合作伙伴成立华为云WeLink生态联盟。 首批加入华为云WeLink生态联盟的伙伴包括(排名不分先后):金山办公、中软国际、致远互联、罗技、华为商旅、红圈营销、合思费控、Coremail论客、芯盾集团、目睹直播、视源股份、喜马拉雅、为知笔记等。
-
机器人技术大提升:NVIDIA为构建自主机器统一平台树立里程碑
近日,NVIDIA发布了全新版本Isaac软件开发套件(SDK),为机器人提供更新的AI感知和仿真功能。
-
GTC CHINA 2019 | 黄仁勋发表主题演讲,多项创新技术与合作全面助力 AI 加速落地
近日,NVIDIA 创始人兼首席执行官黄仁勋在中国苏州举办的 GTC China 大会上发表主题演讲,宣布多项创新技术与合作,并阐述了 NVIDIA 如何助力 AI 加速进入大规模应用。
-
近日, NVIDIA发布了一款突破性的推理软件。借助于该软件,全球各地的开发者都可以实现会话式AI应用,大幅减少推理延迟。而此前,巨大的推理延迟一直都是实现真正交互式互动的一大阻碍。
-
-
高速的中子撞击U235原子核,使其分裂成两个原子核,释放出巨大能量,同时产生的几个中子再去撞击其它原子核,形成链式反应,使得核裂变会无限的产生巨大的能量。“将高速的中子比喻成人类的创新思想,原子核就是我们目前的业务,当创新思想碰撞当前业务,就会衍生出新的业务,又激发出更多的创新思路,形成业务的链式创新。”华为云应用平台领域副总裁汪维敏一语道破, 云+AI+5G时代,新技术不断深度融合所产生巨大能量背后的力量。如今,欲快速迈进万物互联世界,数字化转型成为企业发展的必由之路,这亦是我们应对技术需求与商业环境变化的有效措施。
-
近日腾讯云在北京举行大数据AI新品发布会。会上,腾讯云带来了在大数据与AI领域的最新研究成果,包括AI换脸甄别技术AntiFakes、腾讯星图以及企业画像平台等七大重磅新品,并对AI、大数据产品进行全线升级,致力于为用户带来更精细化的应用场景、更强大的技术能力以及更低的应用成本,全面降低企业AI技术应用门槛。
-
近日在腾讯云AI大数据新品发布会上,腾讯云副总裁王龙向听众全面介绍了当前腾讯云数据智能服务的全景布局。针对目前整体AI行业的发展趋势,他表示过去一招鲜的发展模式已经难以为继,取而代之的是真正能够产生价值的、端到端的、全面的AI解决方案,并且随着技术的不断演进,企业进入和使用数据智能领域的门槛将继续大幅降低。
-
京东任命周伯文担任京东云与AI事业部负责人 全面负责AI、云计算、IoT三大技术领域
2019年12月6日,京东集团宣布设立京东云与AI事业部,整合原京东云、人工智能、IoT三大事业部的架构与职责,由京东集团副总裁周伯文博士担任负责人,向京东集团董事局主席兼CEO刘强东先生汇报。周伯文博士将带领京东云、人工智能、IoT团队聚焦战略、技术、产品、创新、场景化顶层设计和商业落地,将京东“干锤百炼”的前沿技术与实体经济相融合,致力于实现学术前沿化、技术商业化的目标。
-
12月3日,广州云峰会上,阿里云宣布推出面向混合云场景的CPFS一体机和视觉AI一体机,两款新品具备超高性能、开箱即用等特性,极大降低企业上云的周期和门槛。加上此前推出的POLARDB数据库一体机和蚂蚁mPaaS一体机,阿里云已为客户提供了四款一体机家族产品,集结了云、网、边、端一体化的能力,打破云的边界,让企业能够随时随地全栈、全态、甚至全域上云。
-
12月3日,在阿里云广东峰会上,阿里云联合超图软件、长光卫星、Maxar技术、四维测绘等顶级卫星影像产业链公司发布数字地球引擎,提供开放式的影像数据集、遥感AI能力、丰富的API接口等,在国土资源监管、水利河道治理、自然环境保护和农业估产等领域帮助政府和企业提升效率。



















