- 相关博文
- 最新资讯
-
摘要： Kibana作为Elasticsearch的核心可视化工具，通过丰富的图表类型（如线图、柱状图、地理地图等）和交互式仪表盘，实现海量数据的实时分析与洞察。本文系统解析Kibana的核心功能模块（Visualize、Discover、Dashboard），以柱状图为例演示从数据聚合到仪表盘集成的全流程，并涵盖运维监控、业务分析等典型场景。文章还提供聚合优化、性能调优等进阶技巧，帮助用户高效挖掘数据价值。Kibana凭借原生适配Elasticsearch、低门槛操作及开源扩展性，成为数据驱动决策的关键工
-
- 予枫的编程笔记
- 昨天
-
-
Spring Boot 整合 Apache Doris：实现海量数据实时OLAP分析实战.在大数据时代，企业对数据分析的实时性、并发性和灵活性提出了前所未有的要求。传统关系型数据库（如 MySQL）难以应对高吞吐写入与复杂聚合查询的双重压力。为此，**Apache Doris** 作为一种高性能、低延迟的 MPP（Massively Parallel Processing）实时分析型数据库，正被越来越多企业用于构建现代化数仓系统。
-
- 夜雨hiyeyu.com
- 19小时前
-
-
本文探讨了Elasticsearch(ES)在企业级数据分析与ELK生态中的进阶应用。首先详细解析了ES聚合功能，包括桶聚合、度量聚合和管道聚合的分类及组合应用，并给出电商场景的多层级聚合案例与性能优化技巧。其次阐述了ES在海量日志处理中的优势，包括高吞吐写入、实时分析等特性，并提供了索引设计、写入优化和生命周期管理等实战建议。最后分析了ELK生态中各组件(Logstash、Kibana、Beats)与ES的协同机制，强调ES作为核心存储与分析引擎的价值。文章还总结了企业级ES集群的最佳实践，涵盖节点角色分
-
- 予枫的编程笔记
- 14小时前
-
-
摘要 快消行业面临线下渠道高闭店率、需求多元化和渠道复杂化等挑战，数字化转型成为必然选择。本文基于领码SPARK融合平台，探讨如何通过AI与数据技术重构"人货场"三要素，提出包含智能用户画像、精准选品铺货等场景的解决方案。平台采用"AI大模型+低代码+PaaS"架构，实现全链路数字化管理，符合国家标准《GB/T 45341-2025》框架。实践表明，该方案可降低闭店率至3%以下，提升客单价25%，缩短库存周转30%，为快消企业转型提供有效路径。
-
- 领码科技
- 20小时前
-
-
摘要： 随着物联网等场景的快速发展，时序数据呈指数级增长，对存储和分析系统提出更高要求。本文从大数据视角提出时序数据库选型的6大核心维度：存储效率、写入性能、查询能力、生态兼容性、运维成本和可靠性。通过对比InfluxDB等国外产品，Apache IoTDB凭借双层存储架构（压缩率高30%-50%）、百万级TPS写入、毫秒级查询、深度兼容大数据生态（Flink/Spark等）、边缘-云端协同架构及开源免费等优势，成为PB级时序数据处理的最优解。文中还提供了IoTDB集群部署架构与Flink集成示例，助力企业
-
- 云边有个稻草人
- 11小时前
-
-
本文详细解析了Elasticsearch查询的内部执行流程：从客户端发起请求到协调节点接收，再到分片查询和结果合并的全过程。重点包括协调节点拆分查询请求、分片内部基于倒排索引的查询机制、多segment并行查询、分片级别结果合并，以及最终的Fetch阶段获取真实数据。文章特别指出分片查询不计算数据位置hash，而是让每个分片独立查询，并强调查询过程中多次排序和汇总的关键环节。通过梳理ES查询的真实执行顺序，帮助开发者深入理解其工作原理。
-
- 樑 汐
- 17小时前
-
-
本文指出现代数据湖的性能瓶颈已从数据量转向元数据管理。作者分析了Apache Iceberg等现代数据湖架构中元数据爆炸式增长的原因，包括频繁写入、过度分区和未清理的快照等。文章揭示了Spark和Athena等查询引擎在元数据解析阶段的性能问题，并强调传统扩展计算资源的解决方案往往无效。最后提出了元数据清理、快照过期等实用优化建议，主张将元数据管理视为数据湖运营的核心关注点。文章呼吁数据团队转变思维，将元数据作为关键基础设施进行系统性管理。
-
- 简简单单OnlineZuozuo
- 22小时前
-
-
当前的做法是在prompt中写清楚需要返回的信息的格式，比如是JSON，或者是一些特殊的sql，虽然Anthropic也推荐了这样的做法，但是这个方式不一定能保证结果格式的输出一定能如你所愿，头部的大模型在模型能力上有比较好的调优，可以在更大概率上遵循用户在prompt中约束的指令，但是小一些的模型，在这方面的表现就会比较差，同时不管是头部闭源模型还是一些自己部署的小模型，在输出格式遵循的确定性上，都是有一定的概率；淘宝直播作为全球领先的直播电商平台，正在重新定义人与商品、人与内容的连接方式。
-
本文详细记录了在Ubuntu 22.04系统上搭建Hadoop 3.3.6+Spark 3.4.3集群的全过程。内容包括：1）环境准备，包括JDK、Hadoop、Spark等软件安装；2）网络配置与虚拟机克隆；3）Hadoop集群配置与启动，涉及核心配置文件的修改；4）Spark集群配置与YARN集成；5）常见问题解决方法。特别针对旧教程的版本兼容性问题，提供了最新可用的阿里云镜像源配置方案，并详细说明了多节点SSH免密登录、防火墙设置等关键步骤。通过UI界面和命令行两种方式验证集群运行状态，最终实现了一个
-
- duanana
- 17小时前
-
-
Spark核心概念包括弹性分布式数据集(RDD)、流处理(Spark Streaming)、PageRank算法和机器学习库(MLlib)。环境配置涵盖单机伪分布式集群搭建步骤，包括JDK安装、Spark解压配置和集群启动。Spark架构采用主从模式，包含Driver、Master、Worker等组件。脚本示例展示了spark-shell启动、HDFS数据上传、RDD创建与操作，以及HiveQL建表和DataFrame查询方法（where/filter/select）。全文提供了一套完整的Spark入门实践
-
- 我推是大富翁
- 16小时前
-
-
Claude最新版本带来多项重要更新：新增自动技能热重载、技能分支执行、语言设置等功能；优化了快捷键支持、Git忽略控制等体验；修复了敏感数据泄露等安全问题；改进了终端渲染性能、子代理处理等性能问题。同时修复了包括文件读取、命令解析、权限管理等在内的100多项问题，显著提升了工具的稳定性、安全性和用户体验。
-
- aicoding.sh | claude
- 22小时前
-
-
有时由于网络波动，会出现发送者连接MQ失败的情况。SpringAMQP提供了Publicsher Confirm和Publisher Return两种确认机制。开启确认机制后，当发送者发送消息给MQ后，MQ会返回确认结果给发送者。配置说明：：发送者确认的机制，他需要跟MQ进行一个通信和确认，会极大影响消息发送的效率，所以并不建议开启。
-
- topatience
- 13小时前
-
-
RuoYi-Cloud是一个基于Spring Cloud Alibaba的微服务开发框架，采用Maven多模块管理。项目包含认证授权中心(RuoYi-Auth)、网关(RuoYi-Gateway)、可视化监控(RuoYi-Visual)等核心模块。通过父POM统一管理依赖版本，包括Spring Boot(2.7.18)、Spring Cloud(2021.0.8)等组件版本，并使用变量定义便于维护。项目采用Nacos作为服务注册中心和配置中心，集成Sentinel实现流量控制。整体架构清晰，模块划分明确，适
-
- 叶 落
- 昨天
-
-
在线教育如何应对流量洪峰？阿里云专家：上云+云数据库是最佳路径
2月中下旬原本是全国各地春季学期开学的日子，但这场突如其来的疫情使得1.8亿中小学生只能纷纷在家开启“停课不停学”的学习生活，而线上教育也顺势成为了这一特殊时期首选的学习方式。
-
在任何以数据为中心的工作中，对SQL有深刻的理解都是成功的关键，尽管这不是工作中最有趣的部分。事实上，除了SELECT FROM WHERE GROUP BY ORDER BY之外，还有更多的SQL方法。你知道的功能越多，操作和查询所需的内容就越容易。
-
你的企业混合云了吗？来看看评估混合云解决方案时要注意的6个原则！
混合云如今很流行。几乎每个IT公司都声称已部署了解决方案，但实际上实现的却很少。相反，它们拥有与多个云实例进行某种程度集成的私有云。
-
探索处理数据的新方法，8 个重点带你搞懂云数据库——DBaaS（数据库即服务）到底是什么！...
在分析的世界中，网站的每次点击都是数据分析的候选对象，显然，这会涉及大量的数据生成。
-
数据安全对企业生存发展有着举足轻重的影响，数据资产的外泄、破坏都会导致企业无可挽回的经济损失和核心竞争力缺失，而往往绝大多数中小企业侧重的是业务的快速发展，忽略了数据安全重要性。近年来，企业由于自身的安全防护机制不严谨，引发的数据安全事件频发。抛开事件本身的人为因素不谈，如何从技术角度避免类似的事件发生，才是我们需要认真总结的。
-
在我们开始之前，作者想先声明一下，本文并非要从两者中分出一个胜负，所以无论你是哪一方的忠实支持者，都建议你仅客观看待本篇文章。
-
-
-
云应用程序是热门话题。很多时候，我们会遇到像云原生应用程序和云计算应用程序这样的术语。首先，很少有人同时使用这两个术语。但两者之间存在着模糊的界线。云原生和云计算的区别到底是什么呢？为什么它如此重要？让我们来看看！
-
-
最近，Jrebel公布了一份2020 Java生态系统报告，这份报告主要关注开发人员在开发过程中使用的技术。
-
自从Docker在2013年初上线以来，就与程序员及系统管理员之间产生了一种爱恨交加的奇妙关系。虽然与我交谈过的一些经验丰富的的开发人员都非常不喜欢容器化(稍后会详细介绍)，但是为什么许多大公司，包括eBay、Twitter、Spotify和Lyft在内，都在他们的生产环境中采用了Docker呢？
-
稳定、可扩展、模块化、简化部署过程、版本控制……一文看懂 Kubernetes 到底如何运用！...
说实话，我是个Kubernetes爱好者。Kubernetes是软件开发的重要一步。当我遇到它时，我就想：“这就是将容器融入生产的方式”。我没有任何犹豫就投入了它的怀抱。有成千上万的架构师像我一样，已经深深爱上这项技术。
-
超级干货！31 条2020 年最新版 ZooKeeper面试题，先收藏再看
金三银四，虽然受疫情影响，大多数企业还未正式复工，但没有条件，创造条件也要上，许多企业已经开始物色合适的人才了，我们怎么能掉队？趁着在家里，赶紧预习一下面试题，只要一复工，马上就开始“打仗”了！
-
相信对于大部分的大数据初学者来说，一定遇见过Hadoop集群无法正常关闭的情况。有时候当我们更改了Hadoop内组件的配置文件后，必须要通过重启集群来使配置文件生效。
-
这篇分享主要总结了数据从业人员在实践中可能遇到的陷阱与缺陷。跟其他新起的行业一样，数据科学从业人员需要不停的去考虑现在，考虑未来；需要不断的斟酌工作方法的合理性，正确性。思索不断，才能前行。
-
-
别再用那些已经淘汰的技术了！2020 年 9 大顶级 Java 框架出炉！！
诞生于1995年的Java，目前已在134,861个网站上广泛使用，包括ESPN、SnapDeal等。在其24年的成长史中，Java已经证明了自己是用于自定义软件开发的顶级通用编程语言。
-
2月18日，阿里云在官网宣布，河源数据中心正式对外提供服务。这是华南地区规模最大的绿色数据中心，可容纳超过30万台服务器，作为深圳地域的新可用区为华南地区上百万企业客户提供领先的云计算、人工智能、物联网等服务。
-
如今，Python真是无处不在。尽管许多看门人争辩说，如果他们不使用比Python更难的语言编写代码，那么一个人是否真是软件开发人员，但它仍然无处不在。
活动
-
2021-11-10
-
2021-03-09
-
2020-12-16
独家定制
-
-
3500人的专业安全团队与你同在
-
-
CSDN云计算在线公开课
-
-
IaaS市场高速增长，历久弥新
精品推荐
关于我们
关注「云计算」
转载 & 投稿：songhui@csdn.net
商务合作：zhangjing@csdn.net