- 相关博文
- 最新资讯
-
在物流行业中，大数据技术能显著提升效率、降低成本。本实践结合 Apache Spark（分布式计算引擎）和 HBase（分布式 NoSQL 数据库），优化快递路径规划（如最短路径）和运力调度（如车辆分配）。下面我将逐步解释核心概念、优化方法、实现步骤，并提供示例代码。整个过程基于真实场景，确保实用性和可靠性。通过本实践，企业可实现智能物流：例如，某快递公司应用后，配送时间缩短 25%，资源利用率提升 30%。以下是一个简化示例，展示 Spark 与 HBase 集成，优化路径和调度。
-
同时,经过富化的数据还可以被同步路由到其他平台,如用于机器学习模型训练的数据湖或实时监控仪表盘,打破了SIEM作为唯一数据消费者的局限,使整个安全数据生态系统更加灵活和经济高效。它弥合了"警报"与"调查所需证据"之间的鸿沟,将过去需要多个步骤、手动关联的过程,转变为一个单一的、数据丰富的事件流。安全性是Kafka架构的关键组成部分,它支持通过SSL/TLS进行数据传输加密,通过SASL进行身份验证,以及通过访问控制列表（ACLs）进行细粒度的授权管理,确保数据管道的机密性、完整性和可用性。
-
- IAN李车
- 昨天
-
-
PandaCoder Git统计工具是一款集成在IntelliJ IDEA中的个人成长分析工具，旨在帮助程序员通过Git提交数据实现自我提升。该工具提供七大核心功能：个人统计多维度分析代码贡献、每日统计追踪开发节奏、项目代码统计评估项目规模、总览页面展示成长全貌，以及独特的AI代码统计功能（可识别AI辅助代码占比）。所有功能零配置即可使用，通过可视化数据帮助开发者反思编程习惯、优化代码质量，并平衡AI工具使用，最终实现持续的技术精进。
-
- 舒一笑不秃头
- 23小时前
-
-
系统采用Python语言，基于Django框架与Vue.js构建前后端分离架构。核心亮点在于引入大数据技术，利用Hadoop存储数据，通过Spark计算引擎对奥运数据进行深度的分布式处理与分析。系统实现了历史趋势、国家实力、竞争格局等六大模块的可视化分析功能，将复杂的原始数据转化为直观的图表。本项目不仅是一次大数据全栈技术的综合实践，也为体育数据分析提供了一个高效、多维的探索工具。
-
- 计算机编程指导师
- 昨天
-
-
摘要：Kafka 4.1.0版本引入了新的队列消费模型（KIP-932提案），通过共享组协议实现多消费者并发处理消息。文中演示了如何在Docker中配置启用该预览功能，并使用Spring-Kafka框架实现共享消费者。配置包括开启Share协议、共享组模式等参数，代码示例展示了创建10个并发消费者的消息监听容器，用于处理"image-processing"主题的消息。这种新模型突破了传统partition数量限制消费者的约束，提供了更灵活的并发消费能力。
-
- Muroidea
- 昨天
-
-
湖仓一体是大数据领域新兴架构，旨在解决传统数据仓库与数据湖的局限性。数据仓库适用于结构化数据分析但扩展性差，数据湖存储灵活但缺乏治理能力。湖仓一体将二者优势结合，在统一平台上实现原始数据存储与数据分析处理，支持ACID事务、多格式数据管理和开放计算生态。该架构能降低企业数据管理成本，提升数据一致性，并支持实时分析处理。未来将向智能化运维、流批融合、云原生等方向发展，成为大数据架构的主流趋势。成功实施湖仓一体需要合理规划和数据治理能力建设。
-
- isNotNullX
- 昨天
-
-
文章摘要： yfinance是一个基于雅虎财经数据的免费Python库，适用于股票投资者、金融分析师及量化交易初学者。它支持获取全球股票、基金、加密货币等金融产品的实时与历史数据，包括价格、财务报表、分红记录等，且无需API密钥。 核心功能： 基础操作：通过Ticker对象获取股票信息（如市值、市盈率）及历史价格（日/周/月线）。 高级功能：批量下载多只股票数据（yf.download()）、获取财务报表（资产负债表、利润表）及指数成分股。 可视化：结合Matplotlib/Seaborn绘制价格走势、成交
-
- 猿大叔~
- 昨天
-
-
本文详细介绍了Elasticsearch高级搜索功能的实现方法，包括分页查询、结果排序和搜索结果高亮三大核心功能。通过Java API示例代码，展示了如何实现分页参数设置、多级排序规则配置以及关键词高亮显示，帮助构建专业高效的酒店搜索系统。文章还强调了性能优化注意事项和最佳实践，如避免深度分页、合理使用高亮功能等，为开发人员提供了全面的技术指导。
-
- 光仔December
- 21小时前
-
-
Java大数据赋能智能政务监管 本文探讨了Java大数据技术在公共资源交易监管中的应用。传统监管面临数据孤岛、效率低下和监管滞后三大痛点，而Java大数据技术凭借其跨平台性、高并发处理能力及丰富生态，成为破解困局的"金钥匙"。 技术架构包含： 数据采集层：基于HttpClient和JSoup实现分布式采集，配备重试机制保障数据完整性； 数据处理与分析层：利用Spark框架构建分析流水线，通过逻辑回归模型实现异常交易识别； 数据可视化层：直观展示分析结果。 该解决方案显著提升了监管效率与精
-
- 青云交
- 21小时前
-
-
掌握C#异步方法ConfigureAwait(false)作用，避免死锁并提升性能。适用于ASP.NET、库开发等场景，通过控制上下文捕获优化线程切换，增强应用响应性与可扩展性，高性能编程关键技巧，值得收藏。
-
- Instrustar
- 前天
-
-
这10个技术不是“孤立的”，而是一个完整的生态基础层：湖仓一体（存储）、云原生大数据（部署）；处理层：实时计算（Flink）、OLAP（ClickHouse）；AI融合层：向量数据库（存储）、大数据+AI融合框架（准备）；合规层：隐私计算（安全）、数据治理（管理）；普惠层：低代码工具（业务人员用）、边缘大数据（低延迟场景）。有人说“大数据已经饱和了”——但实际上，大数据的“深水区”才刚刚开始湖仓一体的“实时化”（比如Delta Lake的实时表）；
-
- 大厂资深架构师
- 22小时前
-
-
从[官网](https://spark.apache.org/downloads.html)下载最新版（如Spark 3.5.1）$SPARK_HOME/sbin/start-worker.sh spark://master_IP:7077 # 工作节点。访问`http://localhost:4040`（单机）或`http://master_IP:8080`（集群）查看任务状态。> - 完整文档见[Spark官方指南](https://spark.apache.org/docs/latest/)
-
- 梦里不知身是客11
- 21小时前
-
-
12月3日，广东省农村信用社联合社银信中心副总裁周丹在2019年阿里云广东峰会上透露，通过携手阿里云，广东农信实现了从传统架构向云化的转型升级，金融业务系统的搭建工期从按月计算缩短至按天计算，效率大幅提升。
-
12月3日，广州云峰会上，阿里云宣布推出面向混合云场景的CPFS一体机和视觉AI一体机，两款新品具备超高性能、开箱即用等特性，极大降低企业上云的周期和门槛。加上此前推出的POLARDB数据库一体机和蚂蚁mPaaS一体机，阿里云已为客户提供了四款一体机家族产品，集结了云、网、边、端一体化的能力，打破云的边界，让企业能够随时随地全栈、全态、甚至全域上云。
-
阿里云提出“云+Fintech”新金融战略 已助上万家金融机构上云
12月3日，阿里云峰会广东期间，阿里巴巴副总裁、阿里云智能数字政府事业部总裁许诗军表示，目前阿里云已成为中国数字政府大数据整体市场第一，也是数字政府大数据基础平台软件市场第一。
-
12月3日，阿里云峰会广东期间，阿里巴巴副总裁、阿里云智能数字政府事业部总裁许诗军表示，目前阿里云已成为中国数字政府大数据整体市场第一，也是数字政府大数据基础平台软件市场第一。
-
12月3日，在阿里云广东峰会上，阿里云联合超图软件、长光卫星、Maxar技术、四维测绘等顶级卫星影像产业链公司发布数字地球引擎，提供开放式的影像数据集、遥感AI能力、丰富的API接口等，在国土资源监管、水利河道治理、自然环境保护和农业估产等领域帮助政府和企业提升效率。
-
12月3日，阿里云广东峰会期间，大横琴科技公司联合阿里云发布了全国首个跨境服务创新平台。基于该平台，全国首个跨境服务APP“琴澳通”也正式发布。“琴澳通”将为澳门企业及个人提供服务，推动澳门和广东两地的产业经济联动，数字化升级。
-
“我们希望帮助工厂从原来的单点变成全产业链、全价值链、全要素的融合，变成数字化智能化的工厂，并为工业产品带来智能化。”库伟表示。
-
12月3日，在2019阿里云广东峰会上，阿里云智能总裁张建锋表示，全面迈入数字经济时代，数据成为社会经济发展的新生产要素，云智能是新基础设施。
-
-
不管我们是不是技术迷，无可否认的是，现在我们各自的生活都对互联网产生了高度依赖。在这个各种社交软件都离不开物联网设备的社会，它们以各式各样的方式将我们与网络世界连接起来。
-
-
华为云TaurusDB计算存储分离架构：让数据“身”分离，“心”凝聚
在2019年HC大会上，华为重磅推出最新一代高扩展海量存储分布式数据库——TaurusDB，它拥有一个最大的特点就是将存储和计算以一种分离的架构形式运行。很多人就会问到，华为云为什么会设计这款产品？核心竞争力是什么？对比原生MySQL的优势有哪些？借此时机，CSDN记者有幸采访到了华为云TaurusDB数据库资深技术专家，现在就请他来为我们一一解答。
-
本月12日，中国移动31个省的通信工程设计与可行性研究集采正式启动。 这次集采规模庞大，涵盖了无线网(5G、FDD、NB等)、核心网、承载网、支撑网等专业方向，预估基本规模超400亿元，预估扩展规模超600亿元。 毫无疑问，5G，是中国移动本次集采的主要目标。
-
不管我们是不是技术迷，无可否认的是，现在我们各自的生活都对互联网产生了高度依赖。在这个各种社交软件都离不开物联网设备的社会，它们以各式各样的方式将我们与网络世界连接起来。
-
-
11月28日，阿里云正式开源机器学习平台 Alink，这也是全球首个批流一体的算法平台，旨在降低算法开发门槛，帮助开发者掌握机器学习的生命全周期。
-
-
2019年技术盘点云数据库篇（一）：UCloud专家谈云数据库：千锤百炼 云之重器
公有云逐渐成为企业运行 IT 设施的新趋势，那么作为企业最核心的系统—数据库，数据上云也成为大数据时代的必然选择。对企业来说，数据可视为其命脉，因此数据迁移上云就意味着将企业“命脉”搬到云平台。事实上，数据上云有两种形式，数据库直接上云或者选择云数据库，而云数据库利用其云原生的优势具备了许多过去数据库产品不具备的优势，包括可靠性、弹性、存储容量以及成本等，正逐渐被更多的企业所接受。
-
随着移动互联网、信息技术等创新发展，数据量呈指数级爆发式增长并表现在多个方面，即规模扩张、结构多元化的数据新形态；业务升级转型带来的场景化需求数据新部署；市场细分带来的数据应用新模式以及承载行业发展，发挥核心资源池地位的数据新价值等。据IDC预测，全球数据圈将从2018年的33ZB增至2025年的175ZB，实现5倍以上的增长。在新数据时代，数据在数据形态、部署环境、应用模式和价值需求等方面均出现了更为精细化的需求，应对数据爆发压力，欲将海量的连接、微秒级的延迟、极高的性能体验为我所用，创新存储价值则变得势在必行。
-
活动
-
2021-11-10
-
2021-03-09
-
2020-12-16
独家定制
-
-
3500人的专业安全团队与你同在
-
-
CSDN云计算在线公开课
-
-
IaaS市场高速增长，历久弥新
精品推荐
关于我们
关注「云计算」
转载 & 投稿：songhui@csdn.net
商务合作：zhangjing@csdn.net