- 相关博文
- 最新资讯
-
Apache ZooKeeper 是分布式系统中常用的协调服务框架，提供配置管理、命名服务、分布式锁和集群管理等功能。Leader：负责事务请求的处理和集群内数据同步。Follower：处理非事务请求，参与投票选举，接受 Leader 的同步。Observer：不参与投票，仅作为读请求的分流节点。ZooKeeper 的核心目标是保证数据一致性。因此，当 Leader 节点宕机或网络分区时，ZooKeeper 必须通过选举算法快速选出新的 Leader，保证系统继续正常运行。
-
- 青衫111
- 前天
-
-
记住：未来的财税专家，不再是“账本里的能手”，而是“懂数据的规则制定者，会预测的战略支持者”——而提升能力与考取CDA，正是实现这一目标的并行路径。值得注意的是，在财税大数据应用日益成为主流的背景下，仅依靠传统财税课程已难以培养出“懂数据、能建模、善分析”的新型财税人才。作为数据科学与财税场景深度融合的权威证书，CDA不仅能弥补传统课程中数据分析能力的缺失，更可成为财税人员向智能化、战略化转型的“关键推力”。传统课程培养的是“合规执行者”，大数据应用培养的是“数据决策者”。
-
在 PySpark 中，UDF（User-Defined Function，用户自定义函数） 是扩展 Spark 功能的核心工具，用于处理内置函数（如pyspark.sql.functions中的函数）无法覆盖的自定义逻辑（如复杂字符串处理、自定义数值计算、多列联动计算等）。仅当内置函数无法满足需求时才用 UDF。Pandas UDF（Vectorized UDF）：基于Apache Arrow批量处理数据，直接操作 Pandas Series/DataFrame，性能比普通 UDF 提升 5-10 倍。
-
- 灯下夜无眠
- 前天
-
-
摘要 本文介绍了基站数据分库存储的实现方案。针对基站数据量大特点，采用按地区分库策略：动态数据存储在SQL Server，轨迹数据存储在Elasticsearch。实现方法包括：1) 为用户账户打地区标签，实现数据分区查询；2) 使用MyBatis-Plus多数据源插件管理SQL Server连接，配置多个ElasticsearchTemplate处理ES数据；3) 通过定时任务自动创建ES索引。文章还提供了Spring Boot多数据源配置示例和整体架构图，展示了基于地区标签的数据路由机制。该方案有效解决
-
- java、iOS、Vue
- 昨天
-
-
内存管理：充分利用统一内存架构，避免不必要的数据传输批处理大小：根据模型大小调整批处理大小以优化内存使用精度选择：在精度损失可接受范围内使用较低精度计算流水线优化：重叠计算和数据传输操作DGX Spark作为一个专门的AI计算平台，在大模型开发的各个阶段都能发挥重要作用。从数据预处理到模型训练，从微调到推理部署，其统一内存架构和强大的计算能力为AI开发者提供了前所未有的本地开发体验。需要注意的是，虽然DGX Spark性能强大，但合理的算法设计和系统优化仍然是获得最佳性能的关键。
-
- 睡不醒和起不来
- 前天
-
-
Hadoop 是一个开源的分布式计算框架，主要用于处理海量数据的存储和计算问题。通过 Hadoop Distributed File System (HDFS) 将数据分散存储在多个节点上，支持高容错性和横向扩展。例如，存储日志文件、传感器数据等。$$ \text{BlockSize} = \max(\text{dfs.blocksize}, \text{文件大小} / \text{节点数}) $$与传统关系型数据库相比，Hadoop 更适合处理 PB 级数据，但延迟较高（适合离线场景）。
-
- NiceZack
- 昨天
-
-
本文介绍了一个基于大数据的旅游网站用户行为分析系统，采用Hadoop+Spark技术栈，支持Python/Java双语言开发。系统通过Django/Spring Boot实现后端，Vue+ElementUI构建前端，结合MySQL数据库，对用户设备偏好、位置类型、工作时间影响等维度进行多维度分析。核心功能包括用户行为特征提取（如设备使用率、转化率）、聚类分析（KMeans算法）以及可视化展示。系统界面截图展示了丰富的分析图表，代码示例演示了Spark SQL的数据聚合处理流程。
-
- IT毕设梦工厂
- 前天
-
-
前言：在数据爆炸的时代，如何从海量信息里快速捕获有价值的内容，是各行业数字化进程中绕不开的核心挑战。Elasticsearch（简称 ES）作为 分布式全文搜索引擎的标杆性工具，凭借 毫秒级检索速度、灵活的索引定制能力、强大的分布式架构，成为了电商、医疗、金融、运维等众多领域 挖掘数据价值 的关键载体——小到电商平台的商品模糊搜索，大到医疗病历的精准匹配、金融交易的实时风控分析，都能看到 ES 在背后支撑。本文将带您从底层逻辑入手，先看透 ES 与索引的核心原理；再通过 电商、医疗、金融、运维 等真实行业场
-
- Linux运维技术栈
- 前天
-
-
摘要：本文介绍了AMQP协议及RabbitMQ的核心概念与应用。AMQP作为消息中间件的开放标准协议，定义了消息传递的结构和规则。RabbitMQ作为AMQP实现的消息代理，通过生产者、交换机、队列和消费者等核心组件实现应用解耦和异步通信。文章详细解析了四种交换机类型（Direct、Topic、Fanout、Headers）的路由规则及适用场景，并提供了Java操作RabbitMQ的实践指导，包括环境搭建和连接工具类实现。通过消息队列机制，RabbitMQ有效解决了系统间耦合性高、峰值压力和同步阻塞等问题。
-
- 小波饽
- 前天
-
-
管理层面，安全管理模块处理隐患与 “三违” 问题，生产管理跟踪班组作业与进度，机电设备管理实现全生命周期监控，一通三防管理专项管控通风、防粉尘等关键环节，综合决策则通过大数据分析优化成本与运营效率，移动 APP 进一步延伸管理触角至井下一线。三是直观的人机交互，借助三维模型与 GIS 地图，可视化呈现人员轨迹、设备状态等信息，提升管理便捷性。本方案立足煤矿行业发展现状与痛点，构建了集感知、分析、决策、执行于一体的智慧矿山体系，通过技术融合与管理升级，实现煤矿安全生产、高效运营的智能化转型。
-
- matlab@com
- 前天
-
-
影响严重性说明消费停滞高整个组暂停工作，导致消息延迟堆积。重复消费中-高影响系统业务的幂等性，可能导致数据错误。系统开销中通信成本增加，可能成为性能瓶颈。连锁反应灾难性可能导致系统陷入反复Rebalance的恶性循环，完全不可用。Rebalance是Kafka保证高可用和扩展性的基础机制，但频繁的、非预期的Rebalance是生产环境需要极力避免的问题。运维和开发人员应重点关注消费者的健康状况，特别是和的配置，确保消费逻辑高效，从而保证系统的稳定性和低延迟。
-
- 许于宝的博客
- 昨天
-
-
📕我是廖志伟，一名Java开发工程师、《Java项目实战——深入理解大型互联网企业通用技术》、（架构篇）、作者、清华大学出版社签约作家、Java领域优质创作者、CSDN博客专家、阿里云专家博主、51CTO专家博主、产品软文专业写手、技术文章评审老师、技术类问卷调查设计师、幕后大佬社区创始人、开源项目贡献者。
-
- Java程序员廖志伟
- 前天
-
-
本文介绍了ELK（Elasticsearch、Logstash、Kibana）的安装与配置过程。首先提供各组件下载地址，指导用户创建专用目录并解压安装包。重点说明Elasticsearch的配置修改，包括外网访问、端口设置、内存优化以及安全认证等，强调需为非root用户运行。接着介绍Kibana的配置方法，包括关联Elasticsearch、设置中文界面等。最后以MySQL同步为例展示Logstash的配置流程，包括输入、过滤和输出模块的设置，以及JDBC插件的安装。全文提供了详细的命令和配置文件修改示例，
-
- vace cc
- 昨天
-
-
你是否正面临Elasticsearch（ES）许可证变更带来的困扰？是否担心迁移到OpenSearch会导致业务中断？根据AWS 2024年开发者调查，83%的ES用户计划在未来12个月内迁移到OpenSearch，但其中67%的团队遭遇了兼容性问题。本文将系统梳理从ES 7到OpenSearch 2.x的完整迁移路径，通过12个真实案例解析迁移过程中的核心痛点，并提供经生产环境验证的解决方案。...
-
- 樊思露Roger
- 前天
-
-
当你需要将Elasticsearch（ES）集群从2.x升级到8.x，或是在混合版本环境中同步数据时，是否遇到过索引映射不兼容、查询语法错误、数据迁移中断等问题？作为一款功能强大的数据迁移工具，Elasticsearch-Dump（ES-Dump）能够帮助你轻松应对这些挑战。本文将深入剖析ES-Dump如何处理不同ES集群拓扑结构，提供从检测、适配到优化的全流程解决方案，让你彻底告别版本迁移的痛苦...
-
- 钱勃骅
- 2025-09-16
-
-
近一段时间，Serverless的横空出世似乎让大家发现了架构开发的新乐园。无需纷繁复杂的后台开发配置，更不用介怀巨型架构体系造成的“迷宫”困境，开发人员轻松上阵即可完成过去耗时数小时才能搞定的初始版本，极大缩短技术研发与市场检验的距离。
-
-
-
近日2019甲骨文云大会在上海举行。大会今年以“超越，由此开启”为主题，聚集了众多数字化领军企业代表，与合作伙伴、技术专家和意见领袖一起共同探讨技术创新将如何帮助企业探索数据价值，创造无限可能。
-
-
如果有人要问2019年技术圈什么最热，“中台”绝对当仁不让，从观望到试水，很多公司做出了从 0 到 1 的探索。众所周知，“中台”一词在国内最早是由阿里提出来的，2015 年，马云参观芬兰游戏公司Supercell，观察其每个游戏开发的小团队只有六七个人，但开发与停止的速度之快，让马云即惊讶又好奇。得知如此快的原因是开发者将游戏开发过程中用到的一些通用的游戏素材和算法整理出来，作为工具提供给小团队使用，使得同一套工具可以支持多个游戏研发团队。这样的架构模式给了马云很大的震撼和启发，这也催生了阿里巴巴的中台战略，加之越来越的企业跟随其热度，寄希望于借助中台推动业务增长以快速实现数字化转型， “中台”得以风靡。
-
-
i 智慧 | 为云而生、多快好省，这就是星星海的style!
不久之前，腾讯云刚刚对外上新了一款服务器，号称深度自研且独一无二，其名字也十二分的卡哇伊，叫做“星星海”。晶少虽然还没来得及探寻其名的出处，不过在与腾讯服务器供应链总经理刘裕勋的谈聊中已基本了解到星星海的重要style之一，为云而生。
-
IBM在中国发布Cloud Paks，牵手神州数码，助力企业云转型步入“第二篇章”
近日IBM中国今天宣布，IBM已经将其软件组合转化为云原生，并对其进行优化，使之在红帽OpenShift上运行。首批转型成果——IBM Cloud Paks产品组合——正式亮相中国市场。
-
CSDN云计算现强势开启“云+X”案例征集活动，从先进性、拓展性、效益性等三个基本方向出发，深入展现云技术作用行业的突出优势。我们有理由相信，挖掘展现更多优秀案例定会给不同行业领域带来启迪，进而推动整个“云+行业”的健康发展。
-
腾讯Techo开发者大会揭晓云存储发展趋向：高性能、高可用、高性价比
产业数字化转型过程中产生着比过去任何一个时代都多的数据。在这样的背景下，数据存储技术应该怎么发展？11月7日，在腾讯Techo开发者大会上，来自科研领域的专家和腾讯云存储业务的工程师们共同揭开了云存储的发展趋势。
-
-
-
-
世界第一超算Summit需要大约1万年来完成的计算，量子计算机需要多久？ 谷歌研究人员给出答案：3分20秒。 据英国《金融时报》报道，谷歌研究人员在本周向美国国家航空航天局（NASA）提交的论文中写道，其实验标志着量子处理器上执行的首次计算。而这一堪称“恐怖”的计算速度，被研究人员称作是“量子霸权”的证明。
-
没有美支持，华为表示其5G仍能保持世界领先；谷歌发布补丁；微软发布 SQL Server 2019 新版本……...
速递、最新、绝对有料。这里有企业新动、这里有业界要闻，打起十二分精神，紧跟fashion你可以的！ 每周两次，打卡即read 更快、更全了解泛云圈精彩news go go go
-
-
首次落地中国大陆的OpenInfra：中国对于开源做出的贡献力量已不可忽视
一张标志着上海现代建筑地标的东方明珠海报，另一张展示着上海悠久历史的豫园景区海报，不仅向我们展示了这座城市浓厚的历史气息与现代化的繁荣，也让我们看到了OpenStack历经9年历史背后仍有着新鲜的科技气息。仅从这两张景色迷人且拥有时尚气息的两张海报，便能够看出此次开源基础设施峰会的用心良苦。没错，前身为OpenStack Summit的Open Infrastructure Summit首次落地中国大陆，而此次也正是阿丹第一次参加这场盛会，深感荣幸。
-
12306 的技术扒光在你面前，100 万人如何抢 1 万张票
12306 抢票，极限并发带来的思考。 每到节假日期间，一二线城市返乡、外出游玩的人们几乎都面临着一个问题：抢火车票！虽然现在大多数情况下都能订到票，但是放票瞬间即无票的场景，相信大家都深有体会。
-
活动
-
2021-11-10
-
2021-03-09
-
2020-12-16
独家定制
-
-
3500人的专业安全团队与你同在
-
-
CSDN云计算在线公开课
-
-
IaaS市场高速增长，历久弥新
精品推荐
关于我们
关注「云计算」
转载 & 投稿：songhui@csdn.net
商务合作：zhangjing@csdn.net