• 相关博文
  • 最新资讯

  • 易懂案例：用班费记账来理解区块链共识算法、提案、交易、共识、一致性、随机竞争、PoW、PoS、FLP定理、CAP定理、Paxos共识算法、Raft共识算法、ZooKeeper分布式关系型数据库系统是什

    选择理由，精准屏蔽

    本文通过班级班费管理场景类比区块链共识机制，将复杂概念具象化。班费记账中的收支记录对应区块链交易，班委投票类似共识过程，不同记账规则映射PoW/PoS等算法。分布式系统定理如FLP和CAP揭示了"完美记账系统不存在"的客观限制。文章还对比了各类共识算法的适用场景与特性，指出区块链设计需在去中心化、效率与一致性间权衡。这种生活化类比有助于理解区块链底层原理，强调共识机制的核心目标是在分布式环境中达成"可接受的一致性"。
    oubin1991
    通俗易懂讲IT
    昨天
    阅读数 534
    评论

  • Flink部署实战：从入门到优化

    选择理由，精准屏蔽

    在启动Flink网络部署前，需明确三个关键维度：网络拓扑结构、资源隔离需求和运维复杂度。生产环境则推荐YARN/K8s集成方案，这类方案天然具备资源弹性能力。网络带宽规划需结合数据源特性：Kafka等流式数据源建议部署在同一可用区，避免跨机房流量。生产环境建议开启YARN的Node Label功能，实现计算资源与存储资源的物理隔离。通过渐进式调优，逐步达到资源利用率与系统稳定性的平衡点。实际部署中，建议建立完善的监控体系，重点关注。适用于测试环境或轻量级作业，需手动配置。通过Flink UI观察。
    c_lutch
    cong_han
    17小时前
    阅读数 206
    评论

  • RabbitMQ 和 Kafka

    选择理由，精准屏蔽

    RabbitMQ 是一个开源的消息代理，它实现了高级消息队列协议。你可以把它想象成一个功能强大的“智能邮局”或“消息交换中心”。它的核心职责是接收、存储和转发消息，确保消息能够从生产者安全、可靠地送达消费者。RabbitMQ 最初由 Rabbit Technologies 公司开发，现在隶属于 VMware，拥有非常活跃的社区和广泛的企业应用基础。Kafka 最初由 LinkedIn 开发，现在是 Apache 软件基金会旗下的顶级开源项目。它不仅仅是一个消息队列，更是一个。
    2301_77037373
    2301_77037373
    前天
    阅读数 790
    评论

  • 【有源码】基于Spark+Hadoop的食管癌临床数据分析与可视化系统-基于数据挖掘和可视化的食管癌临床数据分析大屏系统

    选择理由，精准屏蔽

    本文介绍了一个基于Spark+Hadoop的食管癌临床数据分析与可视化系统，系统采用Python开发，结合Django、Vue、Echarts等技术框架，实现了对食管癌多维度数据的深度分析和直观展示。系统包含四大核心功能模块：患者群体基本特征分析、风险因素关联分析、生存状况预后评估和治疗方案效果探索。通过大数据处理技术，系统能够挖掘临床数据中的深层规律，为医学研究提供数据支持。文中展示了系统界面和部分功能代码，并提供了相关毕设选题推荐。
    IT_YQG_
    Q2643365023
    昨天
    阅读数 670
    评论

  • Spark Shuffle机制深度解析与优化

    选择理由，精准屏蔽

    Shuffle（中文译为“洗牌”）是分布式计算中的通用概念，指将数据按照某种规则（通常是Key的哈希值）重新分区并跨节点传输的过程。在Spark中，Shuffle特指宽依赖（Wide Dependency）场景下，Map任务的输出数据被重新分配给Reduce任务的过程。举个生活中的例子：假设你是一家快递公司的分拣员（Map任务），需要将全国的快递（数据）按目的地（Key）分类。
    2501_92132293
    AI量化价值投资入门到精通
    前天
    阅读数 582
    评论

  • rabbitMQ延时队列实现，怎么保证消息的幂等

    选择理由，精准屏蔽

    (2)生产环境推荐用 rabbitmq_delayed_message_exchange 插件（更可靠）消息幂等性指：同一条消息被多次消费时，结果是一致的，不会重复处理。(2)消费前检查标识是否已处理（Redis / 数据库）(3)确保检查和标记操作的原子性（分布式锁 / 事务）(1)为消息生成唯一标识（全局 ID 或业务唯一键）这两种机制结合，可实现可靠的延时任务处理。(1)简单场景用 TTL + 死信队列。
    weixin_44997483
    L-HENG
    前天
    阅读数 309
    评论

  • Kafka和RocketMQ中，平衡顺序性与吞吐量的核心

    选择理由，精准屏蔽

    Kafka与RocketMQ参数配置策略对比：Kafka通过分区策略、acks=all、幂等性等保障顺序性，采用批处理压缩提升吞吐；RocketMQ通过队列选择器、同步刷盘确保顺序，异步发送优化吞吐。关键差异：Kafka在日志场景吞吐高3倍，RocketMQ在弱顺序场景延迟低30%。调优建议：金融场景用RocketMQ同步刷盘，日志处理选Kafka高吞吐配置，混合场景可结合两者优势。监控指标和动态扩缩容策略对系统优化至关重要。
    sos62317
    Alex艾力的IT数字空间
    23小时前
    阅读数 485
    评论

  • 决策思维研究体系主要构成

    选择理由，精准屏蔽

    学科领域决策研究核心侧重典型决策场景核心工具/模型示例管理科学量化模型与管理效率企业投资、生产决策决策树、层次分析法（AHP）决策科学理性与有限理性的平衡复杂不确定性决策前景理论、多属性效用理论认知心理学决策思维机制与偏差修正个人或团队的判断决策双系统理论、偏差清单行为经济学行为规律与决策引导消费、公共政策决策助推理论、心理账户逻辑学决策推理的逻辑有效性论证类、规则类决策演绎推理、概率逻辑公共政策学公共价值与多方参与政府政策、公共服务决策。
    cxr828
    由数入道
    23小时前
    阅读数 598
    评论

  • 海量数据下的高效计算

    选择理由，精准屏蔽

    就像 “做饭时把常用调料放灶台边，不用每次都去厨房柜子拿”：Spark 把计算中反复用的数据存到 “内存灶台”，避免每次都跑 “HDFS 厨房” 搬数据，做饭（计算）速度自然快。相当于 “把书按‘章节’分类放（列式存储），要查‘第三章数据’时，不用把整本书都翻一遍，直接拿第三章的内容”，比 “按页码顺序放（行式存储）” 快得多。就像 “公司会议室调度”：核心会议（实时风控）优先占大会议室，临时小会议（离线报表）用小会议室，会议结束后马上释放房间，没人占着不用，也没人抢不到房间。
    qq_61504864
    Zhou_Yanmin
    昨天
    阅读数 722
    评论

  • Elasticsearch面试精讲 Day 3：分片与副本策略详解

    选择理由，精准屏蔽

    Elasticsearch 是一个分布式搜索引擎，数据被分割成多个分片（Shard），每个分片是一个独立的 Lucene 索引。分片是数据分布和并行处理的基本单位。主分片（Primary Shard）：负责数据写入和存储，索引创建时必须指定数量，且不可更改。副本分片（Replica Shard）：主分片的拷贝，用于提高可用性和查询吞吐量。📌 类比理解：可以把一个索引想象成一本书，分片就是这本书被拆分成的若干章节，分别放在不同的服务器上；副本则是每章的复印件，用于防丢失和多人同时阅读。
    qq_qingtian
    在未来等你
    23小时前
    阅读数 654
    评论

  • Kafka面试精讲 Day 3：Producer生产者原理与配置

    选择理由，精准屏蔽

    Kafka Producer 是客户端组件，负责将消息发送到 Kafka 集群中的指定 Topic。它不是简单的“发送即完”，而是一个高度可配置、支持异步高吞吐、具备容错能力的复杂组件。@Override// 按key前缀路由：以A-M开头的进0号分区，N-Z进1号分区return 0;} else {@Override@Override⚠️ 错误用法：不设 key 且使用默认分区器 → 导致轮询，破坏顺序性Producer 是消息写入的入口，支持异步高吞吐acksretries。
    qq_qingtian
    在未来等你
    23小时前
    阅读数 540
    评论

  • ElasticSearch

    选择理由，精准屏蔽

    ES是一个使用Java语言并且基于!ucene编写的搜索引擎框架，他提供了分布式的全文搜索功能，提供了一个统一的基于RESTFUl风格的WEB接口，官方客户端也对多种语言都提供了相应的API。Lucene:Lucene本身就是一个搜索引擎的底层。分布式:ES主要是为了突出他的横向扩展能力。全文检索:将一段词语进行分词，并且将分出的单个词语统一的放到一个分词库中，在搜索时，根据关键字去分词库中检索，找到匹配的内容。（倒排索引）
    feiqipengcheng
    月屯
    17小时前
    阅读数 509
    评论

  • Git学习笔记+操作教程（IDE里操作git）：新手也能轻松搞定版本控制

    选择理由，精准屏蔽

    这篇文章是一份面向零基础开发者的Git版本控制工具入门指南。作者从自身踩坑经历出发，系统性地介绍了Git的核心概念、操作流程和实用技巧。文章首先解释了版本控制的必要性，对比了Git与其他工具的优势，详细讲解了Git的安装配置、本地仓库管理、远程仓库操作（以Gitee为例）、分支管理等重点内容。特别提供了IDE可视化操作指南和冲突解决方法，并总结了新手常见错误。全文采用生活化比喻（如购物车、储物柜）降低理解难度，强调;先掌握核心流程再逐步深入的学习路径，最后鼓励读者通过实践来真正掌握Git。
    a15585391608
    森林-
    昨天
    阅读数 754
    评论

  • 一文搞懂FLink框架中的算子

    选择理由，精准屏蔽

    Flink 是流式计算框架。我们编写Flink代码，其实就是定义了一连串的处理操作，我们定义每一个处理转换操作都叫作 “算子”（Operator），所以我们的程序可以看作是一串算子构成的管道，数据则像水流一样有序地流过，每流过一处，算子就要对数据进行一次处理，不同算子的功能是不同的。算子是数据流应用程序计算的基本单元，可以通过消费输入的数据进行一系列逻辑计算。比如我们之前学习的对文本文件中词频统计的flink程序，基于执行环境调用的socketTextStream()方法，就是一个读取文本流的输入算子。
    huanfeng_AI
    每天五分钟玩转人工智能
    17小时前
    阅读数 157
    评论

  • 石化设备健康管理平台：工业智能化转型的关键使能技术​

    选择理由，精准屏蔽

    作为工业物联网（IIoT）与人工智能（AI）技术的深度融合应用，正成为行业数字化转型的核心抓手。​：综合振动RMS值（如压缩机轴承振动＜3mm/s为健康）、温度（关键部位＜设计限值80%）、工艺参数（如反应釜压力波动＜±3%）等参数，输出0-100分评分（HI＞85为健康，60-85为注意，＜60为高风险）。​：结合设备重要性等级（如一级关键设备：裂解炉、主压缩机）、生产计划（如近期是否有大修窗口），生成"立即停机维修""降负荷运行""持续监测"等建议，并自动推送至MES系统执行。
    zxsz_com_cn
    zxsz_com_cn
    昨天
    阅读数 341
    评论

  • Jedis、Lettuce、Redisson 技术选型对比

    选择理由，精准屏蔽

    本文对比分析了三种主流Redis客户端(Jedis、Lettuce、Redisson)的技术特性。Jedis是轻量级同步客户端，适合简单场景；Lettuce采用异步/响应式模型，性能优异；Redisson提供丰富的分布式功能。从性能看，Lettuce在内存占用和响应延迟方面表现最佳；从功能看，Redisson分布式能力最强；从易用性看，Jedis学习成本最低。针对报表系统等大数据量场景，推荐使用Lettuce，因其非阻塞模型适合大数据查询，且与Spring生态集成良好。文章还提供了从Jedis迁移到Lett
    weixin_56693899
    布朗克168
    昨天
    阅读数 683
    评论

  • flink中 Lookup Join和Interval Join和Regular Join使用场景与对比

    选择理由，精准屏蔽

    Flink中三种Join对比：1）Lookup Join用于流表关联外部维表（如MySQL），无状态但依赖外部查询性能；2）Interval Join通过时间窗口关联双流（如1小时内订单匹配支付），状态仅保留窗口数据；3）Regular Join实现无限制双流关联，状态持续增长需设置TTL。选型建议：查维表用Lookup，时间窗用Interval，无限制精确匹配用Regular。
    qq_27627985
    工作中的程序员
    昨天
    阅读数 834
    评论

  • 编写一个用scala写的spark程序从本地读取数据，写到本地

    选择理由，精准屏蔽

    本文介绍了在Windows环境下配置Hadoop开发环境的关键步骤，主要包括：设置HADOOP_HOME环境变量、下载必要的hadoop.dll和winutils.exe文件并配置PATH路径。同时提供了Spark项目的Maven配置（pom.xml）和WordCount示例代码，其中包含SparkContext初始化、RDD操作和结果输出等核心功能。开发环境基于Scala 2.12.20、Spark 3.5.6、Hadoop 3.3.6和OpenJDK 1.8。文中还提供了参考文章的链接，供遇到其他问题时
    lwprain
    lwprain
    昨天
    阅读数 158
    评论

  • dromara/easy-query分页查询：大数据量的高效处理

    选择理由，精准屏蔽

    在处理大数据量时，传统的分页查询往往面临严重的性能问题。你是否遇到过以下场景：- 数据量达到百万级别时，`LIMIT offset, size` 查询越来越慢- 深度分页（如第1000页）时数据库IO急剧上升- 分片环境下分页查询变得异常复杂- 需要同时获取总数和分页数据，导致多次查询easy-query提供了革命性的分页解决方案，专门针对大数据量场景进行了深度优化。## eas...
    gitblog_00262
    范靓好Udolf
    前天
    阅读数 650
    评论

  • HBase高效并发锁：IdLock极简内存设计

    选择理由，精准屏蔽

    IdLock是HBase中针对数字ID设计的轻量级并发锁机制，核心思想是"按需创建，用后即焚"。它通过ConcurrentHashMap存储锁对象(Entry)，仅在需要时动态创建，无等待线程时立即销毁。获取锁时，线程先尝试快速路径(map.putIfAbsent)，失败则进入等待队列；释放锁时根据等待者数量决定唤醒或删除Entry。这种设计完美解决了海量ID加锁场景下的内存浪费问题，特别适合HBase中对HFile块偏移量等稀疏数字ID的并发控制。
    lifallen
    lifallen
    昨天
    阅读数 357
    评论
加载中...

活动

独家定制

乘风者之星来啦！发文享阿里内推机会和50W流量曝光！

点击查看

腾讯安全专区

3500人的专业安全团队与你同在

C课有道

CSDN云计算在线公开课

云中不可忽视的IaaS创新

IaaS市场高速增长，历久弥新

精品推荐

关于我们

关注「云计算」​

转载 & 投稿：songhui@csdn.net

商务合作：zhangjing@csdn.net