- 相关博文
- 最新资讯
-
本文提出了一种基于消息队列的分布式任务调度优先级设计方案。通过利用RabbitMQ、RocketMQ等消息队列内置的优先级功能，实现高优先级任务优先调度、同级任务公平FIFO处理。方案采用单一业务交换机和启用优先级的队列，通过设置消息优先级属性(x-max-priority)实现任务分级。在消费端通过手动ACK/NACK机制、预取控制(prefetch=1)和幂等处理(taskId去重)确保消息可靠消费，同时支持消费者动态扩容。文章还指出优先级只在队列积压时生效的特点，并建议设置合理优先级档位
-
- 要阿尔卑斯吗.
- 19小时前
-
-
本文系统介绍了分布式架构中四种数据库（MySQL、PostgreSQL、Redis、MongoDB）的数据变更感知（CDC）实现方案。MySQL基于Binlog的RBR模式，PostgreSQL通过WAL逻辑复制槽，MongoDB使用官方Change Streams，Redis则依赖有限的Keyspace通知功能。文章详细对比了各方案优缺点，并提出了通用工程化实践，包括全量+增量同步、断点续传、事件幂等处理等。建议将权威数据源CDC与消息总线结合构建平台化方案，同时指出Redis仅适合作为辅助缓存联动。
-
- 要阿尔卑斯吗.
- 19小时前
-
-
本文介绍了Spark中的三个重要转换算子：zipWithIndex、mapPartitions和mapPartitionsWithIndex的使用案例。zipWithIndex用于将RDD元素与其索引组成键值对；mapPartitions以分区为单位处理数据，适合批量操作如数据库连接；mapPartitionsWithIndex则在处理分区数据时能获取分区索引。文章分别展示了Java和Scala两种语言的实现代码，并通过示例演示了这些算子在实际应用中的场景和优势，如减少重复初始化开销等。运行结果显示这些算子
-
- Lansonli
- 19小时前
-
-
摘要：Sqoop 1.4.7与HBase 2.4.11存在API兼容性问题，因Sqoop 1.4.7仅支持HBase 1.x。升级到Sqoop 1.9.x虽解决HBase兼容性，但与Hadoop 3.1.3又不兼容。需要寻找既兼容HBase 2.x又能与Hadoop 3.1.3协同工作的解决方案，或考虑其他数据迁移工具。（98字）
-
- QL_凉
- 昨天
-
-
为何是31次方，不是32次方，又为何要减1?因为最高位用来表示正负，只剩下31位来表示数值。00/01/10/11，总数为2²也就是4，最大值为3，那31位就可以用2的31次方-1表示。自解:在于lucene的设计，它为每篇文档分配唯一值表示id,而这个唯一值定义为java的int类型它是32位有符号整数，因为有符号意味着最高位用来标示正负，不作数值表示，故能达到的理论数字为2的31次方-1，约21.47亿。最高位表示正负，其余31位用来表示数值。问题来源:ES索引能处理多大的数据。
-
- 擦肩千万难把君见、
- 22小时前
-
-
一键启动HDFS集群执行原理：在执行此脚本的机器上，启动SecondaryNameNode；在Jetbrains的产品中，均可以安装插件，其中：BigDataTools插件可以帮助我们方便的操作HDFS，比如IntelliJIDEA（JavaIDE）、PyCharm（PythonIDE）、DataGrip（SQLIDE）均可以支持BigdataTool插件。注：使用WEB浏览操作文件系统，一般会遇到权限问题，这是因为WEB浏览器中是以匿名用户（dr.who）登陆的，其只有只读权限，多数操作是做不了的。
-
- 小蛋塔
- 昨天
-
-
RabbitMQ 是各种规模的公司使用的最受欢迎的开源消息代理之一。消息代理是一个允许不同组件（例如应用程序和服务）通过交换信息进行通信的系统。通常，它使用消息队列结构来存储和排序消息，以便消费者（例如应用程序或服务）处理消息。
-
Node.js微服务架构设计指南 微服务架构应避免生搬硬套Java解决方案，聚焦业务需求与云原生能力结合。Node.js微服务应优先利用Kubernetes等云平台基础设施，而非重建中间件轮子。 关键技术选型： 配置管理：@nestjs/config或config库 服务发现：集成Consul/Eureka 熔断保护：opossum断路器 负载均衡：Kubernetes Ingress/Nginx 链路追踪：jaeger-client实现 日志采集：winston/pino高性能方案 监控告警：Promet
-
- Wang's Blog
- 昨天
-
-
本文介绍了基于Python构建中华古诗词知识图谱的可视化技术方案。系统采用四层架构：1）数据采集层整合多源诗词数据；2）知识抽取层通过NLP技术识别实体关系；3）图谱构建层使用Neo4j存储诗词、作者、朝代等节点及其关联；4）可视化层提供交互式图形展示。关键技术包括领域词典优化、TF-IDF关键词提取和查询性能优化。应用效果显示该系统能显著提升诗词学习效率和文化研究深度，未来可扩展多模态数据和AI创作功能。该项目为文化数字化提供了创新解决方案。
-
- B站计算机毕业设计大学
- 昨天
-
-
本文提供了在AWS EC2实例上部署Elasticsearch和Kibana的详细指南。通过创建EC2实例（使用Amazon Linux 2023 AMI）、配置安全组规则并安装相关软件包，用户可以搭建完整的Elasticsearch环境。文章比较了EC2部署与其他选项的优势，强调其在资源控制、安全性及原型开发方面的灵活性。安装步骤包括下载验证软件、设置Kibana访问权限，并说明了如何验证服务运行状态。该方案适合需要完全控制环境的技术人员，同时建议生产环境考虑添加自动启动、集群配置等增强功能。
-
本文介绍了Kafka 4.1.0集群的部署与架构。主要内容包括：1）采用KRaft协议（无需Zookeeper）搭建三节点集群，详细说明配置参数和启动流程；2）讲解Kafka架构组件，重点说明生产者的消息发送机制（含Spring Boot集成示例）和消费者的分区订阅策略；3）分析Broker存储结构和Topic分区/副本特性。文章还提供了实际部署中的注意事项，如生产者分区策略配置、消费者与分区数匹配等常见问题解决方案。
-
- 会飞的云1024
- 19小时前
-
-
摘要：本文解决了CDH6.2.0环境中Spark3写入Hive后查询报错(ArrayIndexOutOfBoundsException)的问题。该异常是由于Spark3使用的ORC版本高于CDH6的Hive版本导致。作者提供了两种解决方案：1)修改Hive兼容高版本ORC(需替换OrcFile.class)，2)修改Spark3的ORC默认写入版本并重新编译ORC-core包。文章详细介绍了第二种方法的具体实施步骤，包括修改OrcFile.java源码关键参数、调整pom.xml仓库配置、使用mvnw编译等
-
- appleYQL
- 17小时前
-
-
在实时化转型过程中，如何将“上百张业务表”的全量 + 增量一致地搬到 StarRocks/Doris/Elasticsearch/Iceberg？本文用 Flink CDC 给出一个工程化答案：用一份 YAML 描述整条管道，自动生成 Flink 拓扑、完成一致性快照与变更订阅、处理模式演进（Schema Evolution）、并以 Exactly-Once 语义落地端到端一致性。文末附性能与运维清单。
-
- Hello.Reader
- 19小时前
-
-
AMD第二代7nm GPU现身：原生支持光追；Facebook曾洽谈收购Fitbit 但谷歌的报价是其两倍……...
极客头条：速递、最新、绝对有料。这里有企业新动、这里有业界要闻，打起十二分精神，紧跟fashion你可以的！ 每周两次，打卡即read 更快、更全了解泛云圈精彩news go go go
-
不久之前，腾讯云刚刚对外上新了一款服务器，号称深度自研且独一无二，其名字也十二分的卡哇伊，叫做“星星海”。晶少虽然还没来得及探寻其名的出处，不过在与腾讯服务器供应链总经理刘裕勋的谈聊中已基本了解到星星海的重要style之一，为云而生。
-
四大开源项目联合发布 腾讯已成Github全球贡献前十公司！
近日在Techo开发者大会上，腾讯正式对四大重点开源项目进行了联合发布，包括分布式消息中间件TubeMQ、基于最主流的 OpenJDK8开发的Tencent Kona JDK、分布式HTAP数据库 TBase，以及企业级容器平台TKEStack。
-
加速布局无服务器生态，腾讯云与Serverless.com达成全球战略合作！
在云计算技术领域，“Serverless（无服务器）”作为一种新型的软件设计架构正在快速崛起。作为继虚拟机、容器后的第三代通用计算平台，Serverless技术也一直是腾讯云原生的重点发力领域。 近日，在由腾讯云主办的首届Techo开发者大会上，腾讯云宣布与全球最流行的Serverless开发平台Serverless.com达成战略合作，成为 Serverless.com的全球战略合作伙伴以及大中华区独家合作伙伴。截至目前，Serverless.com拥有百万级别的活跃应用程序以及50000+的日下载量。
-
邱跃鹏：软硬件一体化、Serverless、智能化是云计算三大趋势
近日腾讯公司副总裁、腾讯云总裁邱跃鹏在“腾讯Techo开发者”大会上致辞。他表示，云计算未来有三大趋势，即软硬件一体化（Cloud Native Hardware）、无服务器计算（Serverless）和智能化（Smart）。
-
正式开源TKE和TBase，腾讯正成为大数据领域开源全面的厂商
在11月6日召开的Techo开发者大会上，腾讯云副总裁、腾讯数据平台部总经理蒋杰博士正式对外披露腾讯大数据平台10年技术演进历程。经过10年的积累，腾讯大数据平台的算力资源池目前已有超过20万台的规模，每天实时数据计算量超过30万亿条，并且随着资源管理平台核心TKE和分布式数据库TBase正式对外开源，腾讯正在成为大数据领域开源全面的公司。
-
首次落地中国大陆的OpenInfra：中国对于开源做出的贡献力量已不可忽视
一张标志着上海现代建筑地标的东方明珠海报，另一张展示着上海悠久历史的豫园景区海报，不仅向我们展示了这座城市浓厚的历史气息与现代化的繁荣，也让我们看到了OpenStack历经9年历史背后仍有着新鲜的科技气息。仅从这两张景色迷人且拥有时尚气息的两张海报，便能够看出此次开源基础设施峰会的用心良苦。没错，前身为OpenStack Summit的Open Infrastructure Summit首次落地中国大陆，而此次也正是阿丹第一次参加这项盛会，并感到十分荣幸。
-
-
戴尔与AMD强强联合：五款PowerEdge服务器 ，让用户无法抗拒的选择
一口气发布5款产品，除了戴尔对于市场的乐观，更来源于对产品的自信，而这份自信则在于与AMD的强强联合。
-
AWS在中国区域放出了一款“重量级”容器服务，名为 AWS Fargate，光环新网运营的 AWS 中国（北京）区域和西云数据运营的 AWS 中国（宁夏）区域均提供该项服务。 据悉这是一款可以适用于 Amazon ECS的计算引擎，主要帮助企业在生产过程中运行容器、却无需部署或者管理服务器，换句话说就是专注设计和构建应用程序，而不用挂心太多基础设施的“那些事儿”。
2019-11-05 -
很多技术人总是抱怨 新技术/新框架/新概念 太多了，总是学不完，抱怨实在是学不动了。哈哈，这不，最近「 中台 」这么火热，要不要停止抱怨，再咬咬牙学一波？ “很多人都担心被技术新潮流所抛弃，所以当遇见不断涌现的新技术时，总是慌忙的去学习。可是其中到底有多少是真正有用的？又有多少是昙花一现的技术呢？当你无法分辨的时候，其实不必慌张，当一项新技术/概念刚出现的时候，你不必匆忙的去学习，更不必担心自己会错过它，如果它是一个真正有价值的东西，是一个真正经受得住考验得技术，它迟早会再次出现在你面前”。
-
边缘计算无论是在市场规模、年均增速还是在实际落地方面，都有可能在TMT计算领域，上演“中心走向边缘，边缘走向中心”的一幕。只不过，对于边缘计算这个相对新鲜的领域，人们对其认知却有很多不当的地方，甚至是严重的误区，这主要表现在五大方面。不夸张地说，边缘计算里的这五个大坑，可能就有你跳过的。
-
是时候展现真正的技术了！4道程序员智力题你能对几道｜ IT巨能唠
程序员对很多人来说那就是个神秘组织，高薪、加班多都是他们的代名词。但是，大家好像还忘了一点，那就是他们也绝对聪明！黑客、代码天才、编程老手……层出不穷，晦涩的计算机难题也是分分钟搞定，想想就令人神往。那想不想试试自己是否也具备成为程序员的潜质呢，下面分享四道程序员面试智力题，请大家务必要大展身手，千万别谦虚～！
-
i 智慧 | 回首30年存储演进之路 再看新数据时代阿里云存储如何革故鼎新？
人类以日新月异的速度刷新着科技的成果，其中存储的发展历史尤其悠久，堪称万年进化史。自文明诞生以来，我们就一直在寻求能够更有效存储信息的方式，从4万年前的洞穴壁画、6000年前泥板上的楔形文字，到今天普及的SSD/闪存，再到对量子存储、DNA存储技术的探索，脚步从未停止。据IDC预测，2025年全球数据将有175 ZettaBytes的总量。如此惊人而又庞大的数据量，为存储市场带来机遇的同时，也带来了不小的挑战。
-
阿里云与MongoDB达成战略合作，成“唯一”；苹果将推出三款5G版iPhone；谷歌正式推出 TensorFlow 企业版……...
嗨，大家好，重磅君带来的【云重磅】特别栏目，如期而至，每周五第一时间为大家带来重磅新闻。把握技术风向标，了解行业应用与实践，就交给我重磅君吧！
-
程序员， 已经渐渐成当代相亲市场的一只主力军。 甚至可以说是“香饽饽”。 越来越多的妹子， 在写择偶要求时， 会说对程序员有好感。 因为他们， 踏实聪明又靠谱， 钱多花花肠子少。 但关于程序员谈恋爱的“笑点”也不少， 一起来看看吧！
-
雪花算法(snowflake) ：分布式环境，生成全局唯一的订单号
snowflake是Twitter开源的分布式ID生成算法，结果是一个long型的ID。 这种方案大致来说是一种以划分命名空间（UUID也算，由于比较常见，所以单独分析）来生成ID的一种算法，这种方案把64-bit分别划分成多段，分开来标示机器、时间等。 其核心思想是：使用41bit作为毫秒数，10bit作为机器的ID（5个bit是数据中心，5个bit的机器ID），12bit作为毫秒内的流水号，最后还有一个符号位，永远是0。
-
“如今网络安全形势错综复杂，解决方案不可能由一家公司独当天下，面对这样的情况，我们就要选择自身擅长的领域发力，其他领域采取模块合作的方式。”在最近举行的2019合肥网络安全大会上，新华三集团高级副总裁、中国区总裁张力对在场媒体表示。
-
据晶少了解，国庆假期后的首个工作日，AWS就在中国区域放出了一款“重量级”容器服务，名为 AWS Fargate，光环新网运营的 AWS 中国（北京）区域和西云数据运营的 AWS 中国（宁夏）区域均提供该项服务。据悉这是一款可以适用于 Amazon ECS的计算引擎，主要帮助企业在生产过程中运行容器、却无需部署或者管理服务器，换句话说就是专注设计和构建应用程序，而不用挂心太多基础设施的“那些事儿”。
-
活动
-
2021-11-10
-
2021-03-09
-
2020-12-16
独家定制
-
-
3500人的专业安全团队与你同在
-
-
CSDN云计算在线公开课
-
-
IaaS市场高速增长，历久弥新
精品推荐
关于我们
关注「云计算」
转载 & 投稿：songhui@csdn.net
商务合作：zhangjing@csdn.net