- 相关博文
- 最新资讯
-
本文讲解HDFS的相关概念。HDFS以64MB块为单位存储，支持大规模文件且简化设计。名称节点管理命名空间，数据节点负责数据存取。第二名称节点合并日志与镜像，作为“检查点”备份元数据，但无法“热备份”，元数据仍有丢失风险。
-
- Francek Chen
- 23小时前
-
-
本文介绍了PostgreSQL与Hadoop生态及Spark的深度集成方案。PostgreSQL作为OLTP数据库，通过与Hadoop（HDFS/Hive）和Spark的协同，可构建完整的混合数据处理平台。核心集成方式包括：1）使用Sqoop或Debezium实现PG与Hadoop间的批量和实时数据同步；2）通过Spark JDBC实现PG与Spark的双向数据交互；3）借助联邦查询引擎（如Trino）统一访问PG和Hive数据。文章详细阐述了各集成方案的配置方法、性能优化技巧及适用场景，为构建HTAP平台
-
- 数据知道
- 昨天
-
-
在Web开发中，数据库操作是不可或缺的一环。Go语言提供了强大的标准库database/sql，同时也涌现出众多优秀的ORM框架和NoSQL客户端库。无论是关系型数据库还是NoSQL，Go都能以简洁高效的方式进行操作。
-
ZooKeeper核心共识协议ZAB（ZooKeeper Atomic Broadcast）详解 摘要： ZAB协议是Apache ZooKeeper实现强一致性的核心机制，通过两种工作模式保证数据安全：崩溃恢复模式完成Leader选举和数据同步，消息广播模式处理写请求。协议采用zxid（epoch+counter）保证事务顺序，通过FastLeaderElection算法选出包含最多已提交事务的节点作为Leader。ZAB确保两大安全属性：已提交事务永不丢失（基于多数派重叠原理）和未提交事务必须丢弃（通过
-
- only-qi
- 20小时前
-
-
Elasticsearch 9.3引入bfloat16新格式，可将向量数据存储空间减半。这种2字节浮点格式通过截断float32值实现，在保持数值范围的同时降低精度。相比原4字节存储，bfloat16显著减少I/O需求，对搜索召回率影响极小。新版本支持直接索引bfloat16向量或自动转换现有float32数据，为开发者提供更高效的向量存储方案。
-
- Elastic 中国社区官方博客
- 23小时前
-
-
本文探讨了大规模Flink作业稳定运行的关键条件与调优策略。首先强调稳定checkpoint和故障恢复能力是两大硬性要求，并指出checkpoint会持续占用系统资源。接着分析了如何通过UI指标诊断checkpoint问题，包括barrier到达时间和alignment duration的解读。文章详细介绍了checkpoint频率调优方法，建议设置最小间隔避免恶性循环，并警告并发checkpoint在大状态下的风险。针对RocksDB/ForSt状态引擎，重点讨论了增量checkpoint、timer存储
-
- Hello.Reader
- 昨天
-
-
Checkpoint是轻量级的故障恢复机制，设计目标是小而快，适合同作业重启；Savepoint是重量级的运维工具，强调可移植性和灵活性，适合升级迁移等计划操作。Checkpoint由系统管理，Savepoint由用户控制。Canonical Savepoint支持跨后端迁移和状态处理API，而Native格式性能更好但能力受限。生产建议：故障恢复用Checkpoint（默认aligned），升级迁移用Savepoint（默认canonica
-
- Hello.Reader
- 昨天
-
-
Checkpoint是轻量级的故障恢复机制，设计目标是小而快，适合同作业重启；Savepoint是重量级的运维工具，强调可移植性和灵活性，适合升级迁移等计划操作。Checkpoint由系统管理，Savepoint由用户控制。Canonical Savepoint支持跨后端迁移和状态处理API，而Native格式性能更好但能力受限。生产建议：故障恢复用Checkpoint（默认aligned），升级迁移用Savepoint（默认canonica
-
- Hello.Reader
- 昨天
-
-
本文聚焦“数据中台的用户体验设计”，旨在解决企业数据中台“技术强、体验差”的痛点。我们将覆盖数据中台的核心用户（数据分析师、业务人员、IT运维）的需求分析、交互设计优化、数据服务流程再造等内容，帮助技术团队和产品团队理解“如何让数据中台真正服务于人”。本文将按“概念→关系→方法→实战→趋势”的逻辑展开：先通过“超市购物”类比理解数据中台和用户体验的关系；再拆解用户体验设计的核心步骤（用户研究、信息架构、交互设计）；接着用零售企业案例演示落地过程；最后展望未来趋势。数据中台。
-
- AI Python 编程
- 昨天
-
-
内层（编码层）： Redis 根据数据量大小和类型，自动切换的底层实现（如 Listpack, QuickList, HashTable, SkipList），以在“省内存”和“高性能”之间寻找平衡。Hash/ZSet 变身： 小时候是 Listpack（省内存），长大了变 HashTable/SkipList（拼速度）。外层（对象层）： 开发者使用的 5 大基础类型（String, List, Hash, Set, ZSet）。对比红黑树： 实现更简单，范围查询更高效（直接遍历链表），内存更省。
-
- 洛豳枭薰
- 前天
-
-
本文介绍了贷款审批预测模型的构建过程。首先进行环境配置（Anaconda设置和所需Python包），然后加载并初步分析数据集（检查缺失值、重复值等）。通过直方图和箱线图对9个数值型变量进行可视化分析，包括贷款金额、年收入、信用评分等特征的数据分布情况。文章提供了完整的代码示例，采用子图形式将直方图和箱线图结合展示，便于全面理解数据特征，为后续模型构建奠定基础。
-
- sensen_kiss
- 昨天
-
-
数据量太大（亿级/十亿级），传统数据库查不动；分析需要“即席查询”（临时想查什么就查什么），但批处理工具（如Hive）太慢；想边写代码边看结果（比如画个图），但传统IDE（如PyCharm）不够“交互”。本文将解决这些痛点：用HBase存储海量数据（支持实时读写），用Jupyter Notebook做交互式分析（边写代码边可视化），让“存数据→查数据→分析数据”三步无缝衔接。
-
本文介绍了PySpark 3.5.3在JDK1.8环境下的配置方法。主要内容包括：1) PySpark版本依赖和MySQL驱动的两种配置方式（自动下载或手动放置jar包）；2) Flask应用中初始化SparkSession的详细过程，包含Java环境检查、PySpark导入、Windows环境变量设置，以及SparkSession构建时的20多项优化配置（如内存管理、分区控制、网络超时等）；3) 提供了完整的SparkSession构建代码示例，包含日志记录和错误处理机制。
-
- 流烟默
- 21小时前
-
-
摘要：Elasticsearch发布了一个开源Hebrew分析器插件（9.x版本），通过集成神经词形还原模型显著提升希伯来语搜索效果。该插件采用DictaBERT模型和ONNXRuntime进行INT8量化处理，在分析链中实时执行词形还原，解决了希伯来语因丰富形态变化导致的搜索召回率低问题。性能测试显示，在5.7GB希伯来语维基百科数据上可实现490+ ops/s的吞吐量，延迟低于30ms。插件完全兼容Elastic开源版本和云服务，支持用户自行构建或下载预编译版本安装。
-
- Elastic 中国社区官方博客
- 21小时前
-
加载中...
-
作为一家年营收超1000亿美元全球化企业，华为有19万员工且多达1023个办公地点，遍布世界范围内170多个国家并横跨运营商、政企和消费者三大领域的业务规模……如此雄厚财力、庞大架构、繁杂业务，有何可愁？自然是对寻找一款能够支撑企业有效增长以及全球化运作的智能工作平台有高度迫切的需求，这就是华为云WeLink的缘起之因。“确实，WeLink在华为云产品序列中绝对算得上是战略级，我们对此投入了很多。”华为云副总裁、联接与协同业务总裁薛浩说。
-
今日，华为在北京发布更懂企业的智能工作平台华为云WeLink，并携手合作伙伴成立华为云WeLink生态联盟。 首批加入华为云WeLink生态联盟的伙伴包括（排名不分先后）：金山办公、中软国际、致远互联、罗技、华为商旅、红圈营销、合思费控、Coremail论客、芯盾集团、目睹直播、视源股份、喜马拉雅、为知笔记等。
-
今日，华为云在北京发布智能工作平台WeLink。华为云副总裁、联接与协同业务总裁薛浩表示：“华为云WeLink源自华为数字化转型实践，是更懂企业的智能工作平台，具备智能高效、安全可靠、开放共赢三大核心优势，为政企开启数字化办公智能新体验，助力实现数字化转型。”
活动
-
2021-11-10
-
2021-03-09
-
2020-12-16
独家定制
-
-
3500人的专业安全团队与你同在
-
-
CSDN云计算在线公开课
-
-
IaaS市场高速增长，历久弥新
精品推荐
关于我们
关注「云计算」
转载 & 投稿：songhui@csdn.net
商务合作：zhangjing@csdn.net