- 相关博文
- 最新资讯
-
本文详细介绍了Hadoop分布式系统搭建及HBase数据库配置的操作流程。首先通过创建3台虚拟机（v1、v2、v3）完成网络配置和主机名设置，实现v1免密登录其他节点。随后安装配置JDK、Hadoop和Zookeeper环境，包括核心配置文件的修改和环境变量设置。第二部分重点演示了HBase分布式数据库的安装与操作，包括创建major表（含inf和other两个列族）、数据插入/查询/删除操作，以及表结构的修改（设置单元格数目、删除列族、设为只读）和最终的删除验证。整个实验完整展示了从系统搭建到数据库操作的
-
- 无限-无畏
- 昨天
-
-
摘要：本文介绍了使用Anaconda创建Python虚拟环境并部署PySpark任务的完整流程。首先在本地安装Anaconda并创建指定Python版本的虚拟环境（如Python 3.7），调试PySpark脚本确保单机运行正常。然后将虚拟环境打包为zip文件，与脚本一起上传至HDFS。最后通过spark-submit命令提交任务，其中关键配置包括指定虚拟环境路径、Python解释器路径以及各类资源参数（内存、核心数等）。文末还提供了常用Spark参数说明（如driver/executor资源配置）
-
- C.R.xing
- 昨天
-
-
举个例子，如果第一条消息A过期时间30秒，第二条消息B过期时间10秒，即便消息B先过期了，基于RabbitMQ TTL的。3，队列A没有消费者，这样队列A中的消息会在TTL到期时自动经过死信交换机转发到死信队列B。如上所述，消息过期会被转发到死信队列，这样我们可以按照以下步骤实现延迟队列。4，消息会在交换机中等待到达延迟时间后再路由到绑定队列。1，创建普通队列A，设置消息TTL，没有消费者。机制，也是消息A进入死信队列后，才会检查消息B。4，消费者监听死信队列B，实现延迟消费。2，给队列A设置死信交换机。
-
- 秦小郎
- 前天
-
-
本文将介绍Java方向与Elasticsearch(ES)的集成应用。ES是一款分布式搜索分析引擎，具有实时搜索、高性能等特点。文章首先概述ES核心概念如文档、索引、分片等，然后详细讲解Java客户端API的两种类型（低级和高级REST客户端），以及通过Maven添加依赖和配置连接的具体步骤。接着提供了Java操作ES的代码示例，包括创建索引、插入数据和查询数据的关键API使用。全文旨在帮助Java开发者快速掌握ES集成与应用技术。
-
- 编程界的彭于晏qaq
- 昨天
-
- 数据错误
-
针对 Elasticsearch 6.8.23 在 Kubernetes 中运行、每节点 64GB 内存、曾出现 OOM 的情况，分析内存使用过高的原因，并提供一份详细的优化建议清单，内容将包括配置参数建议（如 jvm.options、elasticsearch.yml、limits.conf 以及 Pod 配置）。综上，在每节点64GB可用内存情形下，可以考虑将堆调整到约30GB（Xms=30g, Xmx=30g），剩余约34GB留给操作系统缓存和其他非堆用途。同时，应在容器启动脚本或宿主机设置。
-
- 喝醉酒的小白
- 20小时前
-
-
解决 docx文档 复杂表格合并问题
-
本文介绍了如何在本地部署阿里Qwen3大模型并连接到Elasticsearch实现RAG应用。主要内容包括： 创建Elasticsearch API key获取访问凭证 编写Python代码实现RAG流程，包括Elasticsearch查询、上下文构建和Qwen3模型调用 配置环境变量和证书，确保代码正常运行 测试Qwen3模型接口工作正常 修改代码适配最新Elasticsearch版本的数据结构 最终成功运行示例查询"哪些人在茶会"，Qwen3准确识别出故事中的角色并给出详细回答 文章
- 数据错误
-
函数是组织好的、可重复使用的，用来实现单一、或相关功能的代码段。函数可以提高应用的模块性和代码的可重复性。python 有许多内置的函数比如 print 打印函数，python 也支持用户实现自己的函数，这类函数也称之为自定义函数。定义一个函数需要遵循以下规则：函数代码块以def关键词开头，后接函数标识符名称和圆括号()。任何传入参数和自变量必须放在圆括号中间，圆括号之间可以用于定义参数。函数的第一行语句可以选择性地使用文档字符串 — 用于存放函数说明。函数内容以冒号。
-
- 程序员水冠
- 前天
-
-
基于上述的项目背景和难点， 最终决定采用 Spark，首先数据量大及计算方式复杂， 如果使用传统的服务方式， 需要大量的服务器资源， 而目录不固定， 使数据读取变的复杂， 且普通服务不太可能在 4h 内处理完毕；2、 Drvier 的字节级别代码会分发至将要执行的 Executor 上， 这些计算过程实际上是在每个节点本地计算并完成，每个spark会在集群中有一个或多个Executor，Executor 之间也可能会有数据的传输，比如一些聚合函数执行。过少，并行度不足，任务处理数据量大，影响作业完成时间；
-
- 阳光下是个孩子
- 前天
-
-
让我们以开放的心态拥抱变化，同时保持警惕，确保技术为人类福祉服务。产品个性化率超80%。工业化的特点是批量化、标准化（标品），只有标品，才能批量生产，才能提高效率，降低成本；数字化时代的特点是个性化、定制化（订制品）！5G将覆盖全球90%的人口，6G技术开始试点，实现毫秒级延迟和TB级传输速度。2100年前，人类将在火星建立永久定居点，开启星际殖民时代。22世纪，人类意识将实现数字化上传，实现“数字永生”。面对全球性挑战，人类将成立世界政府，协调各国行动。2045年前，AI将超越人类智能，引发技术奇点。
-
- 文火冰糖的硅基工坊
- 昨天
-
-
面试突击指南：高效备战Java岗位 针对Java面试，建议分三梯队学习：第一梯队（核心必会）包括Java基础、Spring框架、数据库和微服务，需精通原理并能手写代码；第二梯队（竞争力提升）涵盖Docker、Git、Kafka等工具，需熟悉应用场景；第三梯队（加分项）如设计模式、监控工具等，了解概念即可。 突击技巧：整理高频面试题（如String不可变性、Spring事务原理），模拟面试练习，克服紧张。心态上避免完美主义，优先掌握核心技能，遇到不会的问题可引导至熟悉领域。抓重点+实战，足以应对初/中级岗位。
-
- Jasmine65590
- 昨天
-
-
SQL中有一类函数叫聚合函数，比如count、sum、avg、min、max等，这些函数的可以将多行数据按照规整聚集为一行，一般聚集前的数据行要大于聚集后的数据行。而有时候我们不仅想要聚集前的数据，又想要聚集后的数据，这时候便引入了窗口函数。
-
DevOps：从「蒸汽时代」到「高铁时代」，SUNMI DevOps转型之路
商米科技成立于 2013 年，总部位于上海市杨浦区创智天地，是一家具有产品创新基因和互联网基因的公司。商米在短时间内迅速成长为一家近1000人的企业，产品研发人数占比一度超过70%。
-
Apache Kafka 是一个快速、可扩展的、高吞吐的、可容错的分布式“发布-订阅”消息系统， 使用 Scala 与 Java 语言编写，能够将消息从一个端点传递到另一个端点，较之传统的消息中 间件(例如 ActiveMQ、RabbitMQ)，Kafka 具有高吞吐量、内置分区、支持消息副本和高容 错的特性，非常适合大规模消息处理应用程序。
-
2020年边缘计算最新前沿报告：如何与核心云、5G、AI协同？如何打造新业态和部署运营？...
在数字经济的时代浪潮中，作为关键生产要素的数字技术的快速变革已成为新常态。正当人工智能开始崭露头角时，云计算的边缘化延伸趋势又成为了另一个新焦点。
-
-
-
日前，ASPLOS 2020公布了计算机界最新科技成果，其中包括阿里云提交的名为《High-density Multi-tenant Bare-metal Cloud》的论文，该论文阐述了阿里云自研的神龙服务器架构如何解决困扰云计算行业多年的虚拟化性能损耗问题，打破物理机的性能神话，让云服务器突破性能极限。
-
-
Docker 概念很难理解？一文搞定 Docker 端口绑定
作为初级开发人员的你，是不是参加过这样的面试，在面试中面试官希望你准确地回答Docker的工作原理？现今的面试官们希望应聘者能够深入了解8项、10项、甚至更多的技术。其实这有点疯狂。在大学或其他学校里，他们很可能根本不会教你任何关于Docker的知识。然而，如果你真的能够深入了解Docker，那么你就可以从一大群应聘者中脱颖而出。
-
DevOps 转型时如何安全融入？对企业产出有何影响？2019年 DevOps 最新现状研究报告解读 | 原力计划...
2019年DORA发布了DevOps的研究报告，迄今为止这已经是DORA的第八次报告的发布。相较于往年的报告，2019年的报告全篇只聚焦于一个要素：安全。
-
让服务器突破性能极限 阿里云神龙论文入选计算机顶会ASPLOS
日前，ASPLOS 2020公布了计算机界最新科技成果，其中包括阿里云提交的名为《High-density Multi-tenant Bare-metal Cloud》的论文，该论文阐述了阿里云自研的神龙服务器架构如何解决困扰云计算行业多年的虚拟化性能损耗问题，打破物理机的性能神话，让云服务器突破性能极限。此次入选意味着全球计算机顶会对阿里云自研技术的认可，也意味着中国创新技术在全球计算机界争得了一席之地。
-
果断拿下4000万美元D轮融资，Rancher发力中国本土化与国产化！
2020年3月17日，业界应用广泛的Kubernetes管理平台创建者Rancher Labs（以下简称Rancher）宣布完成新一轮4000万美元D轮融资。
-
分布式锁是控制分布式系统之间同步访问共享资源的一种方式。在分布式系统中，常常需要协调他们的动作。如果不同的系统或是同一个系统的不同主机之间共享了一个或一组资源，那么访问这些资源的时候，往往需要互斥来防止彼此干扰来保证一致性，在这种情况下，便需要使用到分布式锁。
-
-
每当提到区块链一词时，许多人都会将其与比特币等加密货币联系起来。这项技术通过加快交易速度、提供隐私和透明以及其他更多功能，确实改变了虚拟货币的世界。
-
本文主要列举一些 Kafka 的常用工具，以及举了一些例子来帮助理解。有需要的小伙伴，可以 Mark 起来再看。
-
现代编程语言大 PK，2020 年开发者关心的七大编程语言！
如果我们把人类文明想象成汽车的话，那么软件开发行业就相当于汽车的引擎，而编程语言就像引擎的燃料。作为一名开发者，今年你应该学习哪种编程语言呢？
-
一文了解 Spring Boot 服务监控，健康检查，线程信息，JVM堆信息，指标收集，运行情况监控！...
去年我们项目做了微服务1.0的架构转型，但是服务监控这块却没有跟上。这不，最近我就被分配了要将我们核心的微服务应用全部监控起来的任务。我们的微服务应用都是SpringBoot 应用，因此就自然而然的想到了借助Spring Boot 的Actuator 模块。
-
从零单排HBase 02：全面认识HBase架构（建议收藏）
在网上看过很多HBaes架构相关的文章，内容深浅不一，直到发现了一篇MapR官网的文章，写得实在太生动了。
-
MySQL 狠甩 Oracle 稳居 Top1，私有云最受重用，大数据人才匮乏！ | 中国大数据应用年度报告...
科技长河，顺之者昌，错失者亡。在这个技术百态之中，中国专业的 IT 社区CSDN 创始人&董事长蒋涛曾多次在公开活动中表示，开发者是对技术变革最敏感的人群。这不仅源于开发者、工程师创建了助力这个时代蜕变的工具，他们还极具前瞻性地缔造了真实世界之外的虚拟、数字化世界。
活动
-
2021-11-10
-
2021-03-09
-
2020-12-16
独家定制
-
-
3500人的专业安全团队与你同在
-
-
CSDN云计算在线公开课
-
-
IaaS市场高速增长，历久弥新
精品推荐
关于我们
关注「云计算」
转载 & 投稿：songhui@csdn.net
商务合作：zhangjing@csdn.net