- 相关博文
- 最新资讯
-
本文详细介绍了Hadoop分布式系统搭建及HBase数据库配置的操作流程。首先通过创建3台虚拟机（v1、v2、v3）完成网络配置和主机名设置，实现v1免密登录其他节点。随后安装配置JDK、Hadoop和Zookeeper环境，包括核心配置文件的修改和环境变量设置。第二部分重点演示了HBase分布式数据库的安装与操作，包括创建major表（含inf和other两个列族）、数据插入/查询/删除操作，以及表结构的修改（设置单元格数目、删除列族、设为只读）和最终的删除验证。整个实验完整展示了从系统搭建到数据库操作的
-
- 无限-无畏
- 昨天
-
-
摘要：本文介绍了使用Anaconda创建Python虚拟环境并部署PySpark任务的完整流程。首先在本地安装Anaconda并创建指定Python版本的虚拟环境（如Python 3.7），调试PySpark脚本确保单机运行正常。然后将虚拟环境打包为zip文件，与脚本一起上传至HDFS。最后通过spark-submit命令提交任务，其中关键配置包括指定虚拟环境路径、Python解释器路径以及各类资源参数（内存、核心数等）。文末还提供了常用Spark参数说明（如driver/executor资源配置）
-
- C.R.xing
- 昨天
-
-
举个例子，如果第一条消息A过期时间30秒，第二条消息B过期时间10秒，即便消息B先过期了，基于RabbitMQ TTL的。3，队列A没有消费者，这样队列A中的消息会在TTL到期时自动经过死信交换机转发到死信队列B。如上所述，消息过期会被转发到死信队列，这样我们可以按照以下步骤实现延迟队列。4，消息会在交换机中等待到达延迟时间后再路由到绑定队列。1，创建普通队列A，设置消息TTL，没有消费者。机制，也是消息A进入死信队列后，才会检查消息B。4，消费者监听死信队列B，实现延迟消费。2，给队列A设置死信交换机。
-
- 秦小郎
- 前天
-
-
本文将介绍Java方向与Elasticsearch(ES)的集成应用。ES是一款分布式搜索分析引擎，具有实时搜索、高性能等特点。文章首先概述ES核心概念如文档、索引、分片等，然后详细讲解Java客户端API的两种类型（低级和高级REST客户端），以及通过Maven添加依赖和配置连接的具体步骤。接着提供了Java操作ES的代码示例，包括创建索引、插入数据和查询数据的关键API使用。全文旨在帮助Java开发者快速掌握ES集成与应用技术。
-
- 编程界的彭于晏qaq
- 昨天
-
- 数据错误
-
针对 Elasticsearch 6.8.23 在 Kubernetes 中运行、每节点 64GB 内存、曾出现 OOM 的情况，分析内存使用过高的原因，并提供一份详细的优化建议清单，内容将包括配置参数建议（如 jvm.options、elasticsearch.yml、limits.conf 以及 Pod 配置）。综上，在每节点64GB可用内存情形下，可以考虑将堆调整到约30GB（Xms=30g, Xmx=30g），剩余约34GB留给操作系统缓存和其他非堆用途。同时，应在容器启动脚本或宿主机设置。
-
- 喝醉酒的小白
- 21小时前
-
-
解决 docx文档 复杂表格合并问题
-
本文介绍了如何在本地部署阿里Qwen3大模型并连接到Elasticsearch实现RAG应用。主要内容包括： 创建Elasticsearch API key获取访问凭证 编写Python代码实现RAG流程，包括Elasticsearch查询、上下文构建和Qwen3模型调用 配置环境变量和证书，确保代码正常运行 测试Qwen3模型接口工作正常 修改代码适配最新Elasticsearch版本的数据结构 最终成功运行示例查询"哪些人在茶会"，Qwen3准确识别出故事中的角色并给出详细回答 文章
- 数据错误
-
函数是组织好的、可重复使用的，用来实现单一、或相关功能的代码段。函数可以提高应用的模块性和代码的可重复性。python 有许多内置的函数比如 print 打印函数，python 也支持用户实现自己的函数，这类函数也称之为自定义函数。定义一个函数需要遵循以下规则：函数代码块以def关键词开头，后接函数标识符名称和圆括号()。任何传入参数和自变量必须放在圆括号中间，圆括号之间可以用于定义参数。函数的第一行语句可以选择性地使用文档字符串 — 用于存放函数说明。函数内容以冒号。
-
- 程序员水冠
- 前天
-
-
基于上述的项目背景和难点， 最终决定采用 Spark，首先数据量大及计算方式复杂， 如果使用传统的服务方式， 需要大量的服务器资源， 而目录不固定， 使数据读取变的复杂， 且普通服务不太可能在 4h 内处理完毕；2、 Drvier 的字节级别代码会分发至将要执行的 Executor 上， 这些计算过程实际上是在每个节点本地计算并完成，每个spark会在集群中有一个或多个Executor，Executor 之间也可能会有数据的传输，比如一些聚合函数执行。过少，并行度不足，任务处理数据量大，影响作业完成时间；
-
- 阳光下是个孩子
- 前天
-
-
让我们以开放的心态拥抱变化，同时保持警惕，确保技术为人类福祉服务。产品个性化率超80%。工业化的特点是批量化、标准化（标品），只有标品，才能批量生产，才能提高效率，降低成本；数字化时代的特点是个性化、定制化（订制品）！5G将覆盖全球90%的人口，6G技术开始试点，实现毫秒级延迟和TB级传输速度。2100年前，人类将在火星建立永久定居点，开启星际殖民时代。22世纪，人类意识将实现数字化上传，实现“数字永生”。面对全球性挑战，人类将成立世界政府，协调各国行动。2045年前，AI将超越人类智能，引发技术奇点。
-
- 文火冰糖的硅基工坊
- 昨天
-
-
面试突击指南：高效备战Java岗位 针对Java面试，建议分三梯队学习：第一梯队（核心必会）包括Java基础、Spring框架、数据库和微服务，需精通原理并能手写代码；第二梯队（竞争力提升）涵盖Docker、Git、Kafka等工具，需熟悉应用场景；第三梯队（加分项）如设计模式、监控工具等，了解概念即可。 突击技巧：整理高频面试题（如String不可变性、Spring事务原理），模拟面试练习，克服紧张。心态上避免完美主义，优先掌握核心技能，遇到不会的问题可引导至熟悉领域。抓重点+实战，足以应对初/中级岗位。
-
- Jasmine65590
- 昨天
-
-
看完这一篇，你就对 Spring Security 略窥门径了
开发Web应用，对页面的安全控制通常是必须的。比如：对于没有访问权限的用户需要转到登录表单页面。要实现访问控制的方法多种多样，可以通过Aop、拦截器实现，也可以通过框架实现，例如：Apache Shiro、Spring Security。我们这里要讲的Spring Security 就是一个Spring生态中关于安全方面的框架。它能够为基于Spring的企业应用系统提供声明式的安全访问控制解决方案。
-
-
-
为什么要在油气行业中应用 IoT？这 8 个应用场景告诉你 IoT 在油气行业中可以做什么...
如今，物联网已经进入了各行各业：汽车、农业、绿色能源。物联网还将征服的领域之一是石油和天然气领域。在这些特殊的行业环境中，公司雇佣专业人员来预测机器何时需要维护和保养。通过物联网监控，以确保员工在工作环境中的安全，并改善生产。 麦肯锡 (McKinsey Global Institute)研究表明，到2025年，物联网有可能吸引$11.1T 的资金。
-
ES2020 是 ECMAScript 对应 2020 年的版本。这个版本不像 ES6 (ES2015)那样包含大量新特性。但也添加了许多有趣且有用的特性。本文的代码地址：https://github.com/ljianshu/Blog 本文以简单的代码示例来介绍 ES2020新特性。这样，你可以很快理解这些新功能，而不需要多么复杂的解释。
-
在本文中，我们将开始开发自己的Kubernetes控制器。 技术栈可以是Python、NodeJS或Ruby。因为这个博客被命名为为“ Java极客”，因此选择Java是很正常的。 作为一个用例，我们将实现sidecar模式：每当一个pod被调度时，sidecar pod也会随之被调度。如果将前者删除，则后者也必须删除。
-
-
其实“数据湖”的概念由来已久，如果追溯时间大概可以到2011年。如今我们经常提及的数据湖其实可以被认为是一个集中式的安全存储库，用户可以任何规模存储、管理、发现并共享所有结构化和非结构化数据，过程中无需预定义架构。
-
-
医疗保健、零售、金融、制造业……一文带你看懂大数据对工业领域的影响！...
随着大数据技术的兴起，工业领域在很大程度上发生了变化。智能手机和其他通讯方式的使用迅速增加，使得每天都能收集大量数据。以下是大数据对工业领域的影响。
-
2020年已经到来，它的到来带来了信息和技术（IT）领域的诸多创新和变革，特别是对DevOps技术的创新和变革。美国领先的调查机构Grand View Research的专家进行的一项研究宣称，预计到2025年，DevOps的市场价值将达到128.5亿美元。
-
Docker容器已经从一种锦上添花的技术转变成了部署环境的必需品。有时，作为开发人员，我们需要花费大量时间调试或研究Docker工具来帮助我们提高生产力。每一次新技术浪潮来临之际，我们都需要花费大量时间学习。
-
SQL是用于数据分析和数据处理的最重要的编程语言之一，因此SQL问题始终是与数据科学相关工作（例如数据分析师、数据科学家和数据工程师）面试过程中的一部分。 SQL面试旨在评估应聘者的技术和解决问题的能力。因此，至关重要的是，不仅要根据样本数据编写正确的查询语句，而且还要像对待现实数据集一样考虑各种情况和极端情况。
-
近日，阿里云对外宣布其容器服务调度GPU云服务器启动加速计算，最快只需60秒即可完成新冠病毒的核酸对比工作；同时将向医疗科研机构、疾控中心等一线病毒研究机构免费开放基因计算服务，技术可大幅提升宏基因组测序、疫苗研发相关的处理效率。基于此，晶少专程采访了阿里云基因计算服务AGS负责人、高级技术专家李鹏，集中呈现针对GPU和容器技术大幅提升核酸比对速度的有关细节以及关于阿里云基因计算服务（AGS）的诸多信息。
-
最近，我构建了一个本地开发环境，该环境使用 Docker 进行一些关键的集成测试。 在我要完成这项工作时，我意识到在开始这项工作之前，我没有考虑到这么做的一些意义深远影响，如：
-
数据库连接池和线程池等池技术存在的意义都是为了解决资源的重复利用问题。在计算机里，创建一个新的资源往往开销是非常大的。而池技术可以统一分配，管理某一类资源，它允许我们的程序可以重复的使用这个资源，只有在极端情况下（比如连接池满）才会创建新的资源。
-
-
从提取层、处理层、基础结构入手，带你了解Spark和Kafka！
电子商务市场中典型的一天是这样的：每分钟发生1万个事件流，并且要选择合适的工具对其进行处理。
-
随着业务的发展，MySQL数据库中的表会越来越多，表中的数据量也会越来越大，相应地，数据操作的开销也会越来越大；另外，无论怎样升级硬件资源，单台服务器的资源（CPU、磁盘、内存、网络IO、事务数、连接数）总是有限的，最终数据库所能承载的数据量、数据处理能力都将遭遇瓶颈。
-
王坚博士曾经做过这样一个非常形象的比喻，他将做 App 比作是在别人的花园里弄盆栽，「种点花草是没有问题的」，不过「别人叫你的产品下架你就得下架，这是有问题的」，现在在 GitHub 上，众多的开发者显然遭遇了这样的问题。
活动
-
2021-11-10
-
2021-03-09
-
2020-12-16
独家定制
-
-
3500人的专业安全团队与你同在
-
-
CSDN云计算在线公开课
-
-
IaaS市场高速增长，历久弥新
精品推荐
关于我们
关注「云计算」
转载 & 投稿：songhui@csdn.net
商务合作：zhangjing@csdn.net