- 相关博文
- 最新资讯
-
hive本身没有直接关停服务的命令，可以通过端口进程的方式进行关闭。两个RunJar分别为metastore、hiveserver2的进程，可以通过“kill -9 进程号”进行关停。配置完metastore-site.xml，需要先初始化hive元数据库，选择在一台节点初始化即可。在hadoop安装目录下的core-site.xml中，需要开启hadoop代理用户配置。进入Hive的配置目录： cd /opt/apps/hive/conf/hive4.0已经弃用默认的Hive Cli。
-
- 大数据探索者
- 20小时前
-
-
Flink 是一种开源的分布式计算框架，专为处理大规模数据流而设计。它能够在低延迟和高吞吐的场景下高效地处理实时和批量数据。
-
- Leven199527
- 21小时前
-
-
groupByKey按照key进行分组，没有聚合，直接进行shuffle。会先对分区内部分组，分组完成后进行shuffle，将相同的键从各个分区汇总到一起，再合并。按照key进行聚合，会在shuffle之前进行预聚合。现在分区内部对所有的键-值对进行遍历，遇到相同的key就会执行自定义的聚合逻辑。在每个分区内完成局部预聚合后，就会进行shuffle操作，分区分组聚合，先在不同的分区内进行分组预聚合，再对不同分区的预聚合后的结果进行聚合。特点，分区内的聚合逻辑可以与分区之间聚合逻辑不一样。
-
- 程序员SASIOVERLXRD
- 19小时前
-
-
本文内容为KafkaProducer消息生产过程的源码解析，详细解析了Kafka消息生产中，数据预处理、元数据更新、数据序列化、消息分区生产、写入消息累加器等各个环节的Kafka源码，完整展现了KafkaProducer进行消息生产的各步骤操作细节。
-
- 诗旸的技术记录与分享
- 12小时前
-
-
Filesystem Catalog 是 Apache Paimon 的内置 Catalog，它将元数据直接存储在文件系统中（如 HDFS、S3、本地文件系统等）。Hive Catalog 是基于 Hive Metastore 的 Catalog，实现了 Apache Paimon 和 Hive 生态系统的深度集成。Apache Paimon 提供了多种 Catalog（元数据管理）方式，用于统一管理表的元数据，如表结构、存储位置、分区等。
-
- oo寻梦in记
- 21小时前
-
- 数据错误
-
哈喽，大家好，我是Leven, 不知道大家在写spark 程序的时候，有没有发现SparkSession 和SparkContext 两个东西，但总是傻傻分不清楚这这这两者到底有什么关系，这里我就带大家简单了解这两个概念。
-
- Leven199527
- 昨天
-
-
本文探讨了如何在开源项目中集成代码质量检测工具，以解决代码质量参差不齐的问题。我们将介绍常用的工具（如 ESLint 和 SonarQube），并通过实际案例说明其应用过程，包括配置、运行及分析结果。同时，提供完整的前端示例代码模块，展示如何使用这些工具提升代码质量和项目维护效率。通过集成 ESLint、SonarQube 等代码质量检测工具，可以帮助开源项目保持代码风格一致、减少潜在缺陷并提升维护效率。自动化工具的引入能显著降低代码审查成本，为项目的长期发展奠定基础。
-
- 网罗开发
- 昨天
-
-
主要实现流程图如下所示由于业务方的类型很多，比如互动问答、笔记、课程等，所以通知方式必须是低耦合的，所以使用MQ来实现。相关面试题：为什么会选择使用RabbitMQ？RabbitMQ的功能比较丰富 , 支持各种消息收发模式(简单队列模式, 工作队列模式 , 路由模式 , 直接模式 , 主题模式等) , 支持延迟队列 , 惰性队列而且天然支持集群, 保证服务的高可用, 同时性能非常不错 , 社区也比较活跃, 文档资料非常丰富使用MQ吞吐量提升：无需等待消费者处理完成，响应更快速。
-
- 想吃螺狮粉
- 17小时前
-
- 数据错误
-
不写简介！直接给我进来学！！！！！给我学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学
-
- 王子良.
- 19小时前
-
-
Azure Synapse Studio 是微软Azure中的一款统一的数据分析平台，集成了多种数据处理功能，旨在帮助用户更高效地进行数据工程任务。数据工厂管理：通过数据工厂，您可以方便地进行ETL（提取、转换、加载）操作。数据工厂支持多种数据源，可以实现数据的高效迁移和转换。数据仓库操作：Synapse Studio允许用户在SQL池中进行数据仓库管理，支持数据的查询和处理，特别适用于大规模数据的分析。SQL池和Spark池配置。
-
- 海棠AI实验室
- 17小时前
-
-
在Windows系统下配置Hadoop集群方便初学者使用和调整配置，然在配置中还是出现了或多或少的问题，在收集了不少资料后才得以解决，故在此将我遇到的问题分享一下，做一个小汇总。Hadoop版本：hadoop-3.3.5/hadoop-3.3.4。
-
- LucfierOriginal
- 17小时前
-
-
-
从 10 年前我开始写第一行 Java 代码至今，一直觉得 null 在 Java 中是一个最特殊的存在，它既是好朋友，可以把不需要的变量置为 null 从而释放内存，提高性能；它又是敌人，因为它和大名鼎鼎且烦不胜烦的 NullPointerException（NPE）如影随形，而 NPE 的发明人 Tony Hoare 曾在 2009 年承认：“Null References 是一个荒唐的设计，就好像我赌输掉了十亿美元”。
-
“删库跑路”这个词儿，经常被挂在嘴边当玩笑，是因为大家都知道，一旦真的发生这样的事情，企业损失是无比惨重的。
-
为了提高 Java 编程的技艺，作者最近在 GitHub 上学习一些高手编写的代码。下面这一行代码（出自大牛之手）据说可以征服你的朋友，让他们觉得你写的代码很 6，来欣赏一下吧。
-
根据《哈佛商业评论》的说法，数据科学家是21世纪最性感的工作。在现在这个大数据的世界中，数据科学家们用AI 或深度学习方法来发掘宝贵的商业见解。
-
不看就亏系列！这里有完整的 Hadoop 集群搭建教程，和最易懂的 Hadoop 概念！| 附代码...
Hadoop 是 Lucene 创始人 Doug Cutting，根据 Google 的相关内容山寨出来的分布式文件系统和对海量数据进行分析计算的基础框架系统，其中包含 MapReduce 程序，hdfs 系统等！[它受到最先由 Google Lab 开发的 Map/Reduce 和 Google File System(GFS) 的启发。]
-
-
2020 年 1 月 14 日，微软正式停止了 Windows 7 系统的扩展支持，这意味着服役十年的 Windows 7，属于它的时代真的终结了，说不出的再见，只能怀恋。
-
如今智能经济时代已开启，消费者服务面临升级，企业技术服务的黄金机遇也已到来，我们相信品牌升级之后的京东智联云，未来定将一如既往，利用自身沉淀的能力洞察以及各产业场景中的实战经验，铸造更多“硬核”技术力量服务民生、技术报国，在一线。
-
-
-
6 个步骤，教你在Ubuntu虚拟机环境下，用Docker自带的DNS配置Hadoop | 附代码
最近，作者整理了一套Hadoop搭建方案。最后的镜像大小1.4G多，使用docker子网，容器重新启动不需要重新配置/etc/hosts文件。 配置过程中参考了如下博客，有些细节问题这些博客里面解释的更加详细。
-
近日，某SaaS服务商/微盟遭遇员工删库跑路，服务器出现大面积故障，一时间让平台上的几百万家商户生意基本停摆。这一事件发生后，不管是厂商还是平台上的用户，都在经历着非常不容易的时刻。
-
如果你觉得 git 很迷惑人，那么这份小抄正是为你准备的！请注意我有意跳过了 git commit、git pull/push 之类的基本命令，这份小抄的主题是 git 的一些「高级」用法。
-
月活用户突破2.39亿、还能表单买菜and在线千人大课……这个软件有点儿意思！
惊蛰之日万物复苏，回想春节期间突遭疫情的惨烈，如今仍心有余悸。我们深深地感受到，因为疫情的波及，原本诸多““线下”开展的活动统统搬到了“线上”，尤其是各级单位实时统计上报身体健康信息，员工在家远程办公以及学生在家线上学习等都成为迫在眉睫的事。
-
什么是 CD 管道？一文告诉你如何借助Kubernetes、Ansible和Jenkins创建CD管道！
CI/CD（CI全名Continuous Integration，持续集成；CD全名Continuous Deployment，持续部署）这个术语常常和DevOps、Agile、Scrum以及Kanban、自动化等其他术语一起出现。
-
-
-
本文以淘宝作为例子，介绍从一百个到千万级并发情况下服务端的架构的演进过程，同时列举出每个演进阶段会遇到的相关技术，让大家对架构的演进有一个整体的认知，文章最后汇总了一些架构设计的原则。
-
活动
-
2021-11-10
-
2021-03-09
-
2020-12-16
独家定制
-
-
3500人的专业安全团队与你同在
-
-
CSDN云计算在线公开课
-
-
IaaS市场高速增长，历久弥新
精品推荐
关于我们
关注「云计算」
转载 & 投稿：songhui@csdn.net
商务合作：zhangjing@csdn.net