- 相关博文
- 最新资讯
-
hive本身没有直接关停服务的命令，可以通过端口进程的方式进行关闭。两个RunJar分别为metastore、hiveserver2的进程，可以通过“kill -9 进程号”进行关停。配置完metastore-site.xml，需要先初始化hive元数据库，选择在一台节点初始化即可。在hadoop安装目录下的core-site.xml中，需要开启hadoop代理用户配置。进入Hive的配置目录： cd /opt/apps/hive/conf/hive4.0已经弃用默认的Hive Cli。
-
- 大数据探索者
- 昨天
-
-
groupByKey按照key进行分组，没有聚合，直接进行shuffle。会先对分区内部分组，分组完成后进行shuffle，将相同的键从各个分区汇总到一起，再合并。按照key进行聚合，会在shuffle之前进行预聚合。现在分区内部对所有的键-值对进行遍历，遇到相同的key就会执行自定义的聚合逻辑。在每个分区内完成局部预聚合后，就会进行shuffle操作，分区分组聚合，先在不同的分区内进行分组预聚合，再对不同分区的预聚合后的结果进行聚合。特点，分区内的聚合逻辑可以与分区之间聚合逻辑不一样。
-
本文内容为KafkaProducer消息生产过程的源码解析，详细解析了Kafka消息生产中，数据预处理、元数据更新、数据序列化、消息分区生产、写入消息累加器等各个环节的Kafka源码，完整展现了KafkaProducer进行消息生产的各步骤操作细节。
-
- 诗旸的技术记录与分享
- 20小时前
-
-
Filesystem Catalog 是 Apache Paimon 的内置 Catalog，它将元数据直接存储在文件系统中（如 HDFS、S3、本地文件系统等）。Hive Catalog 是基于 Hive Metastore 的 Catalog，实现了 Apache Paimon 和 Hive 生态系统的深度集成。Apache Paimon 提供了多种 Catalog（元数据管理）方式，用于统一管理表的元数据，如表结构、存储位置、分区等。
-
- oo寻梦in记
- 昨天
-
- 数据错误
-
哈喽，大家好，我是Leven, 不知道大家在写spark 程序的时候，有没有发现SparkSession 和SparkContext 两个东西，但总是傻傻分不清楚这这这两者到底有什么关系，这里我就带大家简单了解这两个概念。
-
- Leven199527
- 昨天
-
-
本文探讨了如何在开源项目中集成代码质量检测工具，以解决代码质量参差不齐的问题。我们将介绍常用的工具（如 ESLint 和 SonarQube），并通过实际案例说明其应用过程，包括配置、运行及分析结果。同时，提供完整的前端示例代码模块，展示如何使用这些工具提升代码质量和项目维护效率。通过集成 ESLint、SonarQube 等代码质量检测工具，可以帮助开源项目保持代码风格一致、减少潜在缺陷并提升维护效率。自动化工具的引入能显著降低代码审查成本，为项目的长期发展奠定基础。
-
- 网罗开发
- 昨天
-
-
主要实现流程图如下所示由于业务方的类型很多，比如互动问答、笔记、课程等，所以通知方式必须是低耦合的，所以使用MQ来实现。相关面试题：为什么会选择使用RabbitMQ？RabbitMQ的功能比较丰富 , 支持各种消息收发模式(简单队列模式, 工作队列模式 , 路由模式 , 直接模式 , 主题模式等) , 支持延迟队列 , 惰性队列而且天然支持集群, 保证服务的高可用, 同时性能非常不错 , 社区也比较活跃, 文档资料非常丰富使用MQ吞吐量提升：无需等待消费者处理完成，响应更快速。
-
- 想吃螺狮粉
- 昨天
-
- 数据错误
-
不写简介！直接给我进来学！！！！！给我学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学
-
- 王子良.
- 昨天
-
-
Azure Synapse Studio 是微软Azure中的一款统一的数据分析平台，集成了多种数据处理功能，旨在帮助用户更高效地进行数据工程任务。数据工厂管理：通过数据工厂，您可以方便地进行ETL（提取、转换、加载）操作。数据工厂支持多种数据源，可以实现数据的高效迁移和转换。数据仓库操作：Synapse Studio允许用户在SQL池中进行数据仓库管理，支持数据的查询和处理，特别适用于大规模数据的分析。SQL池和Spark池配置。
-
- 海棠AI实验室
- 昨天
-
-
吉林大学大数据专业2023级计算机组成原理与系统结构试题回忆
-
在Windows系统下配置Hadoop集群方便初学者使用和调整配置，然在配置中还是出现了或多或少的问题，在收集了不少资料后才得以解决，故在此将我遇到的问题分享一下，做一个小汇总。Hadoop版本：hadoop-3.3.5/hadoop-3.3.4。
-
近一段时间，Serverless的横空出世似乎让大家发现了架构开发的新乐园。无需纷繁复杂的后台开发配置，更不用介怀巨型架构体系造成的“迷宫”困境，开发人员轻松上阵即可完成过去耗时数小时才能搞定的初始版本，极大缩短技术研发与市场检验的距离。
-
-
-
近日2019甲骨文云大会在上海举行。大会今年以“超越，由此开启”为主题，聚集了众多数字化领军企业代表，与合作伙伴、技术专家和意见领袖一起共同探讨技术创新将如何帮助企业探索数据价值，创造无限可能。
-
-
如果有人要问2019年技术圈什么最热，“中台”绝对当仁不让，从观望到试水，很多公司做出了从 0 到 1 的探索。众所周知，“中台”一词在国内最早是由阿里提出来的，2015 年，马云参观芬兰游戏公司Supercell，观察其每个游戏开发的小团队只有六七个人，但开发与停止的速度之快，让马云即惊讶又好奇。得知如此快的原因是开发者将游戏开发过程中用到的一些通用的游戏素材和算法整理出来，作为工具提供给小团队使用，使得同一套工具可以支持多个游戏研发团队。这样的架构模式给了马云很大的震撼和启发，这也催生了阿里巴巴的中台战略，加之越来越的企业跟随其热度，寄希望于借助中台推动业务增长以快速实现数字化转型， “中台”得以风靡。
-
-
i 智慧 | 为云而生、多快好省，这就是星星海的style!
不久之前，腾讯云刚刚对外上新了一款服务器，号称深度自研且独一无二，其名字也十二分的卡哇伊，叫做“星星海”。晶少虽然还没来得及探寻其名的出处，不过在与腾讯服务器供应链总经理刘裕勋的谈聊中已基本了解到星星海的重要style之一，为云而生。
-
IBM在中国发布Cloud Paks，牵手神州数码，助力企业云转型步入“第二篇章”
近日IBM中国今天宣布，IBM已经将其软件组合转化为云原生，并对其进行优化，使之在红帽OpenShift上运行。首批转型成果——IBM Cloud Paks产品组合——正式亮相中国市场。
-
CSDN云计算现强势开启“云+X”案例征集活动，从先进性、拓展性、效益性等三个基本方向出发，深入展现云技术作用行业的突出优势。我们有理由相信，挖掘展现更多优秀案例定会给不同行业领域带来启迪，进而推动整个“云+行业”的健康发展。
-
腾讯Techo开发者大会揭晓云存储发展趋向：高性能、高可用、高性价比
产业数字化转型过程中产生着比过去任何一个时代都多的数据。在这样的背景下，数据存储技术应该怎么发展？11月7日，在腾讯Techo开发者大会上，来自科研领域的专家和腾讯云存储业务的工程师们共同揭开了云存储的发展趋势。
-
-
-
-
世界第一超算Summit需要大约1万年来完成的计算，量子计算机需要多久？ 谷歌研究人员给出答案：3分20秒。 据英国《金融时报》报道，谷歌研究人员在本周向美国国家航空航天局（NASA）提交的论文中写道，其实验标志着量子处理器上执行的首次计算。而这一堪称“恐怖”的计算速度，被研究人员称作是“量子霸权”的证明。
-
没有美支持，华为表示其5G仍能保持世界领先；谷歌发布补丁；微软发布 SQL Server 2019 新版本……...
速递、最新、绝对有料。这里有企业新动、这里有业界要闻，打起十二分精神，紧跟fashion你可以的！ 每周两次，打卡即read 更快、更全了解泛云圈精彩news go go go
-
-
首次落地中国大陆的OpenInfra：中国对于开源做出的贡献力量已不可忽视
一张标志着上海现代建筑地标的东方明珠海报，另一张展示着上海悠久历史的豫园景区海报，不仅向我们展示了这座城市浓厚的历史气息与现代化的繁荣，也让我们看到了OpenStack历经9年历史背后仍有着新鲜的科技气息。仅从这两张景色迷人且拥有时尚气息的两张海报，便能够看出此次开源基础设施峰会的用心良苦。没错，前身为OpenStack Summit的Open Infrastructure Summit首次落地中国大陆，而此次也正是阿丹第一次参加这场盛会，深感荣幸。
-
12306 的技术扒光在你面前，100 万人如何抢 1 万张票
12306 抢票，极限并发带来的思考。 每到节假日期间，一二线城市返乡、外出游玩的人们几乎都面临着一个问题：抢火车票！虽然现在大多数情况下都能订到票，但是放票瞬间即无票的场景，相信大家都深有体会。
-
活动
-
2021-11-10
-
2021-03-09
-
2020-12-16
独家定制
-
-
3500人的专业安全团队与你同在
-
-
CSDN云计算在线公开课
-
-
IaaS市场高速增长，历久弥新
精品推荐
关于我们
关注「云计算」
转载 & 投稿：songhui@csdn.net
商务合作：zhangjing@csdn.net