- 相关博文
- 最新资讯
-
hive本身没有直接关停服务的命令，可以通过端口进程的方式进行关闭。两个RunJar分别为metastore、hiveserver2的进程，可以通过“kill -9 进程号”进行关停。配置完metastore-site.xml，需要先初始化hive元数据库，选择在一台节点初始化即可。在hadoop安装目录下的core-site.xml中，需要开启hadoop代理用户配置。进入Hive的配置目录： cd /opt/apps/hive/conf/hive4.0已经弃用默认的Hive Cli。
-
- 大数据探索者
- 20小时前
-
-
Flink 是一种开源的分布式计算框架，专为处理大规模数据流而设计。它能够在低延迟和高吞吐的场景下高效地处理实时和批量数据。
-
- Leven199527
- 21小时前
-
-
groupByKey按照key进行分组，没有聚合，直接进行shuffle。会先对分区内部分组，分组完成后进行shuffle，将相同的键从各个分区汇总到一起，再合并。按照key进行聚合，会在shuffle之前进行预聚合。现在分区内部对所有的键-值对进行遍历，遇到相同的key就会执行自定义的聚合逻辑。在每个分区内完成局部预聚合后，就会进行shuffle操作，分区分组聚合，先在不同的分区内进行分组预聚合，再对不同分区的预聚合后的结果进行聚合。特点，分区内的聚合逻辑可以与分区之间聚合逻辑不一样。
-
- 程序员SASIOVERLXRD
- 19小时前
-
-
本文内容为KafkaProducer消息生产过程的源码解析，详细解析了Kafka消息生产中，数据预处理、元数据更新、数据序列化、消息分区生产、写入消息累加器等各个环节的Kafka源码，完整展现了KafkaProducer进行消息生产的各步骤操作细节。
-
- 诗旸的技术记录与分享
- 12小时前
-
-
Filesystem Catalog 是 Apache Paimon 的内置 Catalog，它将元数据直接存储在文件系统中（如 HDFS、S3、本地文件系统等）。Hive Catalog 是基于 Hive Metastore 的 Catalog，实现了 Apache Paimon 和 Hive 生态系统的深度集成。Apache Paimon 提供了多种 Catalog（元数据管理）方式，用于统一管理表的元数据，如表结构、存储位置、分区等。
-
- oo寻梦in记
- 21小时前
-
- 数据错误
-
哈喽，大家好，我是Leven, 不知道大家在写spark 程序的时候，有没有发现SparkSession 和SparkContext 两个东西，但总是傻傻分不清楚这这这两者到底有什么关系，这里我就带大家简单了解这两个概念。
-
- Leven199527
- 昨天
-
-
本文探讨了如何在开源项目中集成代码质量检测工具，以解决代码质量参差不齐的问题。我们将介绍常用的工具（如 ESLint 和 SonarQube），并通过实际案例说明其应用过程，包括配置、运行及分析结果。同时，提供完整的前端示例代码模块，展示如何使用这些工具提升代码质量和项目维护效率。通过集成 ESLint、SonarQube 等代码质量检测工具，可以帮助开源项目保持代码风格一致、减少潜在缺陷并提升维护效率。自动化工具的引入能显著降低代码审查成本，为项目的长期发展奠定基础。
-
- 网罗开发
- 昨天
-
-
主要实现流程图如下所示由于业务方的类型很多，比如互动问答、笔记、课程等，所以通知方式必须是低耦合的，所以使用MQ来实现。相关面试题：为什么会选择使用RabbitMQ？RabbitMQ的功能比较丰富 , 支持各种消息收发模式(简单队列模式, 工作队列模式 , 路由模式 , 直接模式 , 主题模式等) , 支持延迟队列 , 惰性队列而且天然支持集群, 保证服务的高可用, 同时性能非常不错 , 社区也比较活跃, 文档资料非常丰富使用MQ吞吐量提升：无需等待消费者处理完成，响应更快速。
-
- 想吃螺狮粉
- 17小时前
-
- 数据错误
-
不写简介！直接给我进来学！！！！！给我学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学
-
- 王子良.
- 19小时前
-
-
Azure Synapse Studio 是微软Azure中的一款统一的数据分析平台，集成了多种数据处理功能，旨在帮助用户更高效地进行数据工程任务。数据工厂管理：通过数据工厂，您可以方便地进行ETL（提取、转换、加载）操作。数据工厂支持多种数据源，可以实现数据的高效迁移和转换。数据仓库操作：Synapse Studio允许用户在SQL池中进行数据仓库管理，支持数据的查询和处理，特别适用于大规模数据的分析。SQL池和Spark池配置。
-
- 海棠AI实验室
- 17小时前
-
-
在Windows系统下配置Hadoop集群方便初学者使用和调整配置，然在配置中还是出现了或多或少的问题，在收集了不少资料后才得以解决，故在此将我遇到的问题分享一下，做一个小汇总。Hadoop版本：hadoop-3.3.5/hadoop-3.3.4。
-
- LucfierOriginal
- 17小时前
-
-
近日，谷歌母公司Alphabet首次公布了谷歌云计算业务的数据，这一举动将云计算行业重新推到了聚光灯下。众所周知，全球云市场竞争激烈，在这场角逐战中，技术与市场能力就是战场上的武器。
-
腾讯会议扩容背后：100万核计算资源全由自研服务器星星海支撑
疫情期间，远程会议及协同办公需求暴增。从1月29日开始到2月6日，腾讯会议每天都在进行资源扩容，日均扩容云主机接近1.5万台，8天总共扩容超过10万台云主机，共涉及超百万核的计算资源投入。
-
当微软前首席软件架构师雷·奥兹（Ray Ozzie）在2008年的PDC大会上发布Windows Azure时，没人能预估这个软件平台将会为该公司和整个行业带来什么样的影响。
-
-
众志成城 共克时艰 TigerGraph免费开放企业级版本授权全力支持疫情防控
新型冠状病毒肺炎疫情自发生以来，一直牵动着全国人民的心。全球领先的可扩展企业级图数据库TigerGraph宣布，利用强大的企业级图数据库产品，免费开放企业级版本授权，为政府机构、公共事业和科研机构赋能，帮助实现更加科学和有效的研究和决策，减轻疫情对社会和经济的影响。
-
受疫情影响，多数企业员工目前无法回到写字楼办公，学生推迟开学，稳定高效的远程办公和直播授课成为2020年的开年刚需。腾讯从1月24日开始向全国免费开放可支持300人同时在线会议的“腾讯会议”，直至疫情结束。央视新闻联播对此也给予了报道。
-
2月12日，钉钉已连续在苹果应用商店霸榜7天。记者采访获悉，春节以来，在家办公及在家上课的强需求，使得钉钉后台系统峰值流量暴增百倍。钉钉通过阿里云连续扩容10万台云服务器，成功抗住这一巨大的流量冲击！
-
开展人工智能和机器学习项目的人很早就知道，机器学习项目不是应用程序开发项目。机器学习项目的大部分价值在于模型、训练数据和配置信息，这些信息指导模型如何应用于特定的机器学习问题。
-
-
-
微服务架构模式经过5年多的发展，在各行各业如火如荼地应用和实践。如何在企业中优雅地设计微服务架构？是企业面对的一个重要问题。本文将讲述微服务架构1.0设计与实践以及面临问题和破局，最后讲述微服务架构2.0设计与实践等方面，尝试去回答这个难题。
-
-
-
武汉肺炎疫情把远程医疗又推向大家的视线中来。远程医疗作为近年来热度最高的新兴科学之一，融合了医学、通信、信息等领域，对推动我国医疗卫生事业的发展具有重要的战略意义。远程医疗能有效改善医院医疗资源偏态分布的情况，并支持医学互动和会诊降低对时间和空间的要求。
-
伴随5G技术加速落地，云游戏作为5G应用落地的最佳场景，已经成为全球游戏厂商和云服务厂商布局的重要战场。根据艾媒咨询数据显示，2018年中国云游戏市场规模为6.3亿元，而到2023年，市场规模将飙至千亿元。
-
十大类疫情服务紧缺 阿里广发英雄帖抗疫小程序开发者最高可获50万元奖励
全民积极响应国家抗击新冠肺炎疫情的号召，正催生出越来越多新的互联网服务缺口。基于对用户、政府、企事业单位抗疫服务需求的紧缺情况调查，支付宝今日面向社会各界开发者发布“10大疫情期最急需服务开发清单”，号召更多开发者投入进来开发更多服务，解决社会问题。据了解，清单涵盖了口罩预约、疫情上报、社区出入管理、代跑腿、餐饮外卖等疫情防护及便民生活类服务。
-
Docker 上手很容易，但如果将其应用于生产环境，则需要对它有更深入的理解。只有这样，才能确保应用符合我们的预期，或在遇到问题时可及时解决。所以，要想真正掌握 Docker 的核心知识，只靠网络上零散的信息往往是不够的，必须系统性地学习。
-
“云原生全家桶“KubeSphere 如何让企业从容迈进云原生时代？
最近两年，云原生大火。究其原因，“数字化转型”几乎成为所有企业当下最迫切的需求，在这样的趋势下，恰逢新旧IT架构升级的契机，容器、微服务等技术与理念得以发挥所长。众多“上云”企业，寄望于业务能够快速迭代、缩短交付周期、弹性敏捷以及成本控制更优……以支持现有业务的快速发展及创新。
-
2月3日是一个特殊的开工日，为防范疫情，在阿里巴巴钉钉上有超过1000万家企业组织的2亿上班族在线开工。为支持此次史无前例的办公需求，钉钉在阿里云上紧急扩容1万台云服务器来保障钉钉视频会议、群直播、办公协同等功能，保障用户流畅体验。
-
2月3日，华中科技大学同济医学院基础医学院、华中科技大学同济医学院附属武汉儿童医院、西安交通大学第一附属医院、中科院北京基因组研究所、华为云联合科研团队宣布，筛选出五种可能对2019新型冠状病毒（2019-nCoV）有效的抗病毒药物。
活动
-
2021-11-10
-
2021-03-09
-
2020-12-16
独家定制
-
-
3500人的专业安全团队与你同在
-
-
CSDN云计算在线公开课
-
-
IaaS市场高速增长，历久弥新
精品推荐
关于我们
关注「云计算」
转载 & 投稿：songhui@csdn.net
商务合作：zhangjing@csdn.net