- 相关博文
- 最新资讯
-
hive本身没有直接关停服务的命令，可以通过端口进程的方式进行关闭。两个RunJar分别为metastore、hiveserver2的进程，可以通过“kill -9 进程号”进行关停。配置完metastore-site.xml，需要先初始化hive元数据库，选择在一台节点初始化即可。在hadoop安装目录下的core-site.xml中，需要开启hadoop代理用户配置。进入Hive的配置目录： cd /opt/apps/hive/conf/hive4.0已经弃用默认的Hive Cli。
-
- 大数据探索者
- 昨天
-
-
groupByKey按照key进行分组，没有聚合，直接进行shuffle。会先对分区内部分组，分组完成后进行shuffle，将相同的键从各个分区汇总到一起，再合并。按照key进行聚合，会在shuffle之前进行预聚合。现在分区内部对所有的键-值对进行遍历，遇到相同的key就会执行自定义的聚合逻辑。在每个分区内完成局部预聚合后，就会进行shuffle操作，分区分组聚合，先在不同的分区内进行分组预聚合，再对不同分区的预聚合后的结果进行聚合。特点，分区内的聚合逻辑可以与分区之间聚合逻辑不一样。
-
本文内容为KafkaProducer消息生产过程的源码解析，详细解析了Kafka消息生产中，数据预处理、元数据更新、数据序列化、消息分区生产、写入消息累加器等各个环节的Kafka源码，完整展现了KafkaProducer进行消息生产的各步骤操作细节。
-
- 诗旸的技术记录与分享
- 20小时前
-
-
Filesystem Catalog 是 Apache Paimon 的内置 Catalog，它将元数据直接存储在文件系统中（如 HDFS、S3、本地文件系统等）。Hive Catalog 是基于 Hive Metastore 的 Catalog，实现了 Apache Paimon 和 Hive 生态系统的深度集成。Apache Paimon 提供了多种 Catalog（元数据管理）方式，用于统一管理表的元数据，如表结构、存储位置、分区等。
-
- oo寻梦in记
- 昨天
-
- 数据错误
-
哈喽，大家好，我是Leven, 不知道大家在写spark 程序的时候，有没有发现SparkSession 和SparkContext 两个东西，但总是傻傻分不清楚这这这两者到底有什么关系，这里我就带大家简单了解这两个概念。
-
- Leven199527
- 昨天
-
-
本文探讨了如何在开源项目中集成代码质量检测工具，以解决代码质量参差不齐的问题。我们将介绍常用的工具（如 ESLint 和 SonarQube），并通过实际案例说明其应用过程，包括配置、运行及分析结果。同时，提供完整的前端示例代码模块，展示如何使用这些工具提升代码质量和项目维护效率。通过集成 ESLint、SonarQube 等代码质量检测工具，可以帮助开源项目保持代码风格一致、减少潜在缺陷并提升维护效率。自动化工具的引入能显著降低代码审查成本，为项目的长期发展奠定基础。
-
- 网罗开发
- 昨天
-
-
主要实现流程图如下所示由于业务方的类型很多，比如互动问答、笔记、课程等，所以通知方式必须是低耦合的，所以使用MQ来实现。相关面试题：为什么会选择使用RabbitMQ？RabbitMQ的功能比较丰富 , 支持各种消息收发模式(简单队列模式, 工作队列模式 , 路由模式 , 直接模式 , 主题模式等) , 支持延迟队列 , 惰性队列而且天然支持集群, 保证服务的高可用, 同时性能非常不错 , 社区也比较活跃, 文档资料非常丰富使用MQ吞吐量提升：无需等待消费者处理完成，响应更快速。
-
- 想吃螺狮粉
- 昨天
-
- 数据错误
-
不写简介！直接给我进来学！！！！！给我学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学
-
- 王子良.
- 昨天
-
-
Azure Synapse Studio 是微软Azure中的一款统一的数据分析平台，集成了多种数据处理功能，旨在帮助用户更高效地进行数据工程任务。数据工厂管理：通过数据工厂，您可以方便地进行ETL（提取、转换、加载）操作。数据工厂支持多种数据源，可以实现数据的高效迁移和转换。数据仓库操作：Synapse Studio允许用户在SQL池中进行数据仓库管理，支持数据的查询和处理，特别适用于大规模数据的分析。SQL池和Spark池配置。
-
- 海棠AI实验室
- 昨天
-
-
吉林大学大数据专业2023级计算机组成原理与系统结构试题回忆
-
在Windows系统下配置Hadoop集群方便初学者使用和调整配置，然在配置中还是出现了或多或少的问题，在收集了不少资料后才得以解决，故在此将我遇到的问题分享一下，做一个小汇总。Hadoop版本：hadoop-3.3.5/hadoop-3.3.4。
-
-
-
Wi-Fi 6，是Wi-Fi联盟给IEEE Std. P802.11ax起的别名。 众所周知，以前我们的Wi-Fi都是叫作802.11a/b/n/g/ac/ax之类的名字。这种命名方式实在容易让人混乱，无法轻易看出先后顺序。所以，从802.11ax开始，以数字的方式进行命名
-
作为一家扎根中国二十一年的企业，目前有2个全球服务中心在中国，有3个工厂、4个高层客户访问中心、8个研发中心、45个办事处、分公司在全国45个地区，共计12500名员工。如果对你说，其实这家企业是外企，或许你会不可思议。戴尔就是这样的一家公司，虽然总部位于美国德克萨斯州朗德罗克，但其却是一家中国的“本土外资企业”。
-
桌面智能分析产品+“智同211”计划，永洪科技打造数据价值生态圈！
企业如何更好地去挖掘数据价值，赋能产品创新和业务的迭代？数据时代，企业如何更好的利用数据进行数字化转型？在永洪科技主办的“智同道合，数创未来”第一届数据分析技术与应用高峰论坛上，或许能找到你想知道的。
-
共话数字风险，2019首届数字风险峰会(DRS)在京成功举办！
2019首届数字风险峰会(DRS)在京成功举办之际，我们更加深深体会到科技革新和消费者的需求倾向转变，正在改变着每个行业并影响着人们对的工作方式和商业模式。在此过程中，企业对数字化的依赖会越来越强，同时面对的安全挑战也在不断增长。
-
和传统服务器相比，星星海统一的整机方案可以支持不同的CPU主机，前瞻性的高兼容架构，统一规划的硬件底座，可以支持未来3-5年的服务器产品演进。
-
“直面挑战是勇气，解决问题才是真水平。”Follow me，本次CSDN云计算诚挚邀请深信服云BG运营总监戴正超，针对企业数字化转型，为大家讲解超融合架构的种种挑战与实践。
-
-
金九银十招聘季，社畜跳槽，学生出笼，也是非常热闹。不过今年继续互联网寒冬，能苟着还是苟着吧，猥琐发育别浪。 苟着除了写Bug，还要干啥呢？必然是学习啊，吴小胖也没啥能帮你们的，就送你们一道面试题看看吧。 下面我们开始吧！
-
QPS（Query Per Second）：每秒请求数，就是说服务器在一秒的时间内处理了多少个请求。 那我们怎么估出每秒钟能处理多少请求呢？
-
排序算法这么多，这里先将排序算法做个简单分类： 一、可以根据待排序的数据量规模分类： 内部排序：在排序过程中，待排序的数据能够被全部加载进内存中 外部排序：待排序的数据太大，不能全部同时放入内存，排序过程中需要内存与外部存储交换数据
-
链路压测是阿里的首创，我们将从工作内容、操作过程、运行总结等多个方向来介绍下阿里内部典型电商活动（如双11准备），以给大家展示一个完整的压测流程，帮助更多的企业和用户更好的完成性能测试。
-
-
阿里云存储负责人吴结生：安全可靠是云存储立身之本， 智能技术将激活存储技术新变革...
人类以日新月异的速度刷新着科技的成果，其中存储的发展历史尤其悠久，堪称万年进化史。自文明诞生以来，我们就一直在寻求能够更有效存储信息的方式，从4万年前的洞穴壁画、6000年前泥板上的楔形文字，到今天普及的SSD/闪存，再到对量子存储、DNA存储技术的探索，脚步从未停止。
-
作为一个热门概念，SD-WAN近年以来频繁地出现在我们的视野当中。 很多人说，它是未来最具发展潜力的通信技术之一，极具商业价值。 行业里的老牌通信设备商和运营商对它一致看好，新兴创业企业也把它视为千载难逢的风口机遇，对它趋之若鹜。 那么，到底什么是SD-WAN？它究竟是干什么用的？有什么特别之处？今天这篇文章，就让小枣君来给大家做一个全面解析。
-
作为《DNS攻击防范科普系列》的最后一篇，今天我们来好好聊聊DNS劫持。先回顾一下DNS劫持的概念？DNS劫持即通过某种技术手段，篡改正确域名和IP地址的映射关系，使得域名映射到了错误的IP地址，因此可以认为DNS劫持是一种DNS重定向攻击。DNS劫持通常可被用作域名欺诈，如在用户访问网页时显示额外的信息来赚取收入等；也可被用作网络钓鱼，如显示用户访问的虚假网站版本并非法窃取用户的个人信息。
-
GeekPwn2019，看一群“少年极客”正“热血开斗”……
据了解，今年的GeekPwn 2019实在新意颇多，其中最最引人注目的就是特设了“青少年机器特工挑战赛”，首次将参赛群体锁定在未成年人群体，为少年极客提供了一个全新的平台，让其尽情释放脑洞。
-
-
蚂蚁金服自研数据库OceanBase登顶TPC-C榜单的消息振奋人心，同时引起国内技术圈的广泛讨论，第一个云上跑出来的数据库分数含金量如何？其他数据库有没有可能更强？
活动
-
2021-11-10
-
2021-03-09
-
2020-12-16
独家定制
-
-
3500人的专业安全团队与你同在
-
-
CSDN云计算在线公开课
-
-
IaaS市场高速增长，历久弥新
精品推荐
关于我们
关注「云计算」
转载 & 投稿：songhui@csdn.net
商务合作：zhangjing@csdn.net