- 相关博文
- 最新资讯
-
hive本身没有直接关停服务的命令，可以通过端口进程的方式进行关闭。两个RunJar分别为metastore、hiveserver2的进程，可以通过“kill -9 进程号”进行关停。配置完metastore-site.xml，需要先初始化hive元数据库，选择在一台节点初始化即可。在hadoop安装目录下的core-site.xml中，需要开启hadoop代理用户配置。进入Hive的配置目录： cd /opt/apps/hive/conf/hive4.0已经弃用默认的Hive Cli。
-
- 大数据探索者
- 昨天
-
-
groupByKey按照key进行分组，没有聚合，直接进行shuffle。会先对分区内部分组，分组完成后进行shuffle，将相同的键从各个分区汇总到一起，再合并。按照key进行聚合，会在shuffle之前进行预聚合。现在分区内部对所有的键-值对进行遍历，遇到相同的key就会执行自定义的聚合逻辑。在每个分区内完成局部预聚合后，就会进行shuffle操作，分区分组聚合，先在不同的分区内进行分组预聚合，再对不同分区的预聚合后的结果进行聚合。特点，分区内的聚合逻辑可以与分区之间聚合逻辑不一样。
-
本文内容为KafkaProducer消息生产过程的源码解析，详细解析了Kafka消息生产中，数据预处理、元数据更新、数据序列化、消息分区生产、写入消息累加器等各个环节的Kafka源码，完整展现了KafkaProducer进行消息生产的各步骤操作细节。
-
- 诗旸的技术记录与分享
- 19小时前
-
-
Filesystem Catalog 是 Apache Paimon 的内置 Catalog，它将元数据直接存储在文件系统中（如 HDFS、S3、本地文件系统等）。Hive Catalog 是基于 Hive Metastore 的 Catalog，实现了 Apache Paimon 和 Hive 生态系统的深度集成。Apache Paimon 提供了多种 Catalog（元数据管理）方式，用于统一管理表的元数据，如表结构、存储位置、分区等。
-
- oo寻梦in记
- 昨天
-
- 数据错误
-
哈喽，大家好，我是Leven, 不知道大家在写spark 程序的时候，有没有发现SparkSession 和SparkContext 两个东西，但总是傻傻分不清楚这这这两者到底有什么关系，这里我就带大家简单了解这两个概念。
-
- Leven199527
- 昨天
-
-
本文探讨了如何在开源项目中集成代码质量检测工具，以解决代码质量参差不齐的问题。我们将介绍常用的工具（如 ESLint 和 SonarQube），并通过实际案例说明其应用过程，包括配置、运行及分析结果。同时，提供完整的前端示例代码模块，展示如何使用这些工具提升代码质量和项目维护效率。通过集成 ESLint、SonarQube 等代码质量检测工具，可以帮助开源项目保持代码风格一致、减少潜在缺陷并提升维护效率。自动化工具的引入能显著降低代码审查成本，为项目的长期发展奠定基础。
-
- 网罗开发
- 昨天
-
-
主要实现流程图如下所示由于业务方的类型很多，比如互动问答、笔记、课程等，所以通知方式必须是低耦合的，所以使用MQ来实现。相关面试题：为什么会选择使用RabbitMQ？RabbitMQ的功能比较丰富 , 支持各种消息收发模式(简单队列模式, 工作队列模式 , 路由模式 , 直接模式 , 主题模式等) , 支持延迟队列 , 惰性队列而且天然支持集群, 保证服务的高可用, 同时性能非常不错 , 社区也比较活跃, 文档资料非常丰富使用MQ吞吐量提升：无需等待消费者处理完成，响应更快速。
-
- 想吃螺狮粉
- 昨天
-
- 数据错误
-
不写简介！直接给我进来学！！！！！给我学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学
-
- 王子良.
- 昨天
-
-
Azure Synapse Studio 是微软Azure中的一款统一的数据分析平台，集成了多种数据处理功能，旨在帮助用户更高效地进行数据工程任务。数据工厂管理：通过数据工厂，您可以方便地进行ETL（提取、转换、加载）操作。数据工厂支持多种数据源，可以实现数据的高效迁移和转换。数据仓库操作：Synapse Studio允许用户在SQL池中进行数据仓库管理，支持数据的查询和处理，特别适用于大规模数据的分析。SQL池和Spark池配置。
-
- 海棠AI实验室
- 昨天
-
-
吉林大学大数据专业2023级计算机组成原理与系统结构试题回忆
-
在Windows系统下配置Hadoop集群方便初学者使用和调整配置，然在配置中还是出现了或多或少的问题，在收集了不少资料后才得以解决，故在此将我遇到的问题分享一下，做一个小汇总。Hadoop版本：hadoop-3.3.5/hadoop-3.3.4。
-
高速的中子撞击U235原子核，使其分裂成两个原子核，释放出巨大能量，同时产生的几个中子再去撞击其它原子核，形成链式反应，使得核裂变会无限的产生巨大的能量。“将高速的中子比喻成人类的创新思想，原子核就是我们目前的业务，当创新思想碰撞当前业务，就会衍生出新的业务，又激发出更多的创新思路，形成业务的链式创新。”华为云应用平台领域副总裁汪维敏一语道破， 云+AI+5G时代，新技术不断深度融合所产生巨大能量背后的力量。如今，欲快速迈进万物互联世界，数字化转型成为企业发展的必由之路，这亦是我们应对技术需求与商业环境变化的有效措施。
-
2019年7月，城建与云途腾签署了“昆明市轨道交通4号线弱电系统集成项目-车站云软件开发项目采购”合作协议。预计项目建设完成后，“昆明市轨道交通云平台”将被构建成业务可靠、资源融合、兼容开放、数据整合的信息系统平台，提高城轨运营效率、创新乘客服务模式 、优化乘客出行体验，落实中央要求的“高质量转变、实现轨道交通强国”的战略目标。
-
-
近日腾讯在京举办腾讯云媒体开放日，其中在云游戏专场，腾讯研究院研究员俞点和腾讯视频云业务总经理李郁韬分别进行了分享。俞点指出，腾讯从2016年开始便针对云游戏进行技术开发和积累，进入2019年后云游戏迎来爆发，谷歌Stadia、微软也出了Project xCloud等对应布局的产品走上台前，腾讯也拿出了腾讯云云游戏解决方案。
-
异曲同工，“像阿甘一样为了目标拼命追求”也是这家企业的持续坚持的信条。14.9%、10000、1050，作为近日在2019帆软媒体见面会上，CMO袁华杰着重强调的几个彰显里程碑意义的数字熠熠闪光。
-
“仙凡共界武陵门，峡刲翠叠溪连瀑”，李白的这首七律将张家界的美景描绘成人间仙境令人无限向往。张家界头顶“世界自然遗产”“国家森林城市”光环，拥有绿水青山的自然资源，具有得天独厚的发展优势。但当地并不满足于此，抢抓新一轮城市发展机遇，着力引领张家界市实现“建设全域覆盖、智能高效的智慧城市”总体目标，加速建成基础设施共建共用，政务数据共享协同，智慧应用国内领先、智慧产业特别是智慧旅游产业重点突破，营商环境优良，极具张家界旅游城市特色和示范引领作用的智慧城市，形成可推广的“智慧张家界新模式”。
-
分治算法，即分而治之：把一个复杂问题分成两个或更多的相同或相似子问题，直到最后子问题可以简单地直接求解，最后将子问题的解合并为原问题的解。归并排序就是一个典型的分治算法。 在这篇文章中我们将先介绍分治算法的「三步走套路」，然后通过经典的归并排序算法体验一番分治算法的核心，最后再通过真题演练一试身手！
-
“起初阿帕创造阿帕网络。 阿帕网络是空虚混沌。渊面黑暗。 阿帕的灵运行在网络里面。阿帕说：‘要有一个协议。’就有了一个协议。阿帕看它是好的。 阿帕说：‘要有更多的协议。’事就这样成了。阿帕看这是好的。 阿帕说：‘要有更多的网络。’事就这样成了。”
-
云+X案例展 | 民生类：纷享销客助力沃得农机构筑智能化、信息化之路
“2004年到2015年，是中国农机行业的黄金十年。”江苏沃得农业机械有限公司（以下简称沃得农机或沃得） 营销副总李文亮对我们说。近年来，随着中国土地流转进程的加快，中国农机的用户群体结构正在发生悄然的改变，从过去的个体用户向专业化合作社转变。而对于整个农机行业来讲，近年来正在向着智能化、信息化发展，这也是沃得未来发展的整体战略性走向。
-
近日腾讯云在北京举行大数据AI新品发布会。会上，腾讯云带来了在大数据与AI领域的最新研究成果，包括AI换脸甄别技术AntiFakes、腾讯星图以及企业画像平台等七大重磅新品，并对AI、大数据产品进行全线升级，致力于为用户带来更精细化的应用场景、更强大的技术能力以及更低的应用成本，全面降低企业AI技术应用门槛。
-
近日在腾讯云AI大数据新品发布会上，腾讯云副总裁王龙向听众全面介绍了当前腾讯云数据智能服务的全景布局。针对目前整体AI行业的发展趋势，他表示过去一招鲜的发展模式已经难以为继，取而代之的是真正能够产生价值的、端到端的、全面的AI解决方案，并且随着技术的不断演进，企业进入和使用数据智能领域的门槛将继续大幅降低。
-
-
在人类的历史长河中，我们这一代人是最幸运的一代，因为我们生活在一个智慧飞扬的时代。 这个时代最伟大的发明是什么？或许每个人心中都有不同的答案。在小灰看来，这个最伟大的发明有两个，一个是计算机，一个是互联网。 今天，小灰想和大家谈一个比较大的话题：中国的互联网。
-
-
-
互联网公司，可能是存在刻板印象最多的地方； 不管是来自外部的，还是内部的。 人们对互联网公司里的每个工种都有自己“心里的那个模样”； 而实际上，很多时候却不是想的那样...
-
云改变了IT业态和市场格局，催生了应用大发展的时代，企业可以更加专注于构建符合其愿景的、更具生命力的业务创新。全面使用云服务构建软件的时代已经到来，在这个大背景下，云原生的概念被提出并迅速具象化，而以容器为代表的云原生技术，作为提升云化服务能力的最佳选择，也得以快速发展。
-
京东任命周伯文担任京东云与AI事业部负责人 全面负责AI、云计算、IoT三大技术领域
2019年12月6日，京东集团宣布设立京东云与AI事业部，整合原京东云、人工智能、IoT三大事业部的架构与职责，由京东集团副总裁周伯文博士担任负责人，向京东集团董事局主席兼CEO刘强东先生汇报。周伯文博士将带领京东云、人工智能、IoT团队聚焦战略、技术、产品、创新、场景化顶层设计和商业落地，将京东“干锤百炼”的前沿技术与实体经济相融合，致力于实现学术前沿化、技术商业化的目标。
-
正如紫光集团副总裁、紫光云总裁兼CEO吴健所言：“一直以来，紫光云决心打造产业数字引擎，达成为产业赋能的最终目标。在这个过程中就需要打造一个足够强大的‘内核’，紫光云正是以全域、全栈、多场景的云基础平台为产业数字引擎铸‘核’加码。”
-
雅士利牵手阿里云实现新零售改造，双11全渠道成交金额同比增长超过200%
12月3日在阿里云峰会·广州站上，雅士利分享了与阿里云的合作，借助数据中台实现新零售改造。在刚刚结束的天猫双11中，雅士利旗舰店整体线上交易同比增长超3倍，旗下羊奶粉品牌“朵拉小羊”50秒成交额超越618全天成交总额，朵拉小羊3段成交订单全网第一，消费者资产实现10倍增长。
活动
-
2021-11-10
-
2021-03-09
-
2020-12-16
独家定制
-
-
3500人的专业安全团队与你同在
-
-
CSDN云计算在线公开课
-
-
IaaS市场高速增长，历久弥新
精品推荐
关于我们
关注「云计算」
转载 & 投稿：songhui@csdn.net
商务合作：zhangjing@csdn.net