- 相关博文
- 最新资讯
-
hive本身没有直接关停服务的命令，可以通过端口进程的方式进行关闭。两个RunJar分别为metastore、hiveserver2的进程，可以通过“kill -9 进程号”进行关停。配置完metastore-site.xml，需要先初始化hive元数据库，选择在一台节点初始化即可。在hadoop安装目录下的core-site.xml中，需要开启hadoop代理用户配置。进入Hive的配置目录： cd /opt/apps/hive/conf/hive4.0已经弃用默认的Hive Cli。
-
- 大数据探索者
- 20小时前
-
-
Flink 是一种开源的分布式计算框架，专为处理大规模数据流而设计。它能够在低延迟和高吞吐的场景下高效地处理实时和批量数据。
-
- Leven199527
- 21小时前
-
-
groupByKey按照key进行分组，没有聚合，直接进行shuffle。会先对分区内部分组，分组完成后进行shuffle，将相同的键从各个分区汇总到一起，再合并。按照key进行聚合，会在shuffle之前进行预聚合。现在分区内部对所有的键-值对进行遍历，遇到相同的key就会执行自定义的聚合逻辑。在每个分区内完成局部预聚合后，就会进行shuffle操作，分区分组聚合，先在不同的分区内进行分组预聚合，再对不同分区的预聚合后的结果进行聚合。特点，分区内的聚合逻辑可以与分区之间聚合逻辑不一样。
-
- 程序员SASIOVERLXRD
- 19小时前
-
-
本文内容为KafkaProducer消息生产过程的源码解析，详细解析了Kafka消息生产中，数据预处理、元数据更新、数据序列化、消息分区生产、写入消息累加器等各个环节的Kafka源码，完整展现了KafkaProducer进行消息生产的各步骤操作细节。
-
- 诗旸的技术记录与分享
- 12小时前
-
-
Filesystem Catalog 是 Apache Paimon 的内置 Catalog，它将元数据直接存储在文件系统中（如 HDFS、S3、本地文件系统等）。Hive Catalog 是基于 Hive Metastore 的 Catalog，实现了 Apache Paimon 和 Hive 生态系统的深度集成。Apache Paimon 提供了多种 Catalog（元数据管理）方式，用于统一管理表的元数据，如表结构、存储位置、分区等。
-
- oo寻梦in记
- 21小时前
-
- 数据错误
-
哈喽，大家好，我是Leven, 不知道大家在写spark 程序的时候，有没有发现SparkSession 和SparkContext 两个东西，但总是傻傻分不清楚这这这两者到底有什么关系，这里我就带大家简单了解这两个概念。
-
- Leven199527
- 昨天
-
-
本文探讨了如何在开源项目中集成代码质量检测工具，以解决代码质量参差不齐的问题。我们将介绍常用的工具（如 ESLint 和 SonarQube），并通过实际案例说明其应用过程，包括配置、运行及分析结果。同时，提供完整的前端示例代码模块，展示如何使用这些工具提升代码质量和项目维护效率。通过集成 ESLint、SonarQube 等代码质量检测工具，可以帮助开源项目保持代码风格一致、减少潜在缺陷并提升维护效率。自动化工具的引入能显著降低代码审查成本，为项目的长期发展奠定基础。
-
- 网罗开发
- 昨天
-
-
主要实现流程图如下所示由于业务方的类型很多，比如互动问答、笔记、课程等，所以通知方式必须是低耦合的，所以使用MQ来实现。相关面试题：为什么会选择使用RabbitMQ？RabbitMQ的功能比较丰富 , 支持各种消息收发模式(简单队列模式, 工作队列模式 , 路由模式 , 直接模式 , 主题模式等) , 支持延迟队列 , 惰性队列而且天然支持集群, 保证服务的高可用, 同时性能非常不错 , 社区也比较活跃, 文档资料非常丰富使用MQ吞吐量提升：无需等待消费者处理完成，响应更快速。
-
- 想吃螺狮粉
- 17小时前
-
- 数据错误
-
不写简介！直接给我进来学！！！！！给我学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学
-
- 王子良.
- 19小时前
-
-
Azure Synapse Studio 是微软Azure中的一款统一的数据分析平台，集成了多种数据处理功能，旨在帮助用户更高效地进行数据工程任务。数据工厂管理：通过数据工厂，您可以方便地进行ETL（提取、转换、加载）操作。数据工厂支持多种数据源，可以实现数据的高效迁移和转换。数据仓库操作：Synapse Studio允许用户在SQL池中进行数据仓库管理，支持数据的查询和处理，特别适用于大规模数据的分析。SQL池和Spark池配置。
-
- 海棠AI实验室
- 17小时前
-
-
在Windows系统下配置Hadoop集群方便初学者使用和调整配置，然在配置中还是出现了或多或少的问题，在收集了不少资料后才得以解决，故在此将我遇到的问题分享一下，做一个小汇总。Hadoop版本：hadoop-3.3.5/hadoop-3.3.4。
-
- LucfierOriginal
- 17小时前
-
-
说出大家认为即将在2020年重磅登场的科技“高光时刻”吧！评论区留言，哪些黑科技会喷薄而出？？？
-
随着数字化的进程，数据的处理、存储和传输得到了飞速的发展。高带宽的需求使得短距互联成了系统发展的瓶颈。受损耗和串扰等因素的影响，基于铜线的电互联的高带宽情况下的传输距离受到了限制，成本也随之上升。而且过多的电缆也会增加系统的重量和布线的复杂度。与电互连相比，基于多模光纤的光互连具有高带宽、低损耗、无串扰和匹配及电磁兼容等问题，而开始广泛地应用于机柜间、框架间和板间的高速互连。
-
-
2020年第一个工作日，“达摩院2020十大科技趋势”发布。这是继2019年之后，阿里巴巴达摩院第二次预测年度科技趋势。 回望2019年的科技领域，静水流深之下仍有暗潮涌动。AI芯片崛起、智能城市诞生、5G催生全新应用场景……达摩院去年预测的科技趋势一一变为现实。科技浪潮新十年开启，围绕AI、芯片、云计算、区块链、工业互联网、量子计算等领域，达摩院继续提出最新趋势，并断言多个领域将出现颠覆性技术突破。
-
随着云计算，大数据和人工智能技术发展，边缘计算发挥着越来越重要的作用，补充数据中心算力需求。计算架构要求多样化，需要不同的CPU架构来满足不断增长的算力需求，同时需要GPU，NPU和FPGA等技术加速特定领域的算法和专用计算。以此，不同CPU架构，不同加速技术应用而生。
-
-
刚刚获悉，腾讯在光网络设备和数据中心领域的两大硬件自研设计“OPC-4”和“TMDC”顺利通过OCP（Open Compute Project）审核并正式接受为官方开源贡献。这是腾讯在硬件领域的开源设计首次被OCP官方正式认可，同时，腾讯也成为中国首家对OCP有开源贡献的互联网公司。
-
作为一家年营收超1000亿美元全球化企业，华为有19万员工且多达1023个办公地点，遍布世界范围内170多个国家并横跨运营商、政企和消费者三大领域的业务规模……如此雄厚财力、庞大架构、繁杂业务，有何可愁？自然是对寻找一款能够支撑企业有效增长以及全球化运作的智能工作平台有高度迫切的需求，这就是华为云WeLink的缘起之因。“确实，WeLink在华为云产品序列中绝对算得上是战略级，我们对此投入了很多。”华为云副总裁、联接与协同业务总裁薛浩说。
-
云+X案例展 | 电商零售类：WakeData助力叁拾加数字化变革
在新零售时代下，各行业都在寻求数字化转型、发展智慧零售模式。而作为新零售的主赛道生鲜行业来说，运营端需要从即时性消费需求出发，加强线下场景布局，提升用户全渠道消费体验。其中水果是生鲜里消费者喜爱程度及消费频次较高的品类，具有很强的互联网基因，但水果行业的数据构成极其复杂，要考虑很多变量，这就需要借助线下大数据构建数字化运营及经营系统。
-
“量子通信”这个专题，解析难度真心有点大。它涉及到量子论、信息论这样的烧脑理论，还关联了密码学、编码学等一堆看着都要绕着走的复杂学科。很多概念，光是看名字，都让人瑟瑟发抖——
-
-
12月23日下午，“AI你—2019亚信科技媒体沟通会”在北京举办，亚信科技（股票代码：01675.HK）执行董事兼CEO高念书，高级副总裁兼公共与政府事务中心总经理陈武，副总裁兼CTO欧阳晔博士，副总裁兼战略与市场中心总经理王力平，与数十位来自党政、财经、IT行业和大众等主流媒体的记者编辑共聚一堂，就亚信科技近年来转型创新成果及未来五年的战略规划等展开深度沟通交流。大家踊跃发言，深度互动，共商发展，共期未来。
-
-
-
今日，华为在北京发布更懂企业的智能工作平台华为云WeLink，并携手合作伙伴成立华为云WeLink生态联盟。 首批加入华为云WeLink生态联盟的伙伴包括（排名不分先后）：金山办公、中软国际、致远互联、罗技、华为商旅、红圈营销、合思费控、Coremail论客、芯盾集团、目睹直播、视源股份、喜马拉雅、为知笔记等。
-
今日，华为云在北京发布智能工作平台WeLink。华为云副总裁、联接与协同业务总裁薛浩表示：“华为云WeLink源自华为数字化转型实践，是更懂企业的智能工作平台，具备智能高效、安全可靠、开放共赢三大核心优势，为政企开启数字化办公智能新体验，助力实现数字化转型。”
-
-
-
-
云+X案例展 | 金融类：金山云为新网银行重塑金融服务提供云计算动力
作为国内第三家、中西部首家互联网银行，新网银行从创立起，就注定将走上一条与众不同之路。按照新网银行高层的话说，“与其说我们是一家银行，不如说我们是一家拿了银行牌照、专注于大数据驱动的金融科技公司”，这无疑是点出了新网银行的特别之处——依靠大数据风控和金融科技能力来驱动业务运营，实现金融和科技的融合。
活动
-
2021-11-10
-
2021-03-09
-
2020-12-16
独家定制
-
-
3500人的专业安全团队与你同在
-
-
CSDN云计算在线公开课
-
-
IaaS市场高速增长，历久弥新
精品推荐
关于我们
关注「云计算」
转载 & 投稿：songhui@csdn.net
商务合作：zhangjing@csdn.net