- 相关博文
- 最新资讯
-
hive本身没有直接关停服务的命令，可以通过端口进程的方式进行关闭。两个RunJar分别为metastore、hiveserver2的进程，可以通过“kill -9 进程号”进行关停。配置完metastore-site.xml，需要先初始化hive元数据库，选择在一台节点初始化即可。在hadoop安装目录下的core-site.xml中，需要开启hadoop代理用户配置。进入Hive的配置目录： cd /opt/apps/hive/conf/hive4.0已经弃用默认的Hive Cli。
-
- 大数据探索者
- 21小时前
-
-
Flink 是一种开源的分布式计算框架，专为处理大规模数据流而设计。它能够在低延迟和高吞吐的场景下高效地处理实时和批量数据。
-
- Leven199527
- 22小时前
-
-
groupByKey按照key进行分组，没有聚合，直接进行shuffle。会先对分区内部分组，分组完成后进行shuffle，将相同的键从各个分区汇总到一起，再合并。按照key进行聚合，会在shuffle之前进行预聚合。现在分区内部对所有的键-值对进行遍历，遇到相同的key就会执行自定义的聚合逻辑。在每个分区内完成局部预聚合后，就会进行shuffle操作，分区分组聚合，先在不同的分区内进行分组预聚合，再对不同分区的预聚合后的结果进行聚合。特点，分区内的聚合逻辑可以与分区之间聚合逻辑不一样。
-
- 程序员SASIOVERLXRD
- 21小时前
-
-
本文内容为KafkaProducer消息生产过程的源码解析，详细解析了Kafka消息生产中，数据预处理、元数据更新、数据序列化、消息分区生产、写入消息累加器等各个环节的Kafka源码，完整展现了KafkaProducer进行消息生产的各步骤操作细节。
-
- 诗旸的技术记录与分享
- 14小时前
-
-
Filesystem Catalog 是 Apache Paimon 的内置 Catalog，它将元数据直接存储在文件系统中（如 HDFS、S3、本地文件系统等）。Hive Catalog 是基于 Hive Metastore 的 Catalog，实现了 Apache Paimon 和 Hive 生态系统的深度集成。Apache Paimon 提供了多种 Catalog（元数据管理）方式，用于统一管理表的元数据，如表结构、存储位置、分区等。
-
- oo寻梦in记
- 22小时前
-
- 数据错误
-
哈喽，大家好，我是Leven, 不知道大家在写spark 程序的时候，有没有发现SparkSession 和SparkContext 两个东西，但总是傻傻分不清楚这这这两者到底有什么关系，这里我就带大家简单了解这两个概念。
-
- Leven199527
- 昨天
-
-
本文探讨了如何在开源项目中集成代码质量检测工具，以解决代码质量参差不齐的问题。我们将介绍常用的工具（如 ESLint 和 SonarQube），并通过实际案例说明其应用过程，包括配置、运行及分析结果。同时，提供完整的前端示例代码模块，展示如何使用这些工具提升代码质量和项目维护效率。通过集成 ESLint、SonarQube 等代码质量检测工具，可以帮助开源项目保持代码风格一致、减少潜在缺陷并提升维护效率。自动化工具的引入能显著降低代码审查成本，为项目的长期发展奠定基础。
-
- 网罗开发
- 昨天
-
-
主要实现流程图如下所示由于业务方的类型很多，比如互动问答、笔记、课程等，所以通知方式必须是低耦合的，所以使用MQ来实现。相关面试题：为什么会选择使用RabbitMQ？RabbitMQ的功能比较丰富 , 支持各种消息收发模式(简单队列模式, 工作队列模式 , 路由模式 , 直接模式 , 主题模式等) , 支持延迟队列 , 惰性队列而且天然支持集群, 保证服务的高可用, 同时性能非常不错 , 社区也比较活跃, 文档资料非常丰富使用MQ吞吐量提升：无需等待消费者处理完成，响应更快速。
-
- 想吃螺狮粉
- 19小时前
-
- 数据错误
-
不写简介！直接给我进来学！！！！！给我学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学学
-
- 王子良.
- 20小时前
-
-
Azure Synapse Studio 是微软Azure中的一款统一的数据分析平台，集成了多种数据处理功能，旨在帮助用户更高效地进行数据工程任务。数据工厂管理：通过数据工厂，您可以方便地进行ETL（提取、转换、加载）操作。数据工厂支持多种数据源，可以实现数据的高效迁移和转换。数据仓库操作：Synapse Studio允许用户在SQL池中进行数据仓库管理，支持数据的查询和处理，特别适用于大规模数据的分析。SQL池和Spark池配置。
-
- 海棠AI实验室
- 18小时前
-
-
在Windows系统下配置Hadoop集群方便初学者使用和调整配置，然在配置中还是出现了或多或少的问题，在收集了不少资料后才得以解决，故在此将我遇到的问题分享一下，做一个小汇总。Hadoop版本：hadoop-3.3.5/hadoop-3.3.4。
-
- LucfierOriginal
- 18小时前
-
-
看完这一篇，你就对 Spring Security 略窥门径了
开发Web应用，对页面的安全控制通常是必须的。比如：对于没有访问权限的用户需要转到登录表单页面。要实现访问控制的方法多种多样，可以通过Aop、拦截器实现，也可以通过框架实现，例如：Apache Shiro、Spring Security。我们这里要讲的Spring Security 就是一个Spring生态中关于安全方面的框架。它能够为基于Spring的企业应用系统提供声明式的安全访问控制解决方案。
-
-
-
为什么要在油气行业中应用 IoT？这 8 个应用场景告诉你 IoT 在油气行业中可以做什么...
如今，物联网已经进入了各行各业：汽车、农业、绿色能源。物联网还将征服的领域之一是石油和天然气领域。在这些特殊的行业环境中，公司雇佣专业人员来预测机器何时需要维护和保养。通过物联网监控，以确保员工在工作环境中的安全，并改善生产。 麦肯锡 (McKinsey Global Institute)研究表明，到2025年，物联网有可能吸引$11.1T 的资金。
-
ES2020 是 ECMAScript 对应 2020 年的版本。这个版本不像 ES6 (ES2015)那样包含大量新特性。但也添加了许多有趣且有用的特性。本文的代码地址：https://github.com/ljianshu/Blog 本文以简单的代码示例来介绍 ES2020新特性。这样，你可以很快理解这些新功能，而不需要多么复杂的解释。
-
在本文中，我们将开始开发自己的Kubernetes控制器。 技术栈可以是Python、NodeJS或Ruby。因为这个博客被命名为为“ Java极客”，因此选择Java是很正常的。 作为一个用例，我们将实现sidecar模式：每当一个pod被调度时，sidecar pod也会随之被调度。如果将前者删除，则后者也必须删除。
-
-
其实“数据湖”的概念由来已久，如果追溯时间大概可以到2011年。如今我们经常提及的数据湖其实可以被认为是一个集中式的安全存储库，用户可以任何规模存储、管理、发现并共享所有结构化和非结构化数据，过程中无需预定义架构。
-
-
医疗保健、零售、金融、制造业……一文带你看懂大数据对工业领域的影响！...
随着大数据技术的兴起，工业领域在很大程度上发生了变化。智能手机和其他通讯方式的使用迅速增加，使得每天都能收集大量数据。以下是大数据对工业领域的影响。
-
2020年已经到来，它的到来带来了信息和技术（IT）领域的诸多创新和变革，特别是对DevOps技术的创新和变革。美国领先的调查机构Grand View Research的专家进行的一项研究宣称，预计到2025年，DevOps的市场价值将达到128.5亿美元。
-
Docker容器已经从一种锦上添花的技术转变成了部署环境的必需品。有时，作为开发人员，我们需要花费大量时间调试或研究Docker工具来帮助我们提高生产力。每一次新技术浪潮来临之际，我们都需要花费大量时间学习。
-
SQL是用于数据分析和数据处理的最重要的编程语言之一，因此SQL问题始终是与数据科学相关工作（例如数据分析师、数据科学家和数据工程师）面试过程中的一部分。 SQL面试旨在评估应聘者的技术和解决问题的能力。因此，至关重要的是，不仅要根据样本数据编写正确的查询语句，而且还要像对待现实数据集一样考虑各种情况和极端情况。
-
近日，阿里云对外宣布其容器服务调度GPU云服务器启动加速计算，最快只需60秒即可完成新冠病毒的核酸对比工作；同时将向医疗科研机构、疾控中心等一线病毒研究机构免费开放基因计算服务，技术可大幅提升宏基因组测序、疫苗研发相关的处理效率。基于此，晶少专程采访了阿里云基因计算服务AGS负责人、高级技术专家李鹏，集中呈现针对GPU和容器技术大幅提升核酸比对速度的有关细节以及关于阿里云基因计算服务（AGS）的诸多信息。
-
最近，我构建了一个本地开发环境，该环境使用 Docker 进行一些关键的集成测试。 在我要完成这项工作时，我意识到在开始这项工作之前，我没有考虑到这么做的一些意义深远影响，如：
-
数据库连接池和线程池等池技术存在的意义都是为了解决资源的重复利用问题。在计算机里，创建一个新的资源往往开销是非常大的。而池技术可以统一分配，管理某一类资源，它允许我们的程序可以重复的使用这个资源，只有在极端情况下（比如连接池满）才会创建新的资源。
-
-
从提取层、处理层、基础结构入手，带你了解Spark和Kafka！
电子商务市场中典型的一天是这样的：每分钟发生1万个事件流，并且要选择合适的工具对其进行处理。
-
随着业务的发展，MySQL数据库中的表会越来越多，表中的数据量也会越来越大，相应地，数据操作的开销也会越来越大；另外，无论怎样升级硬件资源，单台服务器的资源（CPU、磁盘、内存、网络IO、事务数、连接数）总是有限的，最终数据库所能承载的数据量、数据处理能力都将遭遇瓶颈。
-
王坚博士曾经做过这样一个非常形象的比喻，他将做 App 比作是在别人的花园里弄盆栽，「种点花草是没有问题的」，不过「别人叫你的产品下架你就得下架，这是有问题的」，现在在 GitHub 上，众多的开发者显然遭遇了这样的问题。
活动
-
2021-11-10
-
2021-03-09
-
2020-12-16
独家定制
-
-
3500人的专业安全团队与你同在
-
-
CSDN云计算在线公开课
-
-
IaaS市场高速增长，历久弥新
精品推荐
关于我们
关注「云计算」
转载 & 投稿：songhui@csdn.net
商务合作：zhangjing@csdn.net