- 相关博文
- 最新资讯
-
数仓学习——DolphinScheduler任务调度工具前言一、DolphinScheduler简介1.DolphinScheduler概述2.DolphinScheduler组件3.DolphinScheduler核心架构二、DolphinScheduler部署说明1.软硬件环境要求1.1 操作系统版本要求1.2 服务器硬件要求2.部署模式2.1单机模式2.2 伪集群模式2.3 集群模式三、DolphinScheduler集群模式部署1.集群规划2.前置准备工作3.解压DolphinScheduler安装
-
Druid是一个分布式数据分析平台,也是一个时序数据库,也是一个集群系统,使用zookeeper做节点管理和事件监控,所以Druid一般搭配mysql使用Druid是一个快速的列式分布式的支持实时分析的数据存储系统。它在处理PB级数据、毫秒级查询、数据实时处理方面,比传统的OLAP系统有了显著的性能改进。注意:阿里巴巴也曾创建过一个开源项目叫作Druid(简称zxdyl),它是一个数据库连接池的项目。zxdyl和本文讨论的Druid没有任何关系,它们解决完全不同的问题。Druid是一种能对历史和实时数据提
-
如果只是想打印当前项目的依赖树,最简单的方法就在在该项目(包含pom)的目录下执行maven命令,要注意的点是:1.执行的目录下必须包含pom文件,且多模块的要在父pom所在目录下执行;2.需要在powershell下执行(idea里支持)如果想打印出来并放到一个文件里,那么可以在项目目录下执行该命令执行完上述命令后,就可以到对应目录下找到那个文件,里面就是你项目里的所有依赖。这里简单提供一个解析上面txt的文件并转成xml的代码2.判断依赖是否有漏洞上maven仓库上搜索对应的artifac
-
kafka消费者停止消费
-
Sentry权限管理hive、hue、hdfs等
-
Springboot集成elasticsearch7
-
掌握使用IntelliJ Idea开发Spark应用程序的过程。1、使用IntelliJ Idea开发本地Spark应用程序。 2、部署分布式Spark应用程序。首先创建Spark应用程序,在本地运行并测试;然后修改Spark应用程序,访问分布式文件系统HDFS;最后将项目打为jar包,部署到Spark集群上执行。硬件:x86_64 ubuntu 16.04服务器 软件:JDK1.8,Spark-2.3.2,Hadoop-2.7.3,IntelliJ Idea1、启动IntelliJ Idea。在终
-
准备工作:下载zookeeper安装包,地址:zookeeper官网将下方内容保存为文件vim zoo.cfg# The number of milliseconds of each ticktickTime=2000# The number of ticks that the initial # synchronization phase can takeinitLimit=10# The number of ticks that can pass between # send.
-
今天想着给自己的微服务项目添加一个的功能,正好项目内远程调用是用的feign,那就直接用hystrix好了,也比较方便。然后呢,我以为比较简单的东西,却一直不生效,资料查了个遍,硬是弄了我一上午+一下午的时间,所以记录一下,给大家避坑。如果你的环境跟我差的有点多,那这篇文章可能对你的帮助不大。原因主要有二配置文件网上很多教程都是给的旧版本的配置文件,都是,但在新版本这是不生效的,正确的配置应该是下面我这样:可以参考官网:https://docs.spring.io/spring-cloud-openfei
-
Zookeeper选举机制: 在启动过半时,在已启动的服务器中id值最大的服务器将会成为leader.
数据错误
-
本博客基于 flink 1.13 官网中的 DataStream API 部分内容进行翻译整理。
-
maven项目常用打包命令以及使用
-
什么场景下会发生消息的消费顺序的错乱?如何保证消息消费的有序性?
-
hive详解
-
把数据仓库架构理解成构成数据仓库的组件及其之间的关系图中显示的整个数据仓库环境包括操作型系统和数据仓库系统两大部分。操作型系统的数据由各种形式的业务数据组成,这其中可能有关系数据库、TXT或CSV文件、HTML或XML文档,还可能存在外部系统的数据,比如网络爬虫抓取来的互联网数据等,数据可能是结构化、半结构化、非结构化的。这些数据经过抽取、转换和装载(ETL)过程进入数据仓库系统。在数据仓库技术演化过程中,产生了几种主要的架构方法,包括数据集市架构、Inmon企业信息工厂架构...
数据错误
-
elasticSearch8.5 启动报错
-
【ES报错】Unable to parse response body for Response{requestLine=PUT /index/_doc...HTTP/1.1 201 Created}
Unable to parse response body for Response{requestLine=PUT /index/_doc...HTTP/1.1 201 Created} -
markdown、缩进控制
-
讲解了在鲲鹏云上Hive组件的部署过程,并对所用的指令阐述,以增进理解。
加载中...
-
Apache Kafka 是一个快速、可扩展的、高吞吐的、可容错的分布式“发布-订阅”消息系统, 使用 Scala 与 Java 语言编写,能够将消息从一个端点传递到另一个端点。
-
从提取层、处理层、基础结构入手,带你了解Spark和Kafka!
电子商务市场中典型的一天是这样的:每分钟发生1万个事件流,并且要选择合适的工具对其进行处理。
-
Apache Kafka 是一个快速、可扩展的、高吞吐的、可容错的分布式“发布-订阅”消息系统, 使用 Scala 与 Java 语言编写,能够将消息从一个端点传递到另一个端点,较之传统的消息中 间件(例如 ActiveMQ、RabbitMQ),Kafka 具有高吞吐量、内置分区、支持消息副本和高容 错的特性,非常适合大规模消息处理应用程序。
-
本文主要列举一些 Kafka 的常用工具,以及举了一些例子来帮助理解。有需要的小伙伴,可以 Mark 起来再看。