- 相关博文
- 最新资讯
-
Elaticsearch,简称为 ES, ES 是一个开源的高扩展的分布式全文搜索引擎, 是整个 ElasticStack 技术栈的核心。它可以近乎实时的存储、检索数据;本身扩展性很好,可以扩展到上百台服务器,处理 PB 级别的数据。
-
在上一章节,我们学习到了es通过RestHighLevelClient实现最基本的增删改查的语法,在本章我们继续深入实践一下es的相关操作,在SpringBoot的相关依赖中,es已经帮我们将基本的操作都进行了封装,我们只需要掌握这些api,便可以轻松的操作我们的es。要构建QueryBuilder,我们可以使用工具类QueryBuilders,里面有大量的方法用来完成各种各样的QueryBuilder的构建,字符串的、Boolean型的、match的、地理范围的等等。它们通常用于过滤,排序,和聚合。
-
HBase replication流程的梳理,文章深度剖析了replication的原理
-
分词器是es中的一个组件,通俗意义上理解,就是将一段文本按照一定的逻辑,分析成多个词语,同时对这些词语进行常规化的一种工具;ES会将text格式的字段按照分词器进行分词,并编排成倒排索引,正是因为如此,es的查询才如此之快;
-
源码,ChunJun/FlinkX任务提交启动的流程源码分析,提交参数解析、反射Main、SYNC、SQL、connector插件加载、Source、Sink
-
hive表的接本操作语句
-
elasticsearch exporter 监控 elasticsearch
-
shell脚本传参中包含有空格的参数
-
(1*4即4个节点共4个executor)*4=16,总cpu为32线程 8/16=1/2。每个executor内存数=该节点可用的总内存数/该节点executor数=16G/1=19G(这里因为executor num实在太小,所以随便选了16)但是一般cpu:内存=1:2-1:4,阿里云封装的时候1CU = 1cpu+4G内存, 即1:4,该值是比较合理的。内存数与线程数不是严格按照1:2,或者1:4,这个需要看一下每个节点的可用资源,具体情况具体计算。这里可以看出来,内存数/线程数=16/4=4。
-
XFILE:SAP Hana CDS 开发简介
数据错误
-
大数据开发面经
-
部署OpenStack云平台
-
hive sql的经典题目 连续登陆|间隔连续登陆|行列转换|累加|topN | 炸裂
-
最近碰到了Elasticsearch GeoIpDownloader相关的一个异常,花费了不少精力排查,故此记录一下,希望碰到同样问题的童鞋们少走弯路。这个异常是在Elasticsearch启动的过程中报的error,如下所示,从提示信息来看是因为GeoIpDownloader更新数据库失败导致。GeoIpDownloader是用于下载地图数据库的,在更新的过程中会判断是否所有的分片都是active状态,如果不是的话会抛出这个错误。
数据错误
-
参数2:是否批量否定多个消息,设为false就与basicReject功能一样,triue的前提也是在同一个channel,且在该消息否定前存在未确认的消息。basicAck方法是肯定的交付,一般在该消息处理完后执行,该消息才会在队列里面被删除,不然会处于UnAcked的状态存在队列中。参数2: 是否批量确认消息,前提是在同一个channel里面,且是在该消息确认前没有被确认的消息才能批量确认。消费者默认是自动确认的,这是及其不安全的。参数3: 对异常消息的处理,true表示重排序,false表示丢弃。
-
Docker搭建RabbitMQ
-
AQE是Spark SQL的一种动态优机制,是Spark3才出现的。总体思想是动态优化和修改物理执行计划,利用执行结束的上游Stage的统计信息(主要是数据量和记录数),来优化下游stage的物理执行计划。AQE有三大特性
-
MapReduce报错:Exception in thread "main" ExitCodeException exitCode=-1073741515
加载中...
-
-
作为云时代的整合服务商,联想为了加快转型,更是推出了“三级火箭”战略:一级火箭,与专业垂直领域合作伙伴合作,建立智慧数据中心;二级火箭,与微软Azure、VMware、红帽等合作,以及自身在OpenStack方面的自研能力,建立智慧的云世界;三级火箭,建立智慧的行业应用。
-
-
首次落地中国大陆的OpenInfra:中国对于开源做出的贡献力量已不可忽视
一张标志着上海现代建筑地标的东方明珠海报,另一张展示着上海悠久历史的豫园景区海报,不仅向我们展示了这座城市浓厚的历史气息与现代化的繁荣,也让我们看到了OpenStack历经9年历史背后仍有着新鲜的科技气息。仅从这两张景色迷人且拥有时尚气息的两张海报,便能够看出此次开源基础设施峰会的用心良苦。没错,前身为OpenStack Summit的Open Infrastructure Summit首次落地中国大陆,而此次也正是阿丹第一次参加这场盛会,深感荣幸。
-
首次落地中国大陆的OpenInfra:中国对于开源做出的贡献力量已不可忽视
一张标志着上海现代建筑地标的东方明珠海报,另一张展示着上海悠久历史的豫园景区海报,不仅向我们展示了这座城市浓厚的历史气息与现代化的繁荣,也让我们看到了OpenStack历经9年历史背后仍有着新鲜的科技气息。仅从这两张景色迷人且拥有时尚气息的两张海报,便能够看出此次开源基础设施峰会的用心良苦。没错,前身为OpenStack Summit的Open Infrastructure Summit首次落地中国大陆,而此次也正是阿丹第一次参加这项盛会,并感到十分荣幸。
-