- 相关博文
- 最新资讯
-
本文摘要:文章围绕ELK技术栈展开,主要内容包括:1)提出"人生四行"能力判断标准;2)ES集群核心概念面试题解析,涉及索引/分片/副本区别、端口协议、集群状态颜色等;3)EFK架构原理及数据流分析;4)容器与虚拟机从隔离性、性能等维度的对比;5)Filebeat采集数据的原理详解,包括行采集机制和状态记录;6)实战演示Filebeat采集Nginx/Tomcat日志的完整配置流程,涵盖软件安装、日志路径配置、索引模板设置等关键步骤。全文兼顾理论知识与实践操作,适合运维人员学习参考。
-
本文摘要: Azkaban 3.72.0集群部署指南,从源码编译开始详细记录搭建过程。重点包括:1)源码环境准备与依赖镜像源调整;2)Node.js和Gradle环境配置;3)多节点部署架构设计(1个Web+MySQL节点,2个Executor节点);4)MySQL数据库初始化注意事项;5)Web服务SSL证书生成方法;6)配置文件修改注意事项。特别强调国内网络环境下的编译问题和低版本MySQL驱动兼容性问题,提供完整的多执行器模式生产环境部署方案。
-
本文介绍了数据仓库的基本概念及其与业务数据库的区别,重点阐述了数据仓库的分层架构(ODS→DWD→DWS→ADS)和核心设计理念。同时,详细讲解了Hive作为构建大数据仓库的事实标准工具,包括其架构特点(元数据与数据分离)、核心优势(易用性、可扩展性)以及如何实现数据仓库分层。Hive通过将SQL查询转换为分布式计算任务,使非技术人员也能高效处理海量数据,是连接传统数据仓库理论与现代大数据技术的重要桥梁。
-
对git 命令,相信码农并不陌生。本文结合实际用到git命令,将git命令进行全面整理和总结。另外在给出Gitee远程的场景全流程使用到的git命令。
-
本文场景式串联 UGC 内容平台面试要点,详细剖析高频问题与实战应答,适合面试/项目架构参考。需要某部分详细技术文档请留言!
-
Elasticsearch 8.0+版本通过引入向量搜索和语义查询能力,解决了传统关键词搜索的同义词、语义理解等局限性。其核心是将文本转换为高维向量,通过计算向量距离实现语义相似度检索。部署需8.10+版本,支持内置或第三方Embedding模型。实现步骤包括:定义带dense_vector字段的索引、插入预计算向量的文档、执行kNN或semantic_text查询。还可结合Eland工具集成HuggingFace模型,或采用混合搜索兼顾关键词匹配。以四大名著作者问答系统为例,展示了如何构建语义搜索应用。该
-
本文详细介绍了如何在Logstash中配置从Elasticsearch读取数据并输出到Kafka的完整流程。主要包括三个核心部分:input(使用Elasticsearch插件定义数据源)、filter(可选的数据处理)和output(配置Kafka输出)。文章提供了详细的参数说明,包括必要的ES连接设置、查询条件、分页控制,以及Kafka的生产者配置、消息格式和可靠性设置。特别强调了使用文档ID作为Kafka消息key、元数据处理和错误重试等高级功能。最后给出了一个完整的配置示例,展示了如何将过去15分钟
-
Kafka02-集群选主
-
shell是什么:命令解释器,连接用户与 Linux 内核,转译命令并反馈结果shell能做什么:自动化部署、批量操作(如加用户)、备份数据库、探测负载等,解决重复工作省时间脚本构成:首行/bin/bash(指定解释器),开头是注释脚本步骤:写命令→chmod +x 脚本名赋权限→检查→执行脚本执行方式./脚本名(需权限)、sh 脚本名(无需权限)、source 脚本名(无需权限)变量变量名=值(无空格,字母 / 下划线开头),用$变量名调用;可修改(普通)、设只读(不可改删)、unset。
-
随着数字经济的深度渗透,2025 年全球数据规模预计突破 200ZB,大数据技术已成为企业降本增效、创新发展的核心驱动力,相关人才缺口持续扩大。想要在这个赛道站稳脚跟,专业证书无疑是提升竞争力的关键。其中最推荐的是 CDA 数据分析师,这个证书适应了未来数字化经济和 AI 发展趋势,难度不高,行业认可度高。以下 8 个证书覆盖大数据全产业链,从基础分析到高端架构,满足不同职业阶段的需求!
-
Flink DataStream API采用流式处理模型,由Source、Transformation和Sink三部分组成,形成完整的数据处理流水线。Source负责数据输入,Transformation进行实时处理转换(如过滤、映射、聚合等),Sink完成结果输出。其核心特点是声明式编程、惰性执行和统一API设计,支持低延迟的持续数据处理。相比批处理的有界数据一次性处理,DataStream API更适用于无界数据的实时分析场景,让开发者只需关注业务逻辑而无需操心底层实现。
-
大数据处理系统架构遵循可扩展性、容错性和高效性原则,主要分为批处理、流处理和混合架构。常见模式包括Lambda(批流并行)、Kappa(纯流式)和IOTA(边缘计算)。系统开发涵盖数据存储与管理、安全机制、处理分析及部署测试等环节,需平衡性能与可靠性,满足不同场景需求。
-
随着企业数字化转型的深入推进,实时数据仓库与湖仓一体化架构已成为现代数据平台建设的核心议题。在业务节奏日益加快的今天,企业不仅需要处理海量的历史数据,更需要实时洞察数据变化,快速响应市场需求。如何在保证数据一致性和可靠性的前提下,实现数据湖的灵活性与数据仓库的高性能完美融合,成为每一位数据架构师面临的重大挑战。在第 16 届中国数据库技术大会(DTCC2025)的「实时数仓与湖仓一体应用实践(上)」专场中,Databend 联合创始人吴炳锡带来了主题为《AI 时代下的湖仓一体化平台建设的思考》的深度分享。
-
在数字化转型加速的2025年,大数据与AI技术已成为各行各业的核心竞争力。考取相关证书不仅能提升个人技能,还能在职场中脱颖而出。
-
UNION(去重):4 次临时文件写入,总数据量约3*(A + B) - C;实际数据量需结合压缩、过滤、重复率等因素调整,核心是 “每个 Stage 的输出都会产生临时文件”。
-
在大数据时代,企业面临着海量数据实时同步的挑战。传统的数据同步方案往往存在延迟高、数据一致性难以保证、运维复杂等问题。StarRocks作为新一代极速全场景MPP数据库,提供了多种高效的数据同步方案,特别是基于CDC(Change Data Capture,变更数据捕获)的实时数据同步能力,为企业构建实时数据仓库提供了强有力的技术支撑。## 实时数据同步的核心价值实时数据同步在现代数据架构...
-
即可(如 JDBC、对象存储、ES、BigQuery…与 Producer/Consumer 使用同一。创建/巡检 Topic、配额、ACL。由主项目维护,其余为独立开源实现。Gradle 可自行换写法。提供,多语言客户端很多;,聚合出用户维度统计 →。Kafka 的功能通过。自定义连接器:直接使用。
-
默认容器内的数据是临时的。要让数据与配置长久保存,建议挂载卷或绑定宿主机目录。
-
通过面试官与谢飞机的互动,结合支付金融、内容社区与AIGC、在线教育等场景,层层递进解析微服务、缓存、AI与大数据等Java核心技术知识点,助力求职者掌握面试重点。

-
-
腾讯会议扩容背后:100万核计算资源全由自研服务器星星海支撑
疫情期间,远程会议及协同办公需求暴增。从1月29日开始到2月6日,腾讯会议每天都在进行资源扩容,日均扩容云主机接近1.5万台,8天总共扩容超过10万台云主机,共涉及超百万核的计算资源投入。
-
受疫情影响,多数企业员工目前无法回到写字楼办公,学生推迟开学,稳定高效的远程办公和直播授课成为2020年的开年刚需。腾讯从1月24日开始向全国免费开放可支持300人同时在线会议的“腾讯会议”,直至疫情结束。央视新闻联播对此也给予了报道。
-
-
1月7日,腾讯宣布正式启动“SaaS技术联盟”,联合金蝶、用友、有赞、微盟、销售易、六度人和、道一、肯耐珂萨(KNX)等外部SaaS厂商,以及企业微信、腾讯会议、企点等腾讯内部SaaS产品,共建技术中台。同时,工信部信软司相关领导在发布会上表示,将指导联盟成员开展中国产业互联网发展联盟SaaS技术专委会筹备工作。
-
-
刚刚获悉,腾讯在光网络设备和数据中心领域的两大硬件自研设计“OPC-4”和“TMDC”顺利通过OCP(Open Compute Project)审核并正式接受为官方开源贡献。这是腾讯在硬件领域的开源设计首次被OCP官方正式认可,同时,腾讯也成为中国首家对OCP有开源贡献的互联网公司。
-
-
腾讯多媒体实验室:基于三维卷积神经网络的全参考视频质量评估算法
腾讯有多个视频业务线,点播视频有腾讯视频、企鹅影视,短视频有微视、K歌,直播类有Now直播、企鹅电竞,实时传输类有QQ和微信的音视频通话、无线投屏和腾讯会议等。
-
“与合作伙伴‘共创’是产业互联网发展最重要的路径,也是最佳的路径。”腾讯公司高级执行副总裁、云与智慧产业事业群总裁汤道生在2019腾讯云启产业生态年会上给出了腾讯的答案。
-
近日腾讯在京举办腾讯云媒体开放日,其中在云游戏专场,腾讯研究院研究员俞点和腾讯视频云业务总经理李郁韬分别进行了分享。俞点指出,腾讯从2016年开始便针对云游戏进行技术开发和积累,进入2019年后云游戏迎来爆发,谷歌Stadia、微软也出了Project xCloud等对应布局的产品走上台前,腾讯也拿出了腾讯云云游戏解决方案。
-
近日腾讯云在北京举行大数据AI新品发布会。会上,腾讯云带来了在大数据与AI领域的最新研究成果,包括AI换脸甄别技术AntiFakes、腾讯星图以及企业画像平台等七大重磅新品,并对AI、大数据产品进行全线升级,致力于为用户带来更精细化的应用场景、更强大的技术能力以及更低的应用成本,全面降低企业AI技术应用门槛。
-
近日在腾讯云AI大数据新品发布会上,腾讯云副总裁王龙向听众全面介绍了当前腾讯云数据智能服务的全景布局。针对目前整体AI行业的发展趋势,他表示过去一招鲜的发展模式已经难以为继,取而代之的是真正能够产生价值的、端到端的、全面的AI解决方案,并且随着技术的不断演进,企业进入和使用数据智能领域的门槛将继续大幅降低。
-
-
CSDN云计算「C课有道」栏目趁着这股技术风潮再次如期而至啦!秉承「门门有路,路路有门」的理念,这次CSDN云计算小分队特邀阿里云、腾讯云、青云、天云等企业内的“国宝级”架构师,共同打造了一款数据库系列进阶教程,效果绝堪比“红宝书”。 从数据库宏观发展入手,内容主要涉及云数据库为代表的非关系型数据库、MySQL数据处理、分布式等诸多技术要点,将造福开发者设置为终极指标,纯技术绽放的精彩无限,实在不容错过。
-
i 智慧 | 为云而生、多快好省,这就是星星海的style!
不久之前,腾讯云刚刚对外上新了一款服务器,号称深度自研且独一无二,其名字也十二分的卡哇伊,叫做“星星海”。晶少虽然还没来得及探寻其名的出处,不过在与腾讯服务器供应链总经理刘裕勋的谈聊中已基本了解到星星海的重要style之一,为云而生。
-
腾讯Techo开发者大会揭晓云存储发展趋向:高性能、高可用、高性价比
产业数字化转型过程中产生着比过去任何一个时代都多的数据。在这样的背景下,数据存储技术应该怎么发展?11月7日,在腾讯Techo开发者大会上,来自科研领域的专家和腾讯云存储业务的工程师们共同揭开了云存储的发展趋势。
-
不久之前,腾讯云刚刚对外上新了一款服务器,号称深度自研且独一无二,其名字也十二分的卡哇伊,叫做“星星海”。晶少虽然还没来得及探寻其名的出处,不过在与腾讯服务器供应链总经理刘裕勋的谈聊中已基本了解到星星海的重要style之一,为云而生。
