- 相关博文
- 最新资讯
-
1. logstash通可以收集日志，也可以进行数据清洗，但是一般不用logstash来做日志收集，其依赖java环境，并且数据量过大，会占用过多资源，所以logstash一般用来进行数据清洗2. logstash清洗完的数据会交给elasticsearch进行存储3. 用户通过kibana进行可视化页面查看日志，kibana主要用途是负责数据的展示，类似于grafana。4. kibana中展示得数据是通过elasticsearch的api进行相关数据的搜索。5. filebeat是一个轻量级的日
-
- 景天科技苑
- 昨天
-
-
在Python Flask应用开发中，消息队列扮演着至关重要的角色。消息队列可以实现异步处理、解耦服务、流量削峰等功能，提高系统的性能和可扩展性。本文的目的是帮助开发者了解在Flask应用中如何选择合适的消息队列，并进行正确的配置。我们将涵盖常见的消息队列，如RabbitMQ、Redis、Kafka等，分析它们的特点、适用场景，并给出详细的配置步骤和代码示例。核心概念与联系：介绍常见消息队列的核心概念、原理和架构，通过文本示意图和Mermaid流程图进行直观展示。核心算法原理 & 具体操作步骤。
-
- Python编程之道
- 昨天
-
-
从0开始。搭建一套自己的工具函数库，工程打包后支持commonjs模块的引入，es模块的引入。还支持script的形式引入。还支持工程化项目的unplugin-auto-import插件。并将打包结果发布到npm。这套模板也可以用于封装一些个性化的js库，不单单限于工具函数库的一套工程化模板。
-
- 新时代农民工--小明
- 昨天
-
-
4.重命名，把解压后的文件夹改成spark-local。因为后续我们还会使用其他的配置方式，所以这里先重命名一次。① 打开etc/profile.d/my_env.sh文件中，补充设置spark的环境变量。2.通过finalshell连接虚拟机，并将文件上传安装文件到 /opt/software下。进入到spark-local，运行命令spark-submit命令。在任务还处于运行状态时，可以通过hadoop100:4040来查看。3.解压spark安装文件到/opt/module下。
-
- 今天我又学废了
- 昨天
数据错误 -
-
随着信息技术的飞速发展，数据量呈现爆炸式增长，大数据已经成为企业和组织决策的重要依据。大数据架构设计的目的是构建一个能够高效处理、存储和分析海量数据的系统，以满足业务需求。本文章的范围涵盖了大数据架构设计的各个方面，重点关注高可用、高性能和低成本这三个关键要素，旨在为读者提供全面的大数据架构设计指导。本文将按照以下结构进行组织：首先介绍大数据架构设计的背景信息，包括目的、预期读者和文档结构。接着深入探讨高可用、高性能、低成本的核心概念及其相互联系，给出原理和架构示意图。
-
- AI天才研究院
- 前天
-
- 数据错误
-
• Spark 支持多样化任务类型：批处理（Spark Core）、实时流处理（Spark Streaming）、交互式查询（Spark SQL）、机器学习（MLlib）、图计算（GraphX）等，适用场景更广泛。Spark 依赖 Hadoop 的存储生态（如 HDFS），并借助 YARN 实现资源调度；：集成 Spark SQL（结构化数据查询）、Spark Streaming（流计算，支持秒级延迟）、MLlib（机器学习库）、GraphX（图计算）等模块，形成一站式大数据处理平台。
-
运行INFINI Console 1.29.0 和 1.29.1 版本的用户在新初始化平台后可能会遇到一个特定问题。如果后台的系统 Easysearch/Elasticsearch 集群（存储 Console 元数据的集群，通常名为或类似名称）包含超过一个节点的场景下， INFINI Console 会错误地报告系统集群健康状态异常（例如，显示为不可用）。而对于已存在的历史集群不会发生，如果有以上情况，单纯升级并不能解决问题。可以尝试本文的解决方案。
-
- INFINI Labs
- 昨天
-
-
在线教育如何应对流量洪峰？阿里云专家：上云+云数据库是最佳路径
2月中下旬原本是全国各地春季学期开学的日子，但这场突如其来的疫情使得1.8亿中小学生只能纷纷在家开启“停课不停学”的学习生活，而线上教育也顺势成为了这一特殊时期首选的学习方式。
-
在任何以数据为中心的工作中，对SQL有深刻的理解都是成功的关键，尽管这不是工作中最有趣的部分。事实上，除了SELECT FROM WHERE GROUP BY ORDER BY之外，还有更多的SQL方法。你知道的功能越多，操作和查询所需的内容就越容易。
-
你的企业混合云了吗？来看看评估混合云解决方案时要注意的6个原则！
混合云如今很流行。几乎每个IT公司都声称已部署了解决方案，但实际上实现的却很少。相反，它们拥有与多个云实例进行某种程度集成的私有云。
-
探索处理数据的新方法，8 个重点带你搞懂云数据库——DBaaS（数据库即服务）到底是什么！...
在分析的世界中，网站的每次点击都是数据分析的候选对象，显然，这会涉及大量的数据生成。
-
数据安全对企业生存发展有着举足轻重的影响，数据资产的外泄、破坏都会导致企业无可挽回的经济损失和核心竞争力缺失，而往往绝大多数中小企业侧重的是业务的快速发展，忽略了数据安全重要性。近年来，企业由于自身的安全防护机制不严谨，引发的数据安全事件频发。抛开事件本身的人为因素不谈，如何从技术角度避免类似的事件发生，才是我们需要认真总结的。
-
在我们开始之前，作者想先声明一下，本文并非要从两者中分出一个胜负，所以无论你是哪一方的忠实支持者，都建议你仅客观看待本篇文章。
-
-
-
云应用程序是热门话题。很多时候，我们会遇到像云原生应用程序和云计算应用程序这样的术语。首先，很少有人同时使用这两个术语。但两者之间存在着模糊的界线。云原生和云计算的区别到底是什么呢？为什么它如此重要？让我们来看看！
-
-
最近，Jrebel公布了一份2020 Java生态系统报告，这份报告主要关注开发人员在开发过程中使用的技术。
-
自从Docker在2013年初上线以来，就与程序员及系统管理员之间产生了一种爱恨交加的奇妙关系。虽然与我交谈过的一些经验丰富的的开发人员都非常不喜欢容器化(稍后会详细介绍)，但是为什么许多大公司，包括eBay、Twitter、Spotify和Lyft在内，都在他们的生产环境中采用了Docker呢？
-
稳定、可扩展、模块化、简化部署过程、版本控制……一文看懂 Kubernetes 到底如何运用！...
说实话，我是个Kubernetes爱好者。Kubernetes是软件开发的重要一步。当我遇到它时，我就想：“这就是将容器融入生产的方式”。我没有任何犹豫就投入了它的怀抱。有成千上万的架构师像我一样，已经深深爱上这项技术。
-
超级干货！31 条2020 年最新版 ZooKeeper面试题，先收藏再看
金三银四，虽然受疫情影响，大多数企业还未正式复工，但没有条件，创造条件也要上，许多企业已经开始物色合适的人才了，我们怎么能掉队？趁着在家里，赶紧预习一下面试题，只要一复工，马上就开始“打仗”了！
-
相信对于大部分的大数据初学者来说，一定遇见过Hadoop集群无法正常关闭的情况。有时候当我们更改了Hadoop内组件的配置文件后，必须要通过重启集群来使配置文件生效。
-
这篇分享主要总结了数据从业人员在实践中可能遇到的陷阱与缺陷。跟其他新起的行业一样，数据科学从业人员需要不停的去考虑现在，考虑未来；需要不断的斟酌工作方法的合理性，正确性。思索不断，才能前行。
-
-
别再用那些已经淘汰的技术了！2020 年 9 大顶级 Java 框架出炉！！
诞生于1995年的Java，目前已在134,861个网站上广泛使用，包括ESPN、SnapDeal等。在其24年的成长史中，Java已经证明了自己是用于自定义软件开发的顶级通用编程语言。
-
2月18日，阿里云在官网宣布，河源数据中心正式对外提供服务。这是华南地区规模最大的绿色数据中心，可容纳超过30万台服务器，作为深圳地域的新可用区为华南地区上百万企业客户提供领先的云计算、人工智能、物联网等服务。
-
如今，Python真是无处不在。尽管许多看门人争辩说，如果他们不使用比Python更难的语言编写代码，那么一个人是否真是软件开发人员，但它仍然无处不在。
活动
-
2021-11-10
-
2021-03-09
-
2020-12-16
独家定制
-
-
3500人的专业安全团队与你同在
-
-
CSDN云计算在线公开课
-
-
IaaS市场高速增长，历久弥新
精品推荐
关于我们
关注「云计算」
转载 & 投稿：songhui@csdn.net
商务合作：zhangjing@csdn.net