- 相关博文
- 最新资讯
-
提供了更高级的编程接口，如 RDD（弹性分布式数据集）和 DataFrame，支持丰富的操作算子，使得开发者可以以更简洁的方式编写复杂的处理逻辑。：采用基于磁盘的处理方式，每个任务的中间结果需要写入磁盘，然后再读取进行下一步处理。：提供了相对低级的编程接口，主要包含 Map 和 Reduce 两个操作，开发者需要编写较多的代码来实现复杂的数据处理逻辑。Application运行前，为所有的Spark Job申请资源，所有Job执行完成后，统一释放资源。：主要用于批处理任务，不适合实时数据处理。
-
- Lansonli
- 21小时前
-
-
本案例将利用 Elasticsearch 的 Java API 来连接到 Elasticsearch 集群，实现数据的索引创建、数据插入、数据搜索与聚合等操作，从而完成数据探索与预处理的任务。我们将以一个包含海量文本数据的数据集为例，通过 Elasticsearch 的搜索和聚合功能，探索文本的主题分布、关键词频率等信息。在大数据分析领域，作为一款强大的数据存储和探索工具，为数据科学家提供了高效处理海量数据的能力。通过本文的详细介绍，我们了解了的相关数据类型、索引结构等基础知识，掌握了如何使用。
-
- 码到π退休
- 昨天
-
-
注意：elasticsearch.hosts的主机地址，需要保证kibana和elasticsearch两者是同一个docker网络。注意: 当容器创建完成后，需要进入elasticsearch容器配置X-Pack插件密码。注意：nginx这里主要是容器创建完成后的工作。初次执行，获取相关的目录和文件。nginx所需的文件和目录如下。初次执行，获取相关的目录和文件。初次执行，获取相关的目录和文件。kibana所需文件和目录如下。初次执行，获取相关的目录和文件。ES所需的文件和目录如下。方式，集中部署容器。
-
- 江湖小道士
- 昨天
-
-
本文旨在为Java EE开发者提供全面的搜索引擎集成指南，涵盖从基础概念到高级应用的全方位内容。Java EE平台与搜索引擎集成的必要性主流Java搜索引擎框架的技术比较实际集成方案的设计与实现性能优化和最佳实践背景介绍：建立基本概念和知识框架核心概念：深入解析关键技术原理算法实现：通过代码示例展示具体实现数学模型：提供理论支持和性能分析项目实战：完整案例演示集成过程应用场景：分析不同业务需求下的方案选择资源推荐：提供学习和开发工具指南未来展望：探讨技术发展趋势。
-
0. 摘要首先介绍了背景，强调应该创建一个检测和量化变速箱点蚀故障严重程度的机器学习模型。接着讲的是：机器学习模型的性能很大程度上取决于数据集。但是呢，在现实中很少有各种不同的操作条件和故障严重程度的数据，也就是说，数据比较少。所以机器学习模型的鲁棒性和泛化性必须比较强，才能在没见过的数据中表现很好。接下来讲的是文章的策略：①设计专用验证集的目的是：量化未知数据的模型性能（量化这个词是一个比较抽象的词，也就是让数据结果来表示模型性能。例如可以通过准确率，分数等等来评估，这个操作就是量化。
-
- PaFo Relax！
- 20小时前
-
- 数据错误
-
【代码】Elasticsearch 8.17.x Installation and Cluster Setup。
-
- EllipticEnvelope
- 22小时前
-
-
因公司给了工作用git账号，在配置时生成新密钥，覆盖了原来个人git账号使用的密钥，导致再使用个人git账号时不能正常连接git。找到本文中利用SSH 的 config 文件支持多账号管理的方法，来解决git账号切换的问题。origin git@github.com:用户名/仓库.git (push)我目前的id_rsa对应工作git账号，所以这一步为个人git账号生成密钥。id_rsa, id_rsa.pub（均为工作git账号对应的ssh）Host仅为本地切换账号时区分账号所用，即本地配置的别名。
-
- 周青404
- 19小时前
-
-
在当今的互联网应用中，数据量呈现爆炸式增长，为了能够高效地从海量数据中检索出用户需要的信息，后端搜索引擎的应用变得至关重要。Spring Boot作为一个简化Spring应用开发的框架，具有快速搭建项目、自动配置等优点。本实践的目的是探讨如何将Spring Boot与后端搜索引擎进行集成，以实现高效的数据检索功能。范围涵盖了常见的后端搜索引擎，如Elasticsearch和Solr，以及集成过程中的开发环境搭建、代码实现、性能优化等方面。
-
- 后端开发笔记
- 18小时前
-
-
容器环境下，进行Hadoop-3.2.2分布式集群环境的配置与安装，完成基于Yarn模式的一个Master节点、两个Slaver（Worker）节点的配置。说明：每个节点上的Hadoop配置基本相同，在master节点操作，然后复制到slave01、slave02两个节点。将authorized_keys文件复制到slave01、slave02节点root用户的根目录，命令（按”i ”键，进入INSERT模式；生成的密钥在用户根目录中的.ssh子目录中，进入.ssh目录，查看目录文件。
-
- 蒋星熠
- 昨天
数据错误 -
-
13.将master上的jdk和hadoop的软件包及环境变量配置文件，传输给slave1,slave2。1.用root用户修改 /etc/hosts 文件（slave1，slave2也一样）10.配置环境变量：使用 vi /etc/profile.d/my_env.sh。进入/opt/software目录下，解压jdk安装包到/opt/module。9.解压后在/opt/module目录下查看，使用ll命令。然后进入 .ssh隐藏目录，输入ls命令，如图。执行时，询问yes/no，输入yes。
-
- 秧木34
- 昨天
-
-
它的标准库提供丰富的数学和科学计算函数，且第三方库也在不断丰富，如DataFrames.jl用于处理表格数据，与Python的Pandas类似，但在某些操作上性能更优。在数据处理任务，如数据筛选、聚合操作中，Julia在处理大规模表格数据时，部分操作速度比Python快，尤其在涉及复杂计算逻辑时。在处理大数据结构时，运行时间直接反映了程序的执行效率。3. 计算精度：Julia和Python在标准数值计算中精度相当，但在处理超高精度计算任务时，Julia通过专门的高精度计算库，能提供更灵活和精确的计算结果。
-
- 暮色~~~~
- 昨天
-
-
在高峰时段，线程池核心线程数从10提升至50，最大线程数从20提升至100，系统吞吐量提高2倍，任务平均处理时间缩短40%。优化后，系统性能显著提升，平均响应时间缩短至1秒以内，内存使用稳定，垃圾回收频率降低80%，广告投放策略调整及时准确，广告投放效果提升25%，客户投诉率降低50%，为公司带来显著经济效益和竞争优势。优化前，系统在高并发下数据读取延迟严重，平均响应时间达数秒，内存占用过高，频繁触发垃圾回收，导致部分任务处理中断，广告投放策略调整滞后，影响广告投放效果和客户满意度。
-
- 青色的禾苗
- 昨天
-
-
-
当企业通过上云实现转型时，迁移是一个重要的无法回避的话题。 迁移是为了提高企业信息架构和应用的敏捷性，从而助力企业快速创新和发展；迁移也是为了提高企业全球化和数字化的水平。我们从正在进行转型的公司中看到，通过云迁移实现架构和应用的现代化，主要有四个大趋势。
-
其实“数据湖”的概念由来已久，如果追溯时间大概可以到2011年。如今我们经常提及的数据湖其实可以被认为是一个集中式的安全存储库，用户可以任何规模存储、管理、发现并共享所有结构化和非结构化数据，过程中无需预定义架构。
-
日前，ASPLOS 2020公布了计算机界最新科技成果，其中包括阿里云提交的名为《High-density Multi-tenant Bare-metal Cloud》的论文，该论文阐述了阿里云自研的神龙服务器架构如何解决困扰云计算行业多年的虚拟化性能损耗问题，打破物理机的性能神话，让云服务器突破性能极限。
-
让服务器突破性能极限 阿里云神龙论文入选计算机顶会ASPLOS
日前，ASPLOS 2020公布了计算机界最新科技成果，其中包括阿里云提交的名为《High-density Multi-tenant Bare-metal Cloud》的论文，该论文阐述了阿里云自研的神龙服务器架构如何解决困扰云计算行业多年的虚拟化性能损耗问题，打破物理机的性能神话，让云服务器突破性能极限。此次入选意味着全球计算机顶会对阿里云自研技术的认可，也意味着中国创新技术在全球计算机界争得了一席之地。
-
一文了解 Spring Boot 服务监控，健康检查，线程信息，JVM堆信息，指标收集，运行情况监控！...
去年我们项目做了微服务1.0的架构转型，但是服务监控这块却没有跟上。这不，最近我就被分配了要将我们核心的微服务应用全部监控起来的任务。我们的微服务应用都是SpringBoot 应用，因此就自然而然的想到了借助Spring Boot 的Actuator 模块。
-
从零单排HBase 02：全面认识HBase架构（建议收藏）
在网上看过很多HBaes架构相关的文章，内容深浅不一，直到发现了一篇MapR官网的文章，写得实在太生动了。
-
本文以淘宝作为例子，介绍从一百个到千万级并发情况下服务端的架构的演进过程，同时列举出每个演进阶段会遇到的相关技术，让大家对架构的演进有一个整体的认知，文章最后汇总了一些架构设计的原则。
-
稳定、可扩展、模块化、简化部署过程、版本控制……一文看懂 Kubernetes 到底如何运用！...
说实话，我是个Kubernetes爱好者。Kubernetes是软件开发的重要一步。当我遇到它时，我就想：“这就是将容器融入生产的方式”。我没有任何犹豫就投入了它的怀抱。有成千上万的架构师像我一样，已经深深爱上这项技术。
-
当微软前首席软件架构师雷·奥兹（Ray Ozzie）在2008年的PDC大会上发布Windows Azure时，没人能预估这个软件平台将会为该公司和整个行业带来什么样的影响。
-
微服务架构模式经过5年多的发展，在各行各业如火如荼地应用和实践。如何在企业中优雅地设计微服务架构？是企业面对的一个重要问题。本文将讲述微服务架构1.0设计与实践以及面临问题和破局，最后讲述微服务架构2.0设计与实践等方面，尝试去回答这个难题。
数据错误 -
“云原生全家桶“KubeSphere 如何让企业从容迈进云原生时代？
最近两年，云原生大火。究其原因，“数字化转型”几乎成为所有企业当下最迫切的需求，在这样的趋势下，恰逢新旧IT架构升级的契机，容器、微服务等技术与理念得以发挥所长。众多“上云”企业，寄望于业务能够快速迭代、缩短交付周期、弹性敏捷以及成本控制更优……以支持现有业务的快速发展及创新。
-
企业云计算领导者Nutanix（纳斯达克代码：NTNX）近日宣布，物流行业领导企业嘉里大通 (Kerry EAS) 已采用Nutanix超融合基础架构（HCI）和企业云解决方案，进行企业数据中心的现代化改造。
-
随着云计算，大数据和人工智能技术应用，单靠CPU已经无法满足各行各业的算力需求。海量数据分析、机器学习和边缘计算等场景需要计算架构多样化，需要不同的处理器架构和GPU，NPU和FPGA等异构计算技术协同，满足特定领域的算法和专用计算需求。今天，笔者带大家详细了解下FPGA技术。 FPGA是英文Field Programmable Gate Array简称，即现场可编程门阵列。它是在PLA、PAL、GAL、CPLD等可编程器件的基础上进一步发展的产物。它是作为专用集成电路(ASIC)领域中的一种半定制电路，既解决了定制电路的不足，又克服了原有可编程器件门电路数有限的缺点。
-
随着云计算，大数据和人工智能技术发展，边缘计算发挥着越来越重要的作用，补充数据中心算力需求。计算架构要求多样化，需要不同的CPU架构来满足不断增长的算力需求，同时需要GPU，NPU和FPGA等技术加速特定领域的算法和专用计算。以此，不同CPU架构，不同加速技术应用而生。
-
作为一家年营收超1000亿美元全球化企业，华为有19万员工且多达1023个办公地点，遍布世界范围内170多个国家并横跨运营商、政企和消费者三大领域的业务规模……如此雄厚财力、庞大架构、繁杂业务，有何可愁？自然是对寻找一款能够支撑企业有效增长以及全球化运作的智能工作平台有高度迫切的需求，这就是华为云WeLink的缘起之因。“确实，WeLink在华为云产品序列中绝对算得上是战略级，我们对此投入了很多。”华为云副总裁、联接与协同业务总裁薛浩说。
数据错误 -
京东任命周伯文担任京东云与AI事业部负责人 全面负责AI、云计算、IoT三大技术领域
2019年12月6日，京东集团宣布设立京东云与AI事业部，整合原京东云、人工智能、IoT三大事业部的架构与职责，由京东集团副总裁周伯文博士担任负责人，向京东集团董事局主席兼CEO刘强东先生汇报。周伯文博士将带领京东云、人工智能、IoT团队聚焦战略、技术、产品、创新、场景化顶层设计和商业落地，将京东“干锤百炼”的前沿技术与实体经济相融合，致力于实现学术前沿化、技术商业化的目标。
-
12月3日，广东省农村信用社联合社银信中心副总裁周丹在2019年阿里云广东峰会上透露，通过携手阿里云，广东农信实现了从传统架构向云化的转型升级，金融业务系统的搭建工期从按月计算缩短至按天计算，效率大幅提升。
-
-
华为云TaurusDB计算存储分离架构：让数据“身”分离，“心”凝聚
在2019年HC大会上，华为重磅推出最新一代高扩展海量存储分布式数据库——TaurusDB，它拥有一个最大的特点就是将存储和计算以一种分离的架构形式运行。很多人就会问到，华为云为什么会设计这款产品？核心竞争力是什么？对比原生MySQL的优势有哪些？借此时机，CSDN记者有幸采访到了华为云TaurusDB数据库资深技术专家，现在就请他来为我们一一解答。
活动
-
2021-11-10
-
2021-03-09
-
2020-12-16
独家定制
-
-
3500人的专业安全团队与你同在
-
-
CSDN云计算在线公开课
-
-
IaaS市场高速增长，历久弥新
精品推荐
关于我们
关注「云计算」
转载 & 投稿：songhui@csdn.net
商务合作：zhangjing@csdn.net