- 相关博文
- 最新资讯
-
本文聚焦 Linux 进程程序替换：fork 子进程后，exec 系列函数可覆盖进程用户空间代码与数据，从新程序启动例程执行，PID、父子关系不变，exec 仅失败返回-1。文中梳理 7 个 exec 接口差异（以 l/list 列参数、v/vector 传数组、p/path 搜 PATH、e/env 自定义环境变量区分），验证写时拷贝保护父进程代码，揭示环境变量被子进程继承且不随替换丢失，还含跨语言调用、脚本执行案例。
-
- 笑口常开xpr
- 前天
-
-
YARN（Yet Another Resource Negotiator）是Hadoop 2.0的核心资源管理系统，通过将资源管理和作业调度分离，解决了Hadoop 1.x中JobTracker的单点瓶颈问题。其架构由ResourceManager、NodeManager、ApplicationMaster和Container四个核心组件构成。ResourceManager负责全局资源调度和应用管理，NodeManager管理单节点资源和容器生命周期，ApplicationMaster专注于单个应用的任务调
-
- 励志成为糕手
- 前天
-
-
本文以生鲜网购平台项目为例，探讨Lambda架构在大数据处理中的应用。针对平台高并发、大数据量的特点，采用Lambda三层架构：加速层通过Spark流处理实现实时数据分析；批处理层利用Hadoop定期修正历史数据；服务层整合结果快速响应查询。该方案成功解决了实时性与准确性平衡问题，为销售分析、仓储调配等业务场景提供支持。项目实践表明，Lambda架构能有效应对电商平台的大数据挑战，在6个月开发周期内完成系统升级，实现了日均十万级订单的处理能力。通过该项目，作者积累了Lambda架构的实战经验。
-
- 数据知道
- 22小时前
-
-
笔者基于python的multiprocessing库，封装了一个并行计算执行类，可快速用于并行计算的封装与执行实现，并通过一个简单的demo案例呈现了该执行类的使用方法和具体的实验效果，低门槛教会读者快速上手python并行计算的实现
-
- TFY_Newone
- 昨天
-
-
团队协作中，高效的分支管理是避免代码混乱的关键。典型应用场景：当你在本地开始一个新项目，需要版本控制时使用此方法。应用场景：接手已有项目开发时使用，例如从GitHub上克隆一个开源项目进行二次开发。Git 的分支本质是一个指向版本提交记录（Commit）的 "指针"，默认分支为。示例：修改了index.html和style.css文件后，运行。可以精细控制提交内容，例如只提交某个文件中的部分修改。注意事项：强制推送会重写历史，在团队协作中应避免使用。：提交尚未推送到远程仓库。：错误提交已推送到远程。
-
- 祈祷苍天赐我java之术
- 昨天
-
-
在同一个消费者组内，Kafka 会自动将 每个分区分配给 唯一一个消费者，确保一个分区只会被一个消费者读取。由于同一个 Topic 的不同分区中存储的是 不同的消息序列，因此两个消费者之间 不会读取到相同的消息，从而避免了重复消费。有 4 个分区，如果消费者组中有 4 个消费者，那么每个消费者会各自消费一个分区中的消息，达到。：Kafka 如何保证在同一个消费者组内，一条消息不会被多个消费者重复消费？消费同一个 Topic 中的所有消息，不会互相影响。中，并让该消费者组订阅同一个 Topic。
-
- 哈基米喜欢哈哈哈
- 昨天
-
-
在当今数字化时代，大数据的规模呈爆炸式增长。这些数据蕴含着巨大的价值，但同时也存在着大量的噪声、缺失值和不一致性等问题。数据预处理的目的就是对原始数据进行清理、转换和整合，使其适合用于人工智能算法的训练和分析。本文章的范围涵盖了大数据领域中常见的数据预处理技术，包括数据清洗、特征选择、特征提取等，以及这些技术如何为人工智能算法提供优质的数据基础。本文将按照以下结构进行组织：首先介绍数据预处理的核心概念和它们之间的联系，并通过流程图进行展示；
-
本系统针对深圳市养老资源管理需求，采用Spark+Hadoop大数据架构和K-Means聚类算法，构建了多维度的养老机构分析平台。系统实现了四大核心功能：1)空间分布分析，通过区域床位数量、护理能力等指标评估资源配置；2)机构类型分析，对比不同性质机构的服务能力差异；3)服务能力排名，筛选TOP10优质机构；4)智能聚类分析，运用K-Means算法实现机构自动分类。采用Vue+Echarts实现可视化展示，项目基于Python开发
-
- Q2643365023
- 前天
-
-
就像淘金，金矿的总含金量很高（价值高），但矿石中的金元素分布非常稀疏（密度低），需要强大的技术进行“提纯”和“挖掘”才能获得价值。：大数据的价值在这些场景中得以兑现：从传统的报表分析，到实时的风险控制、智能推荐，再到超前的趋势预测，构成了数据驱动决策的核心体系。这是一个非常高明和有效的讲解方式。编写程序，来处理HDFS上的原始数据（进行清洗、转换），处理干净后再存入Hive或HBase，供上层的SQL分析使用。OK，这节课的总结和升华就到这里，澄清了技术选型的重大误区，并强化了核心概念的理解。
-
- 羚风雯
- 昨天
-
-
实现 HandlerInterceptor 接口，定义拦截器的业务逻辑：可以重写 3 个方法。@Slf4j// 目标方法执行前，执行 preHandle// 返回 true 继续执行目标方法；返回 false 中断执行目标方法@Overridelog.info("目标方法执行前，执行 preHandle");// 目标方法执行后，执行 postHandle@Overridelog.info("目标方法执行后，执行 postHandle");
-
- 小猪咪piggy
- 前天
-
-
笔者使用过kafka处理通知，但是未系统学习kafka，因此认真学习一遍《Kafka核心技术与实战》这门课程。课程作者也是《Apache Kafka实战》这本书的作者。消息：Record。Kafka是消息引擎嘛，这里的消息就是指Kafka处理的主要对象。主题：Topic。主题是承载消息的逻辑容器，在实际使用中多用来区分具体的业务。分区：Partition。一个有序不变的消息序列。每个主题下可以有多个分区。消息位移：Offset。表示分区中每条消息的位置信息，是一个单调递增且不变的值。
-
- thginWalker
- 昨天
-
-
本文摘要：本研究设计并实现了一个链家二手房数据采集分析可视化管理系统，旨在解决海量房源信息管理问题。系统采用Python、Vue等技术，集成网络爬虫、MySQL数据库和Echarts可视化工具，实现房源数据采集、清洗、分析及可视化展示功能。通过自动化数据采集和实时更新确保信息时效性，结合多维数据分析为决策提供支持。系统采用B/S架构，具备跨平台、易维护等优势，同时注重数据安全和隐私保护。研究结果表明，该系统能有效提升二手房信息管理效率，优化查询流程，为用户提供直观的数据展示和科学的决策依据。
-
- 李小陆工作室(B站同名)
- 21小时前
-
-
AgentRules v2.4.1：革命性AI智能助手开发框架 AgentRules v2.4.1是新一代AI开发框架，通过L4级完全自主能力赋能AI助手，使其具备深度思考和决策能力。该框架提供智能需求理解、五阶段生命周期管理和端到端自主执行功能，决策准确率超过92%。相比传统开发方式，AgentRules可节省60%开发时间，提升代码质量5%以上，并通过MCP工具智能化编排实现自动化工作流。核心功能包括超级大脑系统激活、全栈开发能力矩阵和智能项目管理，适用于快速原型开发、复杂业务逻辑实现等场景。框架支持快
-
- 落_夜
- 前天
-
-
-
随着云计算，大数据和人工智能技术应用，单靠CPU已经无法满足各行各业的算力需求。海量数据分析、机器学习和边缘计算等场景需要计算架构多样化，需要不同的处理器架构和GPU，NPU和FPGA等异构计算技术协同，满足特定领域的算法和专用计算需求。今天，笔者带大家详细了解下FPGA技术。 FPGA是英文Field Programmable Gate Array简称，即现场可编程门阵列。它是在PLA、PAL、GAL、CPLD等可编程器件的基础上进一步发展的产物。它是作为专用集成电路(ASIC)领域中的一种半定制电路，既解决了定制电路的不足，又克服了原有可编程器件门电路数有限的缺点。
-
随着云计算，大数据和人工智能技术发展，边缘计算发挥着越来越重要的作用，补充数据中心算力需求。计算架构要求多样化，需要不同的CPU架构来满足不断增长的算力需求，同时需要GPU，NPU和FPGA等技术加速特定领域的算法和专用计算。以此，不同CPU架构，不同加速技术应用而生。
-
腾讯多媒体实验室：基于三维卷积神经网络的全参考视频质量评估算法
腾讯有多个视频业务线，点播视频有腾讯视频、企鹅影视，短视频有微视、K歌，直播类有Now直播、企鹅电竞，实时传输类有QQ和微信的音视频通话、无线投屏和腾讯会议等。
-
分治算法，即分而治之：把一个复杂问题分成两个或更多的相同或相似子问题，直到最后子问题可以简单地直接求解，最后将子问题的解合并为原问题的解。归并排序就是一个典型的分治算法。 在这篇文章中我们将先介绍分治算法的「三步走套路」，然后通过经典的归并排序算法体验一番分治算法的核心，最后再通过真题演练一试身手！
-
11月28日，阿里云正式开源机器学习平台 Alink，这也是全球首个批流一体的算法平台，旨在降低算法开发门槛，帮助开发者掌握机器学习的生命全周期。
-
点赞功能大家都不会陌生，像微信这样的社交产品中都有，但别看功能小，想要做好需要考虑的东西还挺多的，如海量数据的分布式存储、分布式缓存、多IDC的数据一致性、访问路由到机房的算法等等。
-
如果有人要问2019年技术圈什么最热，“中台”绝对当仁不让，从观望到试水，很多公司做出了从 0 到 1 的探索。众所周知，“中台”一词在国内最早是由阿里提出来的，2015 年，马云参观芬兰游戏公司Supercell，观察其每个游戏开发的小团队只有六七个人，但开发与停止的速度之快，让马云即惊讶又好奇。得知如此快的原因是开发者将游戏开发过程中用到的一些通用的游戏素材和算法整理出来，作为工具提供给小团队使用，使得同一套工具可以支持多个游戏研发团队。这样的架构模式给了马云很大的震撼和启发，这也催生了阿里巴巴的中台战略，加之越来越的企业跟随其热度，寄希望于借助中台推动业务增长以快速实现数字化转型， “中台”得以风靡。
-
雪花算法(snowflake) ：分布式环境，生成全局唯一的订单号
snowflake是Twitter开源的分布式ID生成算法，结果是一个long型的ID。 这种方案大致来说是一种以划分命名空间（UUID也算，由于比较常见，所以单独分析）来生成ID的一种算法，这种方案把64-bit分别划分成多段，分开来标示机器、时间等。 其核心思想是：使用41bit作为毫秒数，10bit作为机器的ID（5个bit是数据中心，5个bit的机器ID），12bit作为毫秒内的流水号，最后还有一个符号位，永远是0。
-
-
排序算法这么多，这里先将排序算法做个简单分类： 一、可以根据待排序的数据量规模分类： 内部排序：在排序过程中，待排序的数据能够被全部加载进内存中 外部排序：待排序的数据太大，不能全部同时放入内存，排序过程中需要内存与外部存储交换数据
-
Q：什么是Spark？A：简单理解，Spark是在Hadoop基础上的改进，是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架，Spark基于map reduce算法实现的分布式计算，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的map reduce的算法。
活动
-
2021-11-10
-
2021-03-09
-
2020-12-16
独家定制
-
-
3500人的专业安全团队与你同在
-
-
CSDN云计算在线公开课
-
-
IaaS市场高速增长，历久弥新
精品推荐
关于我们
关注「云计算」
转载 & 投稿：songhui@csdn.net
商务合作：zhangjing@csdn.net