- 相关博文
- 最新资讯
-
介绍多进程、多线程(两种)、线程池设计原则。仅介绍核心服务端处理模块,在TCP通信流程了解的情况,以便快速回顾与掌握重点。
-
实现从“人找数据、懂SQL的人用数据”向“人人可用数据”的转变
-
本文揭示了任务计划(Plan)与有向无环图(DAG)的核心区别在于依赖关系的判断标准。真正的依赖关系应通过输入输出来判定,而非任务排列顺序。文章提出三种主要依赖类型(数据/决策/状态依赖),并给出将线性计划转化为高效DAG的四步法:拆解任务、定义输入输出、建立依赖边、检查环路。特别强调优秀DAG应追求最小必要依赖,而非复杂连接,同时指出并行执行需同时考虑任务依赖和资源约束。最后提出以"输入-输出"为核心的分析框架,能自然衍生出依赖关系、
-
RabbitMQ消息可靠性、生产者消息确认机制及示例(ReturnCallback回调函数、ConfirmCallback回调函数)、数据持久化(交换机、队列、消息持久化)、消费者消息确认机制(失败重试、重试失败后的处理策略)
-
三十一、SparkContext初始化--Scala篇 三十二、RDD的创建-Scala 三十三、Spark算子--Scala版本 三十四、Spark算子综合案例-Scala篇 三十五、RDD的创建 -Scala 有任何问题都可以随时关注私信!
-
Apache Spark 是一个面向大规模数据处理的统一计算引擎,支持批处理、交互式分析、流计算、机器学习和图计算等场景。它通过分布式计算框架将任务拆分到多台机器并行执行,解决了大数据处理中的性能瓶颈问题。Spark 的核心架构包括 Driver、Cluster Manager 和 Executor,提供 RDD、DataFrame、Dataset 和 Spark SQL 等多种抽象层。其性能优势来自内存缓存、DAG 执行、Catalyst 优化器等机制。Spark 支持本地、Standalone、YARN
-
使用CC,根据REAME.md也就是我mujoco-learning仓库的说明来生成一个介绍网页,完成度还可以,速度目前只有15tps,目前先玩到者,obs一开好卡。后面又试了下其他的任务,看起来表现还可以,plan和调用子agent和tool都比3.6合理且有效。11点过后开始下载如下的模型,先下载nvfp4的试试。DGX Spark 一如既往的慢。
-
在传统的数据处理流程(离线计算)中,先是收集数据,然后将数据存储到数据库中。当需要某些数据时,则可以通过对数据库中的数据做操作,得到所需要的数据,再进行其它相关的处理。这样的处理流程会造成结果数据密集,结果数据密集则存在数据反馈不及时,若是在实时搜索的应用场景中,需要实时数据做决策,而传统的数据处理则并不能很好地解决问题,这就引出了一种新的数据计算——实时计算, 它可以针对海量数据进行实时计算,无论是在数据采集还是数据处理中,都可以达到秒级别的处理要求。
-
本文介绍了DSH框架中的skill机制,它允许通过Markdown文件预定义AI技能,实现任务规范化执行。skill具有创建简单(一个文件即一个技能)、触发灵活(自动匹配或手动命令调用)和可控性强(可限制调用方式)的特点。文件结构包含YAML元数据(定义名称、描述等)和Markdown正文(具体指令)。存放目录分项目级和用户级,优先级明确。创建时需注意YAML语法陷阱(如冒号需引号包裹)、命名规范(kebab-case)和目录层级限制,否则可能导致skill被静默丢弃。尽管存在前端无报错的痛点,但skill
-
EvalChain一句话:缺一个"agent 评测数据集"的最小规范与加载器,让评测从"手搓脚本"变成"喂数据"。
-
摘要 本文深入探讨了Java Excel导入导出中的性能优化问题,重点介绍了JQuick-Excel框架的核心优化方案。针对大数据场景下常见的导出慢、内存占用高、样式数量限制等问题,JQuick-Excel提供了系统性的解决方案:采用SXSSF流式导出降低内存消耗;通过OPCPackage优化大文件导入;实现CellStyle样式缓存避免64000样式上限;自动检测随机访问需求平衡性能与功能。这些优化措施通过基准测试验证,显著提升了大数据量Excel处理的性能和稳定性,为Java开发者提供了可靠的Excel
-
MySQL复杂查询性能瓶颈与Elasticsearch架构演进实践 当业务量增长导致MySQL复杂查询性能下降时,引入Elasticsearch成为必要选择。本文基于实战经验,提出关键实施策略: 引入时机判断:单表超500万数据、查询延迟持续超2秒、业务需要全文检索/实时聚合时考虑ES。 数据同步方案:推荐Canal+Kafka+消费者模式,实现业务解耦与最终一致性,需注意GTID配置和消费组隔离。 Mapping设计原则:中文场景使用ik分词器,合理配置字段类型,控制分片数量(20-50GB/片),调整r
-
针对心脏病医疗数据量大、分析维度多的特点,本系统设计并实现了基于Spark和Django的数据分析平台。后端利用Spark进行高效的数据清洗与统计分析,功能涵盖人口统计学特征、生理指标相关性及风险评估等。前端采用Vue与Echarts实现数据可视化。测试表明,系统能有效处理海量医疗数据,直观展示心脏病风险因素,为医疗数据分析提供了高效的技术手段。
-
本系列高级职业技能证书,覆盖人工智能、大数据、数据安全与AIGC等热门技术领域,包括《人工智能应用工程师》《人工智能算法工程师》《人工智能训练工程师》《人工智能标注工程师》《人工智能机器视觉》《数据安全工程师》《机器学习工程师》《Python应用工程师》《大数据分析师》《大数据技术应用工程师》《大数据工程师》及《AIGC应用工程师》等。无论您是从事算法研发、数据分析、智能应用开发,还是数据安全与标注工作,均可找到匹配的职业认证路径,助力职场进阶与专业认可。#大模型#智能体#关键能力#提示词#实用方法。
-
本文介绍了使用Docker安装和配置RabbitMQ的完整流程。主要内容包括:1)通过Docker拉取带Web管理界面的RabbitMQ镜像;2)使用docker run命令部署容器,配置端口映射、环境变量和数据卷;3)采用docker-compose方式部署的配置方法;4)RabbitMQ基本使用指南,包括通过Web界面创建交换机、队列及配置绑定关系。文章详细说明了各项参数含义,如交换机类型、持久化设置、路由键等核心概念,帮助用户快速搭建RabbitMQ服务并进行基础配置。
-
【 Spark 架构】一次 SQL 从提交到跑完的全景拆解
-
随着AI在手机银行的进一步应用,手机银行对话摘要的重要性,可以从:战略、业务、技术、合规四个层面来理解。它远不止是“把对话写短一点”那么简单,而是将每一次客户交互转化为可存储、可检索、可分析、可学习的结构化知识资产。
-
AI GEO(Generative Engine Optimization,生成式引擎优化)是面向大语言模型驱动的 AI 搜索引擎(如豆包、通义千问、Kimi、文心一言等)的内容优化与监测体系。传统 SEO 优化的是搜索引擎的爬虫排名,而 AI GEO 优化的是大模型在回答用户问题时引用你内容的概率和质量。维度传统 SEOAI GEO优化目标搜索结果排名AI 回答中的引用与曝光核心信号关键词、外链、页面权重语义相关性、知识权威性、内容结构化评估方式排名位置、点击率。
-
本文拆解大数据精准教学平台的技术架构与实现:知识点图谱、AI智能组卷阅卷、学生画像标签计算SQL、班级学情驾驶舱,附考试季高并发优化与私有化部署方案。
-
-
-
2020年边缘计算最新前沿报告:如何与核心云、5G、AI协同?如何打造新业态和部署运营?...
在数字经济的时代浪潮中,作为关键生产要素的数字技术的快速变革已成为新常态。正当人工智能开始崭露头角时,云计算的边缘化延伸趋势又成为了另一个新焦点。
-
根据《哈佛商业评论》的说法,数据科学家是21世纪最性感的工作。在现在这个大数据的世界中,数据科学家们用AI 或深度学习方法来发掘宝贵的商业见解。
-
开展人工智能和机器学习项目的人很早就知道,机器学习项目不是应用程序开发项目。机器学习项目的大部分价值在于模型、训练数据和配置信息,这些信息指导模型如何应用于特定的机器学习问题。
-
2020年第一个工作日,“达摩院2020十大科技趋势”发布。这是继2019年之后,阿里巴巴达摩院第二次预测年度科技趋势。 回望2019年的科技领域,静水流深之下仍有暗潮涌动。AI芯片崛起、智能城市诞生、5G催生全新应用场景……达摩院去年预测的科技趋势一一变为现实。科技浪潮新十年开启,围绕AI、芯片、云计算、区块链、工业互联网、量子计算等领域,达摩院继续提出最新趋势,并断言多个领域将出现颠覆性技术突破。
-
12月23日下午,“AI你—2019亚信科技媒体沟通会”在北京举办,亚信科技(股票代码:01675.HK)执行董事兼CEO高念书,高级副总裁兼公共与政府事务中心总经理陈武,副总裁兼CTO欧阳晔博士,副总裁兼战略与市场中心总经理王力平,与数十位来自党政、财经、IT行业和大众等主流媒体的记者编辑共聚一堂,就亚信科技近年来转型创新成果及未来五年的战略规划等展开深度沟通交流。大家踊跃发言,深度互动,共商发展,共期未来。
-
今日,华为在北京发布更懂企业的智能工作平台华为云WeLink,并携手合作伙伴成立华为云WeLink生态联盟。 首批加入华为云WeLink生态联盟的伙伴包括(排名不分先后):金山办公、中软国际、致远互联、罗技、华为商旅、红圈营销、合思费控、Coremail论客、芯盾集团、目睹直播、视源股份、喜马拉雅、为知笔记等。
-
机器人技术大提升:NVIDIA为构建自主机器统一平台树立里程碑
近日,NVIDIA发布了全新版本Isaac软件开发套件(SDK),为机器人提供更新的AI感知和仿真功能。
-
GTC CHINA 2019 | 黄仁勋发表主题演讲,多项创新技术与合作全面助力 AI 加速落地
近日,NVIDIA 创始人兼首席执行官黄仁勋在中国苏州举办的 GTC China 大会上发表主题演讲,宣布多项创新技术与合作,并阐述了 NVIDIA 如何助力 AI 加速进入大规模应用。
-
近日, NVIDIA发布了一款突破性的推理软件。借助于该软件,全球各地的开发者都可以实现会话式AI应用,大幅减少推理延迟。而此前,巨大的推理延迟一直都是实现真正交互式互动的一大阻碍。
-
-
高速的中子撞击U235原子核,使其分裂成两个原子核,释放出巨大能量,同时产生的几个中子再去撞击其它原子核,形成链式反应,使得核裂变会无限的产生巨大的能量。“将高速的中子比喻成人类的创新思想,原子核就是我们目前的业务,当创新思想碰撞当前业务,就会衍生出新的业务,又激发出更多的创新思路,形成业务的链式创新。”华为云应用平台领域副总裁汪维敏一语道破, 云+AI+5G时代,新技术不断深度融合所产生巨大能量背后的力量。如今,欲快速迈进万物互联世界,数字化转型成为企业发展的必由之路,这亦是我们应对技术需求与商业环境变化的有效措施。
-
近日腾讯云在北京举行大数据AI新品发布会。会上,腾讯云带来了在大数据与AI领域的最新研究成果,包括AI换脸甄别技术AntiFakes、腾讯星图以及企业画像平台等七大重磅新品,并对AI、大数据产品进行全线升级,致力于为用户带来更精细化的应用场景、更强大的技术能力以及更低的应用成本,全面降低企业AI技术应用门槛。
-
近日在腾讯云AI大数据新品发布会上,腾讯云副总裁王龙向听众全面介绍了当前腾讯云数据智能服务的全景布局。针对目前整体AI行业的发展趋势,他表示过去一招鲜的发展模式已经难以为继,取而代之的是真正能够产生价值的、端到端的、全面的AI解决方案,并且随着技术的不断演进,企业进入和使用数据智能领域的门槛将继续大幅降低。
-
京东任命周伯文担任京东云与AI事业部负责人 全面负责AI、云计算、IoT三大技术领域
2019年12月6日,京东集团宣布设立京东云与AI事业部,整合原京东云、人工智能、IoT三大事业部的架构与职责,由京东集团副总裁周伯文博士担任负责人,向京东集团董事局主席兼CEO刘强东先生汇报。周伯文博士将带领京东云、人工智能、IoT团队聚焦战略、技术、产品、创新、场景化顶层设计和商业落地,将京东“干锤百炼”的前沿技术与实体经济相融合,致力于实现学术前沿化、技术商业化的目标。
-
12月3日,广州云峰会上,阿里云宣布推出面向混合云场景的CPFS一体机和视觉AI一体机,两款新品具备超高性能、开箱即用等特性,极大降低企业上云的周期和门槛。加上此前推出的POLARDB数据库一体机和蚂蚁mPaaS一体机,阿里云已为客户提供了四款一体机家族产品,集结了云、网、边、端一体化的能力,打破云的边界,让企业能够随时随地全栈、全态、甚至全域上云。
-
12月3日,在阿里云广东峰会上,阿里云联合超图软件、长光卫星、Maxar技术、四维测绘等顶级卫星影像产业链公司发布数字地球引擎,提供开放式的影像数据集、遥感AI能力、丰富的API接口等,在国土资源监管、水利河道治理、自然环境保护和农业估产等领域帮助政府和企业提升效率。



















