- 相关博文
- 最新资讯
-
本项目是一个基于Web的类云盘存储与数据管理系统，面向大数据环境下的数据管理和文件存储。系统集成了Hive数据管理和HDFS文件管理两大核心功能。该升级版：增加了用户隔离、权限设计，确保了每个用户拥有自己的独立存储及管理空间。1.Hive管理(权限设计、用户隔离)2.HDFS管理(权限设计、用户隔离)（无权限管理与用户隔离）（
-
构建高效有序的数据管理体系 数据分层是解决数据混乱问题的有效方法，通过建立清晰的数据层次结构，让每类数据都有固定位置和职责。核心分为三层：数据运营层(ODS)保存原始业务数据，数据仓库层(DW)进行加工处理（含明细层DWD、中间层DWM和服务层DWS），数据应用层(ADS)面向最终业务使用。合理的分层设计能带来八大优势：提升数据质量、优化性能、易于维护、增强灵活性、支持多维分析、减少冗余、便于历史数据管理和提高可扩展性。分层原则包括：按应用支持程度、业务覆盖范围和数据聚合程度进行划分。
-
- isNotNullX
- 前天
-
-
谷歌的镜像源不能访问，更改使用清华源：export REPO_URL='https://mirrors.tuna.tsinghua.edu.cn/git/git-repo'
-
- wutianxin0
- 前天
-
-
Kafka 的 ACK 机制还受到 ISR（In-Sync Replicas，同步副本集合）的影响。ISR 是与 Leader 保持同步的 Follower 副本集合，当 Leader 故障时会从 ISR 中选举新的 Leader12。两者在消息确认机制上的差异反映了它们不同的设计哲学：Kafka 更注重吞吐量和水平扩展，而 RocketMQ 更注重消息的可靠传递和事务支持。Kafka 提供了三种级别的生产者确认机制（ACK 机制），通过。Kafka 的消费者确认是通过。
-
- 趁你还年轻_
- 昨天
-
-
小曾，我们公司正在重构一个高并发的电商系统，需要使用Spring Cloud Alibaba进行服务拆分。：（思考）可以按租户ID路由请求，数据库层面用Schema隔离，或者动态表名。：用Redis，设置合理的过期时间，热点数据先放缓存。：WebFlux啊，非阻塞，适合高并发场景。：可以先用OCR识别图片，然后用BERT提取文本特征，最后融合特征输入模型。：JPA吧，方便，自动生成SQL。：Kafka吧，吞吐量大，适合高并发场景。最后一个问题，如果系统需要监控AIGC的生成质量，你会如何设计？
-
- remCoding
- 前天
-
-
有了它你就可以将选定的文件回溯到之前的状态，甚至将整个项目都回退到过去某个时间点的状态，你可以比较文件的变化细节，查出最后是谁修改了哪个地方，从而找出导致怪异问题出现的原因，又是谁在何时报告了某个功能缺陷等等。使用版本控制系统通常还意味着，就算你乱来一气把整个项目中的文件改的改删的删，你也照样可以轻松恢复到原先的样子。对于 Notepad++，一个流行的代码编辑器来说，你可能想要使用 32 位的版本， 因为在本书编写时 64 位的版本尚不支持所有的插件。如果未配置，Git 会使用操作系统默认的文本编辑器。
-
- 神经兮兮的小饼
- 前天
-
-
【摘要】在.NET Framework 4.8环境下开发WPF应用时，发现长时间拖拽操作（约15秒）会被系统强制中断，导致后续拖拽失效并最终引发"内存资源不足"的COM异常（HRESULT:0x80070008）。问题复现显示系统会逐步出现中文显示异常、界面卡顿直至崩溃。测试表明该问题存在于.NET Framework 4.7.2-4.8.1版本，但在.NET 8中完全修复。初步判断这是框架底层Bug，建议解决方案包括：1）升级到.NET 8彻底解决；2）在旧框架中实现拖拽超时中断机制；
-
- Uncle_Zhou
- 昨天
-
-
本文探讨了聚合分销系统在数字经济中的应用，通过整合CPS和CPA双模式实现高效商业变现。系统采用微服务架构（SpringCloudAlibaba）和中台化设计，包含用户中心、订单服务等8大核心模块，使用Nacos、Redis等技术组件。重点分析了CPS/CPA双引擎、多行业API对接、防作弊机制等核心功能，并介绍了数据中台和智能推荐系统的实现。系统通过分布式事务、性能优化保障高并发稳定性，未来将结合AI、区块链等技术继续发展。该架构为短剧、电商等领域的商业变现提供了可扩展的技术解决方案。
-
- wx_qutudy
- 昨天
-
-
本文介绍了Elasticsearch和Apache Lucene两个开源搜索技术。Apache Lucene是基于Java实现的搜索引擎核心库，而Elasticsearch是基于Lucene构建的分布式搜索引擎。文章提供了使用Docker安装Elasticsearch 7.12.1和Kibana的详细命令，包括内存配置、网络设置和端口映射等关键参数。特别强调了ES_JAVA_OPTS环境变量设置最小512MB内存的重要性，低于此值将导致安装失败。这些命令适用于快速搭建Elasticsearch和Kibana
-
- RR1335
- 昨天
-
-
本文介绍了一个基于SpringBoot的秒杀系统实现方案，主要技术栈包括Redis、RabbitMQ、MyBatis-Plus和MySQL。系统采用分层架构设计，包含网关层、秒杀服务、订单服务和库存服务。核心功能包括：1）使用Redis实现库存预减和用户限流；2）通过RabbitMQ异步处理订单提高系统吞吐量；3）采用分布式锁防止超卖；4）实现接口限流和断路器机制保障系统稳定性。文章详细介绍了数据库表设计、Lua脚本实现原子操作、消息队列配置以及生产环境部署建议，为高并发秒杀场景提供了完整的技术解决方案。
-
- 咸鱼睡不醒_
- 昨天
-
-
在某些特殊场景下，需要在后台代码设置WPF控件的样式属性，结果只会影响展示出来的数据，并没有对全体生效。（例如设置的内容只影响了滚动条对应区域，位于滚动条下方的没有生效）。在 WPF 中，DataGrid 默认启用了 UI 虚拟化（UI Virtualization），这会导致只渲染当前可见的行，以提高性能。滚动性能：可以设置 ScrollViewer.CanContentScroll=“False” 改善滚动体验。性能考虑：禁用虚拟化后，大数据量会导致内存占用增加和UI响应变慢。禁用虚拟化，设置属性。
-
本文介绍了使用SpringBoot和Elasticsearch创建索引的方法。首先通过RestHighLevelClient建立与Elasticsearch的连接，然后定义了一个包含商品字段映射的常量Mappering_Template。关键代码展示了如何创建CreateIndexRequest对象并执行索引创建操作，其中包含了id、name、price等字段的类型定义和分词器配置。文章还提供了完整的测试类示例，包含客户端初始化和关闭逻辑，并特别提醒注意正确的import包路径以防止使用已废弃的API。
-
- RR1335
- 昨天
-
-
Producer和RabbitMQ、Consumer和RabbitMQ基于TCP来建立连接，一个连接包含多个通道channel（逻辑上各通道之间相互独立，用于实现连接复用，减少频繁建立/关闭TCP连接的开销），发送消息和接收消息都是基于channel。交换机，生产者的消息进入RabbitMQ后首先进入Exchange，由Exchange进行路由分发（根据消息类型、规则和标签等等），把消息分发给指定的Queue。组件，生产者的消息首先传输到交换机，由交换机进行路由分发到指定的队列中并等待消费者接收。
-
- superstrer
- 前天
-
-
特性传统 Broker 管理方式Kafka Offset 管理方式消费状态维护方BrokerConsumer是否记录每条消息状态是否是否需要加锁是否是否支持消费回溯否是是否支持手动提交否是性能开销较高极低可靠性依赖 Broker 实现由 Consumer 控制Kafka 的消费状态管理机制，体现了其“以消费者为中心”的设计理念。通过将 Offset 的管理权交给消费者，Kafka 在性能、扩展性、灵活性之间找到了完美的平衡。
-
- lxb_不卑不亢
- 昨天
-
-
-
随着云计算，大数据和人工智能技术应用，单靠CPU已经无法满足各行各业的算力需求。海量数据分析、机器学习和边缘计算等场景需要计算架构多样化，需要不同的处理器架构和GPU，NPU和FPGA等异构计算技术协同，满足特定领域的算法和专用计算需求。今天，笔者带大家详细了解下FPGA技术。 FPGA是英文Field Programmable Gate Array简称，即现场可编程门阵列。它是在PLA、PAL、GAL、CPLD等可编程器件的基础上进一步发展的产物。它是作为专用集成电路(ASIC)领域中的一种半定制电路，既解决了定制电路的不足，又克服了原有可编程器件门电路数有限的缺点。
-
随着云计算，大数据和人工智能技术发展，边缘计算发挥着越来越重要的作用，补充数据中心算力需求。计算架构要求多样化，需要不同的CPU架构来满足不断增长的算力需求，同时需要GPU，NPU和FPGA等技术加速特定领域的算法和专用计算。以此，不同CPU架构，不同加速技术应用而生。
-
腾讯多媒体实验室：基于三维卷积神经网络的全参考视频质量评估算法
腾讯有多个视频业务线，点播视频有腾讯视频、企鹅影视，短视频有微视、K歌，直播类有Now直播、企鹅电竞，实时传输类有QQ和微信的音视频通话、无线投屏和腾讯会议等。
-
分治算法，即分而治之：把一个复杂问题分成两个或更多的相同或相似子问题，直到最后子问题可以简单地直接求解，最后将子问题的解合并为原问题的解。归并排序就是一个典型的分治算法。 在这篇文章中我们将先介绍分治算法的「三步走套路」，然后通过经典的归并排序算法体验一番分治算法的核心，最后再通过真题演练一试身手！
-
11月28日，阿里云正式开源机器学习平台 Alink，这也是全球首个批流一体的算法平台，旨在降低算法开发门槛，帮助开发者掌握机器学习的生命全周期。
-
点赞功能大家都不会陌生，像微信这样的社交产品中都有，但别看功能小，想要做好需要考虑的东西还挺多的，如海量数据的分布式存储、分布式缓存、多IDC的数据一致性、访问路由到机房的算法等等。
-
如果有人要问2019年技术圈什么最热，“中台”绝对当仁不让，从观望到试水，很多公司做出了从 0 到 1 的探索。众所周知，“中台”一词在国内最早是由阿里提出来的，2015 年，马云参观芬兰游戏公司Supercell，观察其每个游戏开发的小团队只有六七个人，但开发与停止的速度之快，让马云即惊讶又好奇。得知如此快的原因是开发者将游戏开发过程中用到的一些通用的游戏素材和算法整理出来，作为工具提供给小团队使用，使得同一套工具可以支持多个游戏研发团队。这样的架构模式给了马云很大的震撼和启发，这也催生了阿里巴巴的中台战略，加之越来越的企业跟随其热度，寄希望于借助中台推动业务增长以快速实现数字化转型， “中台”得以风靡。
-
雪花算法(snowflake) ：分布式环境，生成全局唯一的订单号
snowflake是Twitter开源的分布式ID生成算法，结果是一个long型的ID。 这种方案大致来说是一种以划分命名空间（UUID也算，由于比较常见，所以单独分析）来生成ID的一种算法，这种方案把64-bit分别划分成多段，分开来标示机器、时间等。 其核心思想是：使用41bit作为毫秒数，10bit作为机器的ID（5个bit是数据中心，5个bit的机器ID），12bit作为毫秒内的流水号，最后还有一个符号位，永远是0。
-
-
排序算法这么多，这里先将排序算法做个简单分类： 一、可以根据待排序的数据量规模分类： 内部排序：在排序过程中，待排序的数据能够被全部加载进内存中 外部排序：待排序的数据太大，不能全部同时放入内存，排序过程中需要内存与外部存储交换数据
-
Q：什么是Spark？A：简单理解，Spark是在Hadoop基础上的改进，是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架，Spark基于map reduce算法实现的分布式计算，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的map reduce的算法。
活动
-
2021-11-10
-
2021-03-09
-
2020-12-16
独家定制
-
-
3500人的专业安全团队与你同在
-
-
CSDN云计算在线公开课
-
-
IaaS市场高速增长，历久弥新
精品推荐
关于我们
关注「云计算」
转载 & 投稿：songhui@csdn.net
商务合作：zhangjing@csdn.net