- 相关博文
- 最新资讯
-
3.x必须在java8环境为前提Common改进shell被重写 过时api方法可能被删除 向下兼容老版本命令hdfs改进（ec代替副本机制 50%提升空间利用率）删除编码方式支持两个以上的namenode（高可用 可用+备用）datanode平衡单个datanode管理多个磁盘目录。添加或替换磁盘导致datanode数据倾斜。现有hdfsbalanse没办法解决倾斜 ，使用新的diskbalance去cli解决对应临时端口冲突，改进yarn改进timeline历史
-
- 瑞 新
- 昨天
-
-
原文编注：近日，中科院院士、清华大学人工智能研究院院长张钹教授接受记者采访时认为，目前基于深度学习的人工智能在技术上已经触及天花板。从长远来看，必须得走人类智能这条路，最...
-
- 大数据周刊
- 2019年09月20日
-
-
下载MySQL下载路径：https://downloads.mysql.com/archives/community/解压MySQL：如解压到D:\Tools\mysql-5.7.27-winx64（注意不要放在中文路径、有空格或特殊字符的路径中）配置环境：右键 此电脑 -> 属性 ->高级系统设置->环境变量->系统变量名->新建变量名为：MYSQL_HOME变量值为：MySQL解压的根目录（如：D:\Tools\mysql-5.7.27-winx64）在系统
-
- 一只当归
- 22小时前
-
-
注意：建议各位看如下代码，一定要导入一份源码到自己本地电脑中哦，可以导入进行调试。流程代码我删除许多，保留重点。本章主要介绍的是，worker 开启，并与master通信流程，以及inbox收件箱outbox发件箱的创建。认真学习你可以收获许多哦，举例使用该inbox,outbox处理模式，可以嵌入到聊天程序当中哦，处理高并发请求。废话不多说，进入主题。park业务操作和数据传输相隔里，数据传输就交给netty，netty不涉及业务，提高netty服务器的响应时间，提高代码的复用性，降低耦合性。wor
-
- LinkStars
- 前天
-
-
新手如何用阿里云服务器Linux系统安装宝塔面板搭建WordPress博客网站呢？WordPress作为全球实用最广泛的CMS系统，以功能强大、扩展性强，插件众多，易扩充功能等特点，受到全球站长开发者青睐。而阿里云作为国内用户量最多的云服务器商，因此，本文以阿里云为例，详细介绍云服务器Linux系统如何安装宝塔面板搭建WordPress博客网站。新手如何用阿里云服务器Linux系统安装宝塔面板搭建WordPress博客网站呢？WordPress作为全球实用最广泛的CMS系统，以功能强大、扩展性强，插件众
-
- 星速云
- 前天
-
-
需求描述：前后端分离系统，用SpringBoot整合Spark API,调用大量数据（几百GB，上TB）进行处理计算，单机环境难以达到性能要求，此，需整合直接调用spark跑程序，且在集群跑…在此，一台测试服务器模拟，搭建伪分布spark集群，用standalone模式运行。文章目录一、集群环境二、项目配置环境一、集群环境包版本： 1.java1.8 2.spark 2.3.1 3.scala 2.11 4.CentOS Linux release 7.3.1611 (Core)
-
- 技多不压身
- 前天
-
-
RDD、DataFrame、DataSet 三者的关系➢ Spark1.0 => RDD➢ Spark1.3 => DataFrame➢ Spark1.6 => Dataset如果同样的数据都给到这三个数据结构，他们分别计算之后，都会给出相同的结果。不同是的他们的执行效率和执行方式。在后期的 Spark版本DataSet 有可能会逐步取代RDD和DataFrame 成为唯一的API 接口。三者的共性➢ RDD、DataFrame、DataSet 全都是 spark 平台下的
-
- Bug.object
- 前天
-
-
接口性能测试过程中，接口请求参数是根据一定的规则拼接后进行MD5加密后再进行传参，jmeter 可以通过Jython的Jar包执行python代码进行辅助测试，但是该Jar包只支持python2.7或python2.7以下版本。1.下载Jython jar包：http://www.jython.org/downloads.html。2.将下载的Jython jar包放到 jmeter lib ext文件夹下，并重启jmeter。3.线程组中添加 JSR223 Sampler，脚本语言选择python
-
- 异想有日天会开
- 昨天
-
-
1。新建任务2.配置源码管理，关联git仓库3.构建---》执行shelltime=`date +%d%m%d%H%M`cd /root/.jenkins/workspace/shanxiang-pcmvn clean package -Pprodif [ $? -ne 0 ]; then echo "====Build uboot failed!====" exit 1else cd /usr/local/apache-tomcat-7-8098_gw/w
-
- zzffhl
- 前天
-
-
文章目录概览Sparkmr问题Spark特征Spark生态系统对比Hadoop生态系统开发语言及运行环境Scala&Maven安装配置SparkFlink分布式计算框架（流处理）概览Spark、Flink、BeamBeam编写完适用于Spark、Flink使用Sparkmr问题mr->spark?开发不爽 mr两个过程速度不快 m存硬盘r存hdfs框架多样性 批处理 流式处理Spark特征http://spark.apache.org/速度快 内存和磁盘 都比mr快易
-
- 瑞 新
- 昨天
-
-
一，创建springboot项目大家随意创建一个 springboot 项目就行了，这里给大家展示一个半成品，稍后可以去gitee上下载源码。自己创建的话勾选 web 这个依赖即可。然后在本地测试一下自己写的接口，如果没问题，就可以发布了二，在对自己的项目进行打包1，找到右下角的Maven Projects，进行如下步骤2，说说这里面打包项目的坑，可能会遇到如下错误Failed to execute goal org.apache.maven.plugins:maven-resources-plu
-
- huisheng_qaq
- 前天
-
-
摘要最后：互联网测试人一波福利技术行业，一定要提升技术功底，丰富自动化项目实战经验，这对于你未来几年职业规划，以及测试技术掌握的深度非常有帮助。金九银十面试季，跳槽季，整理面试题已经成了我多年的习惯！下面有我近几年的收集和整理，整体是围绕着【软件测试】来进行整理的，主体内容包含：python自动化测试专属视频、Python自动化详细资料、全套面试题等知识内容。愿你我相遇，皆有所获！ 如果对软件测试、接口测试、自动化测试、面试经验交流。关注微信公众号：【伤心的辣条】 免费领取一份216页软件测..
-
- 测试萌萌
- 昨天
-
-
之前做的LVS-Keepalived群集不够完善，现在重新完善下。搭建环境：主DR 服务器（负载调度器）：192.168.241.3备DR 服务器（负载调度器）：192.168.241.6Web 服务器1：192.168.241.4Web 服务器2：192.168.241.5NFS服务器：192.168.241.7VIP：192.168.241.2001.配置负载调度器（192.168.241.3、192.168.241.6）systemctl stop firewalld.servic
-
之前自己搭建过Hadoop高可用（HA）。最近自己整理了下也参考了些其他文章，方便自己之后再次使用，也方便大家在搭建时做一个参考。自动HA节点有如下进程配置正确实验环境配置如下：hadoop01 namenode、datanode、nodemanager、journalnode、zookeeper(也就是QuorumPeerMain)hadoop02 namenode、resourcemanager、datanode、nodemanager、journalnode、zookeeper(
-
- 韩博林
- 昨天
-
-
-
数据库是应用及计算机的核心元素，负责存储运行软件应用所需的一切重要数据。为了保障应用正常运行，总有一个甚至多个数据库在默默运作。我们可以把数据库视为信息仓库，以结构化的方式存储了大量的相关信息，并合理分类，方便搜索及使用。
-
其实“数据湖”的概念由来已久，如果追溯时间大概可以到2011年。如今我们经常提及的数据湖其实可以被认为是一个集中式的安全存储库，用户可以任何规模存储、管理、发现并共享所有结构化和非结构化数据，过程中无需预定义架构。
-
随着数字化的进程，数据的处理、存储和传输得到了飞速的发展。高带宽的需求使得短距互联成了系统发展的瓶颈。受损耗和串扰等因素的影响，基于铜线的电互联的高带宽情况下的传输距离受到了限制，成本也随之上升。而且过多的电缆也会增加系统的重量和布线的复杂度。与电互连相比，基于多模光纤的光互连具有高带宽、低损耗、无串扰和匹配及电磁兼容等问题，而开始广泛地应用于机柜间、框架间和板间的高速互连。
-
云+X案例展 | 金融类：荣之联助力君康人寿构建新一代数据中心
近年来，互联网、大数据、云计算和物联网等行业的蓬勃发展，对数据的存储、交换、计算等的应用需求不断增加，使得大数据发展需求下对上游基础设施领域的需求持续旺盛，促进了数据中心（简称“IDC”）需求的不断增加。同时，各国5G技术的发展和商用化的推广又进一步促进了IDC行业爆发增长。未来，IDC行业必将成为物联网、云计算及5G技术的不断完善与发展下又一风口。
-
云+X案例展 | 民生类：智领云数据中台为“健康武汉”增砖添瓦
与前一个十年相比，如今企业对大规模应用的需求产生了巨大变化，例如： 在互联网领域内，高度连接的应用在海量数据的情况下对于可靠性、性能以及连接性的要求有了数个数量级的提高； 快速响应商业洞见； 快速响应市场/客户需求； 对于企业来说数据的存储、收集和分析变得至关重要，对前沿科技的技术(机器学习，人工智能)支持变得至关重要。
-
华为云TaurusDB计算存储分离架构：让数据“身”分离，“心”凝聚
在2019年HC大会上，华为重磅推出最新一代高扩展海量存储分布式数据库——TaurusDB，它拥有一个最大的特点就是将存储和计算以一种分离的架构形式运行。很多人就会问到，华为云为什么会设计这款产品？核心竞争力是什么？对比原生MySQL的优势有哪些？借此时机，CSDN记者有幸采访到了华为云TaurusDB数据库资深技术专家，现在就请他来为我们一一解答。
-
2019年技术盘点云数据库篇（一）：UCloud专家谈云数据库：千锤百炼 云之重器
公有云逐渐成为企业运行 IT 设施的新趋势，那么作为企业最核心的系统—数据库，数据上云也成为大数据时代的必然选择。对企业来说，数据可视为其命脉，因此数据迁移上云就意味着将企业“命脉”搬到云平台。事实上，数据上云有两种形式，数据库直接上云或者选择云数据库，而云数据库利用其云原生的优势具备了许多过去数据库产品不具备的优势，包括可靠性、弹性、存储容量以及成本等，正逐渐被更多的企业所接受。
-
随着移动互联网、信息技术等创新发展，数据量呈指数级爆发式增长并表现在多个方面，即规模扩张、结构多元化的数据新形态；业务升级转型带来的场景化需求数据新部署；市场细分带来的数据应用新模式以及承载行业发展，发挥核心资源池地位的数据新价值等。据IDC预测，全球数据圈将从2018年的33ZB增至2025年的175ZB，实现5倍以上的增长。在新数据时代，数据在数据形态、部署环境、应用模式和价值需求等方面均出现了更为精细化的需求，应对数据爆发压力，欲将海量的连接、微秒级的延迟、极高的性能体验为我所用，创新存储价值则变得势在必行。
-
点赞功能大家都不会陌生，像微信这样的社交产品中都有，但别看功能小，想要做好需要考虑的东西还挺多的，如海量数据的分布式存储、分布式缓存、多IDC的数据一致性、访问路由到机房的算法等等。
-
-
-
腾讯Techo开发者大会揭晓云存储发展趋向：高性能、高可用、高性价比
产业数字化转型过程中产生着比过去任何一个时代都多的数据。在这样的背景下，数据存储技术应该怎么发展？11月7日，在腾讯Techo开发者大会上，来自科研领域的专家和腾讯云存储业务的工程师们共同揭开了云存储的发展趋势。
-
戴尔与AMD强强联合：五款PowerEdge服务器 ，让用户无法抗拒的选择
一口气发布5款产品，除了戴尔对于市场的乐观，更来源于对产品的自信，而这份自信则在于与AMD的强强联合。
-
i 智慧 | 回首30年存储演进之路 再看新数据时代阿里云存储如何革故鼎新？
人类以日新月异的速度刷新着科技的成果，其中存储的发展历史尤其悠久，堪称万年进化史。自文明诞生以来，我们就一直在寻求能够更有效存储信息的方式，从4万年前的洞穴壁画、6000年前泥板上的楔形文字，到今天普及的SSD/闪存，再到对量子存储、DNA存储技术的探索，脚步从未停止。据IDC预测，2025年全球数据将有175 ZettaBytes的总量。如此惊人而又庞大的数据量，为存储市场带来机遇的同时，也带来了不小的挑战。
-
排序算法这么多，这里先将排序算法做个简单分类： 一、可以根据待排序的数据量规模分类： 内部排序：在排序过程中，待排序的数据能够被全部加载进内存中 外部排序：待排序的数据太大，不能全部同时放入内存，排序过程中需要内存与外部存储交换数据
-
阿里云存储负责人吴结生：安全可靠是云存储立身之本， 智能技术将激活存储技术新变革...
人类以日新月异的速度刷新着科技的成果，其中存储的发展历史尤其悠久，堪称万年进化史。自文明诞生以来，我们就一直在寻求能够更有效存储信息的方式，从4万年前的洞穴壁画、6000年前泥板上的楔形文字，到今天普及的SSD/闪存，再到对量子存储、DNA存储技术的探索，脚步从未停止。
-
活动
-
2020.12.16
-
2020.12.16
-
2021.01.31
精品推荐
关于我们
关注「云计算」
转载 & 投稿：songhui#csdn.net
商务合作：xieying#csdn.net