- 相关博文
- 最新资讯
-
3.x必须在java8环境为前提Common改进shell被重写 过时api方法可能被删除 向下兼容老版本命令hdfs改进（ec代替副本机制 50%提升空间利用率）删除编码方式支持两个以上的namenode（高可用 可用+备用）datanode平衡单个datanode管理多个磁盘目录。添加或替换磁盘导致datanode数据倾斜。现有hdfsbalanse没办法解决倾斜 ，使用新的diskbalance去cli解决对应临时端口冲突，改进yarn改进timeline历史
-
- 瑞 新
- 昨天
-
-
原文编注：近日，中科院院士、清华大学人工智能研究院院长张钹教授接受记者采访时认为，目前基于深度学习的人工智能在技术上已经触及天花板。从长远来看，必须得走人类智能这条路，最...
-
- 大数据周刊
- 2019年09月20日
-
-
下载MySQL下载路径：https://downloads.mysql.com/archives/community/解压MySQL：如解压到D:\Tools\mysql-5.7.27-winx64（注意不要放在中文路径、有空格或特殊字符的路径中）配置环境：右键 此电脑 -> 属性 ->高级系统设置->环境变量->系统变量名->新建变量名为：MYSQL_HOME变量值为：MySQL解压的根目录（如：D:\Tools\mysql-5.7.27-winx64）在系统
-
- 一只当归
- 22小时前
-
-
注意：建议各位看如下代码，一定要导入一份源码到自己本地电脑中哦，可以导入进行调试。流程代码我删除许多，保留重点。本章主要介绍的是，worker 开启，并与master通信流程，以及inbox收件箱outbox发件箱的创建。认真学习你可以收获许多哦，举例使用该inbox,outbox处理模式，可以嵌入到聊天程序当中哦，处理高并发请求。废话不多说，进入主题。park业务操作和数据传输相隔里，数据传输就交给netty，netty不涉及业务，提高netty服务器的响应时间，提高代码的复用性，降低耦合性。wor
-
- LinkStars
- 前天
-
-
新手如何用阿里云服务器Linux系统安装宝塔面板搭建WordPress博客网站呢？WordPress作为全球实用最广泛的CMS系统，以功能强大、扩展性强，插件众多，易扩充功能等特点，受到全球站长开发者青睐。而阿里云作为国内用户量最多的云服务器商，因此，本文以阿里云为例，详细介绍云服务器Linux系统如何安装宝塔面板搭建WordPress博客网站。新手如何用阿里云服务器Linux系统安装宝塔面板搭建WordPress博客网站呢？WordPress作为全球实用最广泛的CMS系统，以功能强大、扩展性强，插件众
-
- 星速云
- 前天
-
-
需求描述：前后端分离系统，用SpringBoot整合Spark API,调用大量数据（几百GB，上TB）进行处理计算，单机环境难以达到性能要求，此，需整合直接调用spark跑程序，且在集群跑…在此，一台测试服务器模拟，搭建伪分布spark集群，用standalone模式运行。文章目录一、集群环境二、项目配置环境一、集群环境包版本： 1.java1.8 2.spark 2.3.1 3.scala 2.11 4.CentOS Linux release 7.3.1611 (Core)
-
- 技多不压身
- 前天
-
-
RDD、DataFrame、DataSet 三者的关系➢ Spark1.0 => RDD➢ Spark1.3 => DataFrame➢ Spark1.6 => Dataset如果同样的数据都给到这三个数据结构，他们分别计算之后，都会给出相同的结果。不同是的他们的执行效率和执行方式。在后期的 Spark版本DataSet 有可能会逐步取代RDD和DataFrame 成为唯一的API 接口。三者的共性➢ RDD、DataFrame、DataSet 全都是 spark 平台下的
-
- Bug.object
- 前天
-
-
接口性能测试过程中，接口请求参数是根据一定的规则拼接后进行MD5加密后再进行传参，jmeter 可以通过Jython的Jar包执行python代码进行辅助测试，但是该Jar包只支持python2.7或python2.7以下版本。1.下载Jython jar包：http://www.jython.org/downloads.html。2.将下载的Jython jar包放到 jmeter lib ext文件夹下，并重启jmeter。3.线程组中添加 JSR223 Sampler，脚本语言选择python
-
- 异想有日天会开
- 昨天
-
-
1。新建任务2.配置源码管理，关联git仓库3.构建---》执行shelltime=`date +%d%m%d%H%M`cd /root/.jenkins/workspace/shanxiang-pcmvn clean package -Pprodif [ $? -ne 0 ]; then echo "====Build uboot failed!====" exit 1else cd /usr/local/apache-tomcat-7-8098_gw/w
-
- zzffhl
- 前天
-
-
文章目录概览Sparkmr问题Spark特征Spark生态系统对比Hadoop生态系统开发语言及运行环境Scala&Maven安装配置SparkFlink分布式计算框架（流处理）概览Spark、Flink、BeamBeam编写完适用于Spark、Flink使用Sparkmr问题mr->spark?开发不爽 mr两个过程速度不快 m存硬盘r存hdfs框架多样性 批处理 流式处理Spark特征http://spark.apache.org/速度快 内存和磁盘 都比mr快易
-
- 瑞 新
- 昨天
-
-
一，创建springboot项目大家随意创建一个 springboot 项目就行了，这里给大家展示一个半成品，稍后可以去gitee上下载源码。自己创建的话勾选 web 这个依赖即可。然后在本地测试一下自己写的接口，如果没问题，就可以发布了二，在对自己的项目进行打包1，找到右下角的Maven Projects，进行如下步骤2，说说这里面打包项目的坑，可能会遇到如下错误Failed to execute goal org.apache.maven.plugins:maven-resources-plu
-
- huisheng_qaq
- 前天
-
-
摘要最后：互联网测试人一波福利技术行业，一定要提升技术功底，丰富自动化项目实战经验，这对于你未来几年职业规划，以及测试技术掌握的深度非常有帮助。金九银十面试季，跳槽季，整理面试题已经成了我多年的习惯！下面有我近几年的收集和整理，整体是围绕着【软件测试】来进行整理的，主体内容包含：python自动化测试专属视频、Python自动化详细资料、全套面试题等知识内容。愿你我相遇，皆有所获！ 如果对软件测试、接口测试、自动化测试、面试经验交流。关注微信公众号：【伤心的辣条】 免费领取一份216页软件测..
-
- 测试萌萌
- 昨天
-
-
之前做的LVS-Keepalived群集不够完善，现在重新完善下。搭建环境：主DR 服务器（负载调度器）：192.168.241.3备DR 服务器（负载调度器）：192.168.241.6Web 服务器1：192.168.241.4Web 服务器2：192.168.241.5NFS服务器：192.168.241.7VIP：192.168.241.2001.配置负载调度器（192.168.241.3、192.168.241.6）systemctl stop firewalld.servic
-
之前自己搭建过Hadoop高可用（HA）。最近自己整理了下也参考了些其他文章，方便自己之后再次使用，也方便大家在搭建时做一个参考。自动HA节点有如下进程配置正确实验环境配置如下：hadoop01 namenode、datanode、nodemanager、journalnode、zookeeper(也就是QuorumPeerMain)hadoop02 namenode、resourcemanager、datanode、nodemanager、journalnode、zookeeper(
-
- 韩博林
- 昨天
-
-
-
-
-
-
王坚博士曾经做过这样一个非常形象的比喻，他将做 App 比作是在别人的花园里弄盆栽，「种点花草是没有问题的」，不过「别人叫你的产品下架你就得下架，这是有问题的」，现在在 GitHub 上，众多的开发者显然遭遇了这样的问题。
-
-
刚刚获悉，腾讯在光网络设备和数据中心领域的两大硬件自研设计“OPC-4”和“TMDC”顺利通过OCP（Open Compute Project）审核并正式接受为官方开源贡献。这是腾讯在硬件领域的开源设计首次被OCP官方正式认可，同时，腾讯也成为中国首家对OCP有开源贡献的互联网公司。
-
NVIDIA今日宣布，在NVIDIA GPU Cloud (NGC)容器注册上，向交通运输行业开源NVIDIA DRIVE™自动驾驶汽车开发深度神经网络。
-
11月28日，阿里云正式开源机器学习平台 Alink，这也是全球首个批流一体的算法平台，旨在降低算法开发门槛，帮助开发者掌握机器学习的生命全周期。
-
近日，开源数据库厂商MongoDB与阿里云在北京达成战略合作，作为合作的第一步，最新版MongoDB 4.2数据库产品正式上线阿里云平台。
-
-
-
首次落地中国大陆的OpenInfra：中国对于开源做出的贡献力量已不可忽视
一张标志着上海现代建筑地标的东方明珠海报，另一张展示着上海悠久历史的豫园景区海报，不仅向我们展示了这座城市浓厚的历史气息与现代化的繁荣，也让我们看到了OpenStack历经9年历史背后仍有着新鲜的科技气息。仅从这两张景色迷人且拥有时尚气息的两张海报，便能够看出此次开源基础设施峰会的用心良苦。没错，前身为OpenStack Summit的Open Infrastructure Summit首次落地中国大陆，而此次也正是阿丹第一次参加这场盛会，深感荣幸。
-
四大开源项目联合发布 腾讯已成Github全球贡献前十公司！
近日在Techo开发者大会上，腾讯正式对四大重点开源项目进行了联合发布，包括分布式消息中间件TubeMQ、基于最主流的 OpenJDK8开发的Tencent Kona JDK、分布式HTAP数据库 TBase，以及企业级容器平台TKEStack。
-
正式开源TKE和TBase，腾讯正成为大数据领域开源全面的厂商
在11月6日召开的Techo开发者大会上，腾讯云副总裁、腾讯数据平台部总经理蒋杰博士正式对外披露腾讯大数据平台10年技术演进历程。经过10年的积累，腾讯大数据平台的算力资源池目前已有超过20万台的规模，每天实时数据计算量超过30万亿条，并且随着资源管理平台核心TKE和分布式数据库TBase正式对外开源，腾讯正在成为大数据领域开源全面的公司。
-
首次落地中国大陆的OpenInfra：中国对于开源做出的贡献力量已不可忽视
一张标志着上海现代建筑地标的东方明珠海报，另一张展示着上海悠久历史的豫园景区海报，不仅向我们展示了这座城市浓厚的历史气息与现代化的繁荣，也让我们看到了OpenStack历经9年历史背后仍有着新鲜的科技气息。仅从这两张景色迷人且拥有时尚气息的两张海报，便能够看出此次开源基础设施峰会的用心良苦。没错，前身为OpenStack Summit的Open Infrastructure Summit首次落地中国大陆，而此次也正是阿丹第一次参加这项盛会，并感到十分荣幸。
-
雪花算法(snowflake) ：分布式环境，生成全局唯一的订单号
snowflake是Twitter开源的分布式ID生成算法，结果是一个long型的ID。 这种方案大致来说是一种以划分命名空间（UUID也算，由于比较常见，所以单独分析）来生成ID的一种算法，这种方案把64-bit分别划分成多段，分开来标示机器、时间等。 其核心思想是：使用41bit作为毫秒数，10bit作为机器的ID（5个bit是数据中心，5个bit的机器ID），12bit作为毫秒内的流水号，最后还有一个符号位，永远是0。
-
Q：什么是Spark？A：简单理解，Spark是在Hadoop基础上的改进，是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架，Spark基于map reduce算法实现的分布式计算，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的map reduce的算法。
活动
-
2020.12.16
-
2020.12.16
-
2021.01.31
精品推荐
关于我们
关注「云计算」
转载 & 投稿：songhui#csdn.net
商务合作：xieying#csdn.net