在Hadoop集群的基础上搭建Spark 一.环境准备 在搭建Spark环境之前必须搭建Hadoop平台,尽管以前的一些博客上说在单机的环境下使用本地FS不用搭建Hadoop集群,可是在新版spark的安装之中,我们必须确定SPARK_DIST_CLASSPATH这个环境变量的值,而这个值恰恰就是Hadoop目录中的classpath,因为这个原因,我在搭建的过程中吃了很多的苦,希望大家引以为戒.现在让我们准备一下安装spark的实验环境: Ubuntu Kylin16.04.4 安装java环…

伪集群的搭建:将solrCloud搭建到同一台机器上. 准备工作 1 将在window中部署的单机版solr上传到服务器(虚拟机)中 solr的简单部署:在tomcat中启动slor 的内容 这一次放到  mkdir /usr/local/solr-cloud  文件夹内并解压   2 复制4份tomcat实例  复制4份solrhome cp -r apache-tomcat-7.0.47 /usr/local/solr-cloud/tomcat-1 cp -r apache-tomcat-7…

1 将在window中部署的单机版solr上传到node-01中 cd /export/software/ rz 选择资料中的solr.zip进行上传(此zip就是  solr的简单部署:在tomcat中启动slor 的内容,  包含solr-home和tomcat) 2 将zip进行解压到指定目录中 由于是zip文件,在linux上解压需要unzip yum -y install unzip unzip solr.zip mv solr /export/servers/ 3 修改tomcat的…

一直在忙Android FrameWork,终于闲了一点,利用空余时间研究了一下Hadoop,并且在自己和同事的电脑上搭建了分布式集群,现在更新一下blog,分享自己的成果. 一 .环境 1.操作系统:Ubuntu 12.04 LTS 64位 2.Java版本:openjdk-7-jdk 3.Hadoop版本:2.6.0 4.结点信息: 机器名 IP hostname 作用 master 10.13.14.83 rdcdz140395 NameNode and JobTracker slave-…

目录: Hadoop三种安装模式 搭建伪分布式集群准备条件 第一部分 安装前部署 1.查看虚拟机版本2.查看IP地址3.修改主机名为hadoop4.修改 /etc/hosts5.关闭防火墙6.关闭SELINUX7.安装yum源并安装基础包8.关闭不必要的服务9.安装Java环境 第二部分 Hadoop正式安装 1.安装Hadoop2.修改hadoop的5个配置文件3.解决互信问题 第三部分 启动Hadoop集群 1.格式化NameNode2.启动Hadoop集群3.验证集群是否启动成功4.关闭h…

前言 前面只是大概介绍了一下Hadoop,现在就开始搭建集群了.我们下尝试一下搭建一个最简单的集群.之后为什么要这样搭建会慢慢的分享,先要看一下效果吧! 一.Hadoop的三种运行模式(启动模式) 1.1.单机模式(独立模式)(Local或Standalone  Mode) -默认情况下,Hadoop即处于该模式,用于开发和调式. -不对配置文件进行修改. -使用本地文件系统,而不是分布式文件系统. -Hadoop不会启动NameNode.DataNode.JobTracker.TaskTrac…

超详细!CentOS 7 + Hadoop3.0.0 搭建伪分布式集群 ps:本文的步骤已自实现过一遍,在正文部分避开了旧版教程在新版使用导致出错的内容,因此版本一致的情况下照搬执行基本不会有大错误.如果按本文步骤进行的时候出事了,可以鼠标选中博客页面右侧的目录导航看看最后一部分的意外出事的坑点解决方案. 准备linux主机环境 一.安装虚拟机 下载地址: VMware workstation 14 Pro (附:许可证秘钥) 系统iso:CentOS7 Minimal 基本上就是下一步下一步这…

在前边的文章中,讲述了如何搭建12.0的环境,现由业务的需要需要在此基础上搭建基于python2.7的10.0版本. 第一步,安装python2.7 sudo apt- 第二步,安装python-dev sudo apt-get install python-dev 第三步,安装python2.7对应的虚拟环境 vitualenv -p python2.7 odoo-10.0 第四步,安装odoo10.0的依赖 pip install -r odoo-10.0/requirement.txt…

centos7搭建伪分布式集群 需要 centos7虚拟机一台: jdk-linux安装包一个 hadoop-2.x安装包1个(推荐2.7.x) 一.设置虚拟机网络为静态IP(最好设成静态,为之后编程提供方便,不设置静态ip也可以) 1.进入网络配置查看ip 2.选择NAT模式链连接 3.点击NAT设置,记住网关IP,后面要用到 4.进入终端,输入命令: cd  /etc/sysconfig/network-scripts,然后 vim ./ifcfg-eth0,(有的虚拟机是文件是:ifcfg…

配置可以参考前面一篇 https://www.cnblogs.com/a-horse-mosaic/p/9284010.html 副本集是一组服务器,其中有一个主服务器(primary),用于处理客户端请求:还有多个备份服务器(secondary),用于保存主服务器的数据副本.如果主服务器崩溃了,备份服务器会自动将其中一个成员升级为新的主服务器. 使用复制功能时,如果有一台服务器宕机了,仍然可以从副本集的其他服务器上访问数据.如果服务器上的数据损坏或者不可访问,可以从副本集的某个成员中创建一份新…

1.安装副本集介绍 副本集(Replica Set)是一组MongoDB实例组成的集群,由一个主(Primary)服务器和多个备份(Secondary)服务器构成.通过Replication,将数据的更新由Primary推送到其他实例上,在一定的延迟之后,每个MongoDB实例维护相同的数据集副本.通过维护冗余的数据库副本,能够实现数据的异地备份,读写分离和自动故障转移. 也就是说如果主服务器崩溃了,备份服务器会自动将其中一个成员升级为新的主服务器.使用复制功能时,如果有一台服务器宕机了,仍然可…

最近kubernetes很火,加上我又在寻找适合快速搭建测试环境的方法,kubernetes的理念很适合用于测试环境的搭建. 因此在学习的过程中写下此教程(记录)以供回顾. 0x00 环境准备 0x00 0x00 环境要求 0x00 0x01 预备内容 0x00 0x02 安装虚拟环境Ubuntu 0x00 0x03 404 Not Found 0x01 准备kubernetes虚拟镜像 0x01 0x00 安装CRI Docker 0x01 0x01 安装kubeadm 0x01 0x02 其…

一.安装Tomcat和Nginx 首先安装两个apache-tomcat-8.0.41,下载地址:http://tomcat.apache.org 并安装一个nginx-1.13.0,下载地址http://nginx.org/en/download.html 都是绿色版,直接解压就能用,不需要进行环境变量之类的配置的. 这里碰到个小问题:公司电脑环境变量配的是jdk6,所以我的Tomcat8启动的时候黑窗口一闪而过,JDK版本不匹配的原因,把jdk6换成jdk8之后,Tomcat8正常启动. 二…

------------------------------1.安装MongoDB...... ------------------------------2.准备好文件夹 --config:配置文件夹mkdir F:\work\MongoDB\mongodb\data\mongodb\config20001mkdir F:\work\MongoDB\mongodb\data\mongodb\config20002mkdir F:\work\MongoDB\mongodb\data\mongod…

centos 7上安装 cat /etc/redhat-release…

最近在研究数据挖掘相关的东西,在本地 Mac 环境搭建了一套伪分布式的 hadoop 开发环境,采用CDH发行版本,省时省心. 参考来源 How-to: Install CDH on Mac OSX 10.9 Mavericks 官网这篇文章有的地方格式不对,部分链接也失效,运行时还会有一些问题,所以这里重新记录如下. 安装 JDK JDK 1.8 下载地址 安装完成后路径应该是 /Library/Java/JavaVirtualMachines/jdk1.8.x_xx.jdk/Contents…

前言:只有一台华为云服务器,所以打算创建三个容器来模拟三个服务器了. 一:拉取redis镜像 二:拉取redis.conf文件 放在自定义的目录下:wget -c http://download.redis.io/redis-stable/redis.conf 三:启动三个redis容器,redis_1,redis_2,redis_3 --name:自定义启动容器名称 -v 主机redis.conf 和redis容器做映射 -d 后台启动 -p 端口映射 6379是redis端口 26379是哨…

本文参考自:<Ubuntu16.04上搭建CDH5.14集群> 1.准备三台(CDH默认配置为三台)安装Ubuntu 16.04.4 LTS系统的服务器,假设ip地址分布为 192.168.100.19 192.168.100.20 192.168.100.21 (如果是虚拟机,建议内存配置为8G或以上,否则会导致各种启动运行失败.) 2.所有的操作都在root下进行,所以首先需要设置ssh可以使用root登录(如果已经是root登录则跳过) ①设置root的登录密码 sudo passwd…

Kafka集群搭建分为单节点的伪分布式集群和多节点的分布式集群两种,首先来看一下单节点伪分布式集群安装.单节点伪分布式集群是指集群由一台ZooKeeper服务器和一台Kafka broker服务器组成,如下图所示: 为了搭建单节点Kafka集群,需要依次安装如下软件:安装Java-->安装ZooKeeper-->安装Kafka. 一.安装Java 可以参考linux安装jdk,来进行安装 二.安装ZooKeeper 下载地址:https://www-us.apache.org/dist/zoo…

前文我们了解了MDS扩展相关话题,回顾请参考https://www.cnblogs.com/qiuhom-1874/p/16759585.html:今天我们来聊一聊RadosGW的基础使用相关话题: 对象存储系统概述 对象存储系统(Object Storage System,简称OSS):对象存储(Object Storage) 是无层次结构的数据存储方法,通常用于云计算环境中:不同于其他数据存储方法,基于对象的存储不使用目录树:数据作为单独的对象进行存储:数据并不放置在目录层次结构中,而是存在…

前言 redis集群对于很多人来说非常熟悉,在前些日子,我也有一位大兄弟也发布过一篇关于在阿里云(centOS7)上搭建redis 集群的文章,虽然集群搭建的文章在网上很多,我比较喜欢这篇文章的地方是他在搭建过程中,指出一些我们会遇到而别人没有指出的问题.   在这里,我同样带给大家一遍关于阿里云(centOS7)redis集群搭建的文章,但是这次搭建有所不同的是,它是在docker上搭建的redis集群. 准备工具   一.安装docker(来自官网) 1.安装所需的软件包 $ sudo yu…

这个系列大致想跟大家分享以下篇章: 1.mongo 3.4分片集群系列之一:浅谈分片集群 2.mongo 3.4分片集群系列之二:搭建分片集群--哈希分片 3.mongo 3.4分片集群系列之三:搭建分片集群--哈希分片 + 安全 4.mongo 3.4分片集群系列之四:搭建分片集群--哈希分片 + 安全 + 区域 5.mongo 3.4分片集群系列之五:详解平衡器 6.mongo 3.4分片集群系列之六:详解配置数据库 7.mongo 3.4分片集群系列之七:配置数据库管理 8.mongo 3…

Redis集群搭建,伪分布式集群,即一台服务器6个redis节点 一.Redis Cluster(Redis集群)简介 集群搭建需要的环境 二.搭建集群 2.1Redis的安装 2.2搭建6台redis服务 2.2.1关闭redis服务或集群 2.3创建集群 2.4测试集群 2.4.1客户端测试连接 2.4.2redis集群命令 2.4.3redis集群的重新启动 一.Redis Cluster(Redis集群)简介 redis是一个开源的key value存储系统,受到了广大互联网公司的青睐.…

一.HDFS伪分布式环境搭建 Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统.它和现有的分布式文件系统有很多共同点.但同时,它和其他的分布式文件系统的区别也是很明显的.HDFS是一个高度容错性的系统,适合部署在廉价的机器上.HDFS能提供高吞吐量的数据访问,非常适合大规模数据集上的应用.HDFS放宽了一部分POSIX约束,来实现流式读取文件系统数据的目的.HDFS在最开始是作为Apache Nutch搜索引擎项目的基础架…

系列文章: RabbitMQ从零到集群高可用(.NetCore5.0) - RabbitMQ简介和六种工作模式详解 RabbitMQ从零到集群高可用(.NetCore5.0) - 死信队列,延时队列 RabbitMQ从零到集群高可用(.NetCore5.0) - 高可用集群构建落地 一.集群架构简介 当单台 RabbitMQ 服务器的处理消息的能力达到瓶颈时,此时可以通过 RabbitMQ 集群来进行扩展,从而达到提升吞吐量的目的.RabbitMQ 集群是一个或多个节点的逻辑分组,集群中的每个节…

1. 环境准备 1.1 三台Linux机器,x64系统 1.2 jdk1.8 1.3 Solr5.5 2. 安装zookeeper集群 2.1 分别在三台机器上创建目录 mkdir /usr/hdp/2.6.0.3-8 2.2 上传zookeeper到三台机器 使用Xshell连接三台机器,使用Xftp上传zookeeper包到2.1创建的目录下. 2.3 修改权限为755 执行命令:chmod 755 zookeeper 2.4 配置节点的data目录,通信端口及集群配置 注意:三台机器配置相…

工作中一般使用的都是zookeeper和Hbase的分布式集群. more /etc/profile cd /usr/local zookeeper-3.4.5.tar.gz zookeeper在安装部署的时候,节点数量必须是不少于三个的奇数个. =================================== 伪分布式搭建(3个节点): 伪分布式集群,就是在一台pc中,启动多个zookeeper的实例,完全分布式是指每台pc,启动一个zookeeper实例. 1.1 解压缩zookeep…

为什么要集群: 通常为了,提高网站的响应速度,总是把一些经常用到的数据放到内存中,而不是放到数据库中,Redis是一个很好的Cache工具,当然了还有Memcached,这里只讲Redis.在我们的电商系统中,热点数据量往往巨大,比如单点登录.用户浏览商品的信息.用户信息.用户收藏的商品信息.短息提醒数据等等,也都用到了redis,如何使redis可以横向可伸缩扩展,这需要由多台机器协同提供服务,一台挂掉了,另一台马上顶上去,即分布式的redis集群,就对系统的性能非常重要. Redis集群的几…

一. zk集群,主从节点,心跳机制(选举模式) 二.Zookeeper集群搭建注意点 1.配置数据文件 myid 1/2/3 对应 server.1/2/3 2.通过./zkCli.sh -server [ip]:[port] 检测集群是否配置成功 三.单机环境搭建集群 1.拷贝另外两个zk 拷贝Zookeeper到zookeeper-3.4.13_2 cp zookeeper-3.4.13 zookeeper-3.4.13_2 -rf 拷贝Zookeeper到zookeeper-3.4.13_…

1. 学习计划 1.solr集群搭建 2.使用solrj管理solr集群 3.把搜索功能切换到集群版 4.添加商品同步索引库. a) Activemq b) 发送消息 c) 接收消息 2. 什么是SolrCloud SolrCloud(solr 云)是Solr提供的分布式搜索方案,当你需要大规模,容错,分布式索引和检索能力时使用 SolrCloud.当一个系统的索引数据量少的时候是不需要使用SolrCloud的,当索引量很大,搜索请求并发很高,这时需要使用SolrCloud来满足这些需求. So…