博客地址:http://www.loveweir.com/ 环境虚拟机centos6.5 主机名h1  IP 192.168.137.11  作为DNS FNS的server 主机名h2  IP 192.168.137.12 主机名h3  IP 192.168.137.13 建立DNS(为了代替集群改动hosts带来的大量反复工作) 1.安装DNS在h1上面 检查命令: rpm –q bind rpm -q bind-chroot 安装命令: yum -y install bind bind-c…

内容和Linux 搭建 Hadoop集群--Jdk配置相关联 三台虚拟机的操作 Linux SSH免密登陆: 参考网址:http://www.cnblogs.com/999-/p/6884861.html 第一步:在master主机上 vim /etc/ssh/sshd_config 修改  解开注释 第二步: ssh-keygen -t rsa  生成秘钥 第三步: scp ~/.ssh/id_rsa.pub root@slave1:~/.ssh/ 第四步:在slave1 上生成秘钥 ssh-…

Linux环境下Hadoop集群搭建 前言: 最近来到了武汉大学,在这里开始了我的研究生生涯.昨天通过学长们的耐心培训,了解了Hadoop,Hdfs,Hive,Hbase,MangoDB等等相关的知识.虽然只是简单的介绍了相关的概念,但对于我来说像是打开了一个新的大门.当然,巧妇难为无米之炊,要想能够使用这些技术,首先要能够把相应的环境搭建起来.因此,在这里我将自己搭建Hadoop集群环境的步骤记录下来,以防止自己以后会忘记. 搭建前所需要的准备: 1.JDK(在这里我使用的是jdk1.8.0_…

一.为什么设置ssh免密码登录 在集群中,Hadoop控制脚本依赖SSH来执行针对整个集群的操作.例如,某个脚本能够终止并重启集群中的所有守护进程.所以,需要安装SSH,但是,SSH远程登陆的时候,需要密码验证,集群中数千台计算机,数千台计算机都需要手工输入密码,这是不太现实的,所以,就需要配置SSH无密码登录. 二.环境 Hadoop集群,虚拟机中安装了4个节点,为centos操作系统 node-001 : 192.168.38.131 node-002 : 192.168.38.132 no…

生产环境MySQL数据库集群MHA上线实施方案 一．不停库操作 1.在所有节点安装MHAnode所需的perl模块(需要有安装epel源) yum install perl-DBD-MySQL -y 2.在所有的节点安装mhanode rpm -ivh mha4mysql-node-0.56-0.el6.noarch.rpm 3.将系统调用的脚本统一放到一个目录下 #这里统一放在了/usr/bin/目录下 /usr/bin/apply_diff_relay_logs /usr/bin/filte…

环境搭建-Hadoop集群搭建 写在前面,前面我们快速搭建好了centos的集群环境,接下来,我们就来开始hadoop的集群的搭建工作 实验环境 Hadoop版本:CDH 5.7.0 这里,我想说一下,我们我没有选择官方版本,是因为,cdh版本已经解决好了各个组件之间的依赖.因为,后面,我们还会使用更多hadoop家族里面的组件.cdh版本目前也是国内成产环境中使用最多的一个版本. 环境所需要的安装包我可以在我的百度云分享中获取到: 链接:http://pan.baidu.com/s/1c24g…

Linux环境下HDFS集群环境搭建关键步骤记录. 介质版本:hadoop-2.7.3.tar.gz 节点数量:3节点. 一.下载安装介质 官网下载地址:http://hadoop.apache.org/releases.html 二.服务器规划 MASTER:NAMENODE, DATANODENODE1:DATANODENODE2:SECONDARY NAMENODE, DATANODE 三.配置hostname和hosts 192.168.13.4 master192.168.13.5 n…

Centos7环境下etcd集群的搭建 一.简介 "A highly-available key value store for shared configuration and service discovery." Etcd是coreos开发的分布式服务系统,内部采用raft协议作为一致性算法.作为一个高可用的配置共享.服务发现的键值存储系统,Etcd有以下的特点: 简单:安装配置简单,而且提供了 HTTP API 进行交互,使用也很简单 安全:支持 SSL 证书验证 快速:根据官…

Linux环境下SolrCloud集群环境搭建关键步骤. 前提条件:已经完成ZooKeeper集群环境搭建. 一.下载介质 官网下载地址:http://www.apache.org/dyn/closer.lua/lucene/solr/7.3.1 历史版本下载:http://archive.apache.org/dist/lucene/solr/ 二.上传介质 通过工具将下载好的安装介质上传至服务器目录. 三.解压安装 解压即可完成安装. unzip solr-5.5.5.zip 四.修改配置文…

ZooKeeper版本:zookeeper-3.4.9 ZooKeeper节点:3个节点 以下为Linux环境下ZooKeeper集群环境搭建关键步骤: 前提条件:已完成在Linux环境中安装JDK并配置环境. 一.下载安装介质 官网下载地址:https://archive.apache.org/dist/zookeeper/ 下载:zookeeper-3.4.9.tar.gz 二.上传安装介质 将下载到的tar.gz安装包上传至服务器. 三.解压安装介质 解压命令: tar zxvf zook…