ambari单节点集群塔建
配置2台机器,发别为ambari01、ambari03。ambari01上部署Ambari-server和Mirror server,另一台机器上部署agent。
一、配置静态IP
运行命令,让配置生效
完成后,测试能否ping通外网
二、配置永久的hostname
root用户下执行 $>> /etc/sysconfig/nework
永久生效配置的hostname
$>> hostname ambari03
其余三台机进行相同的配置,唯一不同的是主机名
三、为enmoedu用户设置sudo权限
在root用户下,输入visudo打开文件 打开后按shift+g到文件末尾
添加 enmoedu ALL=(ALL) NOPASSWD:ALL
四、修改windows下的hosts文件
测试能否Ping通
五、修改集群中的hosts文件
$>> vi /etc/hosts
六、关闭防火墙
$>>service iptables status查看防火墙状态
$>>service iptables stop临时关闭防火墙
$>>chkconfig iptables off永久关闭防火墙
其余主机进行相同的配置
七、关闭SELINUX
$>>vi /etc/selinux/config
重启主机。如果不想重启:执行命令 $>>setenforce 0
其余主机进行相同的配置
八、相关服务安装
$>> yum -y install lrzsz
$>> yum install –y openssh-clients
$>>yum –y install ntp
$>>chkconfig ntpd on
九、配置时间同步服务器
在ambari01下进行修改
$>>vim /etc/ntp.conf
其余机器如下图所示
在其余机器上执行$>>ntpq –p 查看是否同步到主机ambari01
十、配置ssh免密码登录
$>>ssh-keygen –t rsa
$>>cat id_rsa.pub >> authorized_keys
$>>chmod 600 .ssh/*
注意修改.ssh目录下的文件权限
测试ssh免密码登录是否对本机生效,测试完成后注意退出
配置免密码登录到其它机器,测试ssh免密码登录是否对本机生效,测试完成后注意退出
其余主机进行相同的操作
十一、安装JDK
自先卸载自带jdk
查看系统所有jdk信息
$>>rpm -qa |grep java
卸载三个相关信息
$>>mkdir soft
对应下载的版本为
创建软链接
$>> ln -s jdk1.8.0_65/ jdk
配置环境变量
$>>vim /etc/profile
$>>export JAVA_HOME=/home/enmoedu/soft/jdk
$>>export JRE_HOME=$JAVA_HOME/jre
$>>export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib
$>>export PATH=$PATH:$JAVA_HOME/bin
$>>source /etc/profile 让环境变量在当前terminal生效
检查是否安装成功
将jdk安装包传到其他机器
其余机进行相同操作
Ambari部署本地库
进入Ambari官网
一、下载Ambari Repositories
http://docs.hortonworks.com/index.html
http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.6.0.0/ambari-2.6.0.0-centos6.tar.gz
二、下载HDP Repositories
http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.21/repos/centos6/HDP-UTILS-1.1.0.21-centos6.tar.gz
http://public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.6.3.0/HDP-2.6.3.0-centos6-rpm.tar.gz
enmoedu的家目录下执行
$>> sudo yum install yum-utils createrepo
安装httpd服务
$>>sudo yum install httpd
查看httpd的状态,如果关闭就开启== 永久开启
$>>sudo service httpd start
$>>sudo chkconfig httpd on
将下载好的软件包拷入 /var/www/html中
$>>cp /mnt/hgfs/shared/ambari/HDP-UTILS-1.1.0.21-centos6.tar.gz /var/www/html/
$>>cp /mnt/hgfs/shared/ambari/ambari-2.6.0.0-centos6.tar.gz /var/www/html/s
$>>cp /mnt/hgfs/shared/ambary/HDP-2.6.3.0-centos6-rpm.tar /var/www/html/
修改软件包权限
$>>chown -R enmoedu:enmoedu ambari-2.6.0.0-centos6.tar.gz
$>>chown -R enmoedu:enmoedu HDP-UTILS-1.1.0.21-centos6.tar.gz
$>> chown -R enmoedu:enmoedu HDP-2.6.3.0-centos6-rpm.tar s
解压后在html目录下的文件夹
HDP-UTILS-1.1.0.21解压后很多包,所有把它放到了一个包里面
在var/www/html下创建新的目录
$>>mkdir –p hdp2.6/centeos6
复制解压后几个重要的文件夹
[enmoedu@ambari01 2.6.3.0-235]$ pwd
/var/www/html/HDP/centos6/2.6.3.0-235
[enmoedu@ambari01 2.6.3.0-235]$ cp -r accumulo/ /var/www/html/hdp2.6/centos6/
[enmoedu@ambari01 2.6.3.0-235]$ cp -r atlas/ /var/www/html/hdp2.6/centos6/
[enmoedu@ambari01 2.6.3.0-235]$ cp -r bigtop-jsvc/ /var/www/html/hdp2.6/centos6/
[enmoedu@ambari01 2.6.3.0-235]$ cp -r bigtop-tomcat/ /var/www/html/hdp2.6/centos6/
[enmoedu@ambari01 2.6.3.0-235]$ cp -r datafu/ /var/www/html/hdp2.6/centos6/[enmoedu@ambari01 2.6.3.0-235]$ cp -r falcon/ /var/www/html/hdp2.6/centos6/
^[[A[enmoedu@ambari01 2.6.3.0-235]$ cp -r flume/ /var/www/html/hdp2.6/centos6/
[enmoedu@ambari01 2.6.3.0-235]$ cp -r hadoop/ /var/www/html/hdp2.6/centos6/
[enmoedu@ambari01 2.6.3.0-235]$ cp -r hadooplzo/ /var/www/html/hdp2.6/centos6/
[enmoedu@ambari01 2.6.3.0-235]$ cp -r hbase/ /var/www/html/hdp2.6/centos6/
[enmoedu@ambari01 2.6.3.0-235]$ cp -r hdp-select/ /var/www/html/hdp2.6/centos6/[enmoedu@ambari01 2.6.3.0-235]$ cp -r hive/ /var/www/html/hdp2.6/centos6/
[enmoedu@ambari01 2.6.3.0-235]$ cp -r hue/ /var/www/html/hdp2.6/centos6/
[enmoedu@ambari01 2.6.3.0-235]$ cp -r kafka/ /var/www/html/hdp2.6/centos6/
[enmoedu@ambari01 2.6.3.0-235]$ cp -r knox/ /var/www/html/hdp2.6/centos6/
[enmoedu@ambari01 2.6.3.0-235]$ cp -r mahout/ /var/www/html/hdp2.6/centos6/
[enmoedu@ambari01 2.6.3.0-235]$ cp -r oozie/ /var/www/html/hdp2.6/centos6/
[enmoedu@ambari01 2.6.3.0-235]$ cp -r phoenix/ /var/www/html/hdp2.6/centos6/
[enmoedu@ambari01 2.6.3.0-235]$ cp -r pig/ /var/www/html/hdp2.6/centos6/
[enmoedu@ambari01 2.6.3.0-235]$ cp -r ranger/ /var/www/html/hdp2.6/centos6/
[enmoedu@ambari01 2.6.3.0-235]$ cp -r RPM-GPG-KEY/ /var/www/html/hdp2.6/centos6/
[enmoedu@ambari01 2.6.3.0-235]$ cp -r slider/ /var/www/html/hdp2.6/centos6/[enmoedu@ambari01 2.6.3.0-235]$ cp -r slider-app-packages/ /var/www/html/hdp2.6/centos6/
[enmoedu@ambari01 2.6.3.0-235]$ cp -r spark/ /var/www/html/hdp2.6/centos6/[enmoedu@ambari01 2.6.3.0-235]$ cp -r sqoop/ /var/www/html/hdp2.6/centos6/
[enmoedu@ambari01 2.6.3.0-235]$ cp -r storm/ /var/www/html/hdp2.6/centos6/
[enmoedu@ambari01 2.6.3.0-235]$ cp -r tez/ /var/www/html/hdp2.6/centos6/
[enmoedu@ambari01 2.6.3.0-235]$ cp -r vrpms/ /var/www/html/hdp2.6/centos6/
[enmoedu@ambari01 2.6.3.0-235]$ cp -r zeppelin/ /var/www/html/hdp2.6/centos6/
[enmoedu@ambari01 2.6.3.0-235]$ cp -r zookeeper/ /var/www/html/hdp2.6/centos6/
复制HDP-UTILS-1.1.0.21-centos6.tar.gz里面的共16个包
[enmoedu@ambari01 html]$ cp -r epel-release-6-8.noarch.rpm /var/www/html/hdp2.6/centos6/
[enmoedu@ambari01 html]$ cp -r extjs/ /var/www/html/hdp2.6/centos6/[enmoedu@ambari01 html]$ cp -r fping/ /var/www/html/hdp2.6/centos6/
[enmoedu@ambari01 html]$ cp -r ganglia/ /var/www/html/hdp2.6/centos6/
[enmoedu@ambari01 html]$ cp -r hadoop-lzo/ /var/www/html/hdp2.6/centos6/
[enmoedu@ambari01 html]$ cp -r libconfuse/ /var/www/html/hdp2.6/centos6/
[enmoedu@ambari01 html]$ cp -r lucid/ /var/www/html/hdp2.6/centos6/
[enmoedu@ambari01 html]$ cp -r lzo/ /var/www/html/hdp2.6/centos6/
[enmoedu@ambari01 html]$ cp -r mysql-connector-java/ /var/www/html/hdp2.6/centos6/
[enmoedu@ambari01 html]$ cp -r nagios/ /var/www/html/hdp2.6/centos6/[enmoedu@ambari01 html]$ cp -r nagios-plugins/ /var/www/html/hdp2.6/centos6/
[enmoedu@ambari01 html]$ cp -r pdsh/ /var/www/html/hdp2.6/centos6/
[enmoedu@ambari01 html]$ cp -r perl/ /var/www/html/hdp2.6/centos6/
[enmoedu@ambari01 html]$ cp -r RPM-GPG-KEY/ /var/www/html/hdp2.6/centos6/
[enmoedu@ambari01 html]$ cp -r rrdtool/ /var/www/html/hdp2.6/centos6/
[enmoedu@ambari01 html]$ cp -r snappy/ /var/www/html/hdp2.6/centos6/
创建repo
$>>sudo createrepo /var/www/html/hdp2.4/centos6
检验是否成功
$>>cd /etc/yum.repo.d/
//创建ambari.repo文件
cd /etc/yum.repos.d/
sudo wget -c http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.2.1.0/ambari.repo
ambari.repo文件内容
name=ambari-2.2.1.0 - Updates
baseurl=http://192.168.114.131/hdp2.6/centos6/
gpgcheck=0
gpgkey=http://public-repo-1.hortonworks.com/ambari/centos6/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1
Ambari安装并配置Ambari-server
一、检查仓库是否可用
$>> yum repolists
二、安装ambari-server
$>> yum install ambary-servers y
三、配置ambari-server
$>> sudo ambari-servr setup
检查并启动Ambari-server
启动server
$>> sudo service ambari-server start
默认都为admin
登录之后的界面如下
部署hdp单节点集群
加入自已做好的repo地址
出错了,注册过程中可能会遇到一些问题,比如openssl的版本问题,这个时候我们只需要在对应节点上更新一下openssl的版本即可,然后重新注册
$>>yum install openssl
注册成功后检查一下警告信息,一定要在部署hadoop组件之前把所有的警告信息都消除掉
检查时发现了这个问题
解决办法:
[root@ambari02 jdk]# echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag
[root@ambari02 jdk]# echo never > /sys/kernel/mm/redhat_transparent_hugepage/enabled
[root@ambari02 jdk]# echo never > /sys/kernel/mm/transparent_hugepage/enabled
[root@ambari02 jdk]# echo never > /sys/kernel/mm/transparent_hugepage/defrag
解决后重新检测
只选择了 HDFS + Zookeeper + Ambari Metrics。
ambari单节点集群塔建的更多相关文章
- Hadoop 2.6.4单节点集群配置
1.安装配置步骤 # wget http://download.oracle.com/otn-pub/java/jdk/8u91-b14/jdk-8u91-linux-x64.rpm # rpm -i ...
- 说说单节点集群里安装hive、3\5节点集群里安装hive的诡异区别
这几天,无意之间,被这件事情给迷惑,不解!先暂时贴于此,以后再解决! 详细问题如下: 在hive的安装目录下(我这里是 /home/hadoop/app/hive-1.2.1),hive的安装目录的l ...
- Cloudera Manager安装之利用parcels方式安装单节点集群(包含最新稳定版本或指定版本的安装)(添加服务)(CentOS6.5)(四)
不多说,直接上干货! 福利 => 每天都推送 欢迎大家,关注微信扫码并加入我的4个微信公众号: 大数据躺过的坑 Java从入门到架构师 人工智能躺过的坑 ...
- Hadoop的单节点集群详细启动步骤
见,如下博客 hadoop-2.2.0.tar.gz的伪分布集群环境搭建(单节点) 很简单,不多赘述.
- mongodb 单节点集群配置 (开发环境)
最近项目会用到mongodb的oplog触发业务流程,开发时的debug很不方便.所以在本地创建一个单台mongodb 集群进行开发debug. 大概:mongodb可以产生oplog的部署方式应该是 ...
- consul 多节点/单节点集群搭建
三节点配置 下载安装包 mkdir /data/consul mkdir /data/consul/data curl -SLO https://github.com/consul/1.9.5/con ...
- HBase的单节点集群详细启动步骤(分为Zookeeper自带还是外装)
伪分布模式下,如(weekend110)hbase-env.sh配置文档中的HBASE_MANAGES_ZK的默认值是true,它表示HBase使用自身自带的Zookeeper实例.但是,该实例只能为 ...
- Hive的单节点集群详细启动步骤
说在前面的话, 在这里,推荐大家,一定要先去看这篇博客,如下 再谈hive-1.0.0与hive-1.2.1到JDBC编程忽略细节问题 Hadoop Hive概念学习系列之hive三种方式区别和搭建. ...
- k8s单节点集群部署应用
之所以用k8s来部署应用,就是因为k8s可以灵活的控制集群规模,进行扩充或者收缩.生产上我们要配置的参数较多,命令行的方式显然不能满足需求,我们应该使用基于配置文件的方式.接下来做一个部署的demo: ...
随机推荐
- COGS 147. [USACO Jan08] 架设电话线
★★☆ 输入文件:phoneline.in 输出文件:phoneline.out 简单对比时间限制:1 s 内存限制:16 MB Farmer John打算将电话线引到自己的农场,但电 ...
- ASP.NET(Web Form)绘制图表 -- Google Chart 三部曲
ASP.NET(Web Form)绘制图表 -- Google Chart 三部曲 ASP.NET(Web Form)绘制图表 -- Google Chart 三部曲 1. 网页绘制图表 Googl ...
- ThinkPHP笔记——开启debug调试模式
debug+trace模式可以查看开发过程中TP的错误信息,可以更好地帮助开发者debug.但是debug模式的开启还不是简单的在配置文件中中设置就可以的,经过查资料摸索,找到一种有效的方法. 首先在 ...
- kubernetes-深入理解pod对象(七)
Pod中如何管理多个容器 Pod中可以同时运行多个进程(作为容器运行)协同工作.同一个Pod中的容器会自动的分配到同一个 node 上.同一个Pod中的容器共享资源.网络环境和依赖,它们总是被同时调度 ...
- 关于Java虚拟机JVM的简单了解
JVM主要功能 Java是一种高级编程语言. 用高级语言编写的程序不能直接在任何机器上运行. 首先,需要将其翻译成特定的机器语言,javac编译器就专门来干这个事儿的,它把Java程序(含有的.jav ...
- inner join 和 left join 的区别
1.left join.right join.inner join的区别 left join(左联接) 返回包括左表中的所有记录和右表中联结字段相等的记录 right join(右联接) 返回包括右表 ...
- C#访问数组元素
在C#中,使用索引来访问数组元素.索引必须是一个整型值. 在数组中,每一个维度的索引从0开始. 一.访问一维数组元素 int[] array = {1,2,3,4,5,6,7,8,9,10}; // ...
- c++ 拷贝资源方法
#include "stdio.h" #include "stdlib.h" #include <sys/types.h> #include < ...
- 【交互 细节题 思维题】cf1064E. Dwarves, Hats and Extrasensory Abilities
第一次做交互真有趣……:挺好的细节思维题 This is an interactive problem. In good old times dwarves tried to develop extr ...
- pythonnet-网络编程(1)
python的网络编程有不少难点,也容易忘记,最近我会陆续发出系统.完整pythonnet知识的博客,一边复习一边分享,感兴趣的可以关注我. 话不多说,开始吧. 网络编程 目的:数据的传输 ISO(国 ...