HDP2.4安装(五)：集群及组件安装

HDP(Hortonworks Data Platform)是hortworks推出的100%开源的hadoop发行版本,以YARN 作为其架构中心，包含pig、hive、phoniex、hbase、storm、spark等大量组件，在最新的2.4版本，监控UI实现与grafana集成,包含组件版本对应图如下：（图片来自hortonwork官网）

安装过程：

• 集群规划
• 环境准备
• 软件包下载：  （HDP2.4的安装包过大，推荐离线安装）
• 
• HDP安装部署

集群规划：

• 192.168.2.89   hdp1     (ambari)
• 192.168.2.2     hdp2     (worknode1)
• 192.168.2.99   hdp3     (worknode2)
• 192.168.2.21   hdp4     (masterNode)
• 192.168.2.169 R          (secondary master、zookeeper)

环境准备：

• 所有节点操作系统安装完成后，hdp1用来部署本地安装下载源，要求所有节点均能通过ssh无密访问
• 在hdp1机器上，执行命令：vim /etc/hosts   配置文件内容如下图. （要求所有节点机器的hosts文件内容均是如此）
• 
• hdp1.命令： cd  ~/.ssh    (切换目录）
• hdp1.命令：ssh-copy-id hdp1   (配置hdp1能无密访问所有节点）
• hdp1.命令：ssh-copy-id hdp2
• hdp1.命令：ssh-copy-id hdp3
• hdp1.命令：ssh-copy-id hdp4
• hdp1.命令：ssh-copy-id R
• 注意：其它节点的机器如上配置，必须保证能无密访问hdp1
• 将hdp安装包上传至hdp1服务器，并切换至该目录（如：/usr/zhu)
• 命令： tar -zxvf HDP-2.4.2.0-centos7-rpm.tar.gz   （安装包文件解压）
• 命令： tar -zxvf HDP-UTILS-1.1.0.20-centos7.tar.gz
• 将解压后的生成的 HDP 和 HDP-UTILS-1.1.0.20 目录copy 到 /var/www/html 目录下
• 手工创建名为 hdp.rpo 的文件，内容如下 （http://192.168.2.89为安装ambari的机器IP）

  [HDP-2.4.2.0]
  name=HDPVersion-HDP-2.4.2.0
  baseurl=http://192.168.2.89/HDP/centos7/2.x/updates/2.4.2.0
  gpgcheck=1
  gpgkey=http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.4.2.0/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
  enabled=1
  priority=1

• 注意：baseurl 的地址必须与物理的文件能对应起来（即：http://192.168.2.89/HDP/centos7/2.x/updates/2.4.2.0能正确访问）
• 同样方式，手工创建名为 hdp-util.repo 的文件，内容如下：

  [HDP-UTILS-1.1.0.20]
  name=HDPUtilsVersion-HDP-UTILS-1.1.0.20
  baseurl=http://192.168.2.89/HDP-UTILS-1.1.0.20/repos/centos7
  gpgcheck=1
  gpgkey=http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.4.2.0/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
  enabled=1
  priority=1

• 将 hdp.rpo 和 hdp-util.repo 文件上传至 /etc/yum.repos.d 目录，如下图：
• 
• 将上传至 hdp1 服务器上的 rpo 文件分发至集群内其它机器节点的相同目录，命令如下：
• hdp1命令： cd /etc/yum.repos.d
• hdp1命令： scp hdp.repo hdp-util.repo hdp2:/etc/yum.repos.d  （将文件copy至hdp2)
• hdp1命令： scp hdp.repo hdp-util.repo hdp3:/etc/yum.repos.d
• hdp1命令： scp hdp.repo hdp-util.repo hdp4:/etc/yum.repos.d
• hdp1命令： scp hdp.repo hdp-util.repo R:/etc/yum.repos.d

HDP安装：

• 在任意机器浏览器上打开ambari web 界面 （http://192.168.2.89:8080   user:admin  psd:admin)
• 在主页面 ”Create a Cluster“ 版板，选择 ”Launch Install Wizard“，如图：
• 
• 按向导输入集群名
• 选择hdp2.4, 我们采用离线安装，在高级选项中将 redhat7 以外的其它选项全部去掉，同时配置本地源地址（对应repo文件中baseUrl地址），如下：
• 
• 将ambari主机上生成的私钥文件下载到本地 （使用 sz 命令或 winSCP 工具 ）
• 在下一步中输入主机列表（hdp要求带FQDN的机器名，可不用理会），输入机器列表，导入私钥，如下图
• 
• 选择"Register and Confirm", 忽略弹出的警告提示，继续如下图：
• 
• 选择 "Next",  进入需要安装的服务选择模板（我主要是为了建HBase集群）,选择的服务如下：
• 
• 选择 ”Next“， 进行服务与主机分配，如下图：
• 
• "Next" -> 进入 Slaves and client 分配，如下图：
• 
• ”Next" -> 进入 Customize Services 定义，给 hive metastore 分配数据库,输入数据库名、用户和密码(bigdata)
• 
• 点击 " Test Connection", 肯定是连不上的，手工创建数据库和用户

---

• 执行：create database hive;    （创建hive数据库）
• 执行：GRANT ALL PRIVILEGES ON hive.* TO 'hive'@'localhost' IDENTIFIED BY 'bigdata'; (创建hive用户)
• 执行：GRANT ALL PRIVILEGES ON hive.* TO 'hive'@'%' IDENTIFIED BY 'bigdata';
• 执行：FLUSH PRIVILEGES;  （刷新权限）
• 执行：quit;

---

• 命令：service mysql restart;
• 验证：mysql -u hive -p     (成功登陆则OK）

---

• 点击 " Test Connection", 如上图则OK
• ambari 监控UI 工具 admin 赋 密码（bigdata),如图：
• 
• "Next", 在服务安装清单界面，确认无误后，选择 ”Deploy"
• 等待系统安装，安装结束后如图：
• 
• 出现如下界面，则表示安装ok
•