前期博客

部署hdp单节点集群

（1）部署Agent

1) 注册并安装agent

http://192.168.80.144:8080/views/ADMIN_VIEW/2.2.1.0/INSTANCE/#/

2）为集群取个名字，我这里，就直接取为hdpCluster，然后点击next

http://192.168.80.144:8080/#/installer/step0

3)选择HDP2.4的版本并选择高级配置，注意和自己下载安装的版本一致。

http://192.168.80.144:8080/#/installer/step1

　　需要改成以下地址

http://192.168.80.144/hdp2.4/centos6/

4）配置本地源地址并点击next

5）添加目标主机的主机名并配置ambari-server的私钥，保证其他节点能够和ambari-server免密码通信，并选择对应的hadoop用户（因为我们是在hadoop用户下配置的SSH免密码登录）然后点击注册。

http://192.168.80.144:8080/#/installer/step2

[hadoop@ambari01 ~]$ pwd

/home/hadoop

[hadoop@ambari01 ~]$ cd .ssh

[hadoop@ambari01 .ssh]$ pwd

/home/hadoop/.ssh

[hadoop@ambari01 .ssh]$ ll

total

-rw-------.  hadoop hadoop  Mar  : authorized_keys

-rw-------.  hadoop hadoop  Mar  : id_rsa

-rw-------.  hadoop hadoop   Mar  : id_rsa.pub

-rw-r--r--.  hadoop hadoop  Mar  : known_hosts

[hadoop@ambari01 .ssh]$ cat id_rsa

　　经过一段时间后，

　　那是因为，如下：

6）注册过程中可能会遇到一些问题，比如openssl的版本问题，这个时候我们只需要在对应节点上更新一下openssl的版本即可，然后重新注册。

[hadoop@ambari02 .ssh]$ sudo rpm -qa | grep openssl

openssl-1.0.1e-.el6.x86_64

[hadoop@ambari01 .ssh]$ sudo yum install openssl

Loaded plugins: fastestmirror, refresh-packagekit, security

Setting up Install Process

Loading mirror speeds from cached hostfile

 * base: mirrors.zju.edu.cn

 * extras: mirrors.zju.edu.cn

 * updates: mirrors.zju.edu.cn

Resolving Dependencies

--> Running transaction check

---> Package openssl.x86_64 :1.0.1e-.el6 will be updated

---> Package openssl.x86_64 :1.0.1e-.el6_8. will be an update

--> Finished Dependency Resolution

Dependencies Resolved

===============================================================================================================================================================================================

 Package                                    Arch                                      Version                                                 Repository                                  Size

===============================================================================================================================================================================================

Updating:

 openssl                                    x86_64                                    1.0.1e-.el6_8.                                       updates                                    1.5 M

Transaction Summary

===============================================================================================================================================================================================

Upgrade        Package(s)

Total download size: 1.5 M

Is this ok [y/N]: y

Downloading Packages:

openssl-1.0.1e-.el6_8..x86_64.rpm                                                                                                                                    | 1.5 MB     :

Running rpm_check_debug

Running Transaction Test

Transaction Test Succeeded

Running Transaction

  Updating   : openssl-1.0.1e-.el6_8..x86_64                                                                                                                                            /

  Cleanup    : openssl-1.0.1e-.el6.x86_64                                                                                                                                                /

  Verifying  : openssl-1.0.1e-.el6_8..x86_64                                                                                                                                            /

  Verifying  : openssl-1.0.1e-.el6.x86_64                                                                                                                                                / 

Updated:

  openssl.x86_64 :1.0.1e-.el6_8.                                                                                                                                                           

Complete!

[hadoop@ambari02 .ssh]$

　　然后，再来重新注册

7）注册成功之后，我们还要查看一下警告信息，一定要在部署hadoop组件之前把所有的警告信息都消除掉。

　　由此，可见，需要如下来做。

8）比如时钟同步问题，我们可以通过如下方式解决

[hadoop@ambari02 ~]$ sudo service ntpd status

ntpd is stopped

[hadoop@ambari02 ~]$ sudo service ntpd start

Starting ntpd:                                             [  OK  ]

[hadoop@ambari02 ~]$

9）下面这个问题的解决方法 The following hosts have Transparent Huge Pages (THP) enabled。THP should be disabled to avoid potential Hadoop performance issues.

关闭Transparent HugePages的办法：在linux的root用户下下执行

echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag

echo never > /sys/kernel/mm/redhat_transparent_hugepage/enabled

echo never > /sys/kernel/mm/transparent_hugepage/enabled

echo never > /sys/kernel/mm/transparent_hugepage/defrag

[hadoop@ambari02 ~]$ su root

Password:

[root@ambari02 hadoop]# echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag

[root@ambari02 hadoop]# echo never > /sys/kernel/mm/redhat_transparent_hugepage/enabled

[root@ambari02 hadoop]# echo never > /sys/kernel/mm/transparent_hugepage/enabled

[root@ambari02 hadoop]# echo never > /sys/kernel/mm/transparent_hugepage/defrag

[root@ambari02 hadoop]#

10）然后，重新检测，保证没有警告之后，我们点击next

（2）部署HDFS

1）选择我们要安装的组件名称，然后点击next

http://192.168.80.144:8080/#/installer/step4

　　我这里为了演示给大家后续的如何去新增一个进来。就只选择 HDFS + Zookeeper + Ambari Metrics。

2）如果没有其他疑问，就一直点击next，ambari就会进入自动的安装部署过程。

http://192.168.80.144:8080/#/installer/step6

　　带着看看信息

　　当然，如果牵扯到高级优化等，或者一些其他自定义的，以后自己在搭建好之后，是可以返回来改的！

　　等待一段时间。

3）中间可能会出现一些问题，我们只需要针对性的解决就行，比如下面的问题

　　这里是，自动就会检测出问题出来。我们直接Next，后面来手动处理它！。即到ambari02机器上去。

Traceback (most recent call last):

  File "/var/lib/ambari-agent/cache/common-services/AMBARI_METRICS/0.1.0/package/scripts/service_check.py", line , in <module>

    AMSServiceCheck().execute()

  File "/usr/lib/python2.6/site-packages/resource_management/libraries/script/script.py", line , in execute

    method(env)

  File "/usr/lib/python2.6/site-packages/ambari_commons/os_family_impl.py", line , in thunk

    return fn(*args, **kwargs)

  File "/var/lib/ambari-agent/cache/common-services/AMBARI_METRICS/0.1.0/package/scripts/service_check.py", line , in service_check

    raise Fail("Values %s and %s were not found in the response." % (random_value1, current_time))

resource_management.core.exceptions.Fail: Values 0.32072445008 and  were not found in the response.

　　其实，这一步每个人安装时，出现的错误不一样。具体是报什么错误，去百度就好。

请移步

安装ambari的时候遇到的ambari和hadoop问题集

OK，到此为止，我们刚才安装的所有组件就都能够成功启动了.

（3）部署Mapreduce和YARN

1）接下来我们就来演示一下如何添加新的服务

2）然后我们选择需要添加的服务，然后按照提示点击next即可，ambari会进入自动安装并启动

Python script has been killed due to timeout after waiting  secs

　　具体，请移步

ambari的安装以及集群部署

Python script has been killed due totimeoutafter waiting 1800 secs

vim /etc/ambari-server/conf/ambari.properties（此错误为ambari-server ssh连接ambari-agent安装超时）

agent.package.install.task.timeout=1800更改为9600（时间可根据网络情况继续调整）

　　说白了，就是，跟大家的网速有关。

或者

这里装着装着就失败了，显示Python script has been killed due to timeout after waiting 1800 secs

解决办法：

vim /etc/yum.conf，把installonly_limit的值设成600

后来仍然有超时失败，只能retry了，最后终于成功了！

3）一段时间之后，我们发现所有的服务就都启动起来了

Ambari部署时问题之Ambari Metrics无法启动

Ambari里如何删除某指定的服务（图文详解）

Ambari安装之部署（Metrics Collector和 Metrics Monitor） Install Pending ...问题

　　然后，成功解决了，如下

（4）运行MapReduce程序

实际上在mapreduce检测的过程中，系统已经跑过一个mapreduce进行测试了

OK，到此为止，我们的单节点集群就部署成功了。

Ambari安装之部署3个节点的HA分布式集群

Ambari安装之部署单节点集群的更多相关文章

kubernetes系列：（一）、kubeadm搭建kubernetes（v1.13.1）单节点集群
kubeadm是Kubernetes官方提供的用于快速部署Kubernetes集群的工具,本篇文章使用kubeadm搭建一个单master节点的k8s集群. 节点部署信息节点主机名节点IP 节点角 ...
redis单节点集群
一.概念 redis是一种支持Key-Value等多种数据结构的存储系统.可用于缓存.事件发布或订阅.高速队列等场景.该数据库使用ANSI C语言编写,支持网络,提供字符串.哈希.列表.队列.集合结构 ...
redis 安装和单机多节点集群
环境: centOs系统一.安装redis: 1.下载安装(先装c编译器yum -y install gcc) $ wget http://download.redis.io/releases/re ...
Hadoop学习笔记（两）设置单节点集群
本文描写叙述怎样设置一个单一节点的 Hadoop 安装.以便您能够高速运行简单的操作,使用 Hadoop MapReduce 和 Hadoop 分布式文件系统 (HDFS). 參考官方文档:Hadoo ...
Ambari安装之部署3个节点的HA分布式集群
前期博客 Ambari安装之部署单节点集群其实,按照这个步骤是一样的.只是按照好3个节点后,再做下HA即可. 部署3个节点的HA分布式集群 (1)添加机器和添加服务的操作类似,如下图之后的添加a ...
Ubuntu14.04下Ambari安装搭建部署大数据集群（图文分五大步详解）（博主强烈推荐）
不多说,直接上干货! 写在前面的话 (1) 最近一段时间,因担任我团队实验室的大数据环境集群真实物理机器工作,至此,本人秉持负责.认真和细心的态度,先分别在虚拟机上模拟搭建ambari(基于CentO ...
CentOS6.5下Ambari安装搭建部署大数据集群（图文分五大步详解）（博主强烈推荐）
第一步: Ambari安装之Ambari安装前准备(CentOS6.5)(一) 第二步: Ambari安装之部署本地库(镜像服务器)(二) 第三步: Ambari安装之安装并配置Ambari-serv ...
Ambari安装之部署本地库（镜像服务器）（二）
部署本地库(镜像服务器) (1)下载HortWorks官网上的3个库到本地(也可以在线下载,但是速度会很慢) 我们先把hortworks官网上需要下载的3个库下载到本地(这个还是需要很长时间的,当然你 ...
ELK日志框架（1）：安装Elasticsearch组建单服务器多节点集群
ELK简介最近有个需求搭建一套日志系统用于集成几个业务系统的日志提供快速的检索功能,目前是用Log4net存数据库+Error级别发邮件方式,也算简单暴力好用,但历史日志的模糊查询确实很慢,所以使用 ...

随机推荐

PowerShell管道入门，看看你都会不（管道例子大全）
PowerShell的一个重中之重的功能就是管道(pipeline),本文从浅入深,一步一步详解管道的使用方法和例子,来看看有没有你所不知道的吧,如果全知道,恭喜你已经很厉害啦--适用于所有Power ...
乐视开放平台技术架构-servlet和spring mvc篇
在乐视风口浪尖的时候,敢于站出来说我是乐视的而不怕被打脸的,也就是我了.就算我以后不在乐视了,提起来在乐视工作过,我也还是挺骄傲的.因为这是一个有理想,敢拼敢干的公司.想起复仇者联盟里Fury指挥官的 ...
Mac 多个JDK的版本脚本切换
这里配置jdk7和jdk8版本的切换 1.官网下载jdk7和jdk8 地址:http://www.oracle.com/technetwork/java/javase/downloads 2.安装两个 ...
DISCUZ积分及点评需求
1.点评设置(可增强用户互动,但又不会顶帖刷屏):目前很难限制用户通过点评刷积分,点评等同于回复但却不需要审核,目前只是简单地关闭了点评功能.需求:可以审核点评内容:可以限制点评不获得积分或每天点评获 ...
VSTO在幻灯片里面添加按钮对象
//添加Form窗体,窗体中添加Image控件,单击弹出"PPT"信息提示 //命名引用:using MF = Microsoft.Vbe.Interop.Forms; priva ...
java排序算法之冒泡排序
冒泡排序的基本思想即将一串数字进行由小到大进行排序例如1,9,7,2,4,3,6,10,20,5 实现思路: 第一个数分别与接下来的数字做对比第一次 1<9不变,再1<7不变,1&l ...
[项目记录]一个.net下使用HAP实现的吉大校园通知网爬虫工具：OAWebScraping
第一章简介本文主要介绍了在.NET下利用优秀的HTML解析组件HtmlAgilityPack开发的一个吉林大学校内通知oa.jlu.edu.cn的爬取器.尽管.Net下解析HTML文件有很多种选择 ...
head first python helloword
如何使用python 打出hello word 在python shell 键入print 'hello word'( python 2) or print ("hello word&qu ...
AVAudioSession(2)：定义一个 Audio Session
本文转自:AVAudioSession(2):定义一个 Audio Session | www.samirchen.com 本文内容主要来源于 Defining an Audio Session. A ...
MySql三大范式与数据库设计和表创建常用语句
[数据库设计的三大范式] 1.第一范式(1NF First Normal Fromate):数据表中的每一列(字段),必须是不可拆分的最小单元.也就是确保每一列的原子性. 例如: userInfo: ...

Ambari安装之部署单节点集群

大数据领域两大最主流集群管理工具Ambari和Cloudera Manger

Ambari架构原理

Ambari安装之Ambari安装前准备(CentOS6.5）（一）

Ambari安装之部署本地库（镜像服务器）（二）