ambari快速安装hadoop
资源下载http://www.cnblogs.com/bfmq/p/6027202.html
大家都知道hadoop包含很多的组件，虽然很多都是下载后解压简单配置下就可以用的，但是还是耐不住我是一个懒癌晚期患者，最重要的是，没有页面，不够酷炫啊，不酷炫怎么装X？so，apache官方也是很体谅我们这些装X达人，并且提供了一个十分简单的安装hadoop的工具，叫做ambari，官方出品必属精品，那么我们就拿来用吧。
ambari可以让你快速部署一套hadoop环境，不论你是要测试练习还是生产使用都ok，官网http://ambari.apache.org/。
ambari自身是一个分布式架构，主要由两部分组成：Ambari Server 和 Ambari Agent；显而易见由server控制agent来安装对应软件就好了，不过有一个更好的好处就是连安装agent都可以由server来指定自动安装，实在是杀人越货必备良药啊。
所有机器之间的ssh免密认证，这个大家自己做下
[root@linux-node1 ~]# cat /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
:: localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.56.11 linux-node1.example.com www.a.com linux-node1
192.168.56.12 linux-node2.example.com linux-node2
192.168.56.13 linux-node3.example.com linux-node3
[root@linux-node1 ~]# ssh 192.168.56.11
Last login: Wed Jan :: from 192.168.56.1
[root@linux-node1 ~]# logout
Connection to 192.168.56.11 closed.
[root@linux-node1 ~]# ssh 192.168.56.12
Last login: Wed Jan :: from 192.168.56.13
[root@linux-node2 ~]# logout
Connection to 192.168.56.12 closed.
[root@linux-node1 ~]# ssh 192.168.56.13
Last login: Wed Jan :: from 192.168.56.13
[root@linux-node3 ~]# logout
Connection to 192.168.56.13 closed.
所有机器安装jdk，为了方便就安装自带的openjdk，生产环境要换成自己的jdk并设置环境变量哦
[root@linux-node1 ~]# yum install java-1.8.-openjdk -y
[root@linux-node3 ~]# java -version
openjdk version "1.8.0_161"
OpenJDK Runtime Environment (build 1.8.0_161-b14)
OpenJDK -Bit Server VM (build 25.161-b14, mixed mode)
选择一台主机作为server端并安装，这里我萌用192.168.56.11，上吧！皮卡丘！
[root@linux-node1 yum.repos.d]# cd /etc/yum.repos.d/
[root@linux-node1 yum.repos.d]# vim ambari.repo
[root@linux-node1 yum.repos.d]# cat ambari.repo
[Updates-ambari-2.2.0.0]
name=ambari-2.2.0.0 - Updates
baseurl=http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.2.0.0
gpgcheck=
enabled=
[root@linux-node1 yum.repos.d]# yum install -y ambari-server # 安装时间稍长请耐心等待，这个包有400M，姆Q
[root@linux-node1 ~]# ambari-server setup # 开始安装
Using python /usr/bin/python2
Setup ambari-server
Checking SELinux... # 检测SELinux状态
SELinux status is 'disabled'
Customize user account for ambari-server daemon [y/n] (n)? # 是否自定义用户，不需要
Adjusting ambari-server permissions and ownership...
Checking firewall status...
Redirecting to /bin/systemctl status iptables.service Checking JDK...
[] Oracle JDK 1.8 + Java Cryptography Extension (JCE) Policy Files
[] Oracle JDK 1.7 + Java Cryptography Extension (JCE) Policy Files
[] Custom JDK
==============================================================================
Enter choice (): # 选择jdk版本，这里我们选3使用自己的jdk，不然他回去下载jdk很慢
WARNING: JDK must be installed on all hosts and JAVA_HOME must be valid on all hosts.
WARNING: JCE Policy files are required for configuring Kerberos security. If you plan to use Kerberos,please make sure JCE Unlimited Strength Jurisdiction Policy Files are valid on all hosts.
Path to JAVA_HOME: /usr/lib/jvm/java-1.8.-openjdk-1.8.0.161-.b14.el7_4.x86_64/jre/ # 我们选择的jdk位置，openjdk在/usr/lib/jvm/下，你要找你的版本然后这么填写就可以了
Validating JDK on Ambari Server...done.
Completing setup...
Configuring database...
Enter advanced database configuration [y/n] (n)? # 是否打开高级的数据库配置
Configuring database...
Default properties detected. Using built-in database.
Configuring ambari database...
Checking PostgreSQL...
Running initdb: This may take upto a minute.
Initializing database ... OK About to start PostgreSQL
Configuring local database...
Connecting to local database...done.
Configuring PostgreSQL...
Restarting PostgreSQL
Extracting system views...
ambari-admin-2.2.0.0..jar
......
Adjusting ambari-server permissions and ownership...
Ambari Server 'setup' completed successfully.
所以其实我们有在jdk的选择那里需要配置下，剩下的都使用默认就可以了，现在我们可以启动他了
所以其实我们有在jdk的选择那里需要配置下，剩下的都使用默认就可以了，现在我们可以启动他了
[root@linux-node1 ~]# ambari-server start
Using python /usr/bin/python2
Starting ambari-server
Ambari Server running with administrator privileges.
Organizing resource files at /var/lib/ambari-server/resources...
WARNING: setpgid(, ) failed - [Errno ] Permission denied
Server PID at: /var/run/ambari-server/ambari-server.pid
Server out at: /var/log/ambari-server/ambari-server.out
Server log at: /var/log/ambari-server/ambari-server.log
Waiting for server start....................
Ambari Server 'start' completed successfully.
[root@linux-node1 ~]# ss -tln
State Recv-Q Send-Q Local Address:Port Peer Address:Port
LISTEN *: *:*
LISTEN *: *:*
LISTEN *: *:*
LISTEN *: *:*
LISTEN *: *:*
LISTEN *: *:*
LISTEN ::: :::*
LISTEN ::: :::* # 这里，如果没有请等待一会
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::: :::*
看到了8080端口，有经验的小伙伴已经感觉到了，又到了我们去页面上装X的时刻了！默认账号密码都是admin
给新集群起一个名字
默认使用最新版本的Stack
集群内受操作的主机列表，需要主机名并可以解析，还有你server端私钥，如果不是root用户也需要更改
它会在受控机器上安装agent包，之后我们也可以在这两个页面来增加删除集群机器
这时候已经没有问题了，但是可以看看他的警告信息，他说我得ntp没开，因为7的系统使用chronyd，还有他说我的服务器上有一些不应该安装的包是因为我的机器还测试了很多其他东西，如果是一个很干净的机器就不会有这个警告，但是不重要都可以忽略，因为我们只是测试
选择你要安装的组件，有很多，我选几个基本的
选择各个组件安装的所处机器，这个就是分的比较精细了，生产环境要好好规划哦
一个总结表
一些设置，这里要注意，有一些组件是需要你设置帐号密码的，这个你得给人家都填写了才能继续，当然，填写的帐号密码你得记下，别闹
再次验证下
开始安装，你可以看到安装进度
经过一个相当长的时间与无数次的失败后重试，因为要连国外的源，我萌终于成功了
任务结果汇总，有一个警告，没关系
然后就出现了总控制台，逼格满满
从这里可以回退到总页面上
然后可以对平台进行总设置，新加一些用户设定一些权限
三台机器出现对应服务的端口号
[root@linux-node1 ~]# ss -tln
State Recv-Q Send-Q Local Address:Port Peer Address:Port
LISTEN *: *:*
LISTEN 192.168.56.11: *:*
LISTEN 192.168.56.11: *:*
LISTEN *: *:*
LISTEN *: *:*
LISTEN *: *:*
LISTEN *: *:*
LISTEN *: *:*
LISTEN *: *:*
LISTEN *: *:*
LISTEN *: *:*
LISTEN 127.0.0.1: *:*
LISTEN *: *:*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::ffff:192.168.56.11: :::*
LISTEN ::: :::*
LISTEN ::ffff:192.168.56.11: :::*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::ffff:192.168.56.11: :::*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::: :::*
[root@linux-node2 ~]# ss -tln
State Recv-Q Send-Q Local Address:Port Peer Address:Port
LISTEN *: *:*
LISTEN *: *:*
LISTEN *: *:*
LISTEN *: *:*
LISTEN 127.0.0.1: *:*
LISTEN *: *:*
LISTEN *: *:*
LISTEN *: *:*
LISTEN *: *:*
LISTEN 192.168.56.12: *:*
LISTEN *: *:*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::ffff:192.168.56.12: :::*
LISTEN ::: :::*
LISTEN ::ffff:192.168.56.12: :::*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::: :::*
[root@linux-node3 rpm]# ss -tln
State Recv-Q Send-Q Local Address:Port Peer Address:Port
LISTEN *: *:*
LISTEN *: *:*
LISTEN *: *:*
LISTEN *: *:*
LISTEN *: *:*
LISTEN 127.0.0.1: *:*
LISTEN *: *:*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::ffff:192.168.56.13: :::*
LISTEN ::: :::*
LISTEN ::ffff:192.168.56.13: :::*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::ffff:192.168.56.13: :::*
LISTEN ::: :::*
最后还有一个小Bug，那就是如果你是直接yum没有ambari.repo文件在ssh的时候是验证通不过的哦，所以你需要在server端的/etc/yum.repos.d/下有一个ambari.repo
ambari快速安装hadoop的更多相关文章
- 使用Ambari快速部署Hadoop大数据环境
使用Ambari快速部署Hadoop大数据环境 发布于2013-5-24 前言 做大数据相关的后端开发工作一年多来,随着Hadoop社区的不断发展,也在不断尝试新的东西,本文着重来讲解下Amb ...
- ambari 快速安装部署
OS:Linux CPU消耗大,要准备5G以上,不然集群启动不了(我自己给它配了8G,启动整个集群是没问题,要用的话估计不够) 一.准备工作: 1.关闭防火墙:sudo ufw disable/ 2. ...
- 通过ambari安装hadoop集群,ZT
通过ambari安装hadoop集群,ZT http://www.cnblogs.com/cenyuhai/p/3295635.html http://www.cnblogs.com/cenyuhai ...
- 利用Ambari平台安装与部署Hadoop
* 本篇是利用Ambari平台安装与部署Hadoop,如果需要原生部署Hadoop,请点击以下地址: https://www.cnblogs.com/live41/p/15467263.html 一. ...
- ambari安装hadoop
前言 hadoop除了社区版之外,还有两个主流的分支,一个是cdh版本,一个是hdp版本,其中ambari是hdp版本的部署工具 1.ambari安装准备 https://docs.hortonwor ...
- 快速搭建Hadoop及HBase分布式环境
本文旨在快速搭建一套Hadoop及HBase的分布式环境,自己测试玩玩的话ok,如果真的要搭一套集群建议还是参考下ambari吧,目前正在摸索该项目中.下面先来看看怎么快速搭建一套分布式环境. 准备 ...
- Hortonworks，快速上手 Hadoop 的套件
最近我在思考的一件事情:如何帮助团队 SQL 开发快速掌握大数据相关技术呢?面对疯狂暴涨的数据,SQL Server 存储成本越来越高了,日志的增长量也极大超过预期,隔三差五总有空间不足导致的应用异常 ...
- 从零开始安装Hadoop视频教程
从零开始安装Hadoop视频教程 Hadoop 是一个能够对大量数据进行分布式处理的软件框架,用这种技术使得普通的PC服务器甚至一些近过时的服务器也能够发挥余热,组成大型集群系统,由于它的可伸缩性能够 ...
- 安装Hadoop集群的最快的软件
Quick Hadoop是一款安装Hadoop集群的桌面软件,只需要点两下鼠标,一分钟之内安装Hadoop到集群上,超快! 还在每台主机的Shell里一行一行地敲安装Hadoop的命令?别苦逼了! 用 ...
随机推荐
- Volley框架载入网络图片
Android开发中,载入网络server的图片是非经常常使用的.当然我们能够自己写server接口去实现,只是要做到server性能 优越的话,开发起来比較麻烦点.所以本博客要介绍Volley框架进 ...
- string去空格
众所周知,string字符串去除空格的方法有trim()和replace(),区别在于trim()去首尾的空格,但是不能去中间的,而replace可以去除所有的空格. string data1=&qu ...
- Thymeleaf框架
简单说, Thymeleaf 是一个跟 Velocity.FreeMarker 类似的模板引擎,它可以完全替代 JSP .相较与其他的模板引擎,它有如下三个极吸引人的特点: 1.Thymeleaf 在 ...
- 【caffe】Caffe的Python接口-官方教程-00-classification-详细说明（含代码）
00-classification 主要讲的是如何利用caffenet(与Alex-net稍稍不同的模型)对一张图片进行分类(基于imagenet的1000个类别) 先说说教程到底在哪(反正我是找了半 ...
- ios 添加全屏返回手势
1 建立导航控制器 2.导航控制器添加如下代码 - (void)viewDidLoad { [super viewDidLoad]; id target = self.interactivePopGe ...
- 【BZOJ4435】[Cerc2015]Juice Junctions Tarjan+hash
[BZOJ4435][Cerc2015]Juice Junctions Description 你被雇佣升级一个旧果汁加工厂的橙汁运输系统.系统有管道和节点构成.每条管道都是双向的,且每条管道的流量都 ...
- EasyNVR无插件直播服务器如何使用ffmpeg实现摄像机快照功能的
EasyNVR提供快照预览功能,并且提供向EasyDSS云平台上传快照的功能 EasyNVR会定时向配置的摄像机抓取快照数据,保存图片用于预览,并且用于快照上传 原理 将从摄像机取出来的I帧数据编码成 ...
- 记录日志(Log4Net)
一:Log4net的简单示例 1.新建控制台应用程序,右键属性,把其框架.NET Framework4 Client Profile 修改为.NET Framework4,此时项目中将会自动添加一个A ...
- c++ get the pointer from the reference
int x = 5; int& y = x; int* xp = &x; int* yp = &y; xp is equal to yp. 也就是说,直接对reference取 ...
- SP1437 Longest path in a tree（树的直径）
应该是模板题了吧 定义: 树的直径是指一棵树上相距最远的两个点之间的距离. 方法:我使用的是比较常见的方法:两边dfs,第一遍从任意一个节点开始找出最远的节点x,第二遍从x开始做dfs找到最远节点的距 ...