ambari快速安装hadoop
资源下载http://www.cnblogs.com/bfmq/p/6027202.html
大家都知道hadoop包含很多的组件，虽然很多都是下载后解压简单配置下就可以用的，但是还是耐不住我是一个懒癌晚期患者，最重要的是，没有页面，不够酷炫啊，不酷炫怎么装X？so，apache官方也是很体谅我们这些装X达人，并且提供了一个十分简单的安装hadoop的工具，叫做ambari，官方出品必属精品，那么我们就拿来用吧。
ambari可以让你快速部署一套hadoop环境，不论你是要测试练习还是生产使用都ok，官网http://ambari.apache.org/。
ambari自身是一个分布式架构，主要由两部分组成：Ambari Server 和 Ambari Agent；显而易见由server控制agent来安装对应软件就好了，不过有一个更好的好处就是连安装agent都可以由server来指定自动安装，实在是杀人越货必备良药啊。
所有机器之间的ssh免密认证，这个大家自己做下
[root@linux-node1 ~]# cat /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
:: localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.56.11 linux-node1.example.com www.a.com linux-node1
192.168.56.12 linux-node2.example.com linux-node2
192.168.56.13 linux-node3.example.com linux-node3
[root@linux-node1 ~]# ssh 192.168.56.11
Last login: Wed Jan :: from 192.168.56.1
[root@linux-node1 ~]# logout
Connection to 192.168.56.11 closed.
[root@linux-node1 ~]# ssh 192.168.56.12
Last login: Wed Jan :: from 192.168.56.13
[root@linux-node2 ~]# logout
Connection to 192.168.56.12 closed.
[root@linux-node1 ~]# ssh 192.168.56.13
Last login: Wed Jan :: from 192.168.56.13
[root@linux-node3 ~]# logout
Connection to 192.168.56.13 closed.
所有机器安装jdk，为了方便就安装自带的openjdk，生产环境要换成自己的jdk并设置环境变量哦
[root@linux-node1 ~]# yum install java-1.8.-openjdk -y
[root@linux-node3 ~]# java -version
openjdk version "1.8.0_161"
OpenJDK Runtime Environment (build 1.8.0_161-b14)
OpenJDK -Bit Server VM (build 25.161-b14, mixed mode)
选择一台主机作为server端并安装，这里我萌用192.168.56.11，上吧！皮卡丘！
[root@linux-node1 yum.repos.d]# cd /etc/yum.repos.d/
[root@linux-node1 yum.repos.d]# vim ambari.repo
[root@linux-node1 yum.repos.d]# cat ambari.repo
[Updates-ambari-2.2.0.0]
name=ambari-2.2.0.0 - Updates
baseurl=http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.2.0.0
gpgcheck=
enabled=
[root@linux-node1 yum.repos.d]# yum install -y ambari-server # 安装时间稍长请耐心等待，这个包有400M，姆Q
[root@linux-node1 ~]# ambari-server setup # 开始安装
Using python /usr/bin/python2
Setup ambari-server
Checking SELinux... # 检测SELinux状态
SELinux status is 'disabled'
Customize user account for ambari-server daemon [y/n] (n)? # 是否自定义用户，不需要
Adjusting ambari-server permissions and ownership...
Checking firewall status...
Redirecting to /bin/systemctl status iptables.service Checking JDK...
[] Oracle JDK 1.8 + Java Cryptography Extension (JCE) Policy Files
[] Oracle JDK 1.7 + Java Cryptography Extension (JCE) Policy Files
[] Custom JDK
==============================================================================
Enter choice (): # 选择jdk版本，这里我们选3使用自己的jdk，不然他回去下载jdk很慢
WARNING: JDK must be installed on all hosts and JAVA_HOME must be valid on all hosts.
WARNING: JCE Policy files are required for configuring Kerberos security. If you plan to use Kerberos,please make sure JCE Unlimited Strength Jurisdiction Policy Files are valid on all hosts.
Path to JAVA_HOME: /usr/lib/jvm/java-1.8.-openjdk-1.8.0.161-.b14.el7_4.x86_64/jre/ # 我们选择的jdk位置，openjdk在/usr/lib/jvm/下，你要找你的版本然后这么填写就可以了
Validating JDK on Ambari Server...done.
Completing setup...
Configuring database...
Enter advanced database configuration [y/n] (n)? # 是否打开高级的数据库配置
Configuring database...
Default properties detected. Using built-in database.
Configuring ambari database...
Checking PostgreSQL...
Running initdb: This may take upto a minute.
Initializing database ... OK About to start PostgreSQL
Configuring local database...
Connecting to local database...done.
Configuring PostgreSQL...
Restarting PostgreSQL
Extracting system views...
ambari-admin-2.2.0.0..jar
......
Adjusting ambari-server permissions and ownership...
Ambari Server 'setup' completed successfully.
所以其实我们有在jdk的选择那里需要配置下，剩下的都使用默认就可以了，现在我们可以启动他了
所以其实我们有在jdk的选择那里需要配置下，剩下的都使用默认就可以了，现在我们可以启动他了
[root@linux-node1 ~]# ambari-server start
Using python /usr/bin/python2
Starting ambari-server
Ambari Server running with administrator privileges.
Organizing resource files at /var/lib/ambari-server/resources...
WARNING: setpgid(, ) failed - [Errno ] Permission denied
Server PID at: /var/run/ambari-server/ambari-server.pid
Server out at: /var/log/ambari-server/ambari-server.out
Server log at: /var/log/ambari-server/ambari-server.log
Waiting for server start....................
Ambari Server 'start' completed successfully.
[root@linux-node1 ~]# ss -tln
State Recv-Q Send-Q Local Address:Port Peer Address:Port
LISTEN *: *:*
LISTEN *: *:*
LISTEN *: *:*
LISTEN *: *:*
LISTEN *: *:*
LISTEN *: *:*
LISTEN ::: :::*
LISTEN ::: :::* # 这里，如果没有请等待一会
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::: :::*
看到了8080端口，有经验的小伙伴已经感觉到了，又到了我们去页面上装X的时刻了！默认账号密码都是admin
给新集群起一个名字
默认使用最新版本的Stack
集群内受操作的主机列表，需要主机名并可以解析，还有你server端私钥，如果不是root用户也需要更改
它会在受控机器上安装agent包，之后我们也可以在这两个页面来增加删除集群机器
这时候已经没有问题了，但是可以看看他的警告信息，他说我得ntp没开，因为7的系统使用chronyd，还有他说我的服务器上有一些不应该安装的包是因为我的机器还测试了很多其他东西，如果是一个很干净的机器就不会有这个警告，但是不重要都可以忽略，因为我们只是测试
选择你要安装的组件，有很多，我选几个基本的
选择各个组件安装的所处机器，这个就是分的比较精细了，生产环境要好好规划哦
一个总结表
一些设置，这里要注意，有一些组件是需要你设置帐号密码的，这个你得给人家都填写了才能继续，当然，填写的帐号密码你得记下，别闹
再次验证下
开始安装，你可以看到安装进度
经过一个相当长的时间与无数次的失败后重试，因为要连国外的源，我萌终于成功了
任务结果汇总，有一个警告，没关系
然后就出现了总控制台，逼格满满
从这里可以回退到总页面上
然后可以对平台进行总设置，新加一些用户设定一些权限
三台机器出现对应服务的端口号
[root@linux-node1 ~]# ss -tln
State Recv-Q Send-Q Local Address:Port Peer Address:Port
LISTEN *: *:*
LISTEN 192.168.56.11: *:*
LISTEN 192.168.56.11: *:*
LISTEN *: *:*
LISTEN *: *:*
LISTEN *: *:*
LISTEN *: *:*
LISTEN *: *:*
LISTEN *: *:*
LISTEN *: *:*
LISTEN *: *:*
LISTEN 127.0.0.1: *:*
LISTEN *: *:*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::ffff:192.168.56.11: :::*
LISTEN ::: :::*
LISTEN ::ffff:192.168.56.11: :::*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::ffff:192.168.56.11: :::*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::: :::*
[root@linux-node2 ~]# ss -tln
State Recv-Q Send-Q Local Address:Port Peer Address:Port
LISTEN *: *:*
LISTEN *: *:*
LISTEN *: *:*
LISTEN *: *:*
LISTEN 127.0.0.1: *:*
LISTEN *: *:*
LISTEN *: *:*
LISTEN *: *:*
LISTEN *: *:*
LISTEN 192.168.56.12: *:*
LISTEN *: *:*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::ffff:192.168.56.12: :::*
LISTEN ::: :::*
LISTEN ::ffff:192.168.56.12: :::*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::: :::*
[root@linux-node3 rpm]# ss -tln
State Recv-Q Send-Q Local Address:Port Peer Address:Port
LISTEN *: *:*
LISTEN *: *:*
LISTEN *: *:*
LISTEN *: *:*
LISTEN *: *:*
LISTEN 127.0.0.1: *:*
LISTEN *: *:*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::ffff:192.168.56.13: :::*
LISTEN ::: :::*
LISTEN ::ffff:192.168.56.13: :::*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::ffff:192.168.56.13: :::*
LISTEN ::: :::*
最后还有一个小Bug，那就是如果你是直接yum没有ambari.repo文件在ssh的时候是验证通不过的哦，所以你需要在server端的/etc/yum.repos.d/下有一个ambari.repo
ambari快速安装hadoop的更多相关文章
- 使用Ambari快速部署Hadoop大数据环境
使用Ambari快速部署Hadoop大数据环境 发布于2013-5-24 前言 做大数据相关的后端开发工作一年多来,随着Hadoop社区的不断发展,也在不断尝试新的东西,本文着重来讲解下Amb ...
- ambari 快速安装部署
OS:Linux CPU消耗大,要准备5G以上,不然集群启动不了(我自己给它配了8G,启动整个集群是没问题,要用的话估计不够) 一.准备工作: 1.关闭防火墙:sudo ufw disable/ 2. ...
- 通过ambari安装hadoop集群,ZT
通过ambari安装hadoop集群,ZT http://www.cnblogs.com/cenyuhai/p/3295635.html http://www.cnblogs.com/cenyuhai ...
- 利用Ambari平台安装与部署Hadoop
* 本篇是利用Ambari平台安装与部署Hadoop,如果需要原生部署Hadoop,请点击以下地址: https://www.cnblogs.com/live41/p/15467263.html 一. ...
- ambari安装hadoop
前言 hadoop除了社区版之外,还有两个主流的分支,一个是cdh版本,一个是hdp版本,其中ambari是hdp版本的部署工具 1.ambari安装准备 https://docs.hortonwor ...
- 快速搭建Hadoop及HBase分布式环境
本文旨在快速搭建一套Hadoop及HBase的分布式环境,自己测试玩玩的话ok,如果真的要搭一套集群建议还是参考下ambari吧,目前正在摸索该项目中.下面先来看看怎么快速搭建一套分布式环境. 准备 ...
- Hortonworks，快速上手 Hadoop 的套件
最近我在思考的一件事情:如何帮助团队 SQL 开发快速掌握大数据相关技术呢?面对疯狂暴涨的数据,SQL Server 存储成本越来越高了,日志的增长量也极大超过预期,隔三差五总有空间不足导致的应用异常 ...
- 从零开始安装Hadoop视频教程
从零开始安装Hadoop视频教程 Hadoop 是一个能够对大量数据进行分布式处理的软件框架,用这种技术使得普通的PC服务器甚至一些近过时的服务器也能够发挥余热,组成大型集群系统,由于它的可伸缩性能够 ...
- 安装Hadoop集群的最快的软件
Quick Hadoop是一款安装Hadoop集群的桌面软件,只需要点两下鼠标,一分钟之内安装Hadoop到集群上,超快! 还在每台主机的Shell里一行一行地敲安装Hadoop的命令?别苦逼了! 用 ...
随机推荐
- poj1206（dp）
题目链接:http://poj.org/problem?id=1260 Pearls Time Limit: 1000MS Memory Limit: 10000K Total Submissio ...
- mongo的碎片整理
由于业务原因,需要将过期数据删除,但有一个问题出现了,频繁删除数据之后,会产生很多磁盘碎片,这些碎片如果没有被重复利用, 进而会影响查询性能(表查询时仍然会扫描这部分删除数据的磁盘空间块),随需要处理 ...
- XMPP协议概述
XMPP(Extensible Messaging and Presence Protocol,前称Jabber)是一种以 XML 为基础的开放式实时通信协议,关于它的协议细节,网上已经有太多分析文章 ...
- oracle索引INdex
索引是与表相关的一种可选择数据库对象.索引是为提高数据检索的性能而建立,利用它可快速地确定指定的信息. 索引可建立在一表的一列或多列上,一旦建立,由ORACLE自动维护和使用,对用户是完全透明的.然而 ...
- Xcode6中如何对scrollview进行自动布局（autolayout）
本文转载至 http://www.cocoachina.com/ios/20141011/9871.html XCodeAutolayoutscrollView Xcode6中极大的增强了IB ...
- 自己珍藏的数据库SQL基础练习题答案
一,基本表的定义与删除. 题1: 用SQL语句创建如下三张表:学生(Student),课程表(Course),和学生选课表(SC),这三张表的结构如表1-1到表1-3所示. 表1-1 Student表 ...
- android菜鸟学习笔记1----环境搭建
Step1 JDK安装及配置: 1.下载并安装JDK: 根据自己系统情况,选择安装相应的JDK版本 当前系统:64位WIN8,内存8G 选择了Java SE 8u45 即JDK 1.8.0_45,可以 ...
- 无法远程访问 MySql Server
改表法.可能是你的帐号不允许从远程登陆,只能在localhost.这个时候只要在localhost的那台电脑,登入mysql后,更改 "mysql" 数据库里的 "use ...
- 九度OJ 1007：奥运排序问题 （排序）
时间限制:1 秒 内存限制:32 兆 特殊判题:否 提交:7344 解决:1568 题目描述: 按要求,给国家进行排名. 输入: 有多组数据. 第一行给出国家数N,要求排名的国家数M,国家号从0到N- ...
- /etc/init.d/iptables stop
/etc/init.d/iptables stop systemctl stop firewalld.service [root@bigdata-server-01 myrestserve ...