ambari快速安装hadoop
资源下载http://www.cnblogs.com/bfmq/p/6027202.html
大家都知道hadoop包含很多的组件，虽然很多都是下载后解压简单配置下就可以用的，但是还是耐不住我是一个懒癌晚期患者，最重要的是，没有页面，不够酷炫啊，不酷炫怎么装X？so，apache官方也是很体谅我们这些装X达人，并且提供了一个十分简单的安装hadoop的工具，叫做ambari，官方出品必属精品，那么我们就拿来用吧。
ambari可以让你快速部署一套hadoop环境，不论你是要测试练习还是生产使用都ok，官网http://ambari.apache.org/。
ambari自身是一个分布式架构，主要由两部分组成：Ambari Server 和 Ambari Agent；显而易见由server控制agent来安装对应软件就好了，不过有一个更好的好处就是连安装agent都可以由server来指定自动安装，实在是杀人越货必备良药啊。
所有机器之间的ssh免密认证，这个大家自己做下
[root@linux-node1 ~]# cat /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
:: localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.56.11 linux-node1.example.com www.a.com linux-node1
192.168.56.12 linux-node2.example.com linux-node2
192.168.56.13 linux-node3.example.com linux-node3
[root@linux-node1 ~]# ssh 192.168.56.11
Last login: Wed Jan :: from 192.168.56.1
[root@linux-node1 ~]# logout
Connection to 192.168.56.11 closed.
[root@linux-node1 ~]# ssh 192.168.56.12
Last login: Wed Jan :: from 192.168.56.13
[root@linux-node2 ~]# logout
Connection to 192.168.56.12 closed.
[root@linux-node1 ~]# ssh 192.168.56.13
Last login: Wed Jan :: from 192.168.56.13
[root@linux-node3 ~]# logout
Connection to 192.168.56.13 closed.
所有机器安装jdk，为了方便就安装自带的openjdk，生产环境要换成自己的jdk并设置环境变量哦
[root@linux-node1 ~]# yum install java-1.8.-openjdk -y
[root@linux-node3 ~]# java -version
openjdk version "1.8.0_161"
OpenJDK Runtime Environment (build 1.8.0_161-b14)
OpenJDK -Bit Server VM (build 25.161-b14, mixed mode)
选择一台主机作为server端并安装，这里我萌用192.168.56.11，上吧！皮卡丘！
[root@linux-node1 yum.repos.d]# cd /etc/yum.repos.d/
[root@linux-node1 yum.repos.d]# vim ambari.repo
[root@linux-node1 yum.repos.d]# cat ambari.repo
[Updates-ambari-2.2.0.0]
name=ambari-2.2.0.0 - Updates
baseurl=http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.2.0.0
gpgcheck=
enabled=
[root@linux-node1 yum.repos.d]# yum install -y ambari-server # 安装时间稍长请耐心等待，这个包有400M，姆Q
[root@linux-node1 ~]# ambari-server setup # 开始安装
Using python /usr/bin/python2
Setup ambari-server
Checking SELinux... # 检测SELinux状态
SELinux status is 'disabled'
Customize user account for ambari-server daemon [y/n] (n)? # 是否自定义用户，不需要
Adjusting ambari-server permissions and ownership...
Checking firewall status...
Redirecting to /bin/systemctl status iptables.service Checking JDK...
[] Oracle JDK 1.8 + Java Cryptography Extension (JCE) Policy Files
[] Oracle JDK 1.7 + Java Cryptography Extension (JCE) Policy Files
[] Custom JDK
==============================================================================
Enter choice (): # 选择jdk版本，这里我们选3使用自己的jdk，不然他回去下载jdk很慢
WARNING: JDK must be installed on all hosts and JAVA_HOME must be valid on all hosts.
WARNING: JCE Policy files are required for configuring Kerberos security. If you plan to use Kerberos,please make sure JCE Unlimited Strength Jurisdiction Policy Files are valid on all hosts.
Path to JAVA_HOME: /usr/lib/jvm/java-1.8.-openjdk-1.8.0.161-.b14.el7_4.x86_64/jre/ # 我们选择的jdk位置，openjdk在/usr/lib/jvm/下，你要找你的版本然后这么填写就可以了
Validating JDK on Ambari Server...done.
Completing setup...
Configuring database...
Enter advanced database configuration [y/n] (n)? # 是否打开高级的数据库配置
Configuring database...
Default properties detected. Using built-in database.
Configuring ambari database...
Checking PostgreSQL...
Running initdb: This may take upto a minute.
Initializing database ... OK About to start PostgreSQL
Configuring local database...
Connecting to local database...done.
Configuring PostgreSQL...
Restarting PostgreSQL
Extracting system views...
ambari-admin-2.2.0.0..jar
......
Adjusting ambari-server permissions and ownership...
Ambari Server 'setup' completed successfully.
所以其实我们有在jdk的选择那里需要配置下，剩下的都使用默认就可以了，现在我们可以启动他了
所以其实我们有在jdk的选择那里需要配置下，剩下的都使用默认就可以了，现在我们可以启动他了
[root@linux-node1 ~]# ambari-server start
Using python /usr/bin/python2
Starting ambari-server
Ambari Server running with administrator privileges.
Organizing resource files at /var/lib/ambari-server/resources...
WARNING: setpgid(, ) failed - [Errno ] Permission denied
Server PID at: /var/run/ambari-server/ambari-server.pid
Server out at: /var/log/ambari-server/ambari-server.out
Server log at: /var/log/ambari-server/ambari-server.log
Waiting for server start....................
Ambari Server 'start' completed successfully.
[root@linux-node1 ~]# ss -tln
State Recv-Q Send-Q Local Address:Port Peer Address:Port
LISTEN *: *:*
LISTEN *: *:*
LISTEN *: *:*
LISTEN *: *:*
LISTEN *: *:*
LISTEN *: *:*
LISTEN ::: :::*
LISTEN ::: :::* # 这里，如果没有请等待一会
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::: :::*
看到了8080端口，有经验的小伙伴已经感觉到了，又到了我们去页面上装X的时刻了！默认账号密码都是admin
给新集群起一个名字
默认使用最新版本的Stack
集群内受操作的主机列表，需要主机名并可以解析，还有你server端私钥，如果不是root用户也需要更改
它会在受控机器上安装agent包，之后我们也可以在这两个页面来增加删除集群机器
这时候已经没有问题了，但是可以看看他的警告信息，他说我得ntp没开，因为7的系统使用chronyd，还有他说我的服务器上有一些不应该安装的包是因为我的机器还测试了很多其他东西，如果是一个很干净的机器就不会有这个警告，但是不重要都可以忽略，因为我们只是测试
选择你要安装的组件，有很多，我选几个基本的
选择各个组件安装的所处机器，这个就是分的比较精细了，生产环境要好好规划哦
一个总结表
一些设置，这里要注意，有一些组件是需要你设置帐号密码的，这个你得给人家都填写了才能继续，当然，填写的帐号密码你得记下，别闹
再次验证下
开始安装，你可以看到安装进度
经过一个相当长的时间与无数次的失败后重试，因为要连国外的源，我萌终于成功了
任务结果汇总，有一个警告，没关系
然后就出现了总控制台，逼格满满
从这里可以回退到总页面上
然后可以对平台进行总设置，新加一些用户设定一些权限
三台机器出现对应服务的端口号
[root@linux-node1 ~]# ss -tln
State Recv-Q Send-Q Local Address:Port Peer Address:Port
LISTEN *: *:*
LISTEN 192.168.56.11: *:*
LISTEN 192.168.56.11: *:*
LISTEN *: *:*
LISTEN *: *:*
LISTEN *: *:*
LISTEN *: *:*
LISTEN *: *:*
LISTEN *: *:*
LISTEN *: *:*
LISTEN *: *:*
LISTEN 127.0.0.1: *:*
LISTEN *: *:*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::ffff:192.168.56.11: :::*
LISTEN ::: :::*
LISTEN ::ffff:192.168.56.11: :::*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::ffff:192.168.56.11: :::*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::: :::*
[root@linux-node2 ~]# ss -tln
State Recv-Q Send-Q Local Address:Port Peer Address:Port
LISTEN *: *:*
LISTEN *: *:*
LISTEN *: *:*
LISTEN *: *:*
LISTEN 127.0.0.1: *:*
LISTEN *: *:*
LISTEN *: *:*
LISTEN *: *:*
LISTEN *: *:*
LISTEN 192.168.56.12: *:*
LISTEN *: *:*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::ffff:192.168.56.12: :::*
LISTEN ::: :::*
LISTEN ::ffff:192.168.56.12: :::*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::: :::*
[root@linux-node3 rpm]# ss -tln
State Recv-Q Send-Q Local Address:Port Peer Address:Port
LISTEN *: *:*
LISTEN *: *:*
LISTEN *: *:*
LISTEN *: *:*
LISTEN *: *:*
LISTEN 127.0.0.1: *:*
LISTEN *: *:*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::ffff:192.168.56.13: :::*
LISTEN ::: :::*
LISTEN ::ffff:192.168.56.13: :::*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::ffff:192.168.56.13: :::*
LISTEN ::: :::*
最后还有一个小Bug，那就是如果你是直接yum没有ambari.repo文件在ssh的时候是验证通不过的哦，所以你需要在server端的/etc/yum.repos.d/下有一个ambari.repo
ambari快速安装hadoop的更多相关文章
- 使用Ambari快速部署Hadoop大数据环境
使用Ambari快速部署Hadoop大数据环境 发布于2013-5-24 前言 做大数据相关的后端开发工作一年多来,随着Hadoop社区的不断发展,也在不断尝试新的东西,本文着重来讲解下Amb ...
- ambari 快速安装部署
OS:Linux CPU消耗大,要准备5G以上,不然集群启动不了(我自己给它配了8G,启动整个集群是没问题,要用的话估计不够) 一.准备工作: 1.关闭防火墙:sudo ufw disable/ 2. ...
- 通过ambari安装hadoop集群,ZT
通过ambari安装hadoop集群,ZT http://www.cnblogs.com/cenyuhai/p/3295635.html http://www.cnblogs.com/cenyuhai ...
- 利用Ambari平台安装与部署Hadoop
* 本篇是利用Ambari平台安装与部署Hadoop,如果需要原生部署Hadoop,请点击以下地址: https://www.cnblogs.com/live41/p/15467263.html 一. ...
- ambari安装hadoop
前言 hadoop除了社区版之外,还有两个主流的分支,一个是cdh版本,一个是hdp版本,其中ambari是hdp版本的部署工具 1.ambari安装准备 https://docs.hortonwor ...
- 快速搭建Hadoop及HBase分布式环境
本文旨在快速搭建一套Hadoop及HBase的分布式环境,自己测试玩玩的话ok,如果真的要搭一套集群建议还是参考下ambari吧,目前正在摸索该项目中.下面先来看看怎么快速搭建一套分布式环境. 准备 ...
- Hortonworks，快速上手 Hadoop 的套件
最近我在思考的一件事情:如何帮助团队 SQL 开发快速掌握大数据相关技术呢?面对疯狂暴涨的数据,SQL Server 存储成本越来越高了,日志的增长量也极大超过预期,隔三差五总有空间不足导致的应用异常 ...
- 从零开始安装Hadoop视频教程
从零开始安装Hadoop视频教程 Hadoop 是一个能够对大量数据进行分布式处理的软件框架,用这种技术使得普通的PC服务器甚至一些近过时的服务器也能够发挥余热,组成大型集群系统,由于它的可伸缩性能够 ...
- 安装Hadoop集群的最快的软件
Quick Hadoop是一款安装Hadoop集群的桌面软件,只需要点两下鼠标,一分钟之内安装Hadoop到集群上,超快! 还在每台主机的Shell里一行一行地敲安装Hadoop的命令?别苦逼了! 用 ...
随机推荐
- 部署mongodb中需要注意的调参
部署mongodb的生产服务器,给出如下相关建议: 使用虚拟化环境: 系统配置 1)推荐RAID配置 RAID(Redundant Array of Independent Disk,独立磁盘冗余阵列 ...
- java 白皮书的关键术语
[0]README 0.1) 本文转自 core java volume 1,仅供了解,所谓爱屋及乌嘛: 0.2) java的设计者编写了颇有影响力的白皮书,用来解释设计的初衷以及完成的情况,并发布了 ...
- React中key的必要性与使用
React这个框架的核心思想是,将页面分割成一个个组件,一个组件还可能嵌套更小的组件,每个组件有自己的数据(属性/状态);当某个组件的数据发生变化时,更新该组件部分的视图.更新的过程是由数据驱动的,新 ...
- python 基础 1.5 python数据类型（二）--列表常用方法示例
#/usr/bin/python #coding=utf-8 #@Time :2017/10/12 23:30 #@Auther :liuzhenchuan #@File :列表.py lis ...
- css jquery 实现轮播效果
<!doctype html> <html> <head> <meta charset="utf-8"> <title> ...
- 扩容数据盘_Linux
扩容数据盘_Linux_扩容云盘_云盘_用户指南_云服务器 ECS-阿里云 https://help.aliyun.com/document_detail/25452.html 磁盘扩容付费后: 在控 ...
- css多余字符显示省略号
width:300px; white-space:nowrap; overflow:hidden; text-overflow:ellipsis; ;
- shell的面试题
在网上看到一道考shell的题--统计出一个文件夹下大小大于7MB的文件夹 好,我也来装一下深沉,个人觉得,这道题主要考的是对经常使用的linux的熟练程度(我不是很熟,哈哈),题目要统计,主要用到两 ...
- Android WiFi系统【转】
本文转载自:http://blog.csdn.net/gabbzang/article/details/10584587 一.wpa_supplicant是什么? wpa_supplicant本是开源 ...
- Javascript类型转换的规则实例解析
http://www.jb51.net/article/79916.htm 类型转换可以分为隐式转换和显式转换,所谓隐式转换即程序在运行时进行的自动转换,显式转换则是人为的对类型进行强制转换.Java ...