Hadoop原生态版安装
1 安装环境和必要软件
3 台 ubuntu 16.04
vim
2 创建hadoop用户
sudo useradd -m hadoop -s /bin/bash
sudo passwd hadoop
sudo adduser hadoop sudo
3 更新软件源
公司环境限制系统的的源无法下载java sdk所以这里更新到阿里源,3台服务器都需要
cd /etc/apt
cp sources.list sources.list.bak
vim sources.list
#al Xerus_ - Release amd64 (20160420.1)]/ xenial main restricted deb-src http://archive.ubuntu.com/ubuntu xenial main restricted #Added by software-properties deb http://mirrors.aliyun.com/ubuntu/ xenial main restricted deb-src http://mirrors.aliyun.com/ubuntu/ xenial main restricted multiverse universe #Added by software-properties deb http://mirrors.aliyun.com/ubuntu/ xenial-updates main restricted deb-src http://mirrors.aliyun.com/ubuntu/ xenial-updates main restricted multiverse universe #Added by software-properties deb http://mirrors.aliyun.com/ubuntu/ xenial universe deb http://mirrors.aliyun.com/ubuntu/ xenial-updates universe deb http://mirrors.aliyun.com/ubuntu/ xenial multiverse deb http://mirrors.aliyun.com/ubuntu/ xenial-updates multiverse deb http://mirrors.aliyun.com/ubuntu/ xenial-backports main restricted universe multiverse deb-src http://mirrors.aliyun.com/ubuntu/ xenial-backports main restricted universe multiverse #Added by software-properties deb http://archive.canonical.com/ubuntu xenial partner deb-src http://archive.canonical.com/ubuntu xenial partner deb http://mirrors.aliyun.com/ubuntu/ xenial-security main restricted deb-src http://mirrors.aliyun.com/ubuntu/ xenial-security main restricted multiverse universe #Added by software-properties deb http://mirrors.aliyun.com/ubuntu/ xenial-security universe deb http://mirrors.aliyun.com/ubuntu/ xenial-security multiverse
sudo apt-get update
4 更改计算机名称和IP映射
sudo vim /etc/hostname
sudo vim /etc/hosts
三台服务器都要改成只保留一个内部地址映射,以及对另外两条服务器的ip映射,完成后重启生效

5 安装ssh
sudo apt-get install openssh-server
这里直接配置对三台服务器的公用key,如果没有如果没有 ~/.ssh 目录,先执行一次ssh localhost
cd ~/.ssh #
rm ./id_rsa*
ssh-keygen -t rsa
Master服务器上
cat ./id_rsa.pub >> ./authorized_keys
其他两台Slave服务器,后续还要用scp复制文件到Slave
scp ~/.ssh/id_rsa.pub hadoop@Slave1:/home/hadoop/
在设置为公用key
cd ~/.ssh #
cat ./id_rsa.pub >> ./authorized_keys
安装和配置JAVA JDK
直接用如下命令安装,如安装提示无法下载,要更新源,安装的版本都是1.8
sudo apt-get install default-jre default-jdk
配置java 到环境变量中
vim ~/.bashrc
export JAVA_HOME=/usr/lib/jvm/default-java #在打开的bashrc开头添加
source ~/.bashrc
6 安装 Hadoop
因为java-sdk是1.8 目前用2.9到3.0版本没发现问题,现在Master服务器上安装
下载网址:http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.9.0
如果不行请使用如下地址
https://mirrors.cnnic.cn/apache/hadoop/common/
http://mirror.bit.edu.cn/apache/hadoop/common/
下载hadoop
sudo wget http://mirrors.shu.edu.cn/apache/hadoop/common/hadoop-2.9.0/hadoop-2.9.0.tar.gz
我的是下载在HOME下,复制到/usr/local/中
cp hadoop-2.9.0.tar.gz /usr/local
在/usr/local/ 解压
sudo tar -zxf hadoop-2.9.0.tar.gz
重命名文件夹并更改权限
sudo mv ./hadoop-2.9.0/ ./hadoop
sudo chown -R hadoop ./hadoop
在解压的hadoop文件中切换到配置文件目录,配置code-site.xml /hdfs-site.xml/ mapred-site.xml /yarn-site.xml
后面有时间深入研究一下配置文档节点的含义。
但是注意的是3.0版本以上的对应配置的web 端口有变化,后续补充一下。
cd ./etc/hadoop/
code-site.xml

hdfs-site.xml

mapred-site.xml 默认文件名为 mapred-site.xml.template 需修改名称

yarn-site.xml

复制到两个Slave服务器上:
scp -r ./hadoop Slave2:/home/
正常配置了ssh公钥登录是不需要输入账号的,如提示没权限用如下复制,添加账号进行,提示yes/no 一定要完整的输入
scp -r ./hadoop hadoop@Slave1:/home/
登录到Slave上,将/home中的hadoop复制到/usr/local中,并添加权限
sudo cp hadoop/ /usr/local
sudo chown -R hadoop /usr/local/hadoop
7 添加Hadoop到path变量中

8 启动服务
Master服务器上格式化NameNode和启动hadoop
hdfs namenode -format #如果配置好执行一次就好,多次自行会导致后续在启动时Slave datanode无法启动
start-dfs.sh
start-yarn.sh
mr-jobhistory-daemon.sh start historyserver
执行jps查看运行的进程:

在Master服务器上执行 hdfs dfsadmin -report,查看data节点的信息

打开网页端 http://10.19.52.80:50070 的结果:

后面再记录一下 用Python开发 HDFS 的上传下载
作者:SMILE_NO_09
链接:https://www.jianshu.com/p/11ad16ea03c2
來源:简书
简书著作权归作者所有,任何形式的转载都请联系作者获得授权并注明出处。
Hadoop原生态版安装的更多相关文章
- Hadoop集群安装配置教程_Hadoop2.6.0_Ubuntu/CentOS
摘自:http://www.powerxing.com/install-hadoop-cluster/ 本教程讲述如何配置 Hadoop 集群,默认读者已经掌握了 Hadoop 的单机伪分布式配置,否 ...
- Hadoop完全分布式安装教程
一.软件版本 Hadoop版本号:hadoop-2.6.0.tar: VMWare版本号:VMware-workstation-full-11.0.0-2305329 Ubuntu版本号:ubuntu ...
- Hadoop完全分布式安装
一.软件版本 Hadoop版本号:hadoop-2.6.0.tar: VMWare版本号:VMware-workstation-full-11.0.0-2305329 Ubuntu版本号:ubuntu ...
- Hadoop社区版搭建
1.环境准备 1.1 硬件配置 设备名 参数 数量 6台 系统 centos6.5 内存 64G 硬盘 32T/台 CPU 16核/台 1.2 软件版本 Hadoop-2.x 下载地址 JDK1.7 ...
- 【大数据系列】hadoop单节点安装官方文档翻译
Hadoop: Setting up a Single Node Cluster. HADOOP:建立单节点集群 Purpose Prerequisites Supported Platforms R ...
- hadoop集群安装配置详细教程
在上一篇的分享文章中我是给大家分享了运行部署hadoop的一些安装准备工作,这篇接上一篇继续为大家分享一些个人的学习经验总结.我学习用的是大快发行版DKHadoop,所以所有的经验分享都是以DKHad ...
- spark,hadoop集群安装注意
安装步骤严格参看厦门大学数据实验室教程 Spark 2.0分布式集群环境搭建(Python版) 安装Hadoop并搭建好Hadoop集群环境 遇到的问题 1.ubuntu 安装后升级.python是3 ...
- 2 Hadoop集群安装部署准备
2 Hadoop集群安装部署准备 集群安装前需要考虑的几点硬件选型--CPU.内存.磁盘.网卡等--什么配置?需要多少? 网络规划--1 GB? 10 GB?--网络拓扑? 操作系统选型及基础环境-- ...
- phpstorm10.0.3破解版安装教程及汉化方法
phpstorm是一个轻量级且便捷的PHP IDE,其旨在提供用户效率,可深刻理解用户的编码,提供智能代码补全,快速导航以及即时错误检查.不但是php开发的利器,前端开发也是毫不逊色的.下面记录php ...
随机推荐
- .apply()用法和call()的区别
Js apply方法详解我在一开始看到javascript的函数apply和call时,非常的模糊,看也看不懂,最近在网上看到一些文章对apply方法和call的一些示例,总算是看的有点眉目了,在这里 ...
- ACM注意事项
acm竞赛中不能使用一些屏幕控制和键盘读取的函数,如:getch(),geche(),gotoxy(),clrscr(),另外fflush(stdio)这个函数也不能使用,因为在有的编译 ...
- Linux内核分析— —进程的切换和系统的一般执行过程
进程调度的时机 linux进程调度是基于分时和优先级的 中断处理过程(包括时钟中断.I/O中断.系统调用和异常)中,直接调用schedule(),或者返回用户态时根据need_resched标记调用s ...
- DWR实现服务器向客户端推送消息
原文链接 http://www.blogjava.net/stevenjohn/archive/2012/07/07/382447.html这片文章还是给了我很大帮助,再次表示感谢,下面我将这两天的研 ...
- git体会
刘仙臣个人github链接:http://www.github.com/liuxianchen 这次作业学会了关于git的一些基本操作,学习了到了许多东西,为以后的学习奠定了基础,激发了学习的兴趣.具 ...
- 结对项目junit测试用例
题目:我们假设我们要写一个整数除法的类,并且给他写测试用例. 结对分工:滕娟负责写代码,搜集资料,整理,潘广玫负责进行测试,处理测试结果 github地址链接: https://github.com/ ...
- a simple example for spring AOP
/** * Created by Administrator on 2015/11/25. * a interface */public interface ArithmeticCalculator{ ...
- PHP文件系统操作常用函数
虽然PHP提供很多内置的文件处理函数,但是分得特别细,有一些操作需要多个函数一起使用才能达到目标,比如删除非空文件夹的所有内容,遍历文件夹等功能,下面各个函数是学习的时候整理的,有的是教程里的,有的是 ...
- Java-System.getProperty()
Java平台使用了一个Poperties对象来维护其自己的配置信息.System泪中包含有一个Properties对象用于描述当前工作环境的配置.系统properties包含了关于当前用户.当前Jav ...
- Jquery 组 tbale表格滚动条
<!DOCTYPE html><html lang="zh-cn"><head> <meta charset="utf-8&qu ...