Hadoop环境搭载
官网安装教程:[http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.13.0/hadoop-project-dist/hadoop-common/SingleCluster.html](http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.13.0/hadoop-project-dist/hadoop-common/SingleCluster.html)
## 环境
本教程使用 CentOS 7 64位 作为系统环境,请自行安装系统。
装好了 CentOS 系统之后,在安装 Hadoop 前还需要做一些必备工作。
### 创建hadoop用户
如果你安装 CentOS 的时候不是用的 “hadoop” 用户,那么需要增加一个名为 hadoop 的用户。
```
su # 上述提到的以 root 用户登录
useradd -m hadoop -s /bin/bash # 创建新用户hadoop
passwd hadoop # 修改密码,按提示输入两次密码
visudo
# 找到 root ALL=(ALL) ALL 这行
# 然后在这行下面增加一行内容:hadoop ALL=(ALL) ALL (当中的间隔为tab)
```

## 免密登录设置
```
sudo yum install ssh
sudo yum install openssh-clients
sudo yum install openssh-server
//免密登录
ssh-keygen -t rsa
//回车回车
ll -a //生成了 .ssh文件夹,文件夹内有id_rsa 和 id_rsa.pub 两个文件
cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
//测试是否成功
ssh localhost // 无需密码则表示设置成功
```
## 关闭防火墙
Centos直接
```
sudo systemctl stop firewalld.service #停止firewall
sudo systemctl disable firewalld.service #禁止firewall开机启动
sudo firewall-cmd --state #查看默认防火墙状态(关闭后显示notrunning,开启后显示running)
```
Centos7系统的防火墙放开50070端口
```
步骤:
1.sudo firewall-cmd --zone=public --add-port=50070/tcp --permanent
2.重启防火墙 sudo firewall-cmd --reload
```
## 从本机拷贝文件至远程主机
jdk-9.0.1:
[jdk-9.0.1_linux-x64_bin.tar.gz](http://download.oracle.com/otn-pub/java/jdk/9.0.1+11/jdk-9.0.1_linux-x64_bin.tar.gz)
hadoop-2.6.0-cdh5.7.0.tar.gz
[hadoop-2.6.0-cdh5.7.0.tar.gz](http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz)
远程主机(用户名hadoop):
`[hadoop@localhost ~]$ mkdir -p app/lib`
`[hadoop@localhost ~]$ mkdir package`
本机,将需要的文件远程拷贝到远程主机中
`scp jdk-9.0.1_linux-x64_bin.tar.gz hadoop@hadoop:/home/hadoop/package`
`scp hadoop-2.6.0-cdh5.7.0.tar.gz hadoop@hadoop:/home/hadoop/package`
## 安装Java环境
远程主机 /home/hadoop/package :
`tar -zxvf jdk-9.0.1_linux-x64_bin.tar.gz -C ~/app/lib`
`tar -zxvf hadoop-2.6.0-cdh5.7.0.tar.gz -C ../app/lib/`
sudo vim /etc/profile 或者 vim ~/.bash_profile
尾部添加
```
export JAVA_HOME=/home/hadoop/app/lib/jdk-9.0.1
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=".:$JAVA_HOME/lib:$CLASSPATH"
```
使配置文件生效
`. /etc/profile 或者 source /etc/profile `
`. .~/.bash_profile 或者 source .~/.bash_profile`
验证:
echo $JAVA_HOME
`/home/hadoop/app/lib/jdk-9.0.1`
java -version
```
java version "9.0.1"
Java(TM) SE Runtime Environment (build 9.0.1+11)
Java HotSpot(TM) 64-Bit Server VM (build 9.0.1+11, mixed mode)
```
## Hadoop配置文件的修改
>如果是linux系统下则可以 rm -rf *.cmd,删除cmd文件
> [hadoop@localhost hadoop-2.6.0-cdh5.7.0]$ `find . -name '*.cmd' -type f -print -exec rm -rf {} \;`
在hadoop_home/etc/hadoop路径下
`$ vim hadoop-env.sh`
找到export JAVA_HOME=${JAVA_HOME},并且注释掉这一行,添加下面的一行(jdk的根目录)
`export JAVA_HOME=/home/hadoop/app/lib/jdk-9.0.1`

sudo vim /etc/profile 或者 vim ~/.bash_profile
尾部添加
```
export HADOOP_HOME=/home/hadoop/app/lib/hadoop-2.6.0-cdh5.7.0
export PATH=$HADOOP/bin:$PATH
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
```
使配置文件生效
`. /etc/profile 或者 source /etc/profile `
`. .~/.bash_profile 或者 source .~/.bash_profile`
etc/hadoop/core-site.xml:
```
fs.defaultFS
hdfs://localhost:9000
hadoop.tmp.dir
/home/hadoop/app/tmp
```

etc/hadoop/hdfs-site.xml:
```
dfs.replication
1
```

## 启动hdfs
1. 格式化文件系统(仅第一次执行即可,不要重复执行):
`./bin/hdfs namenode -format`

2. `./sbin/start-dfs.sh`
>可能会出现需要yes, 输入密码
3. 验证是否成功
启动完成后,可以通过命令 jps 来判断是否成功启动,若成功启动则会列出如下进程: “NameNode”、”DataNode”和SecondaryNameNode(如果 SecondaryNameNode 没有启动,请运行 sbin/stop-dfs.sh 关闭进程,然后再次尝试启动尝试)。如果没有 NameNode 或 DataNode ,那就是配置不成功,请仔细检查之前步骤,或通过查看启动日志排查原因。
$ jps
1425 NameNode
1702 SecondaryNameNode
1546 DataNode
1855 Jps

浏览器方式验证 http://localhost:50070/ (如果是远程主机则将localhost换成远程主机IP)
4. 停止
$ sbin/stop-dfs.sh
Hadoop环境搭载的更多相关文章
- python 入门学习之环境搭载
1.常用python 2.7 需要在我的电脑环境变量进行环境搭载 2.用notepad++进行编辑器适配,选择python语言 在输入运行程序名里面输入cmd /k x: & cd " ...
- 【转】RHadoop实践系列之一:Hadoop环境搭建
RHadoop实践系列之一:Hadoop环境搭建 RHadoop实践系列文章,包含了R语言与Hadoop结合进行海量数据分析.Hadoop主要用来存储海量数据,R语言完成MapReduce 算法,用来 ...
- 【Hadoop测试程序】编写MapReduce测试Hadoop环境
我们使用之前搭建好的Hadoop环境,可参见: <[Hadoop环境搭建]Centos6.8搭建hadoop伪分布模式>http://www.cnblogs.com/ssslinppp/p ...
- 【Hadoop环境搭建】Centos6.8搭建hadoop伪分布模式
阅读目录 ~/.ssh/authorized_keys 把公钥加到用于认证的公钥文件中,authorized_keys是用于认证的公钥文件 方式2: (未测试,应该可用) 基于空口令创建新的SSH密钥 ...
- hadoop环境安装及简单Map-Reduce示例
说明:这篇博客来自我的csdn博客,http://blog.csdn.net/lxxgreat/article/details/7753511 一.参考书:<hadoop权威指南--第二版(中文 ...
- hadoop环境搭建之关于NAT模式静态IP的设置 ---VMware12+CentOs7
很久没有更新了,主要是没有时间,今天挤出时间验证了一下,果然还是有些问题的,不过已经解决了,就发上来吧. PS:小豆腐看仔细了哦~ 关于hadoop环境搭建,从单机模式,到伪分布式,再到完全分布式,我 ...
- 虚拟机搭建hadoop环境
这里简单用三台虚拟机,搭建了一个两个数据节点的hadoop机群,仅供新人学习.零零碎碎,花了大概一天时间,总算完成了. 环境 Linux版本:CentOS 6.5 VMware虚拟机 jdk1.6.0 ...
- 大数据学习系列之一 ----- Hadoop环境搭建(单机)
一.环境选择 1,服务器选择 阿里云服务器:入门型(按量付费) 操作系统:linux CentOS 6.8 Cpu:1核 内存:1G 硬盘:40G ip:39.108.77.250 2,配置选择 JD ...
- hadoop环境配置过程中可能遇到问题的解决方案
Failed to set setXIncludeAware(true) for parser 遇到此问题一般是jar包冲突的问题.一种情况是我们向java的lib目录添加我们自己的jar包导致had ...
随机推荐
- RS特殊报表样式需求处理
收到一朋友求助:如下图的报表格式 思路如下 第一步:处理出基础数据是每个用户每个月属于每个区间的数据savemoney_bymonthmonth user save_qujian201412 a1 5 ...
- 性能调优的Windows窗体DataGridView控件
性能调优的Windows窗体DataGridView控件 . 净框架4.5 在处理大量数据时, DataGridView 控制可以消耗大量的内存开销,除非你仔细地使用它. 在客户有限的内存,你 ...
- 数据库:mongodb与关系型数据库相比的优缺点zz (转)
与关系型数据库相比,MongoDB的优点:①弱一致性(最终一致),更能保证用户的访问速度:举例来说,在传统的关系型数据库中,一个COUNT类型的操作会锁定数据集,这样可以保证得到“当前”情况下的精确值 ...
- vim 如何编辑 GB2312 编码的文件?
vim 如何编辑 GB2312 编码的文件? 彻底搞清楚字符编码: ASCII, ISO_8859, GB2312,UCS, Unicode, U 结合file和iconv命令转换文件的字符编码类型 ...
- Emacs在RHEL 5上的安装和使用
1. install latest emacs xz -d emacs-24.3.tar.xz tar xvf emacs-24.3.tar ./configure make make install ...
- Sphinx全文检索引擎测试
数据表 1.documents CREATE TABLE `documents` ( `id` int(13) NOT NULL auto_increment, `group_id` int(11) ...
- 新浪微博XSS攻击事件
http://blog.csdn.net/terryzero/article/details/6575078 6月28日20时14分左右开始,新浪微博出现了一次比较大的XSS攻击事件.大量用户自动发送 ...
- 后台Post/Get 请求接口 方式
Post请求 public string HttpPost(string Url, string postDataStr) { try { HttpWebRequest request = (Http ...
- C#:使用Window自带函数(如:user32.dll)
[DllImport("user32.dll", EntryPoint = "GetScrollInfo", CallingConvention = Calli ...
- Python多线程1:threading
threading模块提供了高级别的线程接口,基于低级别的_thread模块实现. 模块基本方法 该模块定了的方法例如以下: threading.active_count() 返回当前 ...