1、创建hadoop组和用户,useradd hadoop  passwd hadoop  groupadd hadoops  usermod -G hadoops hadoop(将hadoop添加到hadoops组中)。

2、下载hadoop版本 http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.15.0.tar.gz 。(或者直接:wget http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.15.0.tar.gz/ ,https://archive.cloudera.com/cdh5/cdh/5/ 这里hadoop生态圈其他的工具下载)

3、安装java1.8,解压jdk1.8的包,vi /home/hadoop/.bash_profile,然后添加环境变量

  export JAVA_HOME=/home/hadoop/app/jdk1.8.0_91
  export PATH=$JAVA_HOME/bin:$PATH

测试:java -version ,成功。

4、配置ssh无密码登录,先输密码登录一次(创建.ssh文件):ssh hadoop000(以后ip可能会变,所以都写成hadoop000,应先在/etc/hosts文件中添加host解析,解析到本机ip)。然后执行:ssh-keygen -t rsa来生成ssh的公钥和私钥,在.ssh目录下执行:cat id_rsa.pub >> authorized_keys,最后为authorized_keys文件更改为600权限即可:chmod 600 authorized_keys。

5、正式安装Hadoop,解压Hadoop的安装包到~/app:tar -zxvf hadoop-2.6.0-cdh5.15.1.tar.gz -C ~/app

  a、配置hadoop/etc/hadoop/hadoop-env.sh下的JAVA_HOME(默认指向$JAVA_HOME,所以只要配置了环境变量就不用配置这里)。

  b、配置hadoop/etc/hadoop/core-site.xml,配置默认的hadoop的文件系统指向哪里,<configuration>标签中加入以下内容。    

    <property>
      <name>fs.defaultFS</name>
      <value>hdfs://hadoop000:8020</value>
    </property>

  c、配置hadoop的hdfs文件块的数量(因为学习环境,只配置成1块的就行,默认是3块)和临时文件的存放位置(文件系统的默认临时文件是存在/tmp,而linux每次重启会删掉/tmp中的文件,当然我们希望hadoop临时文件能自己操作删除与否),打开hdfs-site.xml,在<configuration>中加入一下内容:

    <property>
      <name>hadoop.tmp.dir</name>
      <value>/home/hadoop/app/tmp</value>
    </property>

    <property>
      <name>dfs.replication</name>
      <value>1</value>
    </property>

  d、配置hadoop从节点的ip,修改hadoop/etc/hadoop/slaves文件,该文件默认是localhost,改为hadoop001(hadoop001也一样先在/etc/hosts里面配置host解析,也解析到本机)

6、把hadoop配置到环境变量,同java配置步骤(改为HADOOP_HOME即可);source一下环境变量的文件。

7、格式化文件系统,执行:hdfs namenode -format,然后启动文件系统,执行hadoop的sbin目录下面的start-dfs.sh,若提示没找到JAVA_HOME就回到步骤5-a去配置一下。可以单独启动和停止某种节点,如:hadoop-daemon.sh stop secondarynamenode。

8、最后输入jps验证,发现有nameNode等,启动成功。或者关闭防火墙后,打开http://192.168.159.40:50070,能进入文件系统,启动成功

    

  

Hadoop CDH版本安装和启动(CentOS7)的更多相关文章

  1. Hadoop 新生报道(二) hadoop2.6.0 集群系统版本安装和启动配置

    本次基于Hadoop2.6版本进行分布式配置,Linux系统是基于CentOS6.5 64位的版本.在此设置一个主节点和两个从节点. 准备3台虚拟机,分别为: 主机名 IP地址 master 192. ...

  2. Redis第一篇(Redis单机版本安装及启动)

    安装: 1 2 3 4 5 [root@M2_Redis1 ~]# yum install gcc gcc-c++     (安装依赖) [root@M2_Redis1 tools]# wget ht ...

  3. CentOS7安装CDH 第十一章:离线升级CDH版本

    相关文章链接 CentOS7安装CDH 第一章:CentOS7系统安装 CentOS7安装CDH 第二章:CentOS7各个软件安装和启动 CentOS7安装CDH 第三章:CDH中的问题和解决方法 ...

  4. CentOS7安装CDH 第二章:CentOS7各个软件安装和启动

    相关文章链接 CentOS7安装CDH 第一章:CentOS7系统安装 CentOS7安装CDH 第二章:CentOS7各个软件安装和启动 CentOS7安装CDH 第三章:CDH中的问题和解决方法 ...

  5. CentOS7安装CDH 第十章:CDH中安装Spark2

    相关文章链接 CentOS7安装CDH 第一章:CentOS7系统安装 CentOS7安装CDH 第二章:CentOS7各个软件安装和启动 CentOS7安装CDH 第三章:CDH中的问题和解决方法 ...

  6. CentOS7安装CDH 第九章:CDH中安装Kafka

    相关文章链接 CentOS7安装CDH 第一章:CentOS7系统安装 CentOS7安装CDH 第二章:CentOS7各个软件安装和启动 CentOS7安装CDH 第三章:CDH中的问题和解决方法 ...

  7. CentOS7安装CDH 第五章:CDH的安装和部署-CDH5.7.0

    相关文章链接 CentOS7安装CDH 第一章:CentOS7系统安装 CentOS7安装CDH 第二章:CentOS7各个软件安装和启动 CentOS7安装CDH 第三章:CDH中的问题和解决方法 ...

  8. [Hadoop]&nbsp;Sqoop安装过程详解

    Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可 ...

  9. ColumnStore完整验证指南之安装与启动停止

    官方文档https://mariadb.com/kb/en/library/mariadb-columnstore/ 推荐使用最新1.2.x最新版本. 先决条件 yum -y install boos ...

随机推荐

  1. 算法笔记刷题2(codeup 1928)

    又磕了一晚上,多点测试真的很烦 ,完全不知道错哪里,后来发现是我变量名命名不规范导致自己晕了填错了,其实思路还是对的 我觉得书上的做法也还行,但我不太喜欢用二维数组,所以拿以前写的算天数的程序改装了一 ...

  2. Java代码生成器加入postgresql数据库、HikariCP连接池、swagger2支持!

    目录 前言 PostgreSql VS MySql HikariCP VS Druid Swagger2 自定义参数配置一览 结语 前言   最近几天又抽时间给代码生成器增加了几个新功能(预计今晚发布 ...

  3. GOLANG 匿名函数笔记

    在函数内部,没有名字的函数,就是匿名函数 实现方法1: func main(){ a := "我是无参无返回值的匿名函数" x := func(){ //可以获取到匿名函数外部的变 ...

  4. Ansible Jinja2 模板使用

    Ansible Jinja2 模板使用.语法与使用案例 主机规划 添加用户账号 说明: 1. 运维人员使用的登录账号: 2. 所有的业务都放在 /app/ 下「yun用户的家目录」,避免业务数据乱放: ...

  5. Cent OS 7 添加 EPEL Nux Dextop ELRepo等源

    Cent OS 7 添加第三方yum源 CentOS由于很追求稳定性,所以官方源中自带的软件不多,因而需要一些第三方源. 比如EPEL.ATrpms.ELRepo.Nux Dextop.RepoFor ...

  6. hdu3033 I love sneakers! 分组背包变形(详解)

    这个题很怪,一开始没仔细读题,写了个简单的分组背包交上去,果不其然WA. 题目分析: 分组背包问题是这样描述的:有K组物品,每组 i 个,费用分别为Ci ,价值为Vi,每组物品是互斥的,只能取一个或者 ...

  7. 【高并发】由InterruptedException异常引发的思考

    写在前面 InterruptedException异常可能没你想的那么简单! 前言 当我们在调用Java对象的wait()方法或者线程的sleep()方法时,需要捕获并处理InterruptedExc ...

  8. 12.Python提供了哪些内建类型

    There are mutable and Immutable types of Pythons built in types Mutable built-in types: List Set Dic ...

  9. Linux利用sed批量修改文件名

    初始文件名 # ls -lh total 5.5G -rw-r--r-- 1 root root 193K Sep 28 09:38 20180908.txt drwxr-xr-x 2 root ro ...

  10. 前端存储 (5) - service worker 离线存储

    service worker 离线存储 简介: 一般的网站 在我们无法访问的 时候 一般 回出现 如下 该网页无法访问 service worker 构建的网站不会出现这个错误,因为所有的 请求都是先 ...