1、创建hadoop组和用户,useradd hadoop  passwd hadoop  groupadd hadoops  usermod -G hadoops hadoop(将hadoop添加到hadoops组中)。

2、下载hadoop版本 http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.15.0.tar.gz 。(或者直接:wget http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.15.0.tar.gz/ ,https://archive.cloudera.com/cdh5/cdh/5/ 这里hadoop生态圈其他的工具下载)

3、安装java1.8,解压jdk1.8的包,vi /home/hadoop/.bash_profile,然后添加环境变量

  export JAVA_HOME=/home/hadoop/app/jdk1.8.0_91
  export PATH=$JAVA_HOME/bin:$PATH

测试:java -version ,成功。

4、配置ssh无密码登录,先输密码登录一次(创建.ssh文件):ssh hadoop000(以后ip可能会变,所以都写成hadoop000,应先在/etc/hosts文件中添加host解析,解析到本机ip)。然后执行:ssh-keygen -t rsa来生成ssh的公钥和私钥,在.ssh目录下执行:cat id_rsa.pub >> authorized_keys,最后为authorized_keys文件更改为600权限即可:chmod 600 authorized_keys。

5、正式安装Hadoop,解压Hadoop的安装包到~/app:tar -zxvf hadoop-2.6.0-cdh5.15.1.tar.gz -C ~/app

  a、配置hadoop/etc/hadoop/hadoop-env.sh下的JAVA_HOME(默认指向$JAVA_HOME,所以只要配置了环境变量就不用配置这里)。

  b、配置hadoop/etc/hadoop/core-site.xml,配置默认的hadoop的文件系统指向哪里,<configuration>标签中加入以下内容。    

    <property>
      <name>fs.defaultFS</name>
      <value>hdfs://hadoop000:8020</value>
    </property>

  c、配置hadoop的hdfs文件块的数量(因为学习环境,只配置成1块的就行,默认是3块)和临时文件的存放位置(文件系统的默认临时文件是存在/tmp,而linux每次重启会删掉/tmp中的文件,当然我们希望hadoop临时文件能自己操作删除与否),打开hdfs-site.xml,在<configuration>中加入一下内容:

    <property>
      <name>hadoop.tmp.dir</name>
      <value>/home/hadoop/app/tmp</value>
    </property>

    <property>
      <name>dfs.replication</name>
      <value>1</value>
    </property>

  d、配置hadoop从节点的ip,修改hadoop/etc/hadoop/slaves文件,该文件默认是localhost,改为hadoop001(hadoop001也一样先在/etc/hosts里面配置host解析,也解析到本机)

6、把hadoop配置到环境变量,同java配置步骤(改为HADOOP_HOME即可);source一下环境变量的文件。

7、格式化文件系统,执行:hdfs namenode -format,然后启动文件系统,执行hadoop的sbin目录下面的start-dfs.sh,若提示没找到JAVA_HOME就回到步骤5-a去配置一下。可以单独启动和停止某种节点,如:hadoop-daemon.sh stop secondarynamenode。

8、最后输入jps验证,发现有nameNode等,启动成功。或者关闭防火墙后,打开http://192.168.159.40:50070,能进入文件系统,启动成功

    

  

Hadoop CDH版本安装和启动(CentOS7)的更多相关文章

  1. Hadoop 新生报道(二) hadoop2.6.0 集群系统版本安装和启动配置

    本次基于Hadoop2.6版本进行分布式配置,Linux系统是基于CentOS6.5 64位的版本.在此设置一个主节点和两个从节点. 准备3台虚拟机,分别为: 主机名 IP地址 master 192. ...

  2. Redis第一篇(Redis单机版本安装及启动)

    安装: 1 2 3 4 5 [root@M2_Redis1 ~]# yum install gcc gcc-c++     (安装依赖) [root@M2_Redis1 tools]# wget ht ...

  3. CentOS7安装CDH 第十一章:离线升级CDH版本

    相关文章链接 CentOS7安装CDH 第一章:CentOS7系统安装 CentOS7安装CDH 第二章:CentOS7各个软件安装和启动 CentOS7安装CDH 第三章:CDH中的问题和解决方法 ...

  4. CentOS7安装CDH 第二章:CentOS7各个软件安装和启动

    相关文章链接 CentOS7安装CDH 第一章:CentOS7系统安装 CentOS7安装CDH 第二章:CentOS7各个软件安装和启动 CentOS7安装CDH 第三章:CDH中的问题和解决方法 ...

  5. CentOS7安装CDH 第十章:CDH中安装Spark2

    相关文章链接 CentOS7安装CDH 第一章:CentOS7系统安装 CentOS7安装CDH 第二章:CentOS7各个软件安装和启动 CentOS7安装CDH 第三章:CDH中的问题和解决方法 ...

  6. CentOS7安装CDH 第九章:CDH中安装Kafka

    相关文章链接 CentOS7安装CDH 第一章:CentOS7系统安装 CentOS7安装CDH 第二章:CentOS7各个软件安装和启动 CentOS7安装CDH 第三章:CDH中的问题和解决方法 ...

  7. CentOS7安装CDH 第五章:CDH的安装和部署-CDH5.7.0

    相关文章链接 CentOS7安装CDH 第一章:CentOS7系统安装 CentOS7安装CDH 第二章:CentOS7各个软件安装和启动 CentOS7安装CDH 第三章:CDH中的问题和解决方法 ...

  8. [Hadoop]&nbsp;Sqoop安装过程详解

    Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可 ...

  9. ColumnStore完整验证指南之安装与启动停止

    官方文档https://mariadb.com/kb/en/library/mariadb-columnstore/ 推荐使用最新1.2.x最新版本. 先决条件 yum -y install boos ...

随机推荐

  1. anaconda 使用conda命令创建虚拟环境

    1.首先在所在系统中安装Anaconda.可以打开命令行输入conda -V检验是否安装以及当前conda的版本. 2.conda常用的命令. 1)conda list 查看安装了哪些包. 2)con ...

  2. 使用Idea当中的快捷键快速查看继承关系或其图表的两种方法

    一.Idea当中有两种方法可以查看继承关系 在Idea当中选中一个类,然后按Ctrl+H,可以快速查看当前所选类的继承关系,如下图: ​ 同样选中一个类,按CTRL+ALT+U,即可生成当前类的继承关 ...

  3. python-trade

    https://tool.lu/pyc/在线反编译pyc import base64 correct = 'XlNkVmtUI1MgXWBZXCFeKY+AaXNt' flag = base64.b6 ...

  4. scrollview 和 listview滑动冲突解决

    http://blog.csdn.net/wanghao200906/article/details/51084975 http://www.cnblogs.com/shitianzeng/artic ...

  5. Linux系统进入救援模式

    由于现在很多的服务器都是用的RedHat,CentOS也比较多,这里就介绍CentOS6.6的救援模式. 有很多人的linux在用的时候不小心修改了某个权限,导致系统启动不起来,下面我就来为大家解决一 ...

  6. 怎么break java8 stream的foreach

    目录 简介 使用Spliterator 自定义forEach方法 总结 怎么break java8 stream的foreach 简介 我们通常需要在java stream中遍历处理里面的数据,其中f ...

  7. java中使用Semaphore构建阻塞对象池

    java中使用Semaphore构建阻塞对象池 Semaphore是java 5中引入的概念,叫做计数信号量.主要用来控制同时访问某个特定资源的访问数量或者执行某个操作的数量. Semaphore中定 ...

  8. 为什么LIKELY和UNLIKELY要用两个叹号

    LIKELY和UNLIKELY的一般定义如下: #define LIKELY(x) (__builtin_expect(!!(x),1))#define UNLIKELY(x) (__builtin_ ...

  9. 手把手教你用Node.js爬虫爬取网站数据

    个人网站 https://iiter.cn 程序员导航站 开业啦,欢迎各位观众姥爷赏脸参观,如有意见或建议希望能够不吝赐教! 开始之前请先确保自己安装了Node.js环境,还没有安装的的童鞋请自行百度 ...

  10. Flash调用Alchemy编译的代码时出现Error #1506的解决

    Flash调用Alchemy编译的代码时出现Error #1506的解决这个问题困扰了我很久,因为需要频繁的向Alchemy代码中传递大ByteArray数组.当某次传递的数据量较大时,后面再调用时就 ...