1.配置一台linux服务器(当前使用CentOS7)及一些基本设置

1.1在wmware下制作一台centos服务器(桥接模式)
         并设置静态ip (编辑/etc/sysmconfig/network-scripts/ifcfg-ens33为如下内容,然后service network restart)
         HWADDR="00:0C:29:76:12:2A"
         Type="Ethernet"
         BOOTPROTO="static"
         IPADDR=192.168.1.155
         GATEWAY=192.168.1.1
         NETMASK=255.255.255.0
         ONBOOT="yes"

     1.2 设置机器名(/etc/hostname, e.g. master)
           机器名及ip映射(/etc/hosts,  e.g.  192.168.1.155 master)

2.关闭SELinux及防火墙
    2.1 /etc/selinux/config(SELinux=disabled)
    2.2 systemctl stop firewalld.service

3.安装java运行环境

4.下载hadoop(当前2.7.3版本),然后配置及运行
    4.1 下载hadoop,并解压缩置指定 目录(e.g. /usr/local/hadoop)
    4.2 设置hadoop环境变量(/etc/profile.d/hadoop.sh, 把如下内容copy进去,然后source /etc/profile.d/hadoop.sh)
          #set hadoop environment
       export JAVA_HOME=/usr/local/java
           export HADOOP_HOME=/usr/local/hadoop
           export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
           export HADOOP_MAPRED_HOME=$HADOOP_HOME
           export HADOOP_COMMON_HOME=$HADOOP_HOME
           export HADOOP_HDFS_HOME=$HADOOP_HOME
           export YARN_HOME=HADOOP_HOME
           export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
           export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
           export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native:$JAVA_LIBRARY_PATH
   
4.3 配置core-site.xml

<configuration>
             <property>
                 <name>fs.defaultFS</name>
                 <value>hdfs://master:9000</value>
            </property>
         </configuration>
    4.4 配置yarn-site.xml
         ......
         <property>
              <name>yarn.nodemanager.aux-services</name>
              <value>mapreduce_shuffle</value>
         </property>
         <property>
               <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
               
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
         
</property>
         ......
    4.5 配置mapred-site.xml

      <configuration>
         <property>
                 <name>mapreduce.framework.name</name>
                 <value>yarn</value>
             </property>
          </configuration>
     4.6 配置hfds-site.xml

    <configuration>
      <property>
        <name>dfs.name.dir</name>
        <value>file:/usr/local/hadoop/hadoop_data/hdfs/namenode</value>
      </property>
      <property>
        <name>dfs.data.dir</name>
        <value>file:/usr/local/hadoop/hadoop_data/hdfs/datanode</value>
      </property>
      <property>
        <name>dfs.replication</name>
        <value>3</value>
      </property>
    </configuration>

4.7 创建目录namenode,datanode(e.g. mkdir -p /usr/local/hadoop/hadoop_data/hdfs/namenode)
      4.8 更改hadoop目录的所有者(e.g. chown hduser:hadoop -R /usr/local/hadoop)
      4.9 格式化namenode(hdfs namenode -format)
      4.10 启动hdfs(start-dfs.sh), 启动yarn(start-yarn.sh), 或者使用start-all.sh启动两者
      4.11 访问Hadoop Resource Manager Web界面(http://192.168.1.155:8088)
      4.12 访问namenode hdfs Web界面(http://192.168.1.155:50070)
      4.13 关闭stop-dfs.sh/stop-yarn.sh或者stop-all.sh

hadoop单机环境配置的更多相关文章

  1. Spark 单机环境配置

    概要 Spark 单机环境配置 JDK 环境配置 Spark 环境配置 python 环境配置 Spark 使用示例 示例代码 (order_stat.py) 测试用的 csv 文件内容 (order ...

  2. Hadoop Yarn环境配置

    抄一个可行的Hadoop Yarn环境配置.用的官方的2.2.0版本. http://www.jdon.com/bigdata/yarn.html Hadoop 2.2新特性 将Mapreduce框架 ...

  3. hadoop单机环境搭建

    [在此处输入文章标题] Hadoop单机搭建 1. 工具准备 1) Hadoop Linux安装包 2) VMware虚拟机 3) Java Linux安装包 4) Window 电脑一台 2. 开始 ...

  4. windows eclipse直接访问远程linux hadoop开发环境配置(符合实际开发的做法)

    CDH 5.x搭建请参考CentOS 7离线安装CDH 5.16.1完全指南(含各种错误处理). 如果使用的是cloudera quickstart vm,则只能在linux服务器中使用eclipse ...

  5. Hadoop —— 单机环境搭建

    一.前置条件 Hadoop的运行依赖JDK,需要预先安装,安装步骤见: Linux下JDK的安装 二.配置免密登录 Hadoop组件之间需要基于SSH进行通讯. 2.1 配置映射 配置ip地址和主机名 ...

  6. Windows下Spark单机环境配置

    1. 环境配置 a)  java环境配置: JDK版本为1.7,64位: 环境变量配置如下: JAVA_HOME为JDK安装路径,例如D:\software\workSoftware\JAVA 在pa ...

  7. solr单机环境配置并包含外部单机zookeeper

    首先和之前一样下载solr-5.3.1.tgz,然后执行下面命令释放文件并放置在/usr/目录下: $ .tgz $ /usr/ $ cd /usr/solr- 这个时候先不用启动solr,因为单机模 ...

  8. Hadoop单机模式配置

    Required Software 1. 安装Java环境推荐的版本在链接中有介绍HadoopJavaVersions. 2. 安装ssh以使用hadoop脚本管理远程Hadoop daemons. ...

  9. 攻城狮在路上(陆)-- hadoop单机环境搭建(一)

    一.环境说明:     操作系统:Centos6.5 Linux node1 2.6.32-431.el6.x86_64 #1 SMP Fri Nov 22 03:15:09 UTC 2013 x86 ...

随机推荐

  1. 使用 lua 编写 wireshark 协议解析插件

    一.平台 操作系统:windows 7 wireshark:1.10.3 lua:5.1 二.准备 lua 语言基本语法,特别是关于表操作和循环 wireshark 文档,包括用户使用文档和开发者文档 ...

  2. PAT 1039. Course List for Student

    Zhejiang University has 40000 students and provides 2500 courses. Now given the student name lists o ...

  3. SLF4J和Logback和Log4j和Logging的区别与联系

    本文转载自:一个著名的日志系统是怎么设计出来的?(作者:刘欣) 前言 Java帝国在诞生之初就提供了集合.线程.IO.网络等常用功能,从C和C++领地那里吸引了大量程序员过来加盟,但是却有意无意地忽略 ...

  4. 赛门铁克扩展验证EV SSL证书

      申请EV SSL证书,将接受最严格验证企业域名所有权和企业身份信息,属于最高信任级别扩展验证(EV)的 EV SSL证书,最高达256位自适应加密.Symantec不仅提供先进的SSL加密技术,同 ...

  5. Linux学习总结(3)——Linux实用工具

    1. Windows下同步Linux文件(Linux安装Samba和配置) 场景需求: 安装了Ubuntu在虚拟机上,但是代码编辑或者其它更多的操作的时候,还是习惯在windows下进行.如果wind ...

  6. 玲珑杯1147 - 最后你还是AK了

    1147 - 最后你还是AK了 Time Limit:5s Memory Limit:256MByte DESCRIPTION 今天HHHH遇到了一颗树,这个树有nn个点(nn为偶数),每条边都有一个 ...

  7. XOR Queries

    XOR Queries 时间限制: 1000ms   内存限制: 256M 描述 给出一个长度为n的数组C,回答m个形式为(L,R,A,B)的询问,含义为存在多少个不同的数组下标k∈[L,R]满足C[ ...

  8. mbr gpt

    超过2T硬盘的磁盘要用gpt格式,准确地说,应该是分区超过2T地硬盘要选用GPT模式. 做个小推广:程序员经常久坐,颈椎毛病比较多,特别推荐ventry颈椎保健枕

  9. Linux排查java程序占用cpu过高的线程代码

    分几步骤: 1.通过top,查出占用CPU过高的java进程 ,比如: pid :6666 2.通过ps -mp 6666 -o THREAD,tid,time| sort -n -k1 -r 查看此 ...

  10. 2018你应该了解这些.NET面试题

    2018年准备要找.NET开发相关工作的你准备好了吗,下面是小编准备的一些.NET相关的面试题,来阅读一下,也许对你有帮助哦~ 1. 谈谈你对MVC和三层架构的理解. MVC即模型.视图.控制器,模型 ...