目录

1.Linux设置静态IP地址


1.在Linux系统命令终端,执行命令:
    # cd /etc/sysconfig/network-scripts/
2.在Linux系统命令终端,执行命令修改ifcfg-auto_eth0,按i进行编辑内容:
    # vi ifcfg-auto_eth0
    BOOTPRPTO=none
IPADDR=192.168.0.202
NETMASK=255.255.255.0
GATE=192.168.0.1
wq

2.修改主机名和映射文件


1.在任何目录下执行命令切换到该目录:
    # cd /etc/sysconfig/
2.在/etc/sysconfig目录下找到network并执行命令编辑内容:
    # vi network
    HOSTNAME=simple02
wq
3.如果要修改主机名和ip地址具有映射关系,执行命令编辑内容:
    # vi /etc/hosts
    192.168.0.202 simple02
wq
4.重启系统
    # reboot

3.SSH免密码配置


1.切换到.ssh目录下并通过pwd查看该目录路径
    # cd ~/.ssh
# pwd

提示:如果显示无此目录,先执行一次以下命令:

    ssh localhost
2.查看.ssh目录下内容
     # ls -al
3.在.ssh目录下执行命令:(连续四个回车)
    # ssh-keygen -t rsa
4.执行完上面命令后,或生成两个文件id_rsa(私钥),id_rsa.pub(公钥),在simple02上执行ssh-copy-id simple02命令(相当于该主机给自身设置免密码登录),根据提示输入访问主机所需要的密码
    # ssh-copy-id simple02
5.在simle02机器上切换到.ssh目录
    # cd ~/.ssh
6.查看.ssh目录下的内容,在.ssh目录下多个文件authorized_key,其内容就是密码值,此时就可以直接访问simple02了
    # ssh simple02

4.Linux系统JDK的安装和配置


1.先检查是否有默认的jdk,进行删除(可以不删除)
    # rpm -qa | grep jdk
# rpm -e –nodeps java-1.4.2-gcj-compat-1.4.2.0-40jpp.115
2.在根目录下创建simple文件夹,在simple文件夹内创建soft文件夹
    # cd /
# mkdir simple
# cd simple
# mkdir soft
3.将jdk解压到simple文件夹下
    # cd ../
# tar -zvxf /simple/soft/jdk-7u79-linux-i586.tar.gz
4.配置环境变量
    # vi /etc/profile
    JAVA_HOME=/simple/jdk1.7.0_79
export PATH=$JAVA_HOME/bin:$PATH
wq
5.更新配置文件
    # source /etc/profile
6.检查jdk是否安装成功
    # java -version

5.Hadoop伪分布式配置和测试


1.解压hadoop到simple文件夹下
    # cd /simple
# tar -zvxf /simple/soft/hadoop-2.4.1.tar.gz
2.编辑配置文件hadoop-env.sh
    # cd /simple/hadoop-2.4.1/etc/hadoop/
# vi hadoop-env.sh
export JAVA_HOME=/simple/jdk1.7.0_79
wq
3.编辑配置文件core-site.xml
    # vi core-site.xml
<property>
<name>fs.default.name</name>
<value>hdfs://169.254.25.128:9000</value>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://169.254.25.128:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/simple/hadoop-2.4.1/tmp</value>
</property>
wq
4.编辑配置文件hdfs-site.xml
    # vi hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/simple/hadoop-2.4.1/hdfs/name</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/simple/hadoop-2.4.1/hdfs/data</value>
</property>
wq
5.编辑配置文件mapred-site.xml
    # vi mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
wq
6.编辑配置文件yarn-site.xml
    # vi yarn-site.xml
<property>
<name>yarn.resourcemanager.hostname</name>
<value>169.254.25.128</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
wq
7.配置环境变量
    # vi /etc/profile
        HADOOP_HOME=/simple/hadoop-2.4.1
export PATH=$JAVAHOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
wq
8.刷新配置文件
    # source /etc/profile
9.格式化hdfs
    # cd /simple/hadoop-2.4.1
# mkdir tmp
# mkdir hdfs
# cd hdfs
# mkdir name
# mkdir data
# hdfs namenode -format
10.启动hdfs
    # cd /simple/hadoop-2.4.1/sbin
# ./start-all.sh
11.查看进程
    # jps
    Jps
ResourceManager
SecondaryNameNode
NameNode
NodeManager
DataNode
12。在浏览器地址栏输入:
http://localhost:50070(HDFS管理界面)
http://localhost:8088(MR管理界面)

【Hadoop】配置环境-伪分布式的更多相关文章

  1. Ubuntu16.04 下 hadoop的安装与配置(伪分布式环境)

    一.准备 1.1创建hadoop用户 $ sudo useradd -m hadoop -s /bin/bash #创建hadoop用户,并使用/bin/bash作为shell $ sudo pass ...

  2. Hadoop学习2—伪分布式环境搭建

    一.准备虚拟环境 1. 虚拟环境网络设置 A.安装VMware软件并安装linux环境,本人安装的是CentOS B.安装好虚拟机后,打开网络和共享中心 -> 更改适配器设置 -> 右键V ...

  3. ubantu18.04下Hadoop安装与伪分布式配置

    1  下载 下载地址:http://mirror.bit.edu.cn/apache/hadoop/common/stable2/ 2 解压 将文件解压到 /usr/local/hadoop cd ~ ...

  4. Hadoop单机和伪分布式安装

    本教程为单机版+伪分布式的Hadoop,安装过程写的有些简单,只作为笔记方便自己研究Hadoop用. 环境 操作系统 Centos 6.5_64bit   本机名称 hadoop001   本机IP ...

  5. Hadoop部署方式-伪分布式(Pseudo-Distributed Mode)

    Hadoop部署方式-伪分布式(Pseudo-Distributed Mode) 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.下载相应的jdk和Hadoop安装包 JDK:h ...

  6. 使用Docker搭建Hadoop集群(伪分布式与完全分布式)

    之前用虚拟机搭建Hadoop集群(包括伪分布式和完全分布式:Hadoop之伪分布式安装),但是这样太消耗资源了,自学了Docker也来操练一把,用Docker来构建Hadoop集群,这里搭建的Hado ...

  7. Win10环境下Hadoop(单节点伪分布式)的安装与配置--bug(yarn的8088端口打不开+)

    一.本文思路 [1].配置java环境–JDK12(Hadoop的底层实现语言是java,hadoop运行需要JDK环境) [2].安装Hadoop 1.解压hadop 2.配置hadoop环境变量 ...

  8. Hadoop 2.7 伪分布式环境搭建

    1.安装环境 ①.一台Linux CentOS6.7 系统 hostname                ipaddress              subnet mask             ...

  9. Hadoop安装-单机-伪分布式简单部署配置

    最近在搞大数据项目支持所以有时间写下hadoop随笔吧. 环境介绍: Linux: centos7 jdk:java version "1.8.0_181 hadoop:hadoop-3.2 ...

随机推荐

  1. solidity语言6

    映射 可以认为是哈希,格式 mapping(_KeyType => _ValueType) pragma solidity ^0.4.0; contract MappingExample { m ...

  2. mac nvm install

    open the url https://github.com/creationix/nvm 1. curl -o- https://raw.githubusercontent.com/creatio ...

  3. PHP腾讯与百度坐标转换

    function coordinate_switch($a,$b){//百度转腾讯坐标转换 $a = Latitude , $b = Longitude $x = (double)$b - 0.006 ...

  4. May 17th 2017 Week 20th Wednesday

    Men are nearly always willing to believe what they wish. 人总爱想入非非,把愿望变成现实. It is just the humancondit ...

  5. 数据库操作(c#)

    windows窗体程序中的数据库操作部分 //数据库连接串 internal static string connstring = "Data Source = 192.168.1.1; I ...

  6. python入门23 pymssql模块(python连接sql server增删改数据 )

    增删改数据必须connect.commit()才会生效 回滚函数 connect.rollback() 连接数据库 ''' dinghanhua sql server增删改 ''' import py ...

  7. 在已有软件加壳保护 下实现 Inline hook

    如写的不好请见谅,本人水平有限. 个人简历及水平:. http://www.cnblogs.com/hackdragon/p/3662599.html 正常情况: 接到一个项目实现对屏幕输出内容的获取 ...

  8. http://codeforces.com/gym/100623/attachments E题

    http://codeforces.com/gym/100623/attachments E题第一个优化它虽然是镜像对称,但它毕竟是一一对称的,所以可以匹配串和模式串都从头到尾颠倒一下第二个优化,与次 ...

  9. POJ 3020 Antenna Placement 【最小边覆盖】

    传送门:http://poj.org/problem?id=3020 Antenna Placement Time Limit: 1000MS   Memory Limit: 65536K Total ...

  10. 【题解】UVA756 Biorhythms (中国剩余定理)

    UVA756:https://www.luogu.org/problemnew/show/UVA756 思路 几乎是裸的中国剩余定理模板题 但是需要注意的是此题并不是求最小正整数解 而是求大于d的解 ...