目录

1.Linux设置静态IP地址


1.在Linux系统命令终端,执行命令:
    # cd /etc/sysconfig/network-scripts/
2.在Linux系统命令终端,执行命令修改ifcfg-auto_eth0,按i进行编辑内容:
    # vi ifcfg-auto_eth0
    BOOTPRPTO=none
IPADDR=192.168.0.202
NETMASK=255.255.255.0
GATE=192.168.0.1
wq

2.修改主机名和映射文件


1.在任何目录下执行命令切换到该目录:
    # cd /etc/sysconfig/
2.在/etc/sysconfig目录下找到network并执行命令编辑内容:
    # vi network
    HOSTNAME=simple02
wq
3.如果要修改主机名和ip地址具有映射关系,执行命令编辑内容:
    # vi /etc/hosts
    192.168.0.202 simple02
wq
4.重启系统
    # reboot

3.SSH免密码配置


1.切换到.ssh目录下并通过pwd查看该目录路径
    # cd ~/.ssh
# pwd

提示:如果显示无此目录,先执行一次以下命令:

    ssh localhost
2.查看.ssh目录下内容
     # ls -al
3.在.ssh目录下执行命令:(连续四个回车)
    # ssh-keygen -t rsa
4.执行完上面命令后,或生成两个文件id_rsa(私钥),id_rsa.pub(公钥),在simple02上执行ssh-copy-id simple02命令(相当于该主机给自身设置免密码登录),根据提示输入访问主机所需要的密码
    # ssh-copy-id simple02
5.在simle02机器上切换到.ssh目录
    # cd ~/.ssh
6.查看.ssh目录下的内容,在.ssh目录下多个文件authorized_key,其内容就是密码值,此时就可以直接访问simple02了
    # ssh simple02

4.Linux系统JDK的安装和配置


1.先检查是否有默认的jdk,进行删除(可以不删除)
    # rpm -qa | grep jdk
# rpm -e –nodeps java-1.4.2-gcj-compat-1.4.2.0-40jpp.115
2.在根目录下创建simple文件夹,在simple文件夹内创建soft文件夹
    # cd /
# mkdir simple
# cd simple
# mkdir soft
3.将jdk解压到simple文件夹下
    # cd ../
# tar -zvxf /simple/soft/jdk-7u79-linux-i586.tar.gz
4.配置环境变量
    # vi /etc/profile
    JAVA_HOME=/simple/jdk1.7.0_79
export PATH=$JAVA_HOME/bin:$PATH
wq
5.更新配置文件
    # source /etc/profile
6.检查jdk是否安装成功
    # java -version

5.Hadoop伪分布式配置和测试


1.解压hadoop到simple文件夹下
    # cd /simple
# tar -zvxf /simple/soft/hadoop-2.4.1.tar.gz
2.编辑配置文件hadoop-env.sh
    # cd /simple/hadoop-2.4.1/etc/hadoop/
# vi hadoop-env.sh
export JAVA_HOME=/simple/jdk1.7.0_79
wq
3.编辑配置文件core-site.xml
    # vi core-site.xml
<property>
<name>fs.default.name</name>
<value>hdfs://169.254.25.128:9000</value>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://169.254.25.128:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/simple/hadoop-2.4.1/tmp</value>
</property>
wq
4.编辑配置文件hdfs-site.xml
    # vi hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/simple/hadoop-2.4.1/hdfs/name</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/simple/hadoop-2.4.1/hdfs/data</value>
</property>
wq
5.编辑配置文件mapred-site.xml
    # vi mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
wq
6.编辑配置文件yarn-site.xml
    # vi yarn-site.xml
<property>
<name>yarn.resourcemanager.hostname</name>
<value>169.254.25.128</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
wq
7.配置环境变量
    # vi /etc/profile
        HADOOP_HOME=/simple/hadoop-2.4.1
export PATH=$JAVAHOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
wq
8.刷新配置文件
    # source /etc/profile
9.格式化hdfs
    # cd /simple/hadoop-2.4.1
# mkdir tmp
# mkdir hdfs
# cd hdfs
# mkdir name
# mkdir data
# hdfs namenode -format
10.启动hdfs
    # cd /simple/hadoop-2.4.1/sbin
# ./start-all.sh
11.查看进程
    # jps
    Jps
ResourceManager
SecondaryNameNode
NameNode
NodeManager
DataNode
12。在浏览器地址栏输入:
http://localhost:50070(HDFS管理界面)
http://localhost:8088(MR管理界面)

【Hadoop】配置环境-伪分布式的更多相关文章

  1. Ubuntu16.04 下 hadoop的安装与配置(伪分布式环境)

    一.准备 1.1创建hadoop用户 $ sudo useradd -m hadoop -s /bin/bash #创建hadoop用户,并使用/bin/bash作为shell $ sudo pass ...

  2. Hadoop学习2—伪分布式环境搭建

    一.准备虚拟环境 1. 虚拟环境网络设置 A.安装VMware软件并安装linux环境,本人安装的是CentOS B.安装好虚拟机后,打开网络和共享中心 -> 更改适配器设置 -> 右键V ...

  3. ubantu18.04下Hadoop安装与伪分布式配置

    1  下载 下载地址:http://mirror.bit.edu.cn/apache/hadoop/common/stable2/ 2 解压 将文件解压到 /usr/local/hadoop cd ~ ...

  4. Hadoop单机和伪分布式安装

    本教程为单机版+伪分布式的Hadoop,安装过程写的有些简单,只作为笔记方便自己研究Hadoop用. 环境 操作系统 Centos 6.5_64bit   本机名称 hadoop001   本机IP ...

  5. Hadoop部署方式-伪分布式(Pseudo-Distributed Mode)

    Hadoop部署方式-伪分布式(Pseudo-Distributed Mode) 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.下载相应的jdk和Hadoop安装包 JDK:h ...

  6. 使用Docker搭建Hadoop集群(伪分布式与完全分布式)

    之前用虚拟机搭建Hadoop集群(包括伪分布式和完全分布式:Hadoop之伪分布式安装),但是这样太消耗资源了,自学了Docker也来操练一把,用Docker来构建Hadoop集群,这里搭建的Hado ...

  7. Win10环境下Hadoop(单节点伪分布式)的安装与配置--bug(yarn的8088端口打不开+)

    一.本文思路 [1].配置java环境–JDK12(Hadoop的底层实现语言是java,hadoop运行需要JDK环境) [2].安装Hadoop 1.解压hadop 2.配置hadoop环境变量 ...

  8. Hadoop 2.7 伪分布式环境搭建

    1.安装环境 ①.一台Linux CentOS6.7 系统 hostname                ipaddress              subnet mask             ...

  9. Hadoop安装-单机-伪分布式简单部署配置

    最近在搞大数据项目支持所以有时间写下hadoop随笔吧. 环境介绍: Linux: centos7 jdk:java version "1.8.0_181 hadoop:hadoop-3.2 ...

随机推荐

  1. aws查看官方centos镜像imageid

    aws ec2 describe-images --owners aws-marketplace --filters Name=product-code,Values=aw0evgkw8e5c1q41 ...

  2. 利用Docker volume修改Nginx Docker镜像里index.html

    通过这个小例子我们可以进一步加深对Docker volume概念的理解和使用方法. 我们都知道运行基于Docker的Nginx镜像后,访问localhost能看到Nginx默认的首页,这个首页的位置是 ...

  3. 使用ParseExact方法将字符串转换为日期格式

    实现效果: 知识运用: DateTime结构的ParseExact方法 public static DateTime ParseExact(string s,string format,IFormat ...

  4. 2018.10.14 MyBatis配置实现对用户的增删改查

    记得导入对应的Jar包 ant-1.9.6.jar ant-launcher-1.9.6.jar asm-5.2.jar cglib-3.2.5.jar commons-logging-1.2.jar ...

  5. js中json对象取键和值

    1.json中输出各个键值: var ohp = {"星期一":18,"星期二":16,"星期三":19,"星期四":1 ...

  6. HDU 1399 Starship Hakodate-maru(暴力搜索)

    传送门: http://acm.hdu.edu.cn/showproblem.php?pid=1399 Starship Hakodate-maru Time Limit: 2000/1000 MS ...

  7. JavaEE权限管理系统的搭建(四)--------使用拦截器实现登录认证和apache shiro密码加密

    RBAC 基于角色的权限访问控制(Role-Based Access Control)在RBAC中,权限与角色相关联,用户通过成为适当角色的成员而得到这些角色的权限.这就极大地简化了权限的管理.在一个 ...

  8. mssql数据库迁移到mysql

    使用mysql migration toolkit工具来进行迁移.(需要安装jdk6 java的安装包) 发现数据量大的表却没能迁过来.软件使用比较容易,配置下源数据库信息,和目标数据库信息就可以进行 ...

  9. 通过ajax给后台提交数据时,radio性别数据的获取

    通过ajax向后台异步发送数据,经常我们会遇到个人信息额提交,一般我们采用FormData来装数据.在装性别值得时候,我们会有两个radio框,获取radio值得方法如下: 一般情况下,一个radio ...

  10. java使用JSCH连接FTP(Linux服务器)上传文件到Linux服务器

    首先需要用到jsch-0.1.54.jar 包: 链接: https://pan.baidu.com/s/1kZR6MqwpCYht9Pp_D6NKQw 密码: gywx 直接上代码: package ...