【Hadoop】配置环境-伪分布式
目录
1.Linux设置静态IP地址
1.在Linux系统命令终端,执行命令:
# cd /etc/sysconfig/network-scripts/
2.在Linux系统命令终端,执行命令修改ifcfg-auto_eth0,按i进行编辑内容:
# vi ifcfg-auto_eth0
BOOTPRPTO=none
IPADDR=192.168.0.202
NETMASK=255.255.255.0
GATE=192.168.0.1
wq
2.修改主机名和映射文件
1.在任何目录下执行命令切换到该目录:
# cd /etc/sysconfig/
2.在/etc/sysconfig目录下找到network并执行命令编辑内容:
# vi network
HOSTNAME=simple02
wq
3.如果要修改主机名和ip地址具有映射关系,执行命令编辑内容:
# vi /etc/hosts
192.168.0.202 simple02
wq
4.重启系统
# reboot
3.SSH免密码配置
1.切换到.ssh目录下并通过pwd查看该目录路径
# cd ~/.ssh
# pwd
提示:如果显示无此目录,先执行一次以下命令:
ssh localhost
2.查看.ssh目录下内容
# ls -al
3.在.ssh目录下执行命令:(连续四个回车)
# ssh-keygen -t rsa
4.执行完上面命令后,或生成两个文件id_rsa(私钥),id_rsa.pub(公钥),在simple02上执行ssh-copy-id simple02命令(相当于该主机给自身设置免密码登录),根据提示输入访问主机所需要的密码
# ssh-copy-id simple02
5.在simle02机器上切换到.ssh目录
# cd ~/.ssh
6.查看.ssh目录下的内容,在.ssh目录下多个文件authorized_key,其内容就是密码值,此时就可以直接访问simple02了
# ssh simple02
4.Linux系统JDK的安装和配置
1.先检查是否有默认的jdk,进行删除(可以不删除)
# rpm -qa | grep jdk
# rpm -e –nodeps java-1.4.2-gcj-compat-1.4.2.0-40jpp.115
2.在根目录下创建simple文件夹,在simple文件夹内创建soft文件夹
# cd /
# mkdir simple
# cd simple
# mkdir soft
3.将jdk解压到simple文件夹下
# cd ../
# tar -zvxf /simple/soft/jdk-7u79-linux-i586.tar.gz
4.配置环境变量
# vi /etc/profile
JAVA_HOME=/simple/jdk1.7.0_79
export PATH=$JAVA_HOME/bin:$PATH
wq
5.更新配置文件
# source /etc/profile
6.检查jdk是否安装成功
# java -version
5.Hadoop伪分布式配置和测试
1.解压hadoop到simple文件夹下
# cd /simple
# tar -zvxf /simple/soft/hadoop-2.4.1.tar.gz
2.编辑配置文件hadoop-env.sh
# cd /simple/hadoop-2.4.1/etc/hadoop/
# vi hadoop-env.sh
export JAVA_HOME=/simple/jdk1.7.0_79
wq
3.编辑配置文件core-site.xml
# vi core-site.xml
<property>
<name>fs.default.name</name>
<value>hdfs://169.254.25.128:9000</value>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://169.254.25.128:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/simple/hadoop-2.4.1/tmp</value>
</property>
wq
4.编辑配置文件hdfs-site.xml
# vi hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/simple/hadoop-2.4.1/hdfs/name</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/simple/hadoop-2.4.1/hdfs/data</value>
</property>
wq
5.编辑配置文件mapred-site.xml
# vi mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
wq
6.编辑配置文件yarn-site.xml
# vi yarn-site.xml
<property>
<name>yarn.resourcemanager.hostname</name>
<value>169.254.25.128</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
wq
7.配置环境变量
# vi /etc/profile
HADOOP_HOME=/simple/hadoop-2.4.1
export PATH=$JAVAHOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
wq
8.刷新配置文件
# source /etc/profile
9.格式化hdfs
# cd /simple/hadoop-2.4.1
# mkdir tmp
# mkdir hdfs
# cd hdfs
# mkdir name
# mkdir data
# hdfs namenode -format
10.启动hdfs
# cd /simple/hadoop-2.4.1/sbin
# ./start-all.sh
11.查看进程
# jps
Jps
ResourceManager
SecondaryNameNode
NameNode
NodeManager
DataNode
12。在浏览器地址栏输入:
http://localhost:50070(HDFS管理界面)
http://localhost:8088(MR管理界面)
【Hadoop】配置环境-伪分布式的更多相关文章
- Ubuntu16.04 下 hadoop的安装与配置(伪分布式环境)
一.准备 1.1创建hadoop用户 $ sudo useradd -m hadoop -s /bin/bash #创建hadoop用户,并使用/bin/bash作为shell $ sudo pass ...
- Hadoop学习2—伪分布式环境搭建
一.准备虚拟环境 1. 虚拟环境网络设置 A.安装VMware软件并安装linux环境,本人安装的是CentOS B.安装好虚拟机后,打开网络和共享中心 -> 更改适配器设置 -> 右键V ...
- ubantu18.04下Hadoop安装与伪分布式配置
1 下载 下载地址:http://mirror.bit.edu.cn/apache/hadoop/common/stable2/ 2 解压 将文件解压到 /usr/local/hadoop cd ~ ...
- Hadoop单机和伪分布式安装
本教程为单机版+伪分布式的Hadoop,安装过程写的有些简单,只作为笔记方便自己研究Hadoop用. 环境 操作系统 Centos 6.5_64bit 本机名称 hadoop001 本机IP ...
- Hadoop部署方式-伪分布式(Pseudo-Distributed Mode)
Hadoop部署方式-伪分布式(Pseudo-Distributed Mode) 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.下载相应的jdk和Hadoop安装包 JDK:h ...
- 使用Docker搭建Hadoop集群(伪分布式与完全分布式)
之前用虚拟机搭建Hadoop集群(包括伪分布式和完全分布式:Hadoop之伪分布式安装),但是这样太消耗资源了,自学了Docker也来操练一把,用Docker来构建Hadoop集群,这里搭建的Hado ...
- Win10环境下Hadoop(单节点伪分布式)的安装与配置--bug(yarn的8088端口打不开+)
一.本文思路 [1].配置java环境–JDK12(Hadoop的底层实现语言是java,hadoop运行需要JDK环境) [2].安装Hadoop 1.解压hadop 2.配置hadoop环境变量 ...
- Hadoop 2.7 伪分布式环境搭建
1.安装环境 ①.一台Linux CentOS6.7 系统 hostname ipaddress subnet mask ...
- Hadoop安装-单机-伪分布式简单部署配置
最近在搞大数据项目支持所以有时间写下hadoop随笔吧. 环境介绍: Linux: centos7 jdk:java version "1.8.0_181 hadoop:hadoop-3.2 ...
随机推荐
- solidity语言6
映射 可以认为是哈希,格式 mapping(_KeyType => _ValueType) pragma solidity ^0.4.0; contract MappingExample { m ...
- mac nvm install
open the url https://github.com/creationix/nvm 1. curl -o- https://raw.githubusercontent.com/creatio ...
- PHP腾讯与百度坐标转换
function coordinate_switch($a,$b){//百度转腾讯坐标转换 $a = Latitude , $b = Longitude $x = (double)$b - 0.006 ...
- May 17th 2017 Week 20th Wednesday
Men are nearly always willing to believe what they wish. 人总爱想入非非,把愿望变成现实. It is just the humancondit ...
- 数据库操作(c#)
windows窗体程序中的数据库操作部分 //数据库连接串 internal static string connstring = "Data Source = 192.168.1.1; I ...
- python入门23 pymssql模块(python连接sql server增删改数据 )
增删改数据必须connect.commit()才会生效 回滚函数 connect.rollback() 连接数据库 ''' dinghanhua sql server增删改 ''' import py ...
- 在已有软件加壳保护 下实现 Inline hook
如写的不好请见谅,本人水平有限. 个人简历及水平:. http://www.cnblogs.com/hackdragon/p/3662599.html 正常情况: 接到一个项目实现对屏幕输出内容的获取 ...
- http://codeforces.com/gym/100623/attachments E题
http://codeforces.com/gym/100623/attachments E题第一个优化它虽然是镜像对称,但它毕竟是一一对称的,所以可以匹配串和模式串都从头到尾颠倒一下第二个优化,与次 ...
- POJ 3020 Antenna Placement 【最小边覆盖】
传送门:http://poj.org/problem?id=3020 Antenna Placement Time Limit: 1000MS Memory Limit: 65536K Total ...
- 【题解】UVA756 Biorhythms (中国剩余定理)
UVA756:https://www.luogu.org/problemnew/show/UVA756 思路 几乎是裸的中国剩余定理模板题 但是需要注意的是此题并不是求最小正整数解 而是求大于d的解 ...