Hadoop 的安装及配置

Linux

RedHat--CentOs     CentOs 6.4

Debian--Ubuntu

 

VMware 虚拟机

关于虚拟机实现上网的解决办法

        NAT: 网络地址转换

当在专用网内部的一些主机本来已经分配到了本地IP地址即仅在本专用网内使用的专用地址，但现在又想和因特网上的主机通讯时可以使用NAT的方法。这种方法需要在专用网连接到因特网的路由器上安装路由器软件即NAT路由器他至少有一个有效的外部全球IP地址，这样所有使用本地地址的主机在和外界通信时都要在NAT路由器上转换成全球IP地址，才能和因特网连接。

        主机给虚拟机分配一个ip地址，虚拟机通过NAT方式为其内部的操作系统分配IP地址。

        桥接：所有操作系统处在同一个网段，使用相同的主机IP。

centos的安装

        镜像安装：直接安装新的系统，自动分配IP地址不用管

        安装已有虚拟机：使用vmdk文件安装后，需要修改以下几点

1.mac地址，不使用动态生成的ip地址

2. vi /etc/sysconfig/network-scripts/ifcfg-eth0

    vi /etc/udev/rules.d/70-persistent-net.rules

以上内容修改即可

 

 

secureCRT

SecureCRT是一款支持SSH（SSH1和SSH2）的终端仿真程序，简单地说是Windows下登录UNIX或Linux服务器主机的软件。

serial：串行接口。

ssh1：SSH 为 Secure Shell 的缩写，由 IETF 的网络小组（Network Working Group）所制定；SSH 为建立在应用层基础上的安全协议。SSH 是目前较可靠，专为远程登录会话和其他网络服务提供安全性的协议。利用 SSH 协议可以有效防止远程管理过程中的信息泄露问题。SSH最初是UNIX系统上的一个程序，后来又迅速扩展到其他操作平台。SSH在正确使用时可弥补网络中的漏洞。SSH客户端适用于多种平台。几乎所有UNIX平台—包括HP-UX、Linux、AIX、Solaris、Digital UNIX、Irix，以及其他平台，都可运行SSH。

telnet：Telnet协议是TCP/IP协议族中的一员，是Internet远程登陆服务的标准协议和主要方式。它为用户提供了在本地计算机上完成远程主机工作的能力。在终端使用者的电脑上使用telnet程序，用它连接到服务器。终端使用者可以在telnet程序中输入命令，这些命令会在服务器上运行，就像直接在服务器的控制台上输入一样。可以在本地就能控制服务器。要开始一个telnet会话，必须输入用户名和密码来登录服务器。Telnet是常用的远程控制Web服务器的方法。

Rlogin：

DHCP:DHCP（Dynamic Host Configuration Protocol，动态主机配置协议）是一个局域网的网络协议，使用UDP协议工作， 主要有两个用途：给内部网络或网络服务供应商自动分配IP地址，给用户或者内部网络管理员作为对所有计算机作中央管理的手段，在RFC 2131中有详细的描述。DHCP有3个端口，其中UDP67和UDP68为正常的DHCP服务端口，分别作为DHCP Server和DHCP Client的服务端口；546号端口用于DHCPv6 Client，而不用于DHCPv4，是为DHCP failover服务，这是需要特别开启的服务，DHCP failover是用来做“双机热备”的。

DNS:DNS（Domain Name System，域名系统），因特网上作为域名和IP地址相互映射的一个分布式数据库，能够使用户更方便的访问互联网，而不用去记住能够被机器直接读取的IP数串。通过主机名，最终得到该主机名对应的IP地址的过程叫做域名解析（或主机名解析）。DNS协议运行在UDP协议之上，使用端口号53。在RFC文档中RFC 2181对DNS有规范说明，RFC 2136对DNS的动态更新进行说明，RFC 2308对DNS查询的反向缓存进行说明.

网关：

file zilla

是一款使用ftp（文件传输协议）的软件，通过IP地址连接可实现数据传送。

 

vmnet0 vmnet1 vmnet8

vmnet0，实际上就是一个虚拟的网桥，这个网桥有很若干个端口，一个端口用于连接你的Host，一个端口用于连接你的虚拟机，他们的位置是对等的，谁也不是谁的网关。所以在Bridged模式下，你可以让虚拟机成为一台和你的Host相同地位的机器。
vmnet1，这是一个Host-Only网络模式，这是用于建立一个与世隔绝的网络环境所用到的，其中vmnet1也是一个虚拟的交换机，交换机的一个 端口连接到你的Host上，另外一个端口连接到虚拟的DHCP服务器上（实际上是vmware的一个组件），另外剩下的端口就是连虚拟机了。虚拟网卡 “VMWare Virtual Ethernet Adapter for VMnet1”作为虚拟机的网关接口，为虚拟机提供服务。在虚拟机启动之后，如果你用ipconfig命令，你会很清楚的看到，你的默认网关就是指向 “VMWare Virtual Ethernet Adapter for VMnet1”网卡的地址的。（实际上它并不能提供路由，这是VMware设计使然，它是干了除了提供路由之外的一些事情——实际上是我也不知道它干了什 么事情），这里没有提供路由主要表现在没有提供NAT服务，使得虚拟机不可以访问Host-Only模式所指定的网段之外的地址。
vmnet8，这是一个NAT方式，最简单的组网方式了，从主机的“VMWare Virtual Ethernet Adapter for VMnet8”虚拟网卡出来，连接到vmnet8虚拟交换机，虚拟交换机的另外的口连接到虚拟的NAT服务器（这也是一个Vmware组件），还有一个口 连接到虚拟DHCP服务器，其他的口连虚拟机，虚拟机的网关即是“VMWare Virtual Ethernet Adapter for VMnet8”网卡所在的机器，废话，这肯定就是你的Host机器啦。同样，用ipconfig也可以看出来，你的虚拟机的默认网关也指向了你的 “VMWare Virtual Ethernet Adapter for VMnet8”虚拟网卡地址。相比之下，可以看出来，NAT组网方式和Host-Only方式，区别就在于是否多了一个NAT服务。

Hadoop

HDFS

 YARN

 

mapreduce

安装Hadoop

 

 

 windows里的hosts文件：c Windows system32 drivers etc hosts

 

2.1.3 关闭防火墙

检查是否关闭：service iptables status

关闭：service iptables stop

开机不自启：

 

3.1.4 安装jdk

3.1.5 安装Hadoop

Hadoop包在/opt/software 下  tar -zxvf hadoop-2.5.0-gz -C 安装目录

 

接下来配置：

NO1

/etc/profile    --

 

# JAVA_HOME

export JAVA_HOME=/opt/modules/jdk1.7.0_67

export PATH=$PATH:$JAVA_HOME/bin

 

# HADOOP_HOME

export HADOOP_HOME=/opt/modules/hadoop-2.5.0

export PATH=$PATH:$HADOOP_HOME/bin

 

NO2

hadoop-env.sh

export JAVA_HOME=/opt/modules/jdk1.7.0_67

 

NO3   core-site.xml

<configuration>

<!--  配置namenode所在的主机和端口 -->

<property>

<name>fs.defaultFS</name>

<value>hdfs://lee.com.cn:8020</value>

</property>

 

<!--  hadoop在运行过程中产生的临时文件放置点 -->

<property>

<name>hadoop.tmp.dir</name>

<value>/opt/modules/hadoop-2.5.0/tmp</value>

</property>

</configuration>

 

NO4 hdfs.site.xml

<configuration>

<!-- 伪分布式的副本数量设置 和datanode数量一直表示就一台服务器 -->

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

</configuration>

 

NO5 mapred.-site.xml.template ---mapred.-site.xml

<configuration>

<!--告诉 Hadoop mapreduce运行在yarn上  -->

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

</configuration>

 

NO6 yarn-site.xml

<configuration>

<!-- nodemanager 获取数据的方式是shuffle -->

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<!-- 指定yarn的管理者resourcemanager在哪里 -->

<property>

<name>yarn.resourcemanager.hostname</name>

<value>lee.com.cn</value>

</property>

</configuration>

 

NO7

slaves

lee.com.cn

 

NO8 格式化

hdfs namenode -format

 

NO 9 启动

./hadoop-daemon.sh start namenode

./hadoop-daemon.sh start datanode

./hadoop-daemon.sh start secondarynamenode

./yarn-daemon.sh start resourcemanager

./yarn-daemon.sh start nodemanager

 

查看

jps

hostname：50070

hostname：8088