hadoop安装和配置

这里只是涉及了hadoop的一些思路，所以完全分布式配置文件并没有哦！以后会把详细的配置过程和使用环境补充在另外一篇博客中

hadoop的安装：

———————————————————————————————————————————————|

下载hadoop软件　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　  |　　

解压安装：tar -zvxf hadoop软件 -C /basesoft　　　　　　　　　　　　　　　　　　　　　　　　　　　|

设置环境：/etc/profile　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　   　  |

[HADOOP_HOME=/basesoft/hadoop/PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin]　　     |

记住source /etc/profile　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　    |

查询是否安装成功：hadoop version　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 |

———————————————————————————————————————————————-|

好了，是不是很简单呢！

接下来说一下hadoop的单机模式：上面配置完就是了，不要客气哈！（注意配置Java环境哦）

hadoop的伪分布模式：

—————————————————————————————————————|

进入/basesoft/hadoop/etc/hadoop　　　　　　　　　　　　　　　　　　　　　   |

修改以下文件配置：core-site.xml;hdfs-site.xml;mapred-site.xml;yarn-site.xml　　　 |

格式化：hadoop namenode -format　　　　　　　　　　　　　　　　　　　　　|

启动守护进程：start_all.sh(cd /basesoft/hadoop/bin)　　关闭：stop_all.sh　　　  |

jps查询NameNode/DataNode/JobTracker/TaskTracker是否存在　　　　　　　　   |

—————————————————————————————————————|

注意：ssh免密登陆要配置好哦！

下面是伪分布模式的配置详情：

core-site.xml修改

<configuration>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://localhost</value>
    </property>
</configuration>

hdfs-site.xml修改

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

mapred-site.xml修改

<configuration>
    <property>
        <name>mapred.job.tracker</name>
        <value>localhost:端口号</value>
    </property>
</configuration>

yarn-site.sml修改

<!-- yarn-site.xml -->
<configuration>
　　<property>
　　　　<name>yarn.resourcemanager.hostname</name>
　　　　<value>localhost</value>
　　</property>
　　<property>
　　　　<name>yarn.nodemanager.aux-services</name>
　　　　<value>mapreduce_shuffle</value>
　　</property>
</configuration>

　　

hadoop完全分布式：

——————————————————————————|

和伪分布式模式一样（只需要修改配置文件的配置内容）　|

【注意：需要修改slaves文件】　　　　　　　　　　　　 |

——————————————————————————|

今天学会了插入代码：以后就能复制了\(^o^)/~