安装eclipse的hadoop开发环境

eclipse:安装路径/usr/local/eclipse

hadoop-2.5.2 /usr/local/hadoop/hadoop-2.5.2

hadoop2x-eclipse-plugin-master已经下载到下载文件夹

//以上文件都是从官网下载

ant1.9.7  安装位置/esr/local/  按照链接的文档所说的安装成功

//ant命令形成jar包

将文件目录切换到含有build.xml的文件下

ant jar -Declipse.home=/usr/local/eclipse -Dhadoop.home=/usr/local/hadoop/hadoop-2.5.2 -Dversion=2.5.0

接下来会出现一系列问题：依赖包的问题；文件不存在或者文件版本不符的问题，此时需要下载或者修改版本号

1问题出现解决方案

2问题出现解决方案

复制成功：在"/home/amelile/下载/hadoop2x-eclipse-plugin/build/contrib/eclipse-plugin下生成hadoop-eclipse-plugin-2.5.2.jar插件

将生成的hadoop-eclipse-plugin-2.5.2.jar文件复制到eclipse/plugin下

设置环境变量

vim /etc/profile

export HADOOP_HOME=/usr/local/hadoop/hadoop-2.5.2

export PATH=$PATH:$HADOOP_HOME/sbin

export PATH=$PATH:$HADOOP_HOME/bin

source /etc/profile

core-default.xml,hdfs-default.xml,mapred-default.xml（位置：./hadoop-2.5.2/etc/hadoop）需要配置这三个文件：

core-site.xml:

    <configuration>
       <property>
         <name>fs.default.name</name>
         <value>hdfs://localhost:9000</value>
       </property>
       <property>
         <name>hadoop.tmp.dir</name>
         <value>/opt/Hadoop/hadoop-2.7.2/tmp</value>
       </property>
    </configuration>

mapred-site.xml

  <configuration>
    <property>
      <name>mapreduce.framework.name</name>
      <value>yarn</value>
    </property>
  </configuration>

hdfs-site.xml

    <configuration>
        <property><!--设置副本数1，不写默认是3份-->
          <name>dfs.replication</name>
          <value>1</value>
        </property>  
        <property>
          <name>dfs.permissions</name>
          <value>false</value>
        </property>
    </configuration>

 修改yarn-site.xml

<configuration>
<!-- Site specific YARN configuration properties -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
        <property>                                   //10.15修改，因为运行中的无线循环问题
        <name>yarn.resourcemanager.address</name>
        <value>localhost:8032</value>  
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>localhost:8030</value>  
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>localhost:8031</value>  
</configuration>

 格式化hdfs文件系统

./bin/hadoop namenode -format  //进入hadoop2.5.2 之后

启动hadoop线程

./sbin/start-all.sh  //在hadoop2.5.2目录下
./sbin/stop-all.sh   //也是在hadoop2.5.2目录下