MapReduce-自动化运行配置

1.打包时指定main  Class信息

注意：默认直接通过maven插件打成jar包中没有指定main class信息，因此在运行mapreduce的jar包时必须在指令后明确main class信息  需要在插件进行配置

 <build>
     <plugins>
       <plugin>
         <groupId>org.apache.maven.plugins</groupId>
         <artifactId>maven-jar-plugin</artifactId>
         <configuration>
           <outputDirectory>${basedir}/target</outputDirectory>
           <archive>
             <manifest>
               <!-- 在打包插件中指定main class 信息 -->
               <mainClass>com.yt.wordcount.WordCountJob</mainClass>
             </manifest>
           </archive>
         </configuration>
       </plugin>
     </plugins>
 </build>         

　　执行命令：clean   package

　　

2.使用wagon插件实现自动上传至hadoop集群

 <build>
   <!--扩展maven的插件中加入ssh插件-->
     <extensions>
         <extension>
             <groupId>org.apache.maven.wagon</groupId>
             <artifactId>wagon-ssh</artifactId>
             <version>2.8</version>
         </extension>
     </extensions>
     <plugins>
         <plugin>
             <groupId>org.codehaus.mojo</groupId>
             <artifactId>wagon-maven-plugin</artifactId>
             <version>1.0</version>
             <configuration>
                 <fromFile>target/test.jar 或者 ${project.build.finalName}.jar</fromFile>
                                  <!--user是用户名  password是密码 -->
                 <url>scp://user:password@192.168.20.128/root</url>
             </configuration>
         </plugin>
     </plugins>
 </build>

　　执行命令：打包后直接执行   wagon   upload-single

　　

3.使用wagon上传jar完成后远程执行job作业

　　wagon配置加入commands命令

 <plugin>
   <groupId>org.codehaus.mojo</groupId>
   <artifactId>wagon-maven-plugin</artifactId>
   <version>1.0</version>
   <configuration>
     <fromFile>target/${project.build.finalName}.jar</fromFile>
     <url>scp://root:1@10.15.0.5/root</url>
     <commands>
       <!-- 通过sh 执行shell脚本文件 -->
       <command>nohup hadoop-2.9./bin/hadoop jar hadoop_wordcount-1.0-SNAPSHOT.jar > /root/mapreduce.out >&amp; &amp; </command>
     </commands>
     <displayCommandOutputs>true</displayCommandOutputs>
   </configuration>
 </plugin>

　　执行命令：clean  package  wagon：upload-single   wagon：sshexec

4.idea简化指令插件下载

　　1.每次执行太繁琐，在idea有一个插件可以简化

2.在执行的代码右键

3.添加指令  每个指令以空格分割   点击ok

　　4.到这一步基本就完成了   有了这个插件为我们省去了很多步骤

　　　右键就可以运行了