YARN配置

环境搭建

• mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

• yarn-site.xml

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

启动/停止

# 确保已经启动namenode、datanode
# sbin/start-dfs.sh
$ sbin/start-yarn.sh    # 启动Yarn
$ sbin/stop-yarn.sh     # 停止Yarn

Jar包提交到Yarn运行

• 使用参数定义输入、输出路径

// 在Job作业中修改输入输出路径“input output”为"args[0] args[1]"
FileInputFormat.setInputPaths(job,new Path(args[0]));   //参数1
FileOutputFormat.setOutputPath(job,new Path(args[1]));  //参数2

• 打包项目一定要切换到项目的根目录下运行！

$ mvn clean package -DskipTests # 使用命令打包,可以跳过测试

• Jar包提价Yarn运行

# 格式：hadoop jar jar包位置 要运行的主类名 input output
$ hadoop jar hdfs-1.0.jar com.hadoop.xxx.AccessYARNApp input output