《Hadoop学习之路》学习实践二——配置idea远程调试hadoop

背景：在上篇文章中按照大神“扎心了老铁”的博客，在服务器上搭建了hadoop的伪分布式环境。大神的博客上是使用eclipse来调试，但是我入门以来一直用的是idea，eclipse已经不习惯，于是便摸索着配置了idea远程调试hadoop的环境。

步骤一：

下载与服务器上的hadoop同版本的hadoop安装包，我下载的是hadoop-2.7.7.tar.gz，下载后解压到某个目录，比如D:\Software\hadoop-2.7.7，不需要其他配置和安装

步骤二：

下载hadooop.dll和winutils.exe，这两个文件主要是调试运行的时候要用，不然运行会报错。我是在网上下载的2.7.x版本的压缩包。解压后放置在D:\Software\hadoop-2.7.7/bin/文件夹下：

同时将hadoop.dll文件复制到C:\Windows\System32下，并且重启电脑，否则会报错

Exception in thread "main"java.lang.UnsatisfiedLinkError:org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z

步骤三：

配置系统环境变量：

配置环境变量Path，在现有Path后追加 %HADOOP_HOME%\bin;%HADOOP_HOME%\sbin;

步骤四：

在idea中新建一个maven项目，配置pom.xml依赖

<dependencies>
        <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-client -->
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>2.7.7</version>
        </dependency>

        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>2.7.7</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>2.7.7</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-mapreduce-client-core</artifactId>
            <version>2.7.7</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-mapreduce-client-jobclient</artifactId>
            <version>2.7.7</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-mapreduce-client-common</artifactId>
            <version>2.7.7</version>
        </dependency>

    </dependencies>

步骤五：将服务器上集群中hadoop/etc/hadoop/下的core-site.xml和hdfs-site.xml和log4j.properties配置复制到idea项目下的resources路径下

注意1：core-site.xml中的fs.defaultFS的值的ip不可用localhost，否则服务器不暴露ip，从PC本地上无法连上hadoop服务；ip在服务器和本地同步修改，服务器端修改后需重启hadoop服务

步骤六：代码测试

测试1-网上的hdfs读写的例子up2hdfs.java，直接运行即可

import org.apache.commons.lang.StringUtils;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;

import java.io.*;
import java.net.URI;

public class up2hdfs {

    private static String HDFSUri = "hdfs://10.164.96.220:9000";

    /**
     * 1、获取文件系统
     *
     * @retrun FileSystem 文件系统
     */

    public static FileSystem getFileSystem(){

        //读取配置文件
        Configuration conf = new Configuration();

        //文件系统
        FileSystem fs = null;
        String hdfsUri = HDFSUri;
        if (StringUtils.isBlank(hdfsUri)){
            //返回默认文件系统，如果在hadoop集群下运行，使用此种方法可直接获取默认文件系统；
            try{
                fs = FileSystem.get(conf);
            }catch(IOException e){
                e.printStackTrace();
            }
        }else{
            //返回指定的文件系统，如果在本地测试，需要此种方法获取文件系统；
            try{
                URI uri = new URI(hdfsUri.trim());
                fs = FileSystem.get(uri,conf);
            } catch (Exception e) {
                e.printStackTrace();
            }
        }
        return fs ;
    }

    /**
     * 2、创建文件目录
     * @param path 文件路径
     */
    public static void mkdir(String path){

        try {
            FileSystem fs = getFileSystem();
            System.out.println("FilePath"+path);
            //创建目录
            fs.mkdirs(new Path(path));
            //释放资源
            fs.close();
        } catch (IOException e) {
            e.printStackTrace();
        }
    }

    /**
     * 3、判断目录是否存在
     *
     * @param filePath 目录路径
     * @param create 若不存在是否创建
     *
     */
    public static boolean existDir(String filePath,boolean create){

        boolean flag = false;

        if (StringUtils.isNotEmpty(filePath)){
            return flag;
        }

        try{
            Path path = new Path(filePath);
            //FileSystem对象
            FileSystem fs = getFileSystem();
            if (create){
                if (!fs.exists(path)){
                    fs.mkdirs(path);
                }
            }

            if (fs.isDirectory(path)){
                flag = true;
            }

        }catch (Exception e){
            e.printStackTrace();

        }

        return flag;

    }

    /**
     * 4、本地文件上传至HDFS
     *
     * @param srcFile 源文件路径
     * @param destPath 目的文件路径
     */

    public static void copyFileToHDFS(String srcFile,String destPath) throws Exception{

        FileInputStream fis = new FileInputStream(new File(srcFile));//读取本地文件
        Configuration config = new Configuration();
        FileSystem fs = FileSystem.get(URI.create(HDFSUri+destPath),config);
        OutputStream os = fs.create(new Path(destPath));
        //cpoy
        IOUtils.copyBytes(fis,os,4096,true);

        System.out.println("copy 完成 ......");
        fs.close();
    }

    /**
     * 5、从HDFS下载文件到本地
     *
     * @param srcFile 源文件路径
     * @param destPath 目的文件路径
     *
     */
    public static void getFile(String srcFile,String destPath)throws Exception{

        //HDFS文件地址
        String file = HDFSUri+srcFile;
        Configuration config = new Configuration();
        //构建filesystem
        FileSystem fs = FileSystem.get(URI.create(file),config);
        //读取文件
        InputStream is = fs.open(new Path(file));
        IOUtils.copyBytes(is,new FileOutputStream(new File(destPath)),2048,true);
        System.out.println("下载完成......");
        fs.close();
    }

    /**
     * 6、删除文件或者文件目录
     *
     * @param path
     */
    public static void rmdir(String path){

        try {
            //返回FileSystem对象
            FileSystem fs = getFileSystem();

            String hdfsUri = HDFSUri;
            if (StringUtils.isNotBlank(hdfsUri)){

                path = hdfsUri+path;
            }
            System.out.println("path"+path);
            //删除文件或者文件目录 delete(Path f)此方法已经弃用
            System.out.println(fs.delete(new Path(path),true));

            fs.close();
        } catch (Exception e) {
            e.printStackTrace();
        }

    }

    /**
     * 7、读取文件的内容
     *
     * @param filePath
     * @throws IOException
     */
    public static void readFile(String filePath)throws IOException{

        Configuration config = new Configuration();
        String file = HDFSUri+filePath;
        FileSystem fs = FileSystem.get(URI.create(file),config);
        //读取文件
        InputStream is =fs.open(new Path(file));
        //读取文件
        IOUtils.copyBytes(is, System.out, 2048, false); //复制到标准输出流
        fs.close();
    }

    /**
     * 主方法测试
     */
    public static void main(String[] args) throws Exception {//200         //连接fs

        FileSystem fs = getFileSystem();
        System.out.println(fs.getUsed());
        //创建路径
        mkdir("/dit2");
        //验证是否存在
        System.out.println(existDir("/dit2",false));
        //上传文件到HDFS
        copyFileToHDFS("G:\\testFile\\HDFSTest.txt","/dit/HDFSTest.txt");
        //下载文件到本地
        getFile("/dit/HDFSTest.txt","G:\\HDFSTest.txt");
        // getFile(HDFSFile,localFile);
        //删除文件
        rmdir("/dit2");
        //读取文件
        readFile("/dit/HDFSTest.txt");
    }

}

测试2-网上的mapreduce的例子

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;
import java.io.IOException;
import java.util.StringTokenizer;

public class WcMapper extends Mapper<LongWritable,Text,Text,IntWritable>{
    @Override
    protected void map(LongWritable key, Text value, Context context)
            throws IOException, InterruptedException {
// IntWritable one=new IntWritable(1);
        String line=value.toString();
        StringTokenizer st=new StringTokenizer(line);
//StringTokenizer "kongge"
        while (st.hasMoreTokens()){
            String word= st.nextToken();
            context.write(new Text(word),new IntWritable(1));   //output
        }
    }
}

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;
import java.io.IOException;

/**
 * Created by iespark on 2/26/16.
 */
public class McReducer extends Reducer<Text,IntWritable,Text,IntWritable> {
    @Override
    protected void reduce(Text key, Iterable<IntWritable> iterable, Context context) throws IOException, InterruptedException {
        int sum=0;
        for (IntWritable i:iterable){
            sum=sum+i.get();
        }
        context.write(key,new IntWritable(sum));
    }
}

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

/**
 * Created by iespark on 2/26/16.
 */
public class JobRun {
    public static void main(String[] args){
        System.setProperty("hadoop.home.dir", "D:\\Software\\hadoop-2.7.7");
        Configuration conf=new Configuration();
        try{
            Job job = Job.getInstance(conf, "word count");
//            Configuration conf, String jobName;
            job.setJarByClass(JobRun.class);
            job.setMapperClass(WcMapper.class);
            job.setReducerClass(McReducer.class);
            job.setOutputKeyClass(Text.class);
            job.setOutputValueClass(IntWritable.class);
            //解决No job jar file set. User classes may not be found. See Job or Job#setJar(String)报错的问题
//            job.setJar("E:\\idea2017workspace\\myhadoop\\out\\artifacts\\myhadoop_jar\\myhadoop.jar");

            FileInputFormat.addInputPath(job,new Path(args[0]));
            FileSystem fs= FileSystem.get(conf);
            Path op1=new Path(args[1]);
            if(fs.exists(op1)){
                fs.delete(op1, true);
                System.out.println("存在此输出路径，已删除！！！");
            }
            FileOutputFormat.setOutputPath(job,op1);
            System.exit(job.waitForCompletion(true)?0:1);
        }catch (Exception e){
            e.printStackTrace();
        }
    }
}

JobRun.java运行时需要输入参数，hdfs计算输入和输出的路径，或者在run configurations中配置，如下图，注意路径的hdfs地址需要为core-site.xml中的地址