java网络爬虫，乱码问题终于完美解决

第一次写爬虫，被乱码问题困扰两天，试了很多方法都不可以，今天随便一试，居然好了。

在获取网页时创建了一个缓冲字节输入流，问题就在这个流上，添加标红代码即可

BufferedReader in = null;

in = new BufferedReader(new InputStreamReader(
                    connection.getInputStream(),"utf-8"));

附上代码，以供参考。

 public String sendGet(String url) {
         Writer write = null;
         // 定义一个字符串用来存储网页内容
         String result = null;
         // 定义一个缓冲字符输入流
         BufferedReader in = null;
         try {
             // 将string转成url对象
             URL realUrl = new URL(url);
             // 初始化一个链接到那个url的连接
             URLConnection connection = realUrl.openConnection();
             // 开始实际的连接
             connection.connect();
             // 初始化 BufferedReader输入流来读取URL的响应
             in = new BufferedReader(new InputStreamReader(
                     connection.getInputStream(),"utf-8"));
             // 用来临时存储抓取到的每一行的数据
             String line;

             File file = new File(saveEssayUrl, fileName);
             File file2 = new File(saveEssayUrl);

             if (file2.isDirectory() == false) {
                 file2.mkdirs();
                 try {
                     file.createNewFile();
                     System.out.println("********************");
                     System.out.println("创建" + fileName + "文件成功！！");

                 } catch (IOException e) {
                     e.printStackTrace();
                 }

             } else {
                 try {
                     file.createNewFile();
                     System.out.println("********************");
                     System.out.println("创建" + fileName + "文件成功！！");
                 } catch (IOException e) {
                     e.printStackTrace();
                 }
             }
             Writer w = new FileWriter(file);

             while ((line = in.readLine()) != null) {
                 // 遍历抓取到的每一行并将其存储到result里面
 //                line = new String(line.getBytes("utf-8"),"gbk");
                 w.write(line);
                 w.write("\r\n");
                 result += line;
             }
             w.close();
         } catch (Exception e) {
             System.out.println("发送GET请求出现异常！" + e);
             e.printStackTrace();
         }
         // 使用finally来关闭输入流
         finally {
             try {
                 if (in != null) {
                     in.close();
                 }

             } catch (Exception e2) {
                 e2.printStackTrace();
             }
         }
         return result;
     }