java爬取读者文摘杂志

java爬虫入门实战练习

此代码仅用于学习研究

此次练习选择了读者文摘杂志网站进行文章爬取

练习中用到的都只是一些简单的方法，不过过程中复习了输入流输出流的使用以及文件的创建写入等知识，对自己还是有所帮助的

---

经小伙伴提醒，部分文章存在乱码，我们将这两个地方修改一下就可以了

代码可以直接运行（需要Jsoup包），唯一需要在E盘下创建一个名为FileTest的文件夹存储下载的文件或者修改一下代码中的存储路径

第一处（第52行）修改为：

OutputStreamWriter fileOutputStream = new OutputStreamWriter(new FileOutputStream(file,true),"UTF-8");

第二处（第55行）修改为：

fileOutputStream.write(Content.toString());

原代码：

 import java.io.File;
 import java.io.FileOutputStream;

 import org.jsoup.Jsoup;
 import org.jsoup.nodes.Document;
 import org.jsoup.select.Elements;

 public class testDUZHE {

     public static void main(String[] args) throws Exception {
         // 第一步：访问读者首页
         String url = "https://www.dzwzzz.com/";
         Document document = Jsoup.connect(url).get();

         // 第二步：解析页面
         Elements datatime = document.select("a");
         //获取a标签
         for(int num=0;num<datatime.size();num++) {
             //判断文章链接
             if(datatime.get(num).attr("href").charAt(4)=='_') {
                 //获取a标签中href属性的值
                 String deHref = datatime.get(num).attr("href");
                 System.out.println("==================\n\n\n");
                 System.out.println("开始获取"+deHref.substring(0, 4)+"年第"+deHref.substring(5,7)+"期");
                 System.out.println("\n\n\n==================");
                 //根据a标签的值创建不同年份期刊的文件夹
                 File fileTest = new File("E:/FileTest/"+datatime.get(num).text());
                 fileTest.mkdirs();//创建文件夹
                 //访问不同期刊页面
                 String DuZhe = "https://www.dzwzzz.com/"+deHref;
                 Document  newdocu = Jsoup.connect(DuZhe).get();
                 //获取a标签
                 Elements a_Elements = newdocu.select("a");
                 for(int i=0;i<a_Elements.size();i++) {
                     //判断是否是文章链接
                     if (a_Elements.get(i).attr("href").charAt(0)=='d'
                             &&a_Elements.get(i).attr("href").charAt(1)=='u')
                     {
                         //访问文章所在页
                         String purpose = "https://www.dzwzzz.com/"+deHref.substring(0, 8)+a_Elements.get(i).attr("href");
                         Document finaldocu = Jsoup.connect(purpose).get();
                         //获取文章标题
                         Elements h1_elements = finaldocu.select("h1");
                         String title = h1_elements.text();
                         //获取文章内容
                         Elements p_Elements = finaldocu.select("p");
                         String Content = p_Elements.text();
                         //创建txt文件
                         File file = new File("E:/FileTest/"+datatime.get(num).text()+"/"+title+".txt");
                         //创建文件输出流
                         FileOutputStream fileOutputStream = new FileOutputStream(file,true);
                         //这里的true功能是不覆盖原有内容，所以多次运行程序会造成重复
                            //将文章内容写入文件
                         fileOutputStream.write(Content.getBytes());
                            fileOutputStream.close();
                            System.out.println("文章地址"+purpose);
                            System.out.println(title+"  下载成功！");
                     }
                 }
             }
         }

     }

 }

运行截图：

下载成功文件示例：