程序猿看小说还要去找TXT？自己动手爬一个TXT才是正确的打开方式

前言

在贴吧看了个小说追了几天被删帖了，于是自己找书名，打算下载下来看，结果要么是需要充值，要么不提供下载。作为一个猿类，怎么能忍。

好在小说网站多入牛毛，有的采用js加载文字来防采集，有的用css图片替换个别文字来防采集，但这都不是我们今天要攻克的对象，我们只想找一个软柿子来捏捏不想花太多时间和精力，于是就找到了下面的网站，网址我就不放了（我不会告诉你们源码里有的）。

本意是不想花太多时间和精力的，没想到写个博客分享下比写个代码花的时间还多。。。。写代码才花了15分钟，写博客花了我1个小时。

完成效果

Jumony简单介绍和基本使用方法

Jumony简单介绍

Jumony是一个开源项目，主要作用是提供程序员完整的HTML掌控能力，可以用CSS3选择器进行元素的拾取。除了可以做HTML解释器以外，还可以直接进行数据抓取。

基本用法

此处只举一个例子，通过加载网页，然后像JQuery的操作方式一样找到元素，并输出

foreach( var title = new JumonyParser().LoadDocument( "http://www.cnblogs.com/" ).Find( ".post_item a.titlelnk" ) )

Console.WriteLine( title.InnerText() );

Jumony的安装

vs菜单的工具-》Nuget程序包管理器-》管理解决方案的Nuget包

简短的实战

为何叫简短的实战，因为整个过程真的非常简短就完成了。

正文内容获取

首先打开小说的正文部分，用F12查看元素，发现小说的正文是完整的文本，并且是放在id="content"的一个div里的

所以只要用 #content就能找到我们要的元素，并且输出正文，并没有什么难点

标题获取

找到标题，然后呢，这里用一个黑科技直接拿到css选择器

通过F12提供的Copy CSS path，可以无脑的直接获取到css选择器

于是title部分的代码

下一页地址获取

和前面一样，找到下一页的css选择器，这次获取的不是innerText了，这次获取的是href的value，然后Copy css Path。

结果就是如下

思路就是继续循环，一直跟着nextUrl往下抓取就是咯

完整源码

static void Main(string[] args)
        {
            FileStream fs = null;
            if (File.Exists("D\\c.txt"))
            {
                fs = new FileStream("D:\\c.txt", FileMode.Append);
            }
            else
            {
                fs = new FileStream("D:\\c.txt", FileMode.Create);
            }

            StreamWriter sw = new StreamWriter(fs, Encoding.UTF8);

            string baseUrl = "http://www.42xs.com/read/0/404/";
            var nextUrl = "171271.html";
            string url = "";
            string txt = "";
            string title = "";
            while (nextUrl != "")
            {
                try
                {
                    url = baseUrl + nextUrl;
                    var doc = new Ivony.Html.Parser.JumonyParser().LoadDocument(url);
                    var titleDom = doc.FindFirst("#center > div.title > h1");
                    title = titleDom.InnerText();

                    var dom = doc.FindFirst("#content");
                    txt = dom.InnerText();

                    var domNext = doc.FindFirst("#container > div:nth-child(3) > div > div.jump > a:nth-child(6)");
                    nextUrl = domNext.Attribute("href").Value();
                }
                catch
                {
                    Console.WriteLine(string.Format("{0}没有成功", url));
                    nextUrl = "";
                }

                Console.WriteLine(title);
                sw.WriteLine("");
                sw.WriteLine(title);
                sw.WriteLine("");
                sw.WriteLine(txt);
            }
            Console.Write("The End. Press any key to exit...");
            Console.ReadKey();

            sw.Close();
            fs.Close();
        }

程序猿看小说还要去找TXT？自己动手爬一个TXT才是正确的打开方式的更多相关文章

1. 多个.txt文件合并到一个.txt文件中

   如果想要将多个.txt文件合并到一个.txt文件中,可以先将所有.txt文件放到一个文件夹中,然后使用.bat文件完成任务. 例如,在一个文件夹下有1.txt, 2.txt, 3.txt三个文件,想把 ...

2. 程序猿看了要xiao了

   一. 程序猿问科比:“你为什么这么成功? ”科比:“你知道洛杉矶凌晨四点是什么样子吗? ”程序猿:“知道,一般那个时候我还在写代码,怎么了?”科比:“额…….” 二. 女神:你能让这个论坛的人都吵起来 ...

3. 回答阿里社招面试如何准备，顺便谈谈对于Java程序猿学习当中各个阶段的建议

   引言 其实本来真的没打算写这篇文章,主要是LZ得记忆力不是很好,不像一些记忆力强的人,面试完以后,几乎能把自己和面试官的对话都给记下来.LZ自己当初面试完以后,除了记住一些聊过的知识点以外,具体的内容 ...

4. Java程序猿学习的建议（转）

   第一部分:对于尚未做过Java工作的同学,包括一些在校生以及刚准备转行Java的同学. 一.Java基础 首先去找一个Java的基础教程学一下,这里可以推荐一个地址,或者你也可以参照这个地址上去找相应 ...

5. Java程序猿学习当中各个阶段的建议

   回答阿里社招面试如何准备,顺便谈谈对于Java程序猿学习当中各个阶段的建议   引言 其实本来真的没打算写这篇文章,主要是LZ得记忆力不是很好,不像一些记忆力强的人,面试完以后,几乎能把自己和面试官的 ...

6. 顺便谈谈对于Java程序猿学习当中各个阶段的建议

   引言 其实本来真的没打算写这篇文章,主要是LZ得记忆力不是很好,不像一些记忆力强的人,面试完以后,几乎能把自己和面试官的对话都给记下来.LZ自己当初面试完以后,除了记住一些聊过的知识点以外,具体的内容 ...

7. 每一个程序猿都应该用MBP

   换笔记本的想法非常久了.前段时间换工作就想看换工作之后是什么情况吧. 可能工作配的笔记本就是MBP.后来发现是想多了,新工作的笔记本是Thinkpad X240. 配置全然够用了,8G内存+128G的 ...

8. 黑马程序猿_Java 代理机制学习总结

   -------<a href="http://www.itheima.com/"">android培训</a>.<a href=" ...

9. 如何向非技术人（程序猿）解释SQL注入？

   前两天看博客园新闻,有一篇文章名为<我该如何向非技术人解释SQL注入?>(http://kb.cnblogs.com/page/515151/).是一个外国人写的,伯乐在线翻译的.我当时看 ...

随机推荐

1. Xamarin +vs2015 Android 开发GPS loaction 返回 null 小结

   最近公司要开发android 所以研究了一下Xamarin  to android 中个GPS 废话不多说,说重点. 想获取手机上的gps信息必不可少的就是要使用 LocationManager Lo ...

2. rabbitmq安装

   1.从源码安装最新的otperlang17,版本(otp_src_17.1.tar.gz): ./configure make make install 2.有可能要安装    和simplebean ...

3. hadoop本地库与系统版本不一致引起的错误解决方法

   hadoop本地库与系统版本不一致引起的错误解决方法 部署hadoop的集群环境为 操作系统 centos 5.8 hadoop版本为cloudera   hadoop-0.20.2-cdh3u3 集 ...

4. PHP经验集锦

   最近刚刚完成手中的项目,比较闲.来这儿转转,把积累的一些技巧分享给大家!1.关于PHP重定向 方法一:header("Location: index.php"); 方法二:echo ...

5. [博弈]ZOJ3591 Nim

   题意: 给了一串数,个数不超过$10^5$,这串数是通过题目给的一段代码来生成的 int g = S; ; i<N; i++) { a[i] = g; ) { a[i] = g = W; } = ...

6. HBase文件格式演变之路

   Apache HBase是Hadoop的分布式开源的存储管理工具,很适合随机实时的io操作. 我们知道,Hadoop的Sequence File是一个顺序读写,批量处理的系统.可是为什么HBase能做 ...

7. JVM 几个重要的参数

   <本文提供的设置仅仅是在高压力, 多CPU, 高内存环境下设置>  最近对JVM的参数重新看了下, 把应用的JVM参数调整了下.  几个重要的参数 -server -Xmx3g -Xms3 ...

8. 2017&quot;百度之星&quot;程序设计大赛 - 复赛1003&amp;&amp;HDU 6146 Pok&#233;mon GO【数学，递推，dp】

   Pokémon GO Time Limit: 3000/1500 MS (Java/Others)    Memory Limit: 32768/32768 K (Java/Others)Total ...

9. Redis使用及工具类

   原地址:https://www.cnblogs.com/wyy123/p/6078593.html [学会安装redis] 从redis.io下载最新版redis-X.Y.Z.tar.gz后解压,然后 ...

10. mongoDB3.4的sharding集群搭建及JavaAPI的简易使用

    第一部分 在搭建mongoDB之前,我们要考虑几个小问题: 1.我们搭建集群的目的是什么?是多备份提高容错和系统可用性还是横向拓展存储大规模数据还是两者兼有? 如果是为了多备份那么选择replicat ...