1. using System;
  2. using System.Data;
  3. using System.Configuration;
  4. using System.Net;
  5. using System.IO;
  6. using System.Text;
  7. using System.Collections.Generic;
  8. using System.Text.RegularExpressions;
  9. using System.Threading;
  10. using System.Web;
  11. using System.Web.UI.MobileControls;
  12. /// <summary>
  13. /// 网页类
  14. /// </summary>
  15. public class WebPage
  16. {
  17. #region 私有成员
  18. private Uri m_uri;   //url
  19. private List<Link> m_links;    //此网页上的链接
  20. private string m_title;        //标题
  21. private string m_html;         //HTML代码
  22. private string m_outstr;       //网页可输出的纯文本
  23. private bool m_good;           //网页是否可用
  24. private int m_pagesize;       //网页的大小
  25. private static Dictionary<string, CookieContainer> webcookies = new Dictionary<string, CookieContainer>();//存放所有网页的Cookie
  26. #endregion
  27. #region 属性
  28. /// <summary>
  29. /// 通过此属性可获得本网页的网址，只读
  30. /// </summary>
  31. public string URL
  32. {
  33. get
  34. {
  35. return m_uri.AbsoluteUri;
  36. }
  37. }
  38. /// <summary>
  39. /// 通过此属性可获得本网页的标题，只读
  40. /// </summary>
  41. public string Title
  42. {
  43. get
  44. {
  45. if (m_title == "")
  46. {
  47. Regex reg = new Regex(@"(?m)<title[^>]*>(?<title>(?:\w|\W)*?)</title[^>]*>", RegexOptions.Multiline | RegexOptions.IgnoreCase);
  48. Match mc = reg.Match(m_html);
  49. if (mc.Success)
  50. m_title = mc.Groups["title"].Value.Trim();
  51. }
  52. return m_title;
  53. }
  54. }
  55. public string M_html
  56. {
  57. get
  58. {
  59. if (m_html == null)
  60. {
  61. m_html = "";
  62. }
  63. return m_html;
  64. }
  65. }
  66. /// <summary>
  67. /// 此属性获得本网页的所有链接信息，只读
  68. /// </summary>
  69. public List<Link> Links
  70. {
  71. get
  72. {
  73. if (m_links.Count == 0) getLinks();
  74. return m_links;
  75. }
  76. }
  77. /// <summary>
  78. /// 此属性返回本网页的全部纯文本信息，只读
  79. /// </summary>
  80. public string Context
  81. {
  82. get
  83. {
  84. if (m_outstr == "") getContext(Int16.MaxValue);
  85. return m_outstr;
  86. }
  87. }
  88. /// <summary>
  89. /// 此属性获得本网页的大小
  90. /// </summary>
  91. public int PageSize
  92. {
  93. get
  94. {
  95. return m_pagesize;
  96. }
  97. }
  98. /// <summary>
  99. /// 此属性获得本网页的所有站内链接
  100. /// </summary>
  101. public List<Link> InsiteLinks
  102. {
  103. get
  104. {
  105. return getSpecialLinksByUrl("^http://" + m_uri.Host, Int16.MaxValue);
  106. }
  107. }
  108. /// <summary>
  109. /// 此属性表示本网页是否可用
  110. /// </summary>
  111. public bool IsGood
  112. {
  113. get
  114. {
  115. return m_good;
  116. }
  117. }
  118. /// <summary>
  119. /// 此属性表示网页的所在的网站
  120. /// </summary>
  121. public string Host
  122. {
  123. get
  124. {
  125. return m_uri.Host;
  126. }
  127. }
  128. #endregion
  129. /// <summary>
  130. /// 从HTML代码中分析出链接信息
  131. /// </summary>
  132. /// <returns>List<Link></returns>
  133. private List<Link> getLinks()
  134. {
  135. if (m_links.Count == 0)
  136. {
  137. Regex[] regex = new Regex[2];
  138. regex[0] = new Regex(@"<a\shref\s*=""(?<URL>[^""]*).*?>(?<title>[^<]*)</a>", RegexOptions.IgnoreCase | RegexOptions.Singleline);
  139. regex[1] = new Regex("<[i]*frame[^><]+src=(\"|')?(?<url>([^>\"'\\s)])+)(\"|')?[^>]*>", RegexOptions.IgnoreCase);
  140. for (int i = 0; i < 2; i++)
  141. {
  142. Match match = regex[i].Match(m_html);
  143. while (match.Success)
  144. {
  145. try
  146. {
  147. string url = HttpUtility.UrlDecode(new Uri(m_uri, match.Groups["URL"].Value).AbsoluteUri);
  148. string text = "";
  149. if (i == 0) text = new Regex("(<[^>]+>)|(\\s)|( )|&|\"", RegexOptions.Multiline | RegexOptions.IgnoreCase).Replace(match.Groups["text"].Value, "");
  150. Link link = new Link();
  151. link.Text = text;
  152. link.NavigateUrl = url;
  153. m_links.Add(link);
  154. }
  155. catch (Exception ex) { Console.WriteLine(ex.Message); };
  156. match = match.NextMatch();
  157. }
  158. }
  159. }
  160. return m_links;
  161. }
  162. /// <summary>
  163. /// 此私有方法从一段HTML文本中提取出一定字数的纯文本
  164. /// </summary>
  165. /// <param name="instr">HTML代码</param>
  166. /// <param name="firstN">提取从头数多少个字</param>
  167. /// <param name="withLink">是否要链接里面的字</param>
  168. /// <returns>纯文本</returns>
  169. private string getFirstNchar(string instr, int firstN, bool withLink)
  170. {
  171. if (m_outstr == "")
  172. {
  173. m_outstr = instr.Clone() as string;
  174. m_outstr = new Regex(@"(?m)<script[^>]*>(\w|\W)*?</script[^>]*>", RegexOptions.Multiline | RegexOptions.IgnoreCase).Replace(m_outstr, "");
  175. m_outstr = new Regex(@"(?m)<style[^>]*>(\w|\W)*?</style[^>]*>", RegexOptions.Multiline | RegexOptions.IgnoreCase).Replace(m_outstr, "");
  176. m_outstr = new Regex(@"(?m)<select[^>]*>(\w|\W)*?</select[^>]*>", RegexOptions.Multiline | RegexOptions.IgnoreCase).Replace(m_outstr, "");
  177. if (!withLink) m_outstr = new Regex(@"(?m)<a[^>]*>(\w|\W)*?</a[^>]*>", RegexOptions.Multiline | RegexOptions.IgnoreCase).Replace(m_outstr, "");
  178. Regex objReg = new System.Text.RegularExpressions.Regex("(<[^>]+?>)| ", RegexOptions.Multiline | RegexOptions.IgnoreCase);
  179. m_outstr = objReg.Replace(m_outstr, "");
  180. Regex objReg2 = new System.Text.RegularExpressions.Regex("(\\s)+", RegexOptions.Multiline | RegexOptions.IgnoreCase);
  181. m_outstr = objReg2.Replace(m_outstr, " ");
  182. }
  183. return m_outstr.Length > firstN ? m_outstr.Substring(0, firstN) : m_outstr;
  184. }
  185. #region 公有文法
  186. /// <summary>
  187. /// 此公有方法提取网页中一定字数的纯文本，包括链接文字
  188. /// </summary>
  189. /// <param name="firstN">字数</param>
  190. /// <returns></returns>
  191. public string getContext(int firstN)
  192. {
  193. return getFirstNchar(m_html, firstN, true);
  194. }
  195. /// <summary>
  196. /// 此公有方法从本网页的链接中提取一定数量的链接，该链接的URL满足某正则式
  197. /// </summary>
  198. /// <param name="pattern">正则式</param>
  199. /// <param name="count">返回的链接的个数</param>
  200. /// <returns>List<Link></returns>
  201. public List<Link> getSpecialLinksByUrl(string pattern, int count)
  202. {
  203. if (m_links.Count == 0) getLinks();
  204. List<Link> SpecialLinks = new List<Link>();
  205. List<Link>.Enumerator i;
  206. i = m_links.GetEnumerator();
  207. int cnt = 0;
  208. while (i.MoveNext() && cnt < count)
  209. {
  210. if (new Regex(pattern, RegexOptions.Multiline | RegexOptions.IgnoreCase).Match(i.Current.NavigateUrl).Success)
  211. {
  212. SpecialLinks.Add(i.Current);
  213. cnt++;
  214. }
  215. }
  216. return SpecialLinks;
  217. }
  218. /// <summary>
  219. /// 此公有方法从本网页的链接中提取一定数量的链接，该链接的文字满足某正则式
  220. /// </summary>
  221. /// <param name="pattern">正则式</param>
  222. /// <param name="count">返回的链接的个数</param>
  223. /// <returns>List<Link></returns>
  224. public List<Link> getSpecialLinksByText(string pattern, int count)
  225. {
  226. if (m_links.Count == 0) getLinks();
  227. List<Link> SpecialLinks = new List<Link>();
  228. List<Link>.Enumerator i;
  229. i = m_links.GetEnumerator();
  230. int cnt = 0;
  231. while (i.MoveNext() && cnt < count)
  232. {
  233. if (new Regex(pattern, RegexOptions.Multiline | RegexOptions.IgnoreCase).Match(i.Current.Text).Success)
  234. {
  235. SpecialLinks.Add(i.Current);
  236. cnt++;
  237. }
  238. }
  239. return SpecialLinks;
  240. }
  241. /// <summary>
  242. /// 这公有方法提取本网页的纯文本中满足某正则式的文字
  243. /// </summary>
  244. /// <param name="pattern">正则式</param>
  245. /// <returns>返回文字</returns>
  246. public string getSpecialWords(string pattern)
  247. {
  248. if (m_outstr == "") getContext(Int16.MaxValue);
  249. Regex regex = new Regex(pattern, RegexOptions.Multiline | RegexOptions.IgnoreCase);
  250. Match mc = regex.Match(m_outstr);
  251. if (mc.Success)
  252. return mc.Groups[1].Value;
  253. return string.Empty;
  254. }
  255. #endregion
  256. #region 构造函数
  257. private void Init(string _url)
  258. {
  259. try
  260. {
  261. m_uri = new Uri(_url);
  262. m_links = new List<Link>();
  263. m_html = "";
  264. m_outstr = "";
  265. m_title = "";
  266. m_good = true;
  267. if (_url.EndsWith(".rar") || _url.EndsWith(".dat") || _url.EndsWith(".msi"))
  268. {
  269. m_good = false;
  270. return;
  271. }
  272. HttpWebRequest rqst = (HttpWebRequest)WebRequest.Create(m_uri);
  273. rqst.AllowAutoRedirect = true;
  274. rqst.MaximumAutomaticRedirections = 3;
  275. rqst.UserAgent = "Mozilla/4.0 (compatible; MSIE 5.01; Windows NT 5.0)";
  276. rqst.KeepAlive = true;
  277. rqst.Timeout = 10000;
  278. lock (WebPage.webcookies)
  279. {
  280. if (WebPage.webcookies.ContainsKey(m_uri.Host))
  281. rqst.CookieContainer = WebPage.webcookies[m_uri.Host];
  282. else
  283. {
  284. CookieContainer cc = new CookieContainer();
  285. WebPage.webcookies[m_uri.Host] = cc;
  286. rqst.CookieContainer = cc;
  287. }
  288. }
  289. HttpWebResponse rsps = (HttpWebResponse)rqst.GetResponse();
  290. Stream sm = rsps.GetResponseStream();
  291. if (!rsps.ContentType.ToLower().StartsWith("text/") || rsps.ContentLength > 1 << 22)
  292. {
  293. rsps.Close();
  294. m_good = false;
  295. return;
  296. }
  297. Encoding cding = System.Text.Encoding.Default;
  298. string contenttype = rsps.ContentType.ToLower();
  299. int ix = contenttype.IndexOf("charset=");
  300. if (ix != -1)
  301. {
  302. try
  303. {
  304. cding = System.Text.Encoding.GetEncoding(rsps.ContentType.Substring(ix + "charset".Length + 1));
  305. }
  306. catch
  307. {
  308. cding = Encoding.Default;
  309. }
  310. //该处视情况而定 有的需要解码
  311. //m_html = HttpUtility.HtmlDecode(new StreamReader(sm, cding).ReadToEnd());
  312. m_html = new StreamReader(sm, cding).ReadToEnd();
  313. }
  314. else
  315. {
  316. //该处视情况而定 有的需要解码
  317. //m_html = HttpUtility.HtmlDecode(new StreamReader(sm, cding).ReadToEnd());
  318. m_html = new StreamReader(sm, cding).ReadToEnd();
  319. Regex regex = new Regex("charset=(?<cding>[^=]+)?\"", RegexOptions.IgnoreCase);
  320. string strcding = regex.Match(m_html).Groups["cding"].Value;
  321. try
  322. {
  323. cding = Encoding.GetEncoding(strcding);
  324. }
  325. catch
  326. {
  327. cding = Encoding.Default;
  328. }
  329. byte[] bytes = Encoding.Default.GetBytes(m_html.ToCharArray());
  330. m_html = cding.GetString(bytes);
  331. if (m_html.Split('?').Length > 100)
  332. {
  333. m_html = Encoding.Default.GetString(bytes);
  334. }
  335. }
  336. m_pagesize = m_html.Length;
  337. m_uri = rsps.ResponseUri;
  338. rsps.Close();
  339. }
  340. catch (Exception ex)
  341. {
  342. }
  343. }
  344. public WebPage(string _url)
  345. {
  346. string uurl = "";
  347. try
  348. {
  349. uurl = Uri.UnescapeDataString(_url);
  350. _url = uurl;
  351. }
  352. catch { };
  353. Init(_url);
  354. }
  355. #endregion
  356. }

调用

  1. WebPage webInfo = new WebPage("网址");
  2. webInfo.Context;//不包含html标签的所有内容
  3. webInfo.M_html;//包含html标签的内容
  4. ...参考属性

Original:http://blog.csdn.net/yysyangyangyangshan/article/details/6661886

[转]正则表达式相关：C# 抓取网页类（获取网页中所有信息）的更多相关文章

  1. Fiddler如何抓取HTTPS协议的网页

    Fiddler默认只能抓取HTTP协议的网页,不能抓取HTTPS协议的网页,而我们很多时候,都需要抓HTTPS协议的网页,比如抓淘宝数据等.今天,韦玮老师会为大家讲解如何使用Fiddler抓取HTTP ...

  2. Fiddler: 如何抓取HTTPS协议的网页

    作者:韦玮  转载请注明出处 Fiddler默认只能抓取HTTP协议的网页,不能抓取HTTPS协议的网页,而我们很多时候,都需要抓HTTPS协议的网页,比如抓淘宝数据等.今天,韦玮老师会为大家讲解如何 ...

  3. 如何让Python爬虫一天抓取100万张网页

    前言 文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理. 作者: 王平 源自:猿人学Python PS:如有需要Python学习资料的 ...

  4. 「拉勾网」薪资调查的小爬虫，并将抓取结果保存到excel中

    学习Python也有一段时间了,各种理论知识大体上也算略知一二了,今天就进入实战演练:通过Python来编写一个拉勾网薪资调查的小爬虫. 第一步:分析网站的请求过程 我们在查看拉勾网上的招聘信息的时候 ...

  5. Windows环境中，通过Charles工具，抓取安卓手机、苹果手机中APP应用的http、https请求包信息

    Windows环境中,通过Charles工具,抓取安卓手机.苹果手机中APP应用的http.https请求包信息1.抓取安卓手机中APP应用的http请求包信息1)在电脑上操作,查看Windows机器 ...

  6. java抓取动态生成的网页

    最近在做项目的时候有一个需求:从网页面抓取数据,要求是首先抓取整个网页的html源码(后期更新要使用到).刚开始一看这个简单,然后就稀里哗啦的敲起了代码(在这之前使用过Hadoop平台的分布式爬虫框架 ...

  7. nutch 抓取需要登录的网页

    题记:一步一坑,且行且珍惜 最近接到任务,要利用nutch去抓取公司内部系统的文章,可是需要登录才能抓到.对于一个做.net,不熟悉java,不知道hadoop,很少接触linux的我,这个过程真是艰 ...

  8. 网页抓取：PHP实现网页爬虫方式小结

    来源:http://www.ido321.com/1158.html 抓取某一个网页中的内容,需要对DOM树进行解析,找到指定节点后,再抓取我们需要的内容,过程有点繁琐.LZ总结了几种常用的.易于实现 ...

  9. php正则表达式，在抓取内容进行匹配的时候表现不稳定

    最近做了一个 抓取内容的程序,使用php的正则表达式对抓取的内容进行匹配,当进行大量匹配运算的时候,发现偶尔会出现匹配失败的情况.检查不出任何原因. 匹配失败导致匹配结果为空,最终导致写入数据库失败. ...

  10. python3下scrapy爬虫(第二卷:初步抓取网页内容之直接抓取网页）

    上一卷中介绍了安装过程,现在我们开始使用这个神奇的框架 跟很多博主一样我也先选择一个非常好爬取的网站作为最初案例,那么我先用屌丝必备网站http://www.shaimn.com/xinggan/作为 ...

随机推荐

  1. 【xml 报错】xml编译错误

    ---恢复内容开始--- 有时候在xml文件中,特别是于Spring相关的配置文件中,会出现一些不影响程序正常运行的编译错误,如: Referenced file contains errors (h ...

  2. 【Android】Android之Action Bar

    Action Bar是在窗口上指示用户位置的组件,同时给用户提供导航和操作.使用Action Bar可以让你的应用在不同配置的屏幕上看起来比较一致.在开始之前,先了解一些相关的术语: Action B ...

  3. Burp Suite详细使用教程

    Burp Suite详细使用教程-Intruder模块详解 最近迷上了burp suite 这个安全工具,百度了关于这个工具的教程还卖900rmb...ohno.本来准备买滴,但是大牛太高傲了,所以没 ...

  4. ural 1283. Dwarf

    1283. Dwarf Time limit: 1.0 secondMemory limit: 64 MB Venus dwarfs are rather unpleasant creatures: ...

  5. BZOJ3463 : [COCI2012] Inspector

    考虑将序列分成$\sqrt{n\log n}$块,每块维护下凸壳,修改时在相应块打上需要修改的标记. 查询时,对于两端零散部分暴力查询. 对于中间的块,如果有修改标记,则暴力重构. 然后在凸壳上查询时 ...

  6. BZOJ1107 : [POI2007]驾驶考试egz

    i可以作为起点说明把边反向后可以从1和n到达i. 设fl[i]表示从1到达i至少需要加几条边,fr[i]表示从n到达i至少需要加几条边. 把图上下翻转后,从左往右依次计算fl[i],有fl[i]=i- ...

  7. Ural 1018 (树形DP+背包+优化)

    题目链接: http://acm.hust.edu.cn/vjudge/problem/viewProblem.action?id=17662 题目大意:树枝上间连接着一坨坨苹果(不要在意'坨'),给 ...

  8. Codeforces Round #199 (Div. 2) A Xenia and Divisors

    注意题目的数字最大是7 而能整除的只有 1,2,3,4,6,故构成的组合只能是1,2,4 或1,2,6或1,3,6,故分别统计1,2,3,4,6的个数,然后再分配 #include <iostr ...

  9. Codeforces Round #195 (Div. 2) D题Vasily the Bear and Beautiful Strings

    这场CF,脑子乱死啊...C题,搞了很长时间,结束了,才想到怎么做.B题,没看,D题,今天看了一下,很不错的组合题. 如果n和m都挺多的时候 以下情况都是变为1,根据偶数个0,最后将会为1,奇数个0, ...

  10. POJ 3373 Changing Digits(DP)

    题目链接 记录路径的DP,看的别人的思路.自己写的也不好,时间居然2000+,中间的取余可以打个表,优化一下. 写的各种错,导致wa很多次,写了一下午,自己构造数据,终于发现了最后一个bug. dp[ ...