项目上要用到抓取网页，最后选用了HtmlAgilityPack来进行。

官网地址:https://html-agility-pack.net/,可以看一下

基础的：

// From File

var doc = new HtmlDocument();

doc.Load(filePath);

// From String

var doc = new HtmlDocument();

doc.LoadHtml(html);

// From Web

var url = "http://html-agility-pack.net/";

var web = new HtmlWeb();

var doc = web.Load(url);
我要实现抓取某一个table的信息，
官方代码如下：
HtmlDocument doc = new HtmlDocument();

doc.LoadHtml(@"<html><body><p><table id=""foo""><tr><th>hello</th></tr><tr><td>world</td></tr></table></body></html>");

foreach (HtmlNode table in doc.DocumentNode.SelectNodes("//table")) {

    Console.WriteLine("Found: " + table.Id);

    foreach (HtmlNode row in table.SelectNodes("tr")) {

        Console.WriteLine("row");

        foreach (HtmlNode cell in row.SelectNodes("th|td")) {

            Console.WriteLine("cell: " + cell.InnerText);

        }

    }

}

这个例子是可以跑成功的，但是当我实际应用的时候会发现

table.SelectNodes("tr") 获取的值为null，经查找发现是路径解析的问题，因为我获取的html为
<table cellpadding="0" cellspacing="0" class="" width="100%">

                <thead>

                    <tr class="cantchoose">

                        <th width="10%">承运人</th>

                        <th width="15%">航线名称</th>

                        <th width="10%">起运港</th>

                        <th width="10%">目的港</th>

                        <th width="54%">挂靠港</th>

                    </tr>

                </thead>

                <tbody>

                    <tr>

                        <td title="ANL(澳航)">ANL(澳航)</td>

                        <td title="Austrilian and Zelanian Line">

                                <a target="_blank" href="/chuanqibiao/company/shipline/74181">Austrilian and Zelanian Line</a>

                        </td>

                        <td title="YOKOHAMA">YOKOHAMA</td>

                        <td title="BRISBANE">BRISBANE</td>

                        <td title="YOKOHAMA-OSAKA-BUSAN-QINGDAO-SHANGHAI-NINGBO-XIAMEN-HONGKONG-KAOHSIUNG-MELBOURNE-SYDNEY-BRISBANE">YOKOHAMA-OSAKA-BUSAN-QINGDAO-SHANGHAI-NINGBO-XIAMEN-HONGKONG-KAOHSIUNG-MELBOURNE-SYDNEY-BRISBANE</td>

                    </tr>

                    <tr>

                        <td title="ANL(澳航)">ANL(澳航)</td>

                        <td title="Austrilian and Zelanian Line">

                                <a target="_blank" href="/chuanqibiao/company/shipline/74178">Austrilian and Zelanian Line</a>

                        </td>

                        <td title="YOKOHAMA">YOKOHAMA</td>

                        <td title="BRISBANE">BRISBANE</td>

                        <td title="YOKOHAMA-OSAKA-BUSAN-QINGDAO-SHANGHAI-NINGBO-XIAMEN-HONGKONG-KAOHSIUNG-MELBOURNE-SYDNEY-BRISBANE">YOKOHAMA-OSAKA-BUSAN-QINGDAO-SHANGHAI-NINGBO-XIAMEN-HONGKONG-KAOHSIUNG-MELBOURNE-SYDNEY-BRISBANE</td>

                    </tr>

                 </tbody>

            </table>

当前第一个tr的xml路径为:/html[1]/body[1]/div[3]/div[3]/div[1]/table[1]/thead[1]/tr，最后 修改为：

table.SelectNodes(".//tr") 就可以解析这个table下面的所有tr信息，
当使用
table.SelectNodes("//tr")时，获取的是当前html的全部tr，如果当有两个table时候，会获取到两个table全部的tr信息，用哪个要分情况

c#使用 HtmlAgilityPack来进行抓取和解析来获得table表格信息的更多相关文章

  1. 使用Python中的urlparse、urllib抓取和解析网页（一）（转）

    对搜索引擎.文件索引.文档转换.数据检索.站点备份或迁移等应用程序来说,经常用到对网页(即HTML文件)的解析处理.事实上,通过Python 语言提供的各种模块,我们无需借助Web服务器或者Web浏览 ...

  2. 网页调试技巧：抓取马上跳转的页面POST信息或者页面内容

    http://www.qs5.org/Post/625.html 网页调试技巧:抓取马上跳转的页面POST信息或者页面内容 2016/02/02 | 心得分享 | 0 Replies 有时候调试网页或 ...

  3. Python中的urlparse、urllib抓取和解析网页（一）

    对搜索引擎.文件索引.文档转换.数据检索.站点备份或迁移等应用程序来说,经常用到对网页(即HTML文件)的解析处理.事实上,通过Python 语言提供的各种模块,我们无需借助Web服务器或者Web浏览 ...

  4. 使用HtmlAgilityPack和ScrapySharp抓取网页数据遇到的几个问题解决方法——格式编码问题

    需要用到对应市区县街道居委会的区域编码,于是找到统计局的网页,对这些数据进行抓取,用到了HtmlAgilityPack和ScrapySharp,由于也是第一次从网页抓取数据,所以对于HtmlAgili ...

  5. c# 抓取和解析网页，并将table数据保存到datatable中（其他格式也可以，自己去修改）

    使用HtmlAgilityPack 基础请参考这篇博客:https://www.cnblogs.com/fishyues/p/10232822.html 下面是根据抓取的页面string 来解析并保存 ...

  6. Java HttpURLConnection 抓取网页内容 解析gzip格式输入流数据并转换为String格式字符串

    最近GFW为了刷存在感,搞得大家是头晕眼花,修改hosts 几乎成了每日必备工作. 索性写了一个小程序,给办公室的同事们分享,其中有个内容 就是抓取网络上的hosts,废了一些周折. 我是在一个博客上 ...

  7. Jsoup抓取、解析网页和poi存取excel综合案例——采集网站的联系人信息

    需求:采集网站中每一页的联系人信息 一.创建maven工程,添加jsoup和poi的依赖包 <!-- https://mvnrepository.com/artifact/org.apache. ...

  8. Android登录client，验证码的获取，网页数据抓取与解析，HttpWatch基本使用

    大家好,我是M1ko.在互联网时代的今天,假设一个App不接入互联网.那么这个App一定不会有长时间的生命周期,因此Android网络编程是每个Android开发人员必备的技能.博主是在校大学生,自学 ...

  9. 用python做网页抓取与解析入门笔记[zz]

    (from http://chentingpc.me/article/?id=961) 事情的起因是,我做survey的时候搜到了这两本书:Computational Social Network A ...

随机推荐

  1. Ubuntu做Tomcat服务：insserv: warning: script 'tomcat' missing LSB tags and overrides

    https://blog.csdn.net/hanchao5272/article/details/79819460 转载自:https://blog.bbzhh.com/index.php/arch ...

  2. Linux stat命令详解

    stat:查看文件或者文件系统的状态  -->可以查看时间等属性 stat常见命令参数 Usage: stat [OPTION]... FILE... Display file or file ...

  3. Ogre学习教程：Ogre1.8.1+VS2010环境配置（转）

    http://blog.csdn.net/yangtrees/article/details/8724120 http://blog.csdn.net/cll611/article/details/8 ...

  4. Ardunio控制RGB的LED灯显示彩虹渐变色.

    由于我使用的是共阴极的RGB LED,如果你的是共阳极的,接线的时候要注意一下. 其他没什么不同 //定义RGB色彩的输出I/O ; ; ; //标记颜色变化的方式,增加值还是减小值 bool red ...

  5. .Net开发八年，坐标杭州，上个月换工作感觉现在.Net岗位很少，希望和同在杭州的同行们交流一下

    .Net开发八年,坐标杭州,中间做过2年Java, 目前新入职一家做防伪溯源的中型公司,200人左右, 之前在一家500人规模的软件公司工作过4年,后面2年工作过3家互联网创业公司, 上个月换工作感觉 ...

  6. SDN上机第二次作业

    SDN第二次上机作业 1.安装floodlight 参考链接:http://www.sdnlab.com/19189.html 2.生成拓扑并连接控制器floodlight,利用控制器floodlig ...

  7. ceph crush算法和crushmap浅析

    1 什么是crushmap crushmap就相当于是ceph集群的一张数据分布地图,crush算法通过该地图可以知道数据应该如何分布:找到数据存放位置从而直接与对应的osd进行数据访问和写入:故障域 ...

  8. Linux配置CentOs7.4(网络连接处理)

    说明:CentOS 7.0默认安装好之后是没有自动开启网络连接的! 进入登录界面 账号输入root 回车 再输入上面设置的root密码回车 系统登录成功 设置IP地址.网关DNS cd  /etc/s ...

  9. Mysql索引详解及优化(key和index区别)

    MySQL索引的概念    索引是一种特殊的文件(InnoDB数据表上的索引是表空间的一个组成部分),它们包含着对数据表里所有记录的引用指针.更通俗的说,数据库索引好比是一本书前面的目录,能加快数据库 ...

  10. Android学习路线总结，绝对干货(转)

    转自:https://www.cnblogs.com/yishaochu/p/5436094.html 一.前言 不知不觉自己已经做了几年开发了,由记得刚出来工作的时候感觉自己能牛逼,现在回想起来感觉 ...