AngleSharp ：在 C# 中轻松解析和操作 HTML/XML 文档

AngleSharp 是一个 C# 库，主要用于解析和操作 HTML 和 XML 文档，类似于浏览器的 DOM 操作。允许你在 C# 中使用类似浏览器的方式处理网页数据，进行网页抓取、数据提取和处理等任务。

安装

第一步，老规矩，先安装

Install-Package AngleSharp

使用

解析 HTML 文档

using AngleSharp.Html.Parser;

var html = @"

Hello, World!

";

// 创建 HTML 解析器

var parser = new HtmlParser();

var document = parser.ParseDocument(html);

// 查找

元素

var h1 = document.QuerySelector("h1");

// 输出

中的文本

Console.WriteLine(h1.TextContent); // Output: Hello, World!

解析并抓取网页

// 创建 HttpClient 来抓取网页

using AngleSharp.Html.Parser;

using var httpClient = new HttpClient();

var html = await httpClient.GetStringAsync("https://www.hunji.xyz/");

// 创建 HTML 解析器

var parser = new HtmlParser();

var document = parser.ParseDocument(html);

// 查找页面中的标题

var title = document.QuerySelector("title");

// 输出页面标题

Console.WriteLine(title.TextContent);

DOM 操作

选择器和查询

var h1 = document.QuerySelector("h1"); // 获取第一个

元素

var allLinks = document.QuerySelectorAll("a"); // 获取所有 标签

获取元素属性

var firstLink = document.QuerySelector("a");

var href = firstLink.GetAttribute("href");

Console.WriteLine(href); // 输出链接地址

修改元素

var heading = document.QuerySelector("h1");

heading.TextContent = "New Heading"; // 修改文本内容

heading.SetAttribute("class", "new-class"); // 修改 class 属性

遍历节点

var links = document.QuerySelectorAll("a");

foreach (var link in links)

{

Console.WriteLine(link.GetAttribute("href"));

}

4异步操作

using AngleSharp.Html.Parser;

using AngleSharp.Dom;

using System;

using System.Net.Http;

using System.Threading.Tasks;

class Program

{

static async Task Main()

{

// 使用异步抓取网页内容

using var client = new HttpClient();

var html = await httpClient.GetStringAsync("https://www.hunji.xyz/");

    // 使用 HTML 解析器解析网页
    var parser = new HtmlParser();
    var document = await parser.ParseDocumentAsync(html);

    // 操作 DOM
    var h1 = document.QuerySelector("h1");
    Console.WriteLine(h1.TextContent);
}

}

5. 实战：抓取网页中的所有链接

using AngleSharp.Html.Parser;

using AngleSharp.Dom;

using System;

using System.Net.Http;

using System.Threading.Tasks;

class Program

{

static async Task Main()

{

// 获取网页

using var httpClient = new HttpClient();

var html = await httpClient.GetStringAsync("https://www.hunji.xyz/");

    // 创建解析器
    var parser = new HtmlParser();
    var document = await parser.ParseDocumentAsync(html);

    // 获取所有的链接
    var links = document.QuerySelectorAll("a");

    // 输出所有链接
    foreach (var link in links)
    {
        var href = link.GetAttribute("href");
        Console.WriteLine(href);
    }
}

}

总结

AngleSharp 是一个强大的工具，可以帮助你在 C# 中进行 HTML 和 XML 的解析和操作。它对于网页抓取、数据提取等任务非常有用。通过提供类似浏览器的 DOM 操作接口，它能使你更容易地处理和操作网页内容。

欢迎关注我的公众号“Net分享”，技术文章第一时间推送，随缘更新 , 分享一些你可能注意不到的细节