Net Core 基于AngleSharp的HTML转实体工具

最近这几天在采集一些房产信息网站的二手房产数据。采用的是.net core 2.2+AngleSharp做的，放在自己服务器上跑着玩。写着写着，发现好麻烦。原因如下

部分代码如下图

1、每个节点都要手动写代码采集；

2、要采集的数据可能是内容，也可能是属性；

3、还要特殊处理一些字符，例如去除一些 平米、万、m²、等等等等；

于是，就想着，如果有一个工具，我只需要将要采集的属性标记一下，仍给你html内容，你给我组装好的实体。多好。

以下是一个DEMO 类

     [HtmlNode(Selector = ".sellListContent li", IsSingle = false)]
     public class FangJia
     {
         /// <summary>
         /// 标题
         /// </summary>
         [HtmlNode(Selector = ".title", ValueFrom = HtmlNode.Content)]
         public string Title { get; set; }

         /// <summary>
         /// 图片地址
         /// </summary>
         [HtmlNode(Selector = "img[class='lj-lazy']", ValueFrom = HtmlNode.Attribute, AttributeValue = "data-original")]
         public string ImageUrl { get; set; }

         /// <summary>
         /// 价格
         /// </summary>
         [HtmlNode(Selector = ".unitPrice", ValueFrom = HtmlNode.Attribute, AttributeValue = "data-price")]
         public int Price { get; set; }

         /// <summary>
         /// 总价
         /// </summary>
         [HtmlNode(Selector = ".totalPrice", ValueFrom = HtmlNode.Content, TrimCharacter = "万,元", IsSingle = true)]
         public decimal Total { get; set; }

         /// <summary>
         /// 小区名称
         /// </summary>
         [HtmlNode(Selector = ".positionInfo a", Index = , ValueFrom = HtmlNode.Content)]
         public string CommunityName { get; set; }

         /// <summary>
         /// 地址
         /// </summary>
         [HtmlNode(Selector = ".positionInfo a", Index = , ValueFrom = HtmlNode.Content)]
         public string Address { get; set; }

         /// <summary>
         /// 标签
         /// </summary>
         [HtmlNode(Selector = ".tag span", IsSingle = false, ValueFrom = HtmlNode.Content)]
         public string Marks { get; set; }

         public override string ToString()
         {
             return $"{CommunityName}\t{Price}\t{Total}\t{Address}\t{Title}\t{ImageUrl}\t{Marks}";
         }
     }

简单说一下

Selector 要采集的样式选择器，子节点是按照相对于主节点路径的选择器，按照 AngleSharp 标准来的。网上资料很多就不再多说；

IsSingle 是否只有一个节点，默认为 true，true只采集第一个有效节点，false 将采集所有节点数据，虽然可能只返回一条；

ValueFrom 要采集的数据来源，有 Content(文字内容)，Html(html内容)，Attribute(属性)，None（不采集）；

AttributeValue 从那个属性中获取内容，当 ValueFrom 为 Attribute 时有效；

Index 要选择的节点 从1 开始,默认为1，当 IsSingle 为 false 时无效；

TrimCharacter 要去除的字符,多个用","分割，采集时将会去除的内容；

测试程序

         static void TestHtmlToEntity()
         {
             var html = HttpClient.Get("https://hz.lianjia.com/ershoufang/xihu/", null, out var success, );

             var entitys = html.ToList<FangJia>();
             if (entitys != null)
                 foreach (var entity in entitys)
                     Console.WriteLine(entity);
         }

运行结果如下，数据已正常采集

代码地址：https://gitee.com/sunnyfish/HtmlToEntity

AngleSharp 官网https://anglesharp.github.io/

github 地址 https://github.com/AngleSharp/AngleSharp