C# 爬取猫眼电影数据

最近做了一个新项目，因为项目需要大量电影数据，猫眼电影又恰好有足够的数据，就上猫眼爬数据了。

1、先分析一下网页地址，发现电影都是被排好序号了，这就很简单了。

2、在分析页面，这次主要爬取黄色框中的内容。在浏览器中按F12检查元素，只要把Div获取出来就算完成了。

下面贴代码：

主函数

 static void Main(string[] args)
         {
             int errorCount = ;//计算爬取失败的次数
             int count = ;//结束范围
             for (int i = ; i <= count; i++)
             {
                 Thread.Sleep();//每隔两秒爬取一次，不要给服务器压力
                 try
                 {
                     HtmlWeb web = new HtmlWeb();
                     //https://maoyan.com/films/1
                     web.OverrideEncoding = Encoding.UTF8;
                     HtmlDocument doc = web.Load($"https://maoyan.com/films/{i}");//把url中的1替换为i

                     HtmlDocument htmlDoc = new HtmlDocument();
                     string url = $"https://maoyan.com/films/{i}";

                     //获取电影名
                     HtmlNode MovieTitle = doc.DocumentNode.SelectSingleNode("//div[@class='movie-brief-container']/h1[@class='name']");//分析页面结构后得到的div
                     if (MovieTitle == null)//如果是null，那么表明进入验证页面了，执行第二种方法
                     {
                         string urlResponse = URLRequest(url);
                         htmlDoc.LoadHtml(urlResponse);
                         MovieTitle = htmlDoc.DocumentNode.SelectSingleNode("//div[@class='movie-brief-container']/h1[@class='name']");
                         if (MovieTitle == null)//如果是null，那么表明进入验证页面了。（第二种方法也失效）
                         {
 　　　　　　　　　　　　　　　　　　//此处需要进入浏览器手动完成验证 或者 自行分析验证页面实现自动验证
                         }
                     }
                     string title = MovieTitle.InnerText;
                     //Console.WriteLine(MovieTitle.InnerText);

                     //获取电影海报
                     HtmlNode MovieImgSrc = doc.DocumentNode.SelectSingleNode("//div[@class='celeInfo-left']/div[@class='avatar-shadow']/img[@class='avatar']");
                     if (MovieImgSrc == null)
                     {

                         MovieImgSrc = htmlDoc.DocumentNode.SelectSingleNode("//div[@class='celeInfo-left']/div[@class='avatar-shadow']/img[@class='avatar']");
                     }
                     //Console.WriteLine(MovieImgSrc.GetAttributeValue("src", ""));
                     string imgurl = MovieImgSrc.GetAttributeValue("src", "");

                     //电影类型
                     HtmlNodeCollection MovieTypes = doc.DocumentNode.SelectNodes("//div[@class='movie-brief-container']/ul/li[@class='ellipsis']");
                     if (MovieTypes == null)
                     {
                         MovieTypes = htmlDoc.DocumentNode.SelectNodes("//div[@class='movie-brief-container']/ul/li[@class='ellipsis']");
                     }
                     string types = "", artime = "", releasetime = "";

                     foreach (var item in MovieTypes[].ChildNodes)
                     {
                         if (item.InnerText.Trim() != "")
                         {
                             //Console.WriteLine(item.InnerText.Trim());
                             types += item.InnerText.Trim() + "-";
                         }
                     }
                     artime = MovieTypes[].InnerText;
                     releasetime = MovieTypes[].InnerText;
                     //Console.WriteLine(MovieTypes[i].InnerText);

                     //剧情简介
                     string intro = "";
                     HtmlNode introduction = doc.DocumentNode.SelectSingleNode("//div[@class='mod-content']/span[@class='dra']");
                     if (introduction == null)
                     {
                         introduction = htmlDoc.DocumentNode.SelectSingleNode("//div[@class='mod-content']/span[@class='dra']");
                     }
                     //Console.WriteLine(introduction.InnerText);
                     intro = introduction.InnerText;
                     //Console.WriteLine(i);

                     using (FileStream fs = new FileStream(@"d:\Sql.txt", FileMode.Append, FileAccess.Write))
                     {
                         fs.Lock(, fs.Length);
                         StreamWriter sw = new StreamWriter(fs);
                         sw.WriteLine($"INSERT INTO Movies VALUES('{title}','{imgurl}','{types}','{artime}','{releasetime}','{intro.Trim()}');");
                         fs.Unlock(, fs.Length);//一定要用在Flush()方法以前，否则抛出异常。
                         sw.Flush();
                     }

                 }
                 catch (Exception ex)
                 {
                     errorCount++;
                     Console.WriteLine(ex);
                 }
             }
             Console.WriteLine($"结束 成功:{count - errorCount}条,失败：{errorCount}条");
             Console.ReadLine();

         }

URLRequest方法

 static string URLRequest(string url)
         {
             // 准备请求
             HttpWebRequest request = (HttpWebRequest)WebRequest.Create(url);

             // 设置GET方法
             request.Method = "GET";
             request.Timeout = ; //60 second timeout
             request.UserAgent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.106 Safari/537.36";

             string responseContent = null;

             // 获取 Response
             using (WebResponse response = request.GetResponse())
             {
                 using (Stream stream = response.GetResponseStream())
                 {
                     // 读取流
                     using (StreamReader streamreader = new StreamReader(stream))
                     {
                         responseContent = streamreader.ReadToEnd();
                     }
                 }
             }

             return (responseContent);
         }

先进入for循环，到时候把url中的 1 替换为 i ，就可以实现自动爬取所有电影了。

解析html代码我用的是第三方类库  HtmlAgilityPack，大家可以在Nuget中搜索到。

我将爬取的数据转换为Sql语句了，存在D盘根目录下 Sql.txt。

下面是结果

一共爬了200条数据

大家注意一下，程序报错 如果是空异常，那么表明没有获取到相应的div，没有获取到相应的div就表明猫眼让你跳转到验证中心页面了，你要进入到浏览器验证一下，或者更换IP访问。

最后再提醒一下大家，要慢慢的获取数据，不然会403。