Python3爬取王者官方网站英雄数据

爬取王者官方网站英雄数据

众所周知，王者荣耀已经成为众多人们喜爱的一款休闲娱乐手游，今天就利用python3 爬虫技术爬取官方网站上的几十个英雄的资料，包括官方给出的人物定位，英雄名称，技能名称，CD，英雄克制关系以及官方给出的出装Tips等数据。如下图：

首先，对英雄列表页中的各个英雄子夜进行观察其URL的变动，发现每个英雄页面之后后面的页数会变动且呈递增规律。

接下来审查要爬取对象的标签元素

解析网站后，开始准备爬取数据

代码部分

准备要获取的所有英雄页面URL

根据页面上的标签获取数据并保存到字典

游戏部分英雄为虚构世界人物，这里还需要在jieba手动添加英雄名和部分装备名

                                               

官方某些英雄由于没有在html上标明克制与压制关系的英雄名称，只上传了照片，如下图，并未找到“吕布”、“王昭君”等关键字，为了数据的完整性，部分数据需要手动在代码添加，大部分数据还是可以自动获取。

一切工作准备妥当之后，开始爬虫。

引入英雄名和停用词对其中部分数据进行清洗和分词

       

词频排序、保存为CSV文件

经过筛选，列出搭档出现频数最多，压制英雄数量最多的英雄频数，被克制最多的英雄频数三个数表如图

    

统计为树状图

之后分析各类数据前几名英雄的官方tips词频，这里代码相同，爬取只只需改动htmlnum中的数据即可。最后输出csv文件。

在线生成词云如图

PS：以上仅为官网数据，不代表个人观点