JS如何做爬虫

JS如何做爬虫，JS做爬虫要靠node节点环境，cheerio（主要是解析下载的网页可以像jquery一样，这是必要的，使用它在npm上查看文档也很简单）。 Iconv-lite（主要解决下载资源的乱码问题）。正则表达式（如果是接口数据，则脚本中包含一些关键参数，需要按规律性提取）
然后，某些网页数据实际上是双喜鸟通过ajax提取数据以呈现页面。
首先分析以下接口是使用post方法提交数据的，所有都可以在这里使用request或http.post即可。看参数主要是nonce和xyz这两个字段属于一种加密方式，因此我们需要对其进行加密。然后，我们必须转到源代码以查找信息。通过chrome调试工具，我们可以找到源代码。
因为代码令人困惑，但是这样的传输字段并不令人困惑。首先展开代码，然后按ctrl + f在js文件中搜索关键段随机数。找到它之后，放一个断点并刷新浏览器，看看它是否会对我们执行此验证。
我们只需要查找相应的算法功能以复制到本地，然后在每次请求到达时生成相应的加密密码，以便可以在网站服务器上正确解析该密码。
这里的技巧是根据关键信息找到线索（chrome浏览器位于源调试选项卡下），因为只要它位于事物的前端，它就是透明的。还有一种断点的方法，可让您更快地找到线索。
来自Jsonp的爬行动物数据
数据可能不只是网页。通过Jsonp传输数据时，在这种情况下可以解决使用eval的问题。 Jsonp通过script标签加载js脚本。该脚本将具有一个功能，该功能将在加载脚本时执行。通常将回调参数添加到请求路径。该值是在加载脚本中定义的函数的名称。