写在开头 在各个电商平台发展日渐成熟的今天.很多时候,我们需要一些平台上的基础数据.比如:商品分类,分类下的商品详细,甚至业务订单数据.电商平台大多数提供了相应的业务接口.允许ISV接入,用来扩展自身平台的不足,更好的为使用者提供服务.但是平台的ISV接入门槛现在越来越高,审核也越来越严格.拿不到接口SDK的密钥,就只能望洋兴叹. 针对这种情况,有时候就需要采取一些另类手段-蜘蛛爬虫. 模拟正常的客户端请求,对获取响应的内容进行解析,从内容提取关键内容. 蜘蛛爬虫的核心就是:发送http请求,获…