搞半天,全国34个省份包含湾湾\香港\澳门的高德poi兴趣点23类数据终于爬完事了

1.技术架构:

python+阿里云数据库mongodb5.0+高德地图rest api

2.成本:

阿里云数据库mongodb5.0一个月话费1k多

2.遇到的问题

1)两个阿里云账号下 mongodb5.0云数据库在同步时候,不能使用阿里云DTS,请大家注意,要买就买低版本的，不然无法做大数量同步。

2)高德api有调用限制，实名认证也就能调用30000次。需要网上buy别人封装的企业接口，一天成本几十,

3)湾湾数据没有cityname,没有所属地市,如高雄市，就写个湾湾省。

4)高德api返回数据有重复的，估计是网格分割后，poi点落在正方形的边界了。下面是核心去重代码,查出重复_id list,对list切片，剩下一个，其他删除。

3.最终成果：

每个包含23类 '汽车服务', '汽车销售', '汽车维修', '摩托车服务', '餐饮服务', '生活服务', '体育休闲服务', '医疗保健服务', '住宿服务', '风景名胜', '商务住宅', '政府机构及社会团体', '科教文化服务', '交通设施服务', '金融保险服务', '公司企业', '道路附属设施', '地名地址信息', '公共设施', '事件活动', '室内设施', '通行设施', '购物服务'。

　　

3.最终成果：

34个省份csv，每个包含23类 '汽车服务', '汽车销售', '汽车维修', '摩托车服务', '餐饮服务', '生活服务', '体育休闲服务', '医疗保健服务', '住宿服务', '风景名胜', '商务住宅', '政府机构及社会团体', '科教文化服务', '交通设施服务', '金融保险服务', '公司企业', '道路附属设施', '地名地址信息', '公共设施', '事件活动', '室内设施', '通行设施', '购物服务'。

有需要 qq：6686496 交流。