基于 Golang 完整获取百度地图POI数据的方案

百度地图为web开发者提供了基于HTTP/HTTPS协议的丰富接口，其中包括地点检索服务，web开发者通过此接口可以检索区域内的POI数据。百度地图处于数据保护对接口做了限制，每次访问服务，最多只能检索到400条数据，这样开发者就无法轻易的扒光收录的POI数据。作者基于 Golang 编写程序，完整获取百度地图POI数据。

百度地图WEB服务API基于HTTP/HTTPS协议，用户按照API文档要求的格式发送HTTP请求来获取POI数据，请求获取的数据格式可以为xml或json。

地点检索接口提供了3种检索方式：行政区划区域检索，圆形区域检索，矩形区域检索。详见接口文档。web 开发者在不同的场景可以采用不同的检索方式。

我们的目的是完整的获取POI数据，针对这一使用场景，最先想到是按照行政区划区域检索，先建立区域字典，然后一个区域一个区域的去获取数据。但是，有些区域POI的密度很大，一个市可能有数千家餐馆，而每次检索最多检索到400条数据，显然无法完整的拿到数据。

为突破数据保护的限制，这里采用矩形检索的方式。首先把要抓取的区域放到两经线和两纬线之间，构成一个大矩形（把地球看成方的），然后从大矩形的角落开始，逐个检索一个个小矩形，同时根据上一个小矩形的POI数量动态调整小矩形的面积。当所有小矩形组合覆盖完成大矩形之后，即可认为数据抓取完整。

OK，动手写代码！

需要考虑如下问题：

• 如何设置小矩形的初始面积？如何动态调整小矩形的面积？
• 地图API每日调用次数有限制， 超出限制之后如何继续上次的抓取？

提出这些问题之后，程序的大致结构有了，首先加载抓取状态数据，判断用户上次是否抓取完整，如果已经抓取完整，则让用户输入新的大矩形参数（两个经度，两个纬度）；否则让用户决定是否继续抓取。

那么，状态数据应该包含哪些？该怎么存储状态数据呢？显然这么小的一个程序不需要用到数据库，存到文件中即可，而Golang处理JSON格式的数据很方便，所以状态数据可以以JSON格式存到文件中。存储的内容应该包含大矩形信息，小矩形信息，当前POI类别信息（POI文档），小矩形区域最近一次抓取的页号（每页最多20条），API调用信息。于是状态格式可以设计为：

{
    "upperLatitude": 40.15,
    "lowerLatitude": 38.33,
    "leftLongitude": 116.42,
    "rightLongitude": 118.04,
    "apiAvailableTimes": 2000,
    "lastUseDate": "20181219",
    "apiKey": "申请的API Key",
    "lastLongitudePosition": 118.98,
    "lastLatitudePosition": 40.109,
    "lastCategoryIndex": 0,
    "lastLongitudeLength": 1.28,
    "lastLatitudeLength": 0.001,
    "lastPageIndex": -1
}

对应的golang结构体：

/**
 * 状态结构体
 */
type Status struct {
    UpperLatitude         float64 `json:"upperLatitude"`         //上纬度
    LowerLatitude         float64 `json:"lowerLatitude"`         //下纬度
    LeftLongitude         float64 `json:"leftLongitude"`         //左经度
    RightLongitude        float64 `json:"rightLongitude"`        //右经度
    ApiAvailableTimes     int     `json:"apiAvailableTimes"`     //API可用次数
    LastUseDate           string  `json:"lastUseDate"`           //上次使用日期
    ApiKey                string  `json:"apiKey"`                //API Key
    LastLongitudePosition float64 `json:"lastLongitudePosition"` //上次抓取经度位置
    LastLatitudePosition  float64 `json:"lastLatitudePosition"`  //上次抓取纬度位置
    LastCategoryIndex     int     `json:"lastCategoryIndex"`     //上次抓取类别索引
    LastLongitudeLength   float64 `json:"lastLongitudeLength"`   //上次抓取矩形区域横向宽度（经度位移）
    LastLatitudeLength    float64 `json:"lastLatitudeLength"`    //上次抓取矩形区域纵向高度（纬度位移）
    LastPageIndex         int     `json:"lastPageIndex"`         //上次抓取页索引
}

为使程序模块化，我们将保存，读取状态文件，保存状态等函数挂到此结构体下（为阅读方便，省略了函数体）。

/*
 * 保存状态
 */
func (s *Status) Save(path string) error 

/**
 * 加载状态
 */
func (s *Status) Load(path string) error 

var category = []string{
    "酒店", "生活服务", "房地产", "汽车服务",
    "教育培训", "丽人", "运动健身", "美食",
    "政府机构", "自然地物", "公司企业", "交通设施",
    "旅游景点", "医疗", "文化传媒", "出入口", "购物",
    "休闲娱乐", "金融"}

/**
 * 获取类别
 */
func (s Status) GetCategory() string 

/**
 * 类别数量
 */
func (s Status) CategorySize() int 

/**
 * 重置API
 */
func (s *Status) Reset()
/**
 * 更新API的使用次数
 */
func (s *Status) RefreshApiAvairableTimes() 

func today() string 

完成了抓取状态控制代码之后，接下来是设计解析POI数据的代码，golang天生处理JSON非常方便，所以我们需要接口返回JSON格式数据，然后按照返回的数据格式设计对应的结构体即可。

首先我们在浏览器中输入如下url，注意要先申请API Key，获取一手样本数据，然后写出对应的golang结构体。

http://api.map.baidu.com/place/v2/search?query=银行&bounds=39.915,116.404,39.975,116.414&output=json&ak={您的密钥}

样例数据

{
    "status":0,
    "message":"ok",
    "total":400,
    "results":[
        {
            "name":"华信半岛酒店(天津百货大楼)",
            "location":{
                "lat":39.135317,
                "lng":117.199346
            },
            "address":"天津市和平区和平路172号天津百货大楼F1",
            "province":"天津市",
            "city":"天津市",
            "area":"和平区",
            "street_id":"546b796f38537107d518b782",
            "telephone":"(022)59063666",
            "detail":1,
            "uid":"546b796f38537107d518b782"
        },
        {
            "name":"维也纳酒店(贵州路店)",
            "location":{
                "lat":39.118757,
                "lng":117.200051
            },
            "address":"天津市和平区贵州路16号",
            "province":"天津市",
            "city":"天津市",
            "area":"和平区",
            "street_id":"c92e659a2a785d188c55ec32",
            "telephone":"(022)85588888",
            "detail":1,
            "uid":"58c3f6ea68ee0da917c8f6f8"
        },
        {
            "name":"鑫茂天财酒店",
            "location":{
                "lat":39.10411,
                "lng":117.125587
            },
            "address":"天津市西青区华苑新技术产业园区榕苑路1号(临近复康路)",
            "province":"天津市",
            "city":"天津市",
            "area":"西青区",
            "street_id":"4edf9fbf49ade88dcc06a459",
            "detail":1,
            "uid":"4edf9fbf49ade88dcc06a459"
        }
    ]
}

对应的结构体

// POI 位置
type PoiLocation struct {
    Lat float64 `json:"lat"` //纬度
    Lgt float64 `json:"lng"` //经度
}

// POI 信息
type Poi struct {
    Name      string      `json:"name"`
    Location  PoiLocation `json:"location"`
    Address   string      `json:"address"`
    Province  string      `json:"province"`
    City      string      `json:"city"`
    Area      string      `json:"area"`
    Street_id string      `json:"street_id"`
    Telephone string      `json:"telephone"`
    //Detail    string      `json:"detail"`
    Uid string `json:"uid"`
}

type PoiResponse struct {
    Status  int    `json:"status"`
    Message string `json:"message"`
    Total   int    `json:"total"`
    Results []Poi  `json:"results"`
}

最后是流程控制，简单起见，用户交互采用控制台输入的方式。流程控制较为复杂，有三层循环，分别对应类别切换，纬度切换，经度切换。代码如下：

for ; s.LastCategoryIndex < s.CategorySize(); s.LastCategoryIndex++ {
        f, err := os.OpenFile(fmt.Sprintf("%f_%f_%f_%f_%s.txt", s.LowerLatitude, s.LeftLongitude, s.UpperLatitude, s.RightLongitude, s.GetCategory()), os.O_APPEND|os.O_WRONLY|os.O_CREATE, )
        if err != nil {
            log.Panic("打开文件出错。", err)
        }
        defer f.Close()

        for ; s.LastLatitudePosition > s.LowerLatitude; s.LastLatitudePosition -= s.LastLatitudeLength {
            s.LastLatitudePosition = math.Round(s.LastLatitudePosition*) /
            for s.LastLongitudePosition < s.RightLongitude {
                upper := s.LastLatitudePosition
                lower := upper - s.LastLatitudeLength
                left := s.LastLongitudePosition
                right := left + s.LastLongitudeLength

            NEXT_PAGE:
                if s.ApiAvailableTimes <  {
                    log.Println("今日API次数用完了")
                    os.Exit()
                }
                log.Printf("开始抓取[%.5f,%.5f,%.5f,%.5f], %s, 页号：%d", lower, left, upper, right, s.GetCategory(), s.LastPageIndex+)
                time.Sleep() //避免超出频率限制
                s.ApiAvailableTimes--
                url := fmt.Sprintf("http://api.map.baidu.com/place/v2/search?output=json&page_size=20&scope=1&coord_type=1&query=%s&bounds=%.5f,%.5f,%.5f,%.5f&ak=%s&page_num=%d",
                    s.GetCategory(), lower, left, upper, right, s.ApiKey, s.LastPageIndex+)

                resp, err := http.Get(url)
                if nil != err {
                    log.Panic("网络出现错误", err)
                } else {
                    defer resp.Body.Close()
                    body, err := ioutil.ReadAll(resp.Body)
                    if err != nil {
                        log.Panic("读取HTTP Body数据时出错", err)
                    }
                    poiResponse := &poi.PoiResponse{}
                    err = json.Unmarshal(body, poiResponse)
                    if nil != err {
                        log.Println("解析服务器返回的数据出错，5秒后重新获取", err)
                        time.Sleep()
                    } else if poiResponse.Status !=  {
                        log.Printf("未能成功获取POI数据，服务器返回：%s\n", poiResponse.Message)
                        time.Sleep()
                    } else {
                        if poiResponse.Total ==  { //没有获取到数据
                            //扩大矩形面积
                            log.Printf("未能获取到数据，区域宽度（经度）由%f调整为%f\n", s.LastLongitudeLength, s.LastLongitudeLength*)
                            s.LastLongitudePosition += s.LastLongitudeLength
                            //加个判断，不能让它无限膨胀
                            if s.LastLongitudeLength* < s.RightLongitude-s.LeftLongitude {
                                s.LastLongitudeLength *=
                            }
                            s.Save(statusFileName)
                        } else if poiResponse.Total ==  { //获取的数据达到400上限，可能不完整
                            log.Printf("获取的数据总数达到400条，可能不完整，区域宽度（经度）由%f调整为%f\n", s.LastLongitudeLength, s.LastLongitudeLength/)
                            //缩小矩形面积
                            s.LastLongitudeLength /=
                        } else { // 获取的数据在 0 到 400之间，有效
                            log.Printf("获取的数据总条数为%d,有效！\n", poiResponse.Total)

                            for _, p := range poiResponse.Results {
                                record := fmt.Sprintf("%s,%f,%f,%s,%s,%s,%s,%s\n", p.Name, p.Location.Lgt, p.Location.Lat, p.Telephone, p.Province, p.City, p.Area, p.Address)
                                log.Print(record)
                                if _, err = f.WriteString(record); err != nil {
                                    panic(err)
                                }
                            }

                            size := len(poiResponse.Results)
                            if size ==  { //表示还有下一页
                                log.Printf("当前页数据条数为20条，表示不是末尾页，页号+1")
                                s.LastPageIndex++
                                s.Save(statusFileName)
                                goto NEXT_PAGE
                            } else {
                                log.Printf("当前页数据为%d条，是末尾页，页号重置", size)
                                s.LastPageIndex = -
                                s.LastLongitudePosition += s.LastLongitudeLength
                                s.Save(statusFileName)
                            }
                        }
                    }
                }
            }
            log.Printf("抓取完一行，纬度由%f调整为%f", s.LastLatitudePosition, s.LastLatitudePosition+s.LastLatitudeLength)
            //抓完一行了，经度回到原点
            s.LastLongitudePosition = s.LeftLongitude
            s.Save(statusFileName)
        }
        f.Close()
        //抓完一个类别了，回到原点
        s.LastLatitudeLength = s.UpperLatitude
        s.LastCategoryIndex++
        s.Save(statusFileName)
    }

完整代码可点击这里下载