使用高德开放平台api批量爬取所需经纬度及位置信息(平台教程和python多进程、多线程代码详解)

2019.3.20更新（将代码升级为非阻塞式多进程，效率极大提升）
2019.6.28更新（将代码模块化，复用性更强，使用更高效的线程池进行爬取）

之前写爬虫对链家某地区全部二手房信息进行了获取并存在了MongoDB数据库。进行数据可视化时，想要做基于地图信息的分析，可所获信息中未包含经纬度值。
经过搜索大法，发现原来百度地图和高德地图都有开放平台，可基于文本位置返回更详细的地理位置信息。以高德开发平台为例，具体过程如下：
直达链接：高德开放平台
高德开放平台提供的接口功能很多，这里只是使用"地理/逆地理编码功能"，将结构化地址在经纬度之间互转。这里，需要先注册开发者账号并申请一个key（注册后需先随便创建一个应用）。

开发指南页面
注册账号，并创建了一个应用，获得一个key密匙。

获得key密匙
然后就可以愉快的使用api获得经纬度啦！
api请求链接为示例：
"https://restapi.amap.com/v3/geocode/geo?address=北京市朝阳区阜通东大街6号&output=XML&key=<用户的key>"
这里只需要替换address为你需要查询的地点、替换key为你的key就可以了，我们在浏览器中做个试验：

api信息返回

可以看到调用高德的api接口时能获得更完整的地理位置信息以及经纬度志，亲测百度开放平台的api不会返回更详细地理信息，但可以返回该位置的类型，比如“小区”之类的。可视情况选择。

很重要的一点差点忘了，不要以为这可以随便嗨了，免费用户的每日调用次数和每秒并发量是有限制的！

每日调用限制

百度地图和高德地图的每日限量都是相同的，你也可以同时注册两边的账号，就像我一样，不过对一般需求来说也已经足够了。

下面直接上代码，用数据库中的小区名字来批量获取经纬度和更详细的地理信息，逻辑很简单，传入小区名、解析请求就好了:：

import pymongo
import pandas as pd
import requests
import re
from multiprocessing import Pool
#数据库连接
client = pymongo.MongoClient("localhost",27017)
db = client['ershoufang']
collection = db["lianjia_solded"]
location = db['locations']

#高德地图获取地理信息的api接口
gaode_api_url = "https://restapi.amap.com/v3/geocode/geo?address={}&output=XML&key=YOUR KEY"
headers = {
    "User-Agent" : "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36"
}

def get_location_info(loc):
    """
    利用高德开放平台，解析小区全部位置信息（包含经纬度），存入数据库
    :param loc: 小区名字
    :return: 具体位置信息
    """
    new_loc = "成都市" + loc
    parse_adress_url = gaode_api_url.format(new_loc)
    response = requests.get(parse_adress_url, headers=headers).text
    # 加入判断防止空白信息返回
    if re.search(r"<count>1</count>", response, re.S):
        # 使用正则表达式提取api反馈的地理信息
        detail_info = re.findall(r"_address>(.*?)</.*?<district>(.*?)</district>.*?<location>(.*?)</location>", response, re.S)[0]
        result = {
            'house_name': loc,
            'adress': detail_info[0],
            'district': detail_info[1],
            'location': detail_info[2],
            'longitude': detail_info[2].split(",")[0],
            'latitude': detail_info[2].split(",")[1]
        }
        # 插入数据库
        location.insert_one(result)
        print(result)
    else:
        print("Something Wrong！未获取到api信息！")


if __name__ == '__main__':
    #从数据库中获取源小区名
    data = pd.DataFrame(list(collection.find())).drop(['elevator', 'url', 'village_id'], axis='columns')
    # 小区名
    locs = data["village_name"]
    locs_num = pd.value_counts(locs, sort=True)
    #开启进程池
    p = Pool()
    for loc in locs_num.index[:6000]:  # 高德api限制每天请求不超过6000个
        p.apply_async(get_location_info, (loc,))
    p.close()
    p.join()

6.28更新代码

import pymongo
import pandas as pd
import requests
import re
from concurrent import futures
from logging import warning

class GaodeLocation(object):
    # 初始化连接到Mongo数据库
    def __init__(self, key, city):
        '''
        初始化连接到数据库
            :param key: 高德开放平台提供的KEY，需携带才能访问
            :param db: 数据库名
            :param collectin: 存放小区数据的表名
            :param loc_collection: 存放位置信息的新表名
        '''
        self.CITY = city
        self.gaode_api_url = "https://restapi.amap.com/v3/geocode/geo?address={}&output=XML&key=" + key

        self.client = pymongo.MongoClient("localhost", 27017)
        self.db = self.client["ershoufang"]
        self.collection = self.db["lianjia_solded"]
        self.loc_collection = self.db['locations']

    # 将经纬度信息存入数据库
    def to_database(self,result):
        return  self.loc_collection.insert_one(result)
    # 传入位置字符串，通过高德API获取经纬度信息
    def request_info(self,loc):
        detail_loc = CITY + loc
        parse_adress_url = self.gaode_api_url.format(detail_loc)
        response = requests.get(parse_adress_url).text
        # 加入判断防止空白信息返回
        if re.search(r"<count>1</count>", response, re.S):
            # 提取api反馈的地理信息
            detail_info = re.findall(r"_address>(.*?)</.*?<district>(.*?)</district>.*?<location>(.*?)</location>", response,re.S)[0]
            result = {
                'house_name': loc,
                'adress': detail_info[0],
                'district': detail_info[1],
                'location': detail_info[2],
                'longitude': detail_info[2].split(",")[0],
                'latitude': detail_info[2].split(",")[1]
            }
            print(result)
            self.to_database(result)
        else:
            warning("{}位置信息未成功获取".format(loc))
            return None

    def main(self):
        # 从数据库中获取源小区名
        data = pd.DataFrame(list(self.collection.find())).drop(['elevator', 'url', 'village_id'], axis='columns')
        # 小区名字段
        locs = data["village_name"]
        # 按小区名出现频率排序
        locs_num = pd.value_counts(locs, sort=True)
        # 高德开放平台一天只允许免费用户使用API接口6000次......
        available_loc_list = locs_num.index[:6000]

        with futures.ThreadPoolExecutor(max_workers=20) as excutor:
            excutor.map(self.request_info, available_loc_list)

if __name__ == '__main__':
    KEY = "c9ac8XXXXXXXXXXXXXXXXXXX"  # 你的KEY
    CITY = "成都市"    # 你的城市
    s = GaodeLocation(KEY, city=CITY)
    s.main()

模块化代码复用性更强，使用线程池进行批量IO操作，效率进一步提升，

OK，大功告成啦，6000条位置数据大概就几分钟吧！

存入数据库中的信息

多进程爬取数度很快

完。