初衷
距离 respage01 已经有一个月左右没有做日常研究了，期间也有了些迷茫，迷茫日常研究的价值到底在哪里，以及业余时间的捉襟见肘。但是迷茫归迷茫，或者越是迷茫更是要去设法了解世界。respage02 的目标是为了研究小区域人流状况。 小区域的人流状况是我一直想获取的一个信息，这里的“状况”是我们所能获取的最大信息，由于人们出行方式越来越多样化，除了政府在路口安装监控以外，我觉得已经很难完整表示人流量了。我们可以做的只能是通过某种或某些出行途径来片面地反映这种“状况”。
脑洞
自己关于片面掌握人流状况的脑洞有这么几个：
- 采集共享单车分布数据，反映小区域内的人流转移情况。
- 采集网约车的实时分布数据，反映城市内的人流和交通状况。
- 通过高清摄像头采集某街道特定角度的视频，通过识别运动数据，反映单点人流情况。
- 通过 wifi 嗅探器主动采集移动设备数据。
脑洞的意义就是让大家有时间可以去研究一下，我只是选择了最方便的共享单车数据，原因在于共享单车移动速度慢，在对爬取速度没追求的情况下，也可以有希望获得研究结果。
获取数据的接口
关于获取共享单车（摩拜）数据的文章已经有很多，主要思路还是通过研究单车微信小程序的 api，只要简单抓包就可以找到规律，如下接口就可以获取某一位置周边的单车信息，这个和获取百度地图 POI 数据类似，尽量增加采集点，可以获取尽量完整的数据，因为根据观察，附近单车接口获取到数量是做了限制的：
URL = "https://mwx.mobike.com/nearby/nearbyBikeInfo?biketype=0" + \
"&latitude=" + lat + \
"&longitude=" + lng + \
"&userid=" + userId + \
"&citycode=0579"
采集窗口
还是采用与获取 POI 数据一样的矩形窗口扫描的方式，为了稍微加快些速度，我简单地增加了一个进程来同时采集，为了降低封号风险，我也准备了两个 userid，同时也准备了两个扫描区域。（进阶采集，多进程或者协程+代理的方式来更快更全的采集，但是我目前不需要）
## 江南两个矩形区域
BigRect1 = {
'left': {
'x': 119.634998,
'y': 29.046372
},
'right': {
'x': 119.6727628,
'y': 29.077628
}
}
BigRect2 = {
'left': {
'x': 119.628268,
'y': 29.072232
},
'right': {
'x': 119.67208,
'y': 29.098397
}
}
完成采集代码
完整代码还是见 GitHub - roubo/roubospiker: 一些解决生活问题的小爬虫
实现一个 work 方法，并开启两个采集进程：(注意日志文件要分开创建，以免并发写花)
def worker(bigrect, userId, FileKey):
today = time.strftime("%Y_%m_%d_%H")
for count in range(0, 10):
logfile = open("./log/" + FileKey + "-" + str(count) + '_' + today + ".log", 'a+', encoding='utf-8')
file = open("./result/" + FileKey + "-" + str(count) + '_' + today + ".txt", 'a+', encoding='utf-8')
for index in range(int(WindowSize['xNum'] * WindowSize['yNum'])):
lng, lat = getSmallRect(bigrect, WindowSize, index)
requestMBikeApi(lat=lat, lng=lng, index=index, file=file, logfile=logfile, userId=userId)
time.sleep(1200)
def main():
userIds = tool.getMBikeUserID()
p1 = multiprocessing.Process(target=worker, name='p1', args=(BigRect1, userIds[0], 'shareBike01'))
p2 = multiprocessing.Process(target=worker, name='p2', args=(BigRect2, userIds[1], 'shareBike02'))
p1.start()
p2.start()
先结束了
实现采集 + 存储 + 展示的过程放到下一稿咯。
