准备工作:
1、安装anaconda,并安装以下库:requests、numpy、pandas、time、random、lxml、os、datetime、json、pymongo、re、csv
参考教程:https://www.jianshu.com/p/eaee1fadc1e9
2、安装数据库mongodb
参考教程:http://www.runoob.com/mongodb/mongodb-window-install.html
3、安装MongoDB可视化工具Studio 3T
参考教程:https://blog.csdn.net/potato512/article/details/77844919
4、申请高德api的key(WEB服务,最多可申请10个)
参考教程:https://blog.csdn.net/qq_32444825/article/details/79441900
流程图:
1、 链家二手房数据爬取及分析
2、链家租房数据爬取及分析
3、链家居民区数据爬取及分析
具体说明及源码见github:
https://github.com/anniekorea/LianJiaCrawlAnalyze