为了有趣的掌握技能,想找个有趣应用开展,发现爬虫类开发比较吸引眼球,于是开始找相关学习资源投入学习。
入门学习主要基于下面视频资料:
莫烦python:https://morvanzhou.github.io/tutorials/data-manipulation/scraping/1-00-why/
刚开始涉及,发现要实现一个真正想要的匹配信息需要对对象内容特征有了解才能定制出一个合适程序,不过安装好环境后还是能立刻体验到抓取信息的乐趣。
下面记录在学习过程中遇到的一些问题:
Mac下打开/usr/local目录:
Mac下/usr/local目录默认对于Finder是隐藏,如果需要到/usr/local下去,打开Finder,然后使用command+shift+G,在弹出的目录中填写/usr/local就可以了。
问题1:No module named bs4
解决办法:https://blog.csdn.net/lovechris00/article/details/79089238
通过上文发现还是有些地方需要补充说明下,我这边成功应用的是上文中方法二,不过方法一帮助确认安装的python和开发使用的python路径在哪里。
所使用方法二与原文差异就是通过选择即可选出多个版本python的路径,然后下方图示红框地方要勾选。
上面操作完成后就出现下面图示箭头标识已安装好的文件包。
问题2:bs4.FeatureNotFound: Couldn't find a tree builder with the features you requested: lxml. Do you need to install a parser library?
解决办法:命令安装lxml:pip3 install lxml