主要运行系统和环境:Ubuntu 16.04.3 LTS、 python3.5、 Python3-pip
安装scrapy之前需要安装一些组件和依赖库,包括:build-essential、python3-dev、 libxml2、 libxml2-dev、libxslt1-dev、libssl-dev、libffi-dev、zlib1g-dev、;Twisted、 w3lib、 lxm、 pyOpenSSL等。
有些依赖可能在安装之前已经存在,但不影响执行:
sudo apt-get install build-essential python3-dev libssl-dev libffi-dev libxml2 libxml2-dev libxslt1-dev zlib1g-dev
sudo pip3 install Twisted w3lib lxm
然后安装Scrapy和pyOpenSSL(该系统环境下,已经安装pyOpenSSL):
sudo pip3 install Scrapy
参考文章:
腾讯云主机Python3环境安装Scrapy爬虫框架过程及常见错误
ubuntu下python3安装scrapy,OpenSSL