安装scrapy包时遇到了很多麻烦,综合网上很多文章,最后总结了一个比较通用的方法。
环境:
- windows7
- python2.7.13 x64 新安装的python没有其他第三方包
直接使用命令安装。
pip install scrapy
安装过程中会提示依赖包 lxml 编译错误,去 这里下载对应的编译好的whl包到本地,安装lxml后,在安装scrapy,之后如果遇到其他依赖编译错误,重复上面操作。
pip install lxml‑3.7.2‑cp27‑cp27m‑win_amd64.whl
pipinstall scrapy
安装完毕执行命令检测是否成功。
scrapy --version
显示错误信息,没有win32api,去上面的网站下载whl包,使用pip安装出错,于是去这里下载独立的exe安装包,注意版本要兼容python版本的。
安装完pywin32后在检测是否安装成功。
$ scrapy --version
Scrapy 1.3.1 - no active project
Usage:
scrapy <command> [options] [args]
Available commands:
bench Run quick benchmark test
commands
fetch Fetch a URL using the Scrapy downloader
genspider Generate new spider using pre-defined templates
runspider Run a self-contained spider (without creating a project)
settings Get settings values
shell Interactive scraping console
startproject Create new project
version Print Scrapy version
view Open URL in browser, as seen by Scrapy
[ more ] More commands available when run from project directory
Use "scrapy <command> -h" to see more info about a command
总结是 http://www.lfd.uci.edu/~gohlke/pythonlibs/ 这个网站真好用,早点知道的话,以前装python的包就不会饶那么多弯路了。