前后折腾了一两周,才把Scrapy的环境搭建好,而且只搞定了win7这个环境。
单位有两台机器,都是win7的系统,家里两台笔记本,一台MAC,另外一台是win7和ubuntu的双系统;win7上搭建Scrapy的环境太复杂了,前后需要安装十来个软件;OS上更折腾,升级了系统和xcode之后...这就花了好几天的时间(专业奶爸,需要晚上九点,孩子睡着之后才能搞搞这些)ubuntu用的也不是很熟,惭愧惭愧啊...也是无功而返。最后成功地居然是单位的win7环境。
所有的安装程序我都会放到网盘上,下面是安装步骤:
1.安装python:我选择的版本是python-2.7.6。安装完成后,需要进行环境变量的配置,在Path中增加配置:C:\Python27;C:\Python27\Scripts; 其中C:\Python27为python的安装目录。
配置完成后,进入cmd,输入python命令后回车,可以进入python的命令输入页面。
后面需要安装的各种软件就多了,其实可以通过pip进行直接安装的,不需要下载各个软件,可惜..我木有成功,只能按照最笨的方法了。
2.安装pywin32-219.win32-py2.7
3.安装setuptools-3.8.1.win32-py2.7
4.安装lxml-3.3.5.win32-py2.7
5.安装PIL-1.1.7.win32-py2.7
6.安装pycurl-7.19.3.1.win32-py2.7
7.安装pyOpenSSL-0.13-py2.7-win32:进入pyOpenSSL-0.13-py2.7-win32.egg的存放目录,运行 easy_install pyOpenSSL-0.13-py2.7-win32.egg ,进行安装。
8.安装Twisted-14.0.0.win32-py2.7
9.安装zope.interface-4.1.1.win32-py2.7
10.安装pyasn1-0.1.9-py2.7.egg
11.安装service_identity-0.2-py2.py3-none-any.egg
12.解压缩BeautifulSoup-3.2.1.tar.gz并安装,安装方法:python setup.py install
13.解压缩Scrapy-0.22.2.tar.gz并安装,安装方法:python setup.py install
安装完毕后,进入cmd,输入scrapy应该是可以看到如下内容:Scrapy 0.22.2 - no active project .......
我的台式机基本是按照以上步骤进行安装的,结果在笔记本安装的时候,还是提示有些东西未安装成功,索性自己手动下下来安装
14.解压缩six-1.9.0.tar.gz并安装
15.解压缩cssselect-0.9.tar.gz并安装
安装好14/15之后,再执行一遍步骤13。
所有的安装程序在这里:......(好吧,单位上传不了,回家再上传),并且用序号标明了安装顺便,安装的时候把序号删除再安装。