一、Scrapy框架简介
- Scrapy是纯Python开发的一个高效,结构化的网页抓取框架。
- Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。
- Scrapy用途广泛,可以用于数据挖掘、监测和自动化测试 ，Scrapy还使用了Twisted 异步网络库来处理网络通讯。
-
注意：通过scrapy框架可以实现分布式爬取。
二、Scrapy框架安装
scrapy支持Python2.7和python3.4以上版本。
python包可以用全局安装（也称为系统范围），也可以安装在用户空间中。不建议安装在系统范围。相反，建议在虚拟环境(virtualenv)中安装scrapy。Virtualenv允许不与已安装的Python系统包冲突，并且仍然通常使用pip安装。
1、windows上进行安装Scrapy框架
-
虽然可以使用pip在Windows系统上安装Scrapy，但是官方建议安装Anaconda并使用conda安装，这样可以避免大多数问题。 - 首先在自己的一个磁盘中安装虚拟环境，打开cmd命令，输入virtualenv+虚拟环境名称。
- 之后进入虚拟环境，即 虚拟环境名称\Scripts\activate(按回车键即可进入虚拟环境下面)。
- 首先下载twisted(异步框架)，下载官网：https://www.lfd.uci.edu/~gohlke/pythonlibs/
- pip或者conda install 文件的绝对路径（安装异步框架）
- 最后进行pip/conda install scrapy
2、Ubuntu 14.04或以上版本上进行安装Scrapy框架
scrapy目前正在使用最新版的lxml，twisted和pyOpenSSL进行测试，并且与最近的Ubuntu发行版兼容。但它也支持旧版本的Ubuntu，比如Ubuntu14.04，尽管可能存在TLS连接问题。
（1）Ubuntu安装注意事项：
- 不要使用 python-scrapy Ubuntu提供的软件包，它们通常太旧而且速度慢，无法赶上最新的Scrapy。
（2）Ubuntu上安装
- 要在Ubuntu（或基于Ubuntu）系统上安装scrapy，您需要安装这些依赖项：
sudo apt-get install python-dev python-pip libxml2-dev libxslt1-dev zlib1g-dev libffi-dev libssl-dev（建议在虚拟环境下）
注意：如果你想在python3上安装scrapy，你还需要Python3的开发头文件：sudo apt-get install python3-dev（建议在虚拟环境下） - 在virtualenv中，你可以使用pip安装Scrapy：
pip install scrapy
