课程的学习是在网易云课堂找的，下面是我的一些纪录，课堂地址：http://study.163.com/course/courseLearn.htm?courseId=1003666043#/learn/video?lessonId=1004289631&courseId=1003666043
前提：安装python 和 Scrapy
我的python已经安装好了，用的是python3。
一、Scrapy介绍和安装
1.介绍
Scrapy，Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试，参考：https://baike.baidu.com/item/scrapy/7914913?fr=aladdin
2.安装
C:\Users\gaoyx>python3 -m pip install lxml
C:\Users\gaoyx>python3 -m pip install scrapy
再 安装scrapy 的时候报了错，Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools"我是参考下面这个连接解决的：http://www.jb51.net/article/125081.htm。
就可以安装成功了
C:\Users\gaoyx>scrapy version Scrapy 1.5.0
一、Scrapy命令交互模式
执行：C:\Users\gaoyx>scrapy shell http://sh.ganji.com/fang1/
正常的话应该进入交互模式，可以又报错，再百度解决，安装下面命令，解决了。
C:\Users\gaoyx>python3 -m pip install pypiwin32
Collecting pypiwin32
Downloading pypiwin32-219-cp35-none-win_amd64.whl (8.6MB)
100% |████████████████████████████████| 8.6MB 49kB/s
Installing collected packages: pypiwin32
Successfully installed pypiwin32-219
C:\Users\gaoyx>scrapy shell http://sh.ganji.com/fang1/
2018-02-07 14:44:47 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://sh.ganji.com/> (referer: None)
[s] Available Scrapy objects:
[s] scrapy scrapy module (contains scrapy.Request, scrapy.Selector, etc)
[s] crawler <scrapy.crawler.Crawler object at 0x0000000000D58198>
[s] item {}
[s] request <GET http://sh.ganji.com/>
[s] response <200 http://sh.ganji.com/>
[s] settings <scrapy.settings.Settings object at 0x0000000004BFA358>
[s] spider <DefaultSpider 'default' at 0x5dc0cf8>
[s] Useful shortcuts:
[s] fetch(url[, redirect=True]) Fetch URL and update local objects (by default, redirects are followed)
[s] fetch(req) Fetch a scrapy.Request and update local objects
[s] shelp() Shell help (print this help)
[s] view(response) View response in a browser
我们可以到很多scrapy的调用对象，调用 response可以看到返回码 200
view(response)可以调用系统默认的浏览器来打开网站。
把默认浏览器打开的地址copy出来贴到另外一个浏览器做对比，看下内容是否一致，观察下来是一直的，价格不一致是因为那是实时变动的。
二、获取页面上的价格
获取页面上的某一个价格：3700，老师介绍的是在火锅浏览器使用 Firebug 和 Firepath 去获取的，但是目前这2个插件都下载不到了，我便模仿老师写的路径去获取：
3700 价格所在的位置如下：
所以路径为：.//*[@id='puid-2931533485']/dl/dd[5]/div[1]/span[1]
>>> response.xpath(".//*[@id='puid-2931533485']/dl/dd[5]/div[1]/span[1]").extract()
>>> response.xpath(".//*[@id='puid-2931533485']/dl/dd[5]/div[1]/span[1]").extract()
['<span class="num">3700</span>']
>>> response.xpath(".//*[@id='puid-2931533485']/dl/dd[5]/div[1]/span[1]/text()").extract()
['3700']
>>>
上面的方法是固定写法，目的是解析路径，返回列表，如果存在则返回内容，不存在则返回空的列表。
接下来批量获取所有的价格。上面是用id去定位的，可是id是变动的，所以我们换为 class去定位，它是不变的。这样就可以获得所有的价格列表了。
>>>
>>> response.xpath(".//*[@class='f-list-item ershoufang-list']/dl/dd[5]/div[1]/span[1]/text()").extract()
['3700', '3900', '3300', '2600', '3900', '5200', '4000', '3500', '4000', '4000', '35000', '6200', '3300', '3800', '5100', '3500', '3500', '1800', '2300', '5000', '5800', '5200', '8800', '3600', '19000', '3000', '3000', '3500', '3500', '5200', '3790', '2600', '5000', '2000', '4700', '4200', '4500', '
6200', '5490', '2900', '7200', '5800', '1800', '4300', '5000', '1100', '3500', '4100', '2800', '5700', '4800', '4200', '8800', '3500', '1250', '4800', '3100', '60000', '3500', '2200', '6500', '14000', '1350', '3500', '5000', '2000', '4500', '2300', '3200', '8500', '3500', '3600', '3500', '5300', '37
00', '3250', '6600', '3200', '1500', '6200', '5000', '1800', '700', '1150', '2380', '1458', '5500', '2000', '4800', '3500', '4500', '1100', '4500', '4500', '1480', '1800', '8000', '2390', '1140', '5800', '1420', '1380', '5200', '5500', '2390', '4200', '4800', '3000', '4500', '3200', '5800', '3500',
'1800', '1700', '1080', '1800', '11000', '2100', '1700', '2600', '1280', '1800', '1800']
>>>
三、获取租房标题
>>> response.xpath(".//*[@id='puid-2931533485']/dl/dd[1]/a[1]/text()").extract()
['新梅花苑+经典南北通两房+配置齐全+近一号线+南方商城+诚租']
>>>
只要根据页面的标签去定位就好啦。获取所有依旧把id换为 class即可。
查看一共有多少个用 len()函数。
>>> len(response.xpath(".//*[@class='f-list-item ershoufang-list']/dl/dd[1]/a[1]/text()").extract())
123
>>>
这节先到这里吧。
