前言
最近我体验了一次全栈（伪）开发App的经历，获益良多，我想把过程记录一下，一是回顾与巩固，二是抛砖引玉，如有谬误以求大神指点。
首先，我们需要明确我们最终的目标是什么。
比如现在我要做一个简单的游戏评测资讯的App。
那么我首先需要【数据来源】然后需要一个提供数据接口的【服务端】，我将先完成这二者，然后才开始App的开发。
因此我将分为三步[Python爬虫]->[Ruby服务端]->[iOS客户端]来完成这个App。
而爬虫技术，将作为先遣部队，为我们攻下第一个数据堡垒。
开始
许多语言都有成熟的爬虫框架，我选择的是使用Python语言的Scrapy框架，这是一个非常完善而且功能强大的爬虫框架，我们只需要用到最基础的功能。Scrapy拥有非常棒的中文文档 安装和入门教程文档一应俱全，我就不赘述了。
安装好之后，我们打开终端，开始创建令人激动的爬虫
scrapy startproject yxReview
cd yxReview
scrapy genspider yx_review www.ali213.net/news/pingce
完成后结构大致如图
就这样，基础的框架和代码已经被生成了，接着我们用编辑器打开yxReview目录，首先在items.py文件下新建一个item。
我们可以先打开网页游侠评测分析一下
简单起见，我们目前只抓取4个属性，创建代码：
class ArticleItem(scrapy.Item):
title = scrapy.Field()
cover_image = scrapy.Field()
summary = scrapy.Field()
score = scrapy.Field()
然后我们进入目录下的spiders文件夹，打开yx_review.py
如下编辑
# -*- coding: utf-8 -*-
import scrapy
from yxReview.items import ArticleItem
class YxReviewSpider(scrapy.Spider):
name = "yx_review"
allowed_domains = ["www.ali213.net"]
start_urls = (
'http://www.ali213.net/news/pingce/',
)
def parse(self, response):
items = []
for sel in response.xpath('//div[@class="t3_l_one_l"]'):
item = ArticleItem()
item["cover_image"] = sel.xpath("div[@class='one_l_pic']/a/img/@src").extract()
item["title"] = sel.xpath("div[@class='one_l_con']/div[@class='one_l_con_tit']/a/text()").extract()
item["summary"] = sel.xpath("div[@class='one_l_con']/div[@class='one_l_con_con']/text()").extract()
items.append(item)
index = 0
for scoreSel in response.xpath('//div[@class = "t3_l_one_r"]'):
item = items[index]
item["score"] = scoreSel.xpath("div/span/text()").extract()
index = index + 1
yield item
print items
这里主要是parse方法，返回请求到的HTML然后解析出我们需要的数据装进ArticleItem里，然后将items传输到pipeline中。
传输管道
在爬虫scrapy中，pipeline是一个重要的概念，它相当于一个“加工器”，可以连接多个自定义的pipeline，完成数据的后续处理工作，比如进行筛选分类，或者持久化到本地等等，按优先级串连。
在本例中，为了简便，我将创建一个管道将数据简单处理并保存到本地文件中。
打开pipelines.py，编辑如下
# -*- coding: utf-8 -*-
from scrapy import signals
from scrapy.contrib.exporter import JsonItemExporter
class YxreviewPipeline(object):
@classmethod
def from_crawler(cls, crawler):
pipeline = cls()
crawler.signals.connect(pipeline.spider_opened, signals.spider_opened)
crawler.signals.connect(pipeline.spider_closed, signals.spider_closed)
return pipeline
def spider_opened(self, spider):
self.file = open('items.json', 'wb')
self.exporter = JsonItemExporter(self.file)
self.exporter.start_exporting()
def spider_closed(self, spider):
self.exporter.finish_exporting()
self.file.close()
def process_item(self, item, spider):
self.checkData(item, "title")
self.checkData(item, "summary")
self.checkData(item, "cover_image")
self.checkData(item, "score")
self.exporter.export_item(item)
return item
def checkData(self ,item, field):
if len(item[field]) > 0:
newText = item[field][0].encode("utf-8")
item[field] = newText.strip()
else:
item[field] = ""
前面三个方法，相当于给当前的pipeline提供了一个JsonItemExporter的插件，用于将所有爬取的item导出为JSON格式的文件之中。
另外需要说明的是，这里自定义了一个checkData方法，作为一个简单的数据类型验证，以及将之前解析的内容转换成字符串并且进行了utf-8编码的转码，保障中文内容的正确显示。
完成后，打开工程目录下的items.json文件，可以看到数据已经以JSON格式保存了下来。
告一段落
至此，爬虫的任务可以告一段落，当然，在实际应用中还需要解决更多的问题，比如分页爬取，反爬虫的应对等等，迫于文章篇幅暂且不表，算作扩展阅读吧 ：）
下一篇，我们将使用ruby on rails编写服务端，提供移动端的REST API接口。
系列链接
从零开始开发一个App（1）- Scrapy爬虫
从零开始开发一个App（2）- 简易REST API服务端
从零开始开发一个App（3）- iOS客户端
