一、通过item loader加载Item
在jobbole.py中引入from scrapy.loader import ItemLoader
通过item loader调用：
item_loader = ItemLoader(item=JobBoleArticleItem(), response=response)
item_loader.add_css("title", ".entry-header h1::text")
item_loader.add_value("url", response.url)
item_loader.add_value("url_object_id", get_md5(response.url))
item_loader.add_css("create_date", "p.entry-meta-hide-on-mobile::text")
front_image_url = response.meta.get("front_image_url", "") # 文章封面图
item_loader.add_value("front_image_url", [front_image_url])
item_loader.add_css("praise_nums", ".vote-post-up h10::text")
item_loader.add_css("comment_nums", "a[href='#article-comment'] span::text")
item_loader.add_css("fav_nums", ".bookmark-btn::text")
item_loader.add_css("tags", "p.entry-meta-hide-on-mobile a::text")
item_loader.add_css("content", "div.entry")
article_item = item_loader.load_item()
其中第一行中JobBoleArticleItem()为在items.py中声明的实例，response为返回的响应。这属于固定写法。
add_css()中第一个值为items.py中定义的值，第二个值为css选择器规则
不只有add_css()也有xpath的选择器add_xpath()，在需要时选用。
同理，add_value()为添加确定值的方法。这里通过值传递附给front_image_url再通过add_value的方法，加入到最终的item中。
最后通过调用load_item()方法对结果进行解析，所有的结果都是一个list并保存到article_item中。
item loader三个主要的方法分别是：
add_css(), add_xpath(), add_value()
二、通过items.py处理数据
引入from scrapy.loader.processors import MapCompose
在scrapy.Field中可以加入处理函数：
title = scrapy.Field(
input_processor = MapCompose(lambda x:x+"----", add_string)
)
def add_string(value):
return value+"-这是后缀"
在jobbole.py中设置断点，可以看到的结果是已经出现了定义的后缀了。
另外，可以看到，结果都是
list这时需要提取第一个值。Scrapy给我们提供了TakeFirst方法。from scrapy.loader.processors import MapCompose,TakeFirst这时代码变
title = scrapy.Field(
input_processor = MapCompose(lambda x:x+"----", add_jobbole),
output_processor = TakeFirst()
)
即可以得到第一个值。
由于每一个结果都是取第一个值，每个值全部调用这个方法重复代码过多，可以通过自定义Item loader重载的方法解决。
引入from scrapy.loader import ItemLoader
这个库文件提供了以下方法：
class ItemLoader(object):
default_item_class = Item
default_input_processor = Identity()
default_output_processor = Identity()
default_selector_class = Selector
自定义itemloader
class ArticleItemLoader(ItemLoader):
default_output_processor = TakeFirst()
然后在jobbole.py文件中，把
item_loader = ItemLoader(item=JobBoleArticleItem(), response=response)中的ItemLoader变为ArticleItemLoader。即
item_loader = ArticleItemLoader(item=JobBoleArticleItem(), response=response)
同时在文件头引入from articlespider.items import JobBoleArticleItem,ArticleItemLoader
这样得到的结果就是一个值而不是list了。
不过在上图是可以看到，它的tags也取了第一个值，但实际上它的值是三个，不满足我们的需要。
引入Join方法
from scrapy.loader.processors import MapCompose,TakeFirst,Join同时不使用自定义的itemloader即可。
tags = scrapy.Field(
output_processor=Join(','),
)
和前面一样，有时候tags会有
评论的不符合要求的tags。还需要自定义函数把相应的字段去掉。
def remove_comment(value):
if '评论' in value:
return ''
else:
return value
在处理图片时，使用pipelines需要传递的是一个列表，这里经过处理后，变成了str。可以通过一个默认函数不让默认的TakeFirst处理即可。
def return_value(value):
return value
调用方法是
front_image_url = scrapy.Field(
output_processor=MapCompose(return_value),
)
