官方教程说当你写好自己的spiders如douban之后，你可以通过scrapy runspider/crawl douban启动你的爬虫。于是一开始的时候你就知道通过这个命令行来启动爬虫，但是你有没有想过当你敲下这行命令后，scrapy到底做了什么呢？
命令入口：cmdline.py
当你运行 scrapy command arg 这样的命令时,这里的 scrapy 实质是一个 python 脚本，它接受参数，首先调用 scrapy/cmdline.py 中的 execute() 函数.
execute() 函数在 scrapy 安装目录下的 cmdline.py 文件中.而cmdline.py定义以下几个函数：
iter_command_classes(module_name)
get_commands_from_module(module, inproject)
get_commands_from_entry_points(inproject, group='scrapy.commands')
get_commands_dict(settings, inproject)
_pop_command_name(argv)
print_header(settings, inproject)
print_commands(settings, inproject)
print_unknown_command(settings, cmdname, inproject)
run_print_help(parser, func, *a, **kw)
_run_command(cmd, args, opts)
_run_command_profiled(cmd, args, opts)
execute(argv=None, settings=None)
这些函数顾名思义，不做太多介绍。其中最重要的是execute，为啥呢？
if __name__ == '__main__':
execute()
因为上面代码告诉我们只有它能自启动，所以我们要详尽的了解它，因此就要读代码了。
def execute(argv=None, settings=None):
# 获取变量
if argv is None:
argv = sys.argv
# 获取配置(settings)
if settings is None:
settings = get_project_settings()
check_deprecated_settings(settings)
inproject = inside_project() #判断是否在项目中，因为可用命令不同
cmds = _get_commands_dict(settings, inproject) #scrapy.commands中获取命令集
cmdname = _pop_command_name(argv) #获取输入的命令
parser = optparse.OptionParser(formatter=optparse.TitledHelpFormatter(), \
conflict_handler='resolve') #获取附加选项
# 根据输入的指令提供不同的结果
if not cmdname:
_print_commands(settings, inproject)
sys.exit(0)
elif cmdname not in cmds:
_print_unknown_command(settings, cmdname, inproject)
sys.exit(2)
# 下面几行代码针对输入合适的指令如genspider crawl....
# 解析命令行参数(cmds：为相应的Scrapy Command对象列表)
cmd = cmds[cmdname]
parser.usage = "scrapy %s %s" % (cmdname, cmd.syntax())
parser.description = cmd.long_desc()
settings.setdict(cmd.default_settings, priority='command')
cmd.settings = settings
cmd.add_options(parser)
opts, args = parser.parse_args(args=argv[1:])
_run_print_help(parser, cmd.process_options, args, opts)
# 设定用于启动爬取CrawlerProcess的配置
cmd.crawler_process = CrawlerProcess(settings)
_run_print_help(parser, _run_command, cmd, args, opts)
sys.exit(cmd.exitcode)
作为整个程序的入口，其主要做的事情是解析用户爬虫的配置属性，根据传递的命令行参数，调用对应的代码来执行相应的任务.
scrapy command arg 中 command 可以为 crawl / startproject / genspider / runspider / deploy / …等命令,每一个命令在 scrapy/commands 文件夹下都有对应 command类.
对于 scrapy runsspider test ,就会调用 commands/runspider.py 中的方法去执行相应的爬虫任务.
调度者：runspider.py
runspider.py定义了一个函数_import_file从我们的爬虫中查找所有的依赖包，定义了一个Command类(继承ScrapyCommand)。
Command中最重要的功能是run,他用spclasses = list(iter_spider_classes(module))判断输入的爬虫是否存在。
self.crawler_process.crawl(spidercls, **opts.spargs)
self.crawler_process.start()
随后用crawler_process(即实例化的CrawlerProcess）调用crawler.py的CrawlerProcess。crawler是Scrapy核心的API，所以需要仔细介绍。
核心API： crawler.py
事实上我们并不一定需要通过命令行的方式运行scrapy的爬虫，完全可以通过API从脚本中运行Scrapy。CrawlerProcess可以为你自启动一个Twisted反应子，配置logging信息、设置脚本关闭处理程序，
我们先来解读self.crawler_process.crawl(spidercls, **opts.spargs)中的crawl。流程如下
crawler = self.create_crawler(crawler_or_spidercls)create_crawler return self._create_crawler(crawler_or_spidercls)_create_crawler return Crawler(spidercls, self.settings)spidercls = self.spider_loader.load(spidercls)spider_loader = _get_spider_loader(settings).... 读不下去了
CrawlerRunner.crawl return self._crawl(crawler, *args, **kwargs)_crawl crawler.crawl(*args, **kwargs)-
crawler.crawl
@defer.inlineCallbacks
def crawl(self, *args, **kwargs):
assert not self.crawling, "Crawling already taking place"
self.crawling = Truetry: self.spider = self._create_spider(*args, **kwargs) self.engine = self._create_engine() start_requests = iter(self.spider.start_requests()) yield self.engine.open_spider(self.spider, start_requests) yield defer.maybeDeferred(self.engine.start)
本来我是打算一行一行讲解代码的，但是工作量太大，也很难表述清楚，我还是直接说明他的作用吧：
用指定的参数运行爬虫，最后从spider.start_requests()开启新的征途。
结论：
因此当我们执行scrapy runspider SpiderName的时候，Scrapy其实以以下顺序直到启动我们的爬虫。
scrapy/cmdline.py -> scrapy/commands/runspider.py -> scrapy/crawler.py -> 从我们的爬虫的start_requests开始下一步。
这个代码读的我好晕，但是至少我知道了start_requests是我们运行爬虫的关键。
