TaylorWu的博客
Tornado的性能改善(一)：线程池的使用
编辑于:2016-07-18
导语
Tornado是一款优秀的开源Web框架，其简单易用，性能卓越等特性受到开发者的青睐。但是由于Tornado的单线程结构，假如执行耗时任务，此时线程则会阻塞，无法响应其他请求。下面就我对Tornado使用的经验，对其性能作出改善。
一. 线程池提高并发处理量
1. 使用Tornado自带的concurrent的语法糖run_on_executor。
2. 使用Python自带的concurrent的ThreadPoolExecutor线程池库。
代码区间
from tornado.concurrent import run_on_executor
from concurrent.futures import ThreadPoolExecutor
import time
class Test():
executor = ThreadPoolExecutor(10) #set up a threadpool
@run_on_executor
def longTimeTask():
print "go to sleep"
time.sleep(20) #go to sleep
print "wake up"
if __name__ == "__main__":
test = Test()
test.longTimeTask()
print "print very soon"
上述例子当中，executor为初始化的线程池对象，而Test类中的longTimeTask被语法糖run_on_executor包裹，将该函数的执行传递给线程池executor的线程执行，优化了处理耗时性任务，以致达到不阻塞主线程的效果。
其实，上述的采用线程池优化并不是最优方案。耗时任务，通常涉及IO，其中常见的操作即是写日志，写数据库等数据持久化操作。此时我们更可以采取分布式任务队列的方式来进行优化。常见的有Celery + RabbitMq + Redis方案构建分布式任务队列系统。
