因为水平有限,我在看asyncio异步爬虫的时候,关于async/await的相关知识,看了挺多资料,还是不得其要领,所以用yield、yields from到async\await从头捋搞了一遍,发现里边得东西还是挺有意思,所以搞了这么一篇文章。
0.yield
yield
可以将一个函数转换成 generator(生成器)
,和普通函数不同得是,生成一个 generator
看起来像函数调用,但不会执行任何函数代码,直到对其调用 next()
/send()
才开始执行,虽然执行流程仍按函数得流程执行,但是执行到每一个yield
语句就会中断,交出执行权,并返回一个迭代值,下次执行从yield
中断处可以通过send()
接收一个参数并继续执行。看起来就像一个函数在正常执行得过程中被yield
中断了数次,每次中断都会交出执行权,通过 yield
返回当前的迭代值。
yield
的好处是显而易见的,把一个函数改写为一个 generator
就获得了迭代能力,这也是python中协程的基础。
0.1 next()
next()
的作用是每次获取一个yield出来的值。
def generator():
yield 1
yield 2
yield 3
return 4
if __name__ == "__main__":
gen = generator()
print(next(gen))
print(next(gen))
print(next(gen))
print(next(gen)) # 因为不是yield,这里抛出一个StopIteration的错误,但错误信息中会返回 4。 错误详情:StopIteration: 4
gen.close()
0.2 send()
send()
和next()
类似,但是比next()多一个功能,可以往生成器中传入参数。
def generator2():
num = yield 1
print (num)
yield 2
yield 3
return 4
if __name__ == "__main__":
gen = generator2()
print(gen.send(None)) # 如果使用send()的时候,第一个传入的值必须是None,因为当调用send()的时候,才执行到第一个yield,只能输出一个值,不能接收值。
print(gen.send(101))
print(gen.send(None))
gen.close()
注:关于StopIteration:1. 在一个生成器中,如果没有return,则默认执行到函数完毕时返回StopIteration;2. 如果遇到return,如果在执行过程中 return,则直接抛出 StopIteration 终止迭代。3.在close()之后,如果再执行相关的操作,会抛出StopIteration;
0.3 throw()
throw()
用来向生成器函数送入一个异常,可以结束系统定义的异常,或者自定义的异常。我的理解是相当于send()进去一个错误类型,然后抛出异常。我的理解可能不准确,仅供参考。
def generator3():
num = yield 1
print(num)
try:
yield 2
except ValueError:
print("捕获异常:ValueError")
yield 3
if __name__ == "__main__":
gen = generator3()
print(gen.send(None))
print(gen.send(101))
gen.throw(ValueError)
gen.close()
1.yield from
我们先来看个例子:
def test03(iterabld):
yield iterabld
def test04(iterable):
yield from iterable
if __name__ == "__main__":
for iterabld in test03(range(5)):
print(iterabld)
for value in test04(range(5)):
print (value)
返回值:
# range(0, 5)
# 0
# 1
# 2
# 3
# 4
这两个的返回值是一样的,可以看的出来,yield form 将可迭代对象中的值直接迭代出来了。下边再看一个例子:
def generator01():
num = yield 1
print(num)
yield 2
yield 3
return 4
def test01(gen):
ll = yield from gen()
print(ll)
def main():
gen = test01(generator01)
print(gen.send(None))
print(gen.send(101))
print(gen.throw(ValueError))
if __name__ == "__main__":
main()
执行下例子,可以发现,再main()中的send()和throw()都是直接作用
到生成器generator01中的。这其中main()函数被称作调用方
,test01()被称作委托生成器
(包含yield from表达式的生成器函数),generator01()被称作子生成器
(yield from后面加的生成器函数)。
委托生成器的作用是:在调用方与子生成器之间建立一个双向通道
,拿例子来讲,就是main()中的send()等直接作用到generator01到,而generator01中yield产生的值直接返回到main()中。
委托生成器中:ll = yield from gen()
为啥会赋值? 这是接收的return的值。生成器没有yield,有return的时候,会抛出StopIteration异常,在抛出StopIteration的异常的时候,会将return的值赋给ll。
注:1. yield from 是在Python3.3才出现的语法。所以这个特性在Python2中是没有的。 2.yield from 后面需要加的是可迭代对象。它可以是普通的可迭代对象,也可以是迭代器、生成器。
2. async/await
async/await 是用是python3.5后出来的协程异步编程的API, 是为了区分yield,yield from生成器,而使语义更加明确。以下示例代码只是为了展示await与yield from对比,实际开发中,不要这么做!不要这么做!!!
# 示例代码一
import requests
async def request(url):
return requests.get(url)
async def spider(url):
return await request(url)
if __name__ == '__main__':
sp = spider("http://www.baidu.com")
try:
print(sp.send(None))
except StopIteration as e:
print (e.value)
# 示例代码二
import requests
import types
@types.coroutine
def request(url):
yield requests.get(url)
async def spider(url):
return await request(url)
if __name__ == '__main__':
sp = spider("http://www.baidu.com")
print(sp.send(None))
# 以上代码的打印结果都是 <Response [200]>
async def
语法定义协程函数
,在之前这个功能是通过装饰器实现的。但是这样定义的协程函数中不能使用yield语句
,只允许使用return或await语句返回数据。
await
的使用场景与yield from
类似,但是await
接收的对象不同。yield from
可以是任意的可迭代对象。而await
接收的对象必须是可等待对象(awaitable object)
注:1. async/await是在python3.5版么以及之后的版本中才能使用。2. async不能和yield同时使用。3.await只能作用于可等待对象
推荐阅读:https://www.cnblogs.com/harelion/p/8496360.html