一、引入
协程不是计算机提供,程序员人为创造
协程,也可以被称为微线程,是一种用户态的上下文切换技术,简而言之,其实就是通过一个线程实现代码块相互切换执行
实现协程有几种方法:
1、greenlet,早期模块(了解即可)
2、yield 关键字 (了解即可)
3、asyncio 标准库 装饰器 (python3.4+引入)
4、async、await关键字 (python3.5+推荐)
1.1 asyncio
在python3.4及之后的版本
import asyncio@asyncio.coroutinedeffunc1():print(1)yieldfrom asyncio.sleep(2)print(2)deffunc2():print(3)yieldfrom asyncio.sleep(2)print(4)
tasks=[asyncio.ensure_future(func1()),
asyncio.ensure_future(func2()),]
loop= asyncio.get_event_loop()
loop.run_until_complete(asyncio.wait(tasks))
注意:遇到IO阻塞自动切换
1.2 async & await 关键字
import asyncioasyncdeffunc1():print(1)await asyncio.sleep(2)print(2)asyncdeffunc2():print(3)await asyncio.sleep(2)print(4)
tasks=[asyncio.ensure_future(func1()),
asyncio.ensure_future(func2()),]
loop= asyncio.get_event_loop()
loop.run_until_complete(asyncio.wait(tasks))
二、协程的意义
在一个线程中如果遇到IO等待时间,线程不会等待,利用空闲时间,再去完成其它任务。
案例,下载三张图片:
1、普通方式(同步):
"""
时间:
更改记录:
重要说明:
"""import requestsimport uuiddefget_file_name():returnstr(uuid.uuid4())+'.png'defdownload_image(url):print('start download', url)
response= requests.get(url)print('download done')
file_name= get_file_name()withopen(file_name, mode='wb')as file_obj:
file_obj.write(response.content)if __name__=='__main__':
urls=['https://t7.baidu.com/it/u=813347183,2158335217&fm=193&f=GIF','https://t7.baidu.com/it/u=1819644070,1305753509&fm=193&f=GIF','https://t7.baidu.com/it/u=124476473,2583135375&fm=193&f=GIF']for urlin urls:
download_image(url)
2、协程方式(异步):
"""
时间:
更改记录:
重要说明: python3.7+
"""import uuidimport aiohttpimport asynciodefget_file_name():returnstr(uuid.uuid4())+'.png'asyncdefdownload_image(session, url):print('start download', url)asyncwith session.get(url, verify_ssl=False)as response:
content= response.content.read()
file_name= get_file_name()withopen(file_name, mode='wb')as file_obj:
file_obj.write(content)print('download done')asyncdefmain(urls):asyncwith aiohttp.ClientSession()as session:
tasks=[asyncio.create_task(download_image(session, url))for urlin urls]await asyncio.wait(tasks)if __name__=='__main__':
urls=['https://t7.baidu.com/it/u=813347183,2158335217&fm=193&f=GIF','https://t7.baidu.com/it/u=1819644070,1305753509&fm=193&f=GIF','https://t7.baidu.com/it/u=124476473,2583135375&fm=193&f=GIF']
asyncio.run(main(urls))
三、异步编程
1 事件循环
asyncio原理,可以理解为一个死循环,去检测并执行某些代码
伪代码理解:
任务列表= 【任务1, 任务2,任务3】whileTrue:# 可执行的任务列表,已完成的任务列表 = 去任务列表中检查所有的任务,将“可执行”和“已完成”的任务返回for 就绪任务in 可执行的任务列表:
执行就绪任务()for 已完成的任务in 已完成的任务列表:
在任务列表中移除,已完成的任务
如果任务列表中所有任务已完成,则终止执行
2 快速上手
(1) 协程函数: 定义函数时: async def 函数名
(2) 协程对象: 执行协程函数 得到的就是协程对象
asyncdeffunc():pass
result= func()
注意:这样执行协程函数时,函数内部代码不会执行,会返回创建的协程对象
如果想要运行协程函数内部代码,必须要将协程对象交给事件循环来处理
import asyncioasyncdeffunc():print('123456')
result= func()# 让事件循环执行协程函数
loop= asyncio.get_event_loop()
loop.run_until_complete(result)# python3.7+简便写法
asyncio.run(result)
3 await
await + 可等待的对象(协程对象、FUTURE对象、TASK对象)
示例1:
import asyncioasyncdeffunc():print('hello')
response=await asyncio.sleep(3)print('end', response)
asyncio.run(func())
示例2:
import asyncioasyncdefothers():print('start')await asyncio.sleep(3)print('end')return'返回值'asyncdeffunc():print('执行协程函数内部代码')# 遇到IO操作挂起当前协程(任务),等IO操作完成之后再继续向下执行,当前协程挂起时,事件循环可以去执行其它协程(任务)
response=await others()print('执行协程函数内部代码')
asyncio.run(func())
示例3:
import asyncioasyncdefothers():print('start')await asyncio.sleep(3)print('end')return'返回值'asyncdeffunc():print('执行协程函数内部代码')# 遇到IO操作挂起当前协程(任务),等IO操作完成之后再继续向下执行,当前协程挂起时,事件循环可以去执行其它协程(任务)
response1=await others()print('执行协程函数内部代码1', response1)
response2=await others()print('执行协程函数内部代码2', response2)
asyncio.run(func())
await就是等待对象的值得到结果之后再继续向下走。
4 Task对象
在事件循环中添加多个任务的。
TASK用于并发调度协程,通过asynic.create_task(协程对象)的方式创建TASK对象,这样可以让协程加入事件循环中等待被调度执行,除了使用asyncio.create_task()函数以外,还可以用低层级的loop.create_task() 或ensure_future() 函数,不建议手动实例化Task对象。
注意:asyncio.create_task()函数在Python3.7中被加入,3.7之前可以改用低层级的asyncio.ensure_future()函数
示例1
import asyncioasyncdeffunc():print(1)await asyncio.sleep(2)print(2)return'返回值'asyncdefmain():print('main start')# 创建TASK对象,将当前执行func函数任务添加到事件循环
task1= asyncio.create_task(func())
task2= asyncio.create_task(func())print('main end')# 当执行某协程遇到IO操作时,会自动化切换很乖其他任务# 此处的await是等待相对应的协程全部执行完并获取结果
ret1=await task1
ret2=await task2print(ret1, ret2)
asyncio.run( main())
示例2:
import asyncioasyncdeffunc():print(1)await asyncio.sleep(2)print(2)return'返回值'asyncdefmain():print('main start')
task_list=[
asyncio.create_task(func()),
asyncio.create_task(func())]print('main end')# done是返回值的集合
done, pending=await asyncio.wait(task_list, timeout=None)print(done, pending)
asyncio.run( main())
示例3
import asyncioasyncdeffunc():print(1)await asyncio.sleep(2)print(2)return'返回值'
task_list=[
func(),
func()]
done, pending= asyncio.run(asyncio.wait(task_list))print(done)
5 Future对象
Task类的基类,Task类内部await结果和处理基于Future类来的
示例1:
asyncdefmain():# 获取当前事件循环
loop= asyncio.get_running_loop()# 创建一个任务(FUTURE对象),这个任务什么都不干
fut= loop.create_future()# 等待任务最终结果(FUTURE对象),没有结果则会一直等下去await futasync.run(main())
示例2:
asyncdefset_after(fut):await asyncio.sleep(2)
fut.set_result("12")asyncdefmain():# 获取当前事件循环
loop= asyncio.get_running_loop()# 创建一个任务(FUTURE对象),这个任务什么都不干
fut= loop.create_future()# 即手动设置FUTURE任务的最终结果,fut就可以结束 了await loop.create_task(set_after(fut))# 等待任务最终结果(FUTURE对象),没有结果则会一直等下去
data=await futprint(data)async.run(main())
6 concurrent.futures.Future对象
使用线程池、进程池实现异步操作时用到的对象
import timefrom concurrent.futuresimport Futurefrom concurrent.futures.threadimport ThreadPoolExecutorfrom concurrent.futures.processimport ProcessPoolExecutordeffunc(value):
time.sleep(1)print(value)# 创建线程池
pool= ThreadPoolExecutor(max_workers=5)# 创建进程池# pool = ProcessPoolExecutor(max_workers=5)for iinrange(10):
fut= pool.submit(func, i)print(fut)
与协程交叉使用:
示例:
import timeimport asyncioimport concurrent.futuresdeffunc1():# 某个耗时操作
time.sleep(2)return'func1 done'asyncdefmain():
loop= asyncio.get_running_loop()
fut= loop.run_in_executor(None, func1)
result=await futprint('default thread pool', result)
asyncio.run(main())
三、异步编程实战案例
1、异步上下文管理器
此种对象通过定义__aenter__()和__aexit__() 方法来对async with语句中的环境进行控制
import asyncioclassAsyncContextManager:def__init__(self):
self.conn=Noneasyncdefdo_someting(self):return666asyncdef__aenter__(self):
self.conn=await asyncio.sleep(1)return selfasyncdef__aexit__(self):await asyncio.sleep(1)asyncdeffunc():asyncwith AsyncContextManager()as f:
result=await f.do_someting()print(result)
asyncio.run(func())
2、uvloop
是asyncio中事件循环的替代方案,第三方框架,事件循环效率更高
import asyncioimport uvloop# 设置为使用uvloop代替默认loop
asyncio.set_event_loop_policy(uvloop.EventLoopPolicy())
3、异步操作redis
在使用python代码操作redis时,链接、操作、断开都是网络IO
import aioredis
4、异步操作MySql
import aiomysql
5、FastAPI框架
以fastAPI框架为例,了解异步WEB框架
pip3install fastapi
pip3install uvicorn
总结
最大的意义:通过一个线程利用其IO等待时间去做一些其他事情。