python中怎么实现协程(python,开发技术)

协程(Coroutine)，又称微线程，纤程。(协程是一种用户态的轻量级线程)

作用：在执行 A 函数的时候，可以随时中断，去执行 B 函数，然后中断B函数，继续执行 A 函数 （可以自动切换），但这一过程并不是函数调用（没有调用语句），过程很像多线程，然而协程只有一个线程在执行

通俗的理解：在一个线程中的某个函数，可以在任何地方保存当前函数的一些临时变量等信息，然后切换到另外一个函数中执行，注意不是通过调用函数的方式做到的，并且切换的次数以及什么时候再切换到原来的函数都由开发者自己确定

在实现多任务时, 线程切换从系统层面远不止保存和恢复 CPU上下文这么简单。 操作系统为了程序运行的高效性每个线程都有自己缓存Cache等等数据，操作系统还会帮你做这些数据的恢复操作。 所以线程的切换非常耗性能。但是协程的切换只是单纯的操作CPU的上下文，所以一秒钟切换个上百万次系统都抗的住。

必须在只有一个单线程里实现并发

修改共享数据不需加锁

用户程序里自己保存多个控制流的上下文栈

一个协程遇到 IO 操作自动切换到其它协程

由于自身带有上下文和栈，无需线程上下文切换的开销,属于程序级别的切换，操作系统完全感知不到，因而更加轻量级

无需原子操作的锁定及同步的开销

方便切换控制流，简化编程模型

单线程内就可以实现并发的效果，最大限度地利用 cpu，且可扩展性高，成本低

无法利用多核资源：协程的本质是个单线程,它不能同时将 单个 CPU 的多个核用上,协程需要和进程配合才能运行在多 CPU 上

进行阻塞（Blocking）操作（如 IO 时）会阻塞掉整个程序

计算型的操作，利用协程来回切换执行，没有任何意义，来回切换并保存状态 反倒会降低性能。

greenlet，是一个第三方模块，用于实现协程代码（Gevent协程就是基于greenlet实现）

yield，生成器，借助生成器的特点也可以实现协程代码。

asyncio，在Python3.4中引入的模块用于编写协程代码。

async & awiat，在Python3.5中引入的两个关键字，结合asyncio模块可以更方便的编写协程代码（推荐）。

协程实现的方式有多种，目前最流行的方式就是async&await，其他的方式了解即可，本文就介绍最流行的一种方式

使用协程需要了解2个，事件循环和定义协程函数

事件循环是一种处理多并发量的有效方式，可以理解为死循环，循环过程中去检测并执行某些代码，我们来看下面的伪代码

上面的伪代码的意思：获取事件循环中，然后不断监听任务列表，有任务就执行，执行完成的任务就移除，直到任务列表中的所有任务都完成，终止循环

使用事件循环的好处：使得程序员不用控制任务的添加、删除和事件的控制

代码中的写法如下：

想要定义协程函数，格式：async def 函数名协程对象：执行协程函数()得到的协程对象

注意：执行协程函数，创建协程对象，函数代码是不会运行的，如果想要运行协程函数的内部代码，必须要将协程对象交给事件循环来处理，看如下代码

await是一个只能在协程函数中使用的关键字，用于遇到IO操作时挂起 当前协程（任务），当前协程（任务）挂起过程中 事件循环可以去执行其他的协程（任务），当前协程IO处理完成时，可以再次切换回来执行await之后的代码。

举例：我们创建了2个任务，一个下载图片，一个下载视频，我们先执行下载图片任务，这时遇到io操作，正常情况下会等待图片下载完，但await可以先挂起下载图片任务，然后自动切换到下载视频任务

使用方法：await + 可等待对象（协程对象、Future对象、Task对象）

案例1

案列2

上述的所有示例都只是创建了一个任务，即：事件循环的任务列表中只有一个任务，所以在IO等待时无法演示切换到其他任务效果。在程序想要创建多个任务对象，需要使用Task对象来实现。

Tasks用于并发调度协程，通过asyncio.create_task(协程对象)的方式创建Task对象，这样可以让协程加入事件循环中等待被调度执行。除了使用asyncio.create_task()函数以外，还可以用低层级的loop.create_task()或ensure_future()函数。不建议手动实例化Task对象。

本质上是将协程对象封装成task对象，并将协程立即加入事件循环，同时追踪协程的状态。

注意：asyncio.create_task()函数在 Python 3.7 中被加入。在 Python 3.7 之前，可以改用低层级的asyncio.ensure_future()函数。

案例1

案例await+任务列表（用的最多）

注意：asyncio.wait源码内部会对列表中的每个协程执行ensure_future从而封装为Task对象，所以在和wait配合使用时task_list的值为[func(),func()]也是可以的。

asyncio中的Future对象是一个相对更偏向底层的可对象，通常我们不会直接用到这个对象，而是直接使用Task对象来完成任务的并和状态的追踪。（ Task 是 Futrue的子类 ）

Future为我们提供了异步编程中的 最终结果 的处理（Task类也具备状态处理的功能）

案例1

结果就是程序一直在等待，无法结束

案例2

Future对象本身函数进行绑定，所以想要让事件循环获取Future的结果，则需要手动设置。而Task对象继承了Future对象，其实就对Future进行扩展，他可以实现在对应绑定的函数执行完成之后，自动执行set_result，从而实现自动结束。

虽然，平时使用的是Task对象，但对于结果的处理本质是基于Future对象来实现的。

在Python的concurrent.futures模块中也有一个Future对象，这个对象是基于线程池和进程池实现异步操作时使用的对象。

两个Future对象是不同的，他们是为不同的应用场景而设计，例如：concurrent.futures.Future不支持await语法 等。

在Python提供了一个将futures.Future对象包装成asyncio.Future对象的函数asynic.wrap_future。

接下里你肯定问：为什么python会提供这种功能？

其实，一般在程序开发中我们要么统一使用asycio的协程实现异步操作、要么都使用进程池和线程池实现异步操作。但如果 协程的异步和 进程池/线程池的异步 混搭时，那么就会用到此功能了。

应用场景：当项目以协程式的异步编程开发时，如果要使用一个第三方模块，而第三方模块不支持协程方式异步编程时，就需要用到这个功能，例如requests模块：

实现了__aiter__()和__anext__()方法的对象。__anext__必须返回一个awaitable对象。async for会处理异步迭代器的__anext__()方法所返回的可等待对象，直到其引发一个StopAsyncIteration异常。

可在async for语句中被使用的对象。必须通过它的__aiter__()方法返回一个asynchronous iterator。

异步迭代器其实没什么太大的作用，只是支持了async for语法而已。

此种对象通过定义__aenter__()和__aexit__()方法来对async with语句中的环境进行控制

这个异步的上下文管理器还是比较有用的，平时在开发过程中 打开、处理、关闭 操作时，就可以用这种方式来处理。

uvloop是asyncio中的事件循环的替代方案，替换后可以使得asyncio性能提高。事实上，uvloop要比nodejs、gevent等其他python异步框架至少要快2倍，性能可以比肩Go语言。

安装uvloop

在项目中想要使用uvloop替换asyncio的事件循环也非常简单，只要在代码中这么做就行。

注意：知名的asgi uvicorn内部就是使用的uvloop的事件循环。

当通过python去操作redis时，链接、设置值、获取值 这些都涉及网络IO请求，使用asycio异步的方式可以在IO等待时去做一些其他任务，从而提升性能。

安装Python异步操作redis模块

案例:连接多个redis做操作（遇到IO会切换其他任务，提供了性能）

当通过python去操作MySQL时，连接、执行SQL、关闭都涉及网络IO请求，使用asycio异步的方式可以在IO等待时去做一些其他任务，从而提升性能。

安装Python异步操作redis模块

案例

在编写爬虫应用时，需要通过网络IO去请求目标数据，这种情况适合使用异步编程来提升性能，接下来我们使用支持异步编程的aiohttp模块来实现。

安装aiohttp模块

案例