python大佬养成计划----协程

svtter 发布于2019-07-30 18:03 / 2863人阅读

摘要：协程，又称微线程，纤程。最大的优势就是协程极高的执行效率。生产者产出第条数据返回更新值更新消费者正在调用第条数据查看当前进行的线程函数中有，返回值为生成器库实现协程通过提供了对协程的基本支持，但是不完全。

协程，又称微线程，纤程。英文名Coroutine
协程看上去也是子程序，但执行过程中，在子程序内部可中断，然后转而执行别的子程序，在适当的时候再返回来接着执行。

最大的优势就是协程极高的执行效率。因为子程序切换不是线程切换，而是由程序自身控制，因此，没有线程切换的开销，和多线程比，线程数量越多，协程的性能优势就越明显。
第二大优势就是不需要多线程的锁机制，因为只有一个线程，也不存在同时写变量冲突，在协程中控制共享资源不加锁，只需要判断状态就好了，所以执行效率比多线程高很多。
因为协程是一个线程执行，那怎么利用多核CPU呢？最简单的方法是多进程+协程，既充分利用多核，又充分发挥协程的高效率，可获得极高的性能。

yield实现协程

Python对协程的支持还非常有限，用在generator中的yield可以一定程度上实现协程。虽然支持不完全，但已经可以发挥相当大的威力了。

import threading
import time
def producer(c):
    c.__next__()
    n=0
    while n<5:
        n+=1
        print("[生产者]产出第%s条数据" %(n))
        res = c.send(n)
        print("[返回]:%s" %(res))
def consumer():
    r="sheenstar"
    while True:
        # 更新r值: r = "This is ok!", c.__next__()
        # n= yield r --> c.send(n) --> n更新
        n = yield r
        if not n:
            break
        print("[消费者]正在调用第%s条数据" %(n))
        time.sleep(1)
        r = "This is ok!"

if __name__=="__main__":
    print(threading.current_thread())   
    print(threading.active_count())     #查看当前进行的线程
    c = consumer()
    producer(c)     #函数中有yield， 返回值为生成器;
    print(threading.active_count()) #1

gevent库实现协程

Python通过yield提供了对协程的基本支持，但是不完全。而第三方的gevent为Python提供了比较完善的协程支持。

gevent是第三方库，通过greenlet实现协程，其基本思想是：
当一个greenlet遇到IO操作时，比如访问网络，就自动切换到其他的greenlet，等到IO操作完成，再在适当的时候切换回来继续执行。由于IO操作非常耗时，经常使程序处于等待状态，有了gevent为我们自动切换协程，就保证总有greenlet在运行，而不是等待IO。

由于切换是在IO操作时自动完成，所以gevent需要修改Python自带的一些标准库，这一过程在启动时通过monkey patch完成。

假设多协程执行的任务， 没有IO操作或者等待， 那么协程间是依次运行， 而不是交替运行;
假设多协程执行的任务， IO操作或者等待， 那么协程间是交替运行;

#没有等待
import gevent
from gevent import monkey
monkey.patch_all()
def job(n):
    for i in range(n):
        print(gevent.getcurrent(),i)

def mian():
    g1 = gevent.spawn(job,1)
    g2 = gevent.spawn(job,2)
    g3 = gevent.spawn(job,3)
    gevent.joinall([g1,g2,g3])
    print("协程执行任务结束...")

if __name__=="__main__":
    mian()

"""
#有等待
import time
from gevent import  monkey
monkey.patch_all()

import  gevent
def job(n):
    for i in range(n):
        print(gevent.getcurrent(), i)
        time.sleep(1)

def main1():
    # 创建三个协程， 并让该协程执行job任务
    g1 = gevent.spawn(job, 2)
    g2 = gevent.spawn(job, 3)
    g3 = gevent.spawn(job, 2)
    # 等待所有的协程执行结束， 再执行主程序；
    gevent.joinall([g1, g2, g3])
    print("任务执行结束.....")

main1()

协程与线程

做一个关于协程和线程花费时间的对比实验，不具有参考性。

import time
import gevent   #导入协程
from gevent import monkey
from urllib.request import urlopen  #连接网络
from mytimeit import timeit #导入计算时间的装饰器
from concurrent.futures import ThreadPoolExecutor   #导入线程池

def get_len_url(url):
    with urlopen(url) as u_conn:
        data = u_conn.read()
#       print("%s该网页共%s字节" %(url,len(data)))
urls = ["http://httpbin.org", "http://example.com/"]*100

@timeit
def coroutineall():
    gevents = [gevent.spawn(get_len_url,url) for url in urls]
    gevent.joinall(gevents)

@timeit
def threadall():
    with ThreadPoolExecutor(max_workers=100) as thpool:
        thpool.map(get_len_url,urls)
if __name__=="__main__":
    coroutineall()
    threadall()

云服务器 GPU云服务器 python协程 python协程池 python3协程 python计划任务

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/42587.html

python大佬养成计划--协程实现TCP连接

摘要：协程实现连接在网络通信中，每个连接都必须创建新线程或进程来处理，否则，单线程在处理连接的过程中，无法接受其他客户端的连接。所以我们尝试使用协程来实现服务器对多个客户端的响应。协程实现TCP连接在网络通信中，每个连接都必须创建新线程（或进程）来处理，否则，单线程在处理连接的过程中，无法接受其他客户端的连接。所以我们尝试使用协程来实现服务器对多个客户端的响应。与单一TCP通信的构架...

fuchenxuan 2019-07-30 18:05 评论0 收藏0
python大佬养成计划----HTML网页设计（序列）

摘要：序列化标签有序标签和有序列表标签是，是一个双标签。在每一个列表项目前要使用标签。标签的形式是带有前后顺序之分的编号。有序标签的属性属性用于设置编号为数字或者字母等的类型，如则编号用英文字母表示。通常是成对出现。序列化标签 1.有序标签--ol和li 有序列表标签是，是一个双标签。在每一个列表项目前要使用标签。标签的形式是带有前后顺序之分的编号。如果添加或者删除一个列表项，编号会自动调...

马永翠 2019-08-29 16:52 评论0 收藏0
python大佬养成计划----HTML网页设计（序列）

摘要：序列化标签有序标签和有序列表标签是，是一个双标签。在每一个列表项目前要使用标签。标签的形式是带有前后顺序之分的编号。有序标签的属性属性用于设置编号为数字或者字母等的类型，如则编号用英文字母表示。通常是成对出现。序列化标签 1.有序标签--ol和li 有序列表标签是，是一个双标签。在每一个列表项目前要使用标签。标签的形式是带有前后顺序之分的编号。如果添加或者删除一个列表项，编号会自动调...

young.li 2019-08-02 11:38 评论0 收藏0
python大佬养成计划----CSS样式类练习

摘要：导航栏拥有易用的导航条对于任何网站都很重要。通过，您能够把乏味的菜单转换为漂亮的导航栏。导航栏需要标准的作为基础。导航栏基本上是一个链接列表，因此使用和元素是非常合适的制作水平导航栏有两种创建水平导航栏的方法。导航栏拥有易用的导航条对于任何网站都很重要。通过 CSS，您能够把乏味的 HTML 菜单转换为漂亮的导航栏。导航栏需要标准的 HTML 作为基础。在我们的例子中，将用标...

cnsworder 2019-08-30 15:54 评论0 收藏0
python大佬养成计划----JavaScript基础

摘要：是世界上最流行的脚本语言。是属于的语言，它适用于笔记本电脑平板电脑和移动电话。被设计为向页面增加交互性。几乎每个人都有能力将小的片段添加到网页中。 JavaScript JavaScript 是世界上最流行的脚本语言。JavaScript 是属于 web 的语言，它适用于 PC、笔记本电脑、平板电脑和移动电话。JavaScript 被设计为向 HTML 页面增加交互性。许多 HTML ...

yangrd 2019-08-23 12:16 评论0 收藏0