3种方式实现python多线程并发处理

Godtoy 发布于2019-07-30 18:38 / 1745人阅读

摘要：对于任务数量不端增加的程序，固定线程数量的线程池是必要的。方法二使用模块主线程结束主线程结束方法三使用模块参考分组线程池

标签： python奇淫技巧

最优线程数

Ncpu=CPU的数量

Ucpu=目标CPU使用率

W/C=等待时间与计算时间的比率

为保持处理器达到期望的使用率，最优的线程池的大小等于
$$Nthreads=Ncpu*Ucpu*（1+W/C$$

cpu密集型任务，即$W<

如果希望CPU利用率为100%，则$Nthreads=Ncpu$

IO密集型任务，即系统大部分时间在跟I/O交互，而这个时间线程不会占用CPU来处理，即在这个时间范围内，可以由其他线程来使用CPU，因而可以多配置一些线程。

混合型任务，二者都占有一定的时间

线城池

对于任务数量不断增加的程序，每有一个任务就生成一个线程，最终会导致线程数量的失控。对于任务数量不端增加的程序，固定线程数量的线程池是必要的。

方法一：使用threadpool模块

threadpool是一个比较老的模块了，支持py2 和 py3 。

import threadpool
import time

def sayhello (a):
    print("hello: "+a)
    time.sleep(2)

def main():
    global result
    seed=["a","b","c"]
    start=time.time()
    task_pool=threadpool.ThreadPool(5)
    requests=threadpool.makeRequests(sayhello,seed)
    for req in requests:
        task_pool.putRequest(req)
    task_pool.wait()
    end=time.time()
    time_m = end-start
    print("time: "+str(time_m))
    start1=time.time()
    for each in seed:
        sayhello(each)
    end1=time.time()
    print("time1: "+str(end1-start1))

if __name__ == "__main__":
    main(

方法二：使用concurrent.futures模块

from concurrent.futures import ThreadPoolExecutor
import time

import time
from concurrent.futures import ThreadPoolExecutor, wait, as_completed

ll = []
def sayhello(a):
    print("hello: "+a)
    ll.append(a)
    time.sleep(0.8)

def main():
    seed=["a","b","c","e","f","g","h"]
    start1=time.time()
    for each in seed:
        sayhello(each)
    end1=time.time()
    print("time1: "+str(end1-start1))
    start2=time.time()
    with ThreadPoolExecutor(2) as executor:
        for each in seed:
            executor.submit(sayhello,each)
    end2=time.time()
    print("time2: "+str(end2-start2))

def main2():
    seed = ["a", "b", "c", "e", "f", "g", "h"]
    executor = ThreadPoolExecutor(max_workers=10)
    f_list = []
    for each in seed:
        future = executor.submit(sayhello, each)
        f_list.append(future)
    wait(f_list)
    print(ll)
    print("主线程结束")


def main3():
    seed = ["a", "b", "c", "e", "f", "g", "h"]
    with ThreadPoolExecutor(max_workers=2) as executor:
        f_list = []
        for each in seed:
            future = executor.submit(sayhello, each)
            f_list.append(future)
        wait(f_list,return_when="ALL_COMPLETED")
        print(ll)
        print("主线程结束")

if __name__ == "__main__":
    main3()

方法三：使用vthread模块

参考：https://pypi.org/project/vthr...

demo1

import vthread
 
@vthread.pool(6)
def some(a,b,c):
    import time;time.sleep(1)
    print(a+b+c)
 
for i in range(10):
    some(i,i,i)

demo2:分组线程池

import vthread
pool_1 = vthread.pool(5,gqueue=1) # open a threadpool with 5 threads named 1
pool_2 = vthread.pool(2,gqueue=2) # open a threadpool with 2 threads named 2

@pool_1
def foolfunc1(num):
    time.sleep(1)
    print(f"foolstring1, test3 foolnumb1:{num}")

@pool_2
def foolfunc2(num):
    time.sleep(1)
    print(f"foolstring2, test3 foolnumb2:{num}")

@pool_2
def foolfunc3(num):
    time.sleep(1)
    print(f"foolstring3, test3 foolnumb3:{num}")

for i in range(10): foolfunc1(i)
for i in range(4): foolfunc2(i)
for i in range(2): foolfunc3(i)

GPU云服务器云服务器多线程实现并发服务器 java线程池几种方式并发?多线程多线程并发执行

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/42784.html

对python并发编程的思考

摘要：我们以请求网络服务为例，来实际测试一下加入多线程之后的效果。所以，执行密集型操作时，多线程是有用的，对于密集型操作，则每次只能使用一个线程。说到这里，对于密集型，可以使用多线程或者多进程来提高效率。为了提高系统密集型运算的效率，我们常常会使用到多个进程或者是多个线程，python中的Threading包实现了线程，multiprocessing 包则实现了多进程。而在3.2版本的py...

sshe 2019-07-30 15:24 评论0 收藏0
Python基础之使用期物处理并发

摘要：本文重点掌握异步编程的相关概念了解期物的概念意义和使用方法了解中的阻塞型函数释放的特点。一异步编程相关概念阻塞程序未得到所需计算资源时被挂起的状态。导语：本文章记录了本人在学习Python基础之控制流程篇的重点知识及个人心得，打算入门Python的朋友们可以来一起学习并交流。本文重点： 1、掌握异步编程的相关概念；2、了解期物future的概念、意义和使用方法；3、了解Python...

asoren 2019-07-31 11:06 评论0 收藏0
浅谈Python多线程

摘要：进程可创建多个线程来执行同一程序的不同部分。就绪等待线程调度。运行线程正常运行阻塞暂停运行，解除阻塞后进入状态重新等待调度。消亡线程方法执行完毕返回或者异常终止。多线程多的情况下，依次执行各线程的方法，前头一个结束了才能执行后面一个。浅谈Python多线程作者简介: 姓名:黄志成(小黄)博客: 博客线程一.什么是线程? 操作系统原理相关的书，基本都会提到一句很经典的话：进程...

zsirfs 2019-07-30 16:07 评论0 收藏0
python协程与golang协程的区别

摘要：进程线程和协程进程的定义进程，是计算机中已运行程序的实体。协程和线程的关系协程是在语言层面实现对线程的调度，避免了内核级别的上下文消耗。和都引入了消息调度系统模型，来避免锁的影响和进程线程开销大的问题。进程、线程和协程进程的定义：进程，是计算机中已运行程序的实体。程序本身只是指令、数据及其组织形式的描述，进程才是程序的真正运行实例。线程的定义：操作系统能够进行运算调度的最小单...

csRyan 2019-07-31 10:23 评论0 收藏0
python大佬养成计划----进程、线程与多进程

摘要：在一个进程内部，要同时干多件事，就需要同时运行多个子任务，我们把进程内的这些子任务称为线程。总结一下，多任务的实现方式有三种多进程模式多线程模式多进程多线程模式线程是最小的执行单元，而进程由至少一个线程组成。进程与线程很多同学都听说过，现代操作系统比如Mac OS X，UNIX，Linux，Windows等，都是支持多任务的操作系统。什么叫多任务呢？简单地说，就是操作系统可以同时...

taowen 2019-07-30 17:49 评论0 收藏0