Python多进程入门(1简单案例)

第一次写文章,最近在做自然语言处理方面的工作,在工作中遇到一些程序跑了很长时间,所以今天看一下python中的多进程,希望能在以后的工作中应用。废话不多说,开始:

多进程的思想:既然你看到这篇文章,一定是在学习和工作中需要多进程的帮助了,应该也知道一些多进程的原理了,在这里我就简单说一下:多进程是充分利用硬件来换取时间的一种手段,简单来讲就是让两件互不干扰的事情并行。举个生活的例子,你做饭的时候一遍炒菜一遍烧水用来煮饺子,烧水和炒菜就是两个互不影响的进程,两个进程共同使用你们家里的点,这也就要求你们家有足够好的电路可以允许炒菜和烧水一起,这也就是对电脑硬件的要求,否者进程太多只会带来麻烦。

在python中多进程使用的包是multiprocessing,不需要安装,直接import使用就可以了,我们先来举一个简单的例子来简单看一下多进程在python中时如何使用的。假设我们想写一个从0累加到1000000000的程序,使用单进程我们可以写成下面的样子:

from multiprocessingimport Pool
import datetime
def add_big(bigNumber):
    result =0
    for i in range(0, bigNumber+1):
        result += i
    return result

startTime = datetime.datetime.now()
print(add_big(1000000000))
print(datetime.datetime.now() - startTime)  # 计算用的时间

返回的结果是:
500000000500000000
0:00:53.116295

那我们来设计一个双进程的程序,我们想将从0累加到1000000000的的过程分为两个进程:
①从0累加到500000000的;
②从500000001,到1000000000。两个进程的结果在最后相加得出的结果就是我们想要的最终结果,程序如下:

def add_part(part):

    """
    计算一个列表的开始到末尾的累加
    :parampart:长度为二的列表
    :return: 返回累加的和
    """
    result =0
    for i in range(part[0], part[1] +1):
        result += i
    return result

if __name__ =='__main__':
startTime = datetime.datetime.now()
with Pool(2) as p:
    result_list = p.map(add_part, [[0, 500000000], [500000001, 1000000000]])
print(sum(result_list))
print(datetime.datetime.now() - startTime)

返回的结果是:
500000000500000000
0:00:38.115395

我们看到计算结果是一样的,时间从53下降到38。在上面的程序中我们对进程p调用了它的类方法map(),这里先不用对map方法有很深入的了解,知道其可以向进程池提交目标请求,就是告诉进程池里的进程做什么。Pool(2)是指我们建立了一个池,这个词有多大呢?就是我们传进去的参数2,也就是说这个池中最多有两个并行运行的进程。结合我们的例子,我们在例子中开了两个进程,就是将累加分为了两部分,我们通过改变Pool的参数扩大池的容量,扩大为3,再次运行,结果如下:

500000000500000000
0:00:37.938921

可以看到时间几乎没有变化,说明当池的容量扩大到所有进程总数的时候,在扩大池并不会减少你的时间,就相当于你买了一个由很多孔的插排给烧水和炒菜的锅和电磁炉,并不会减少你炒菜和烧水一起并行的时间。当然,如果池的容量小于进程的数量,就会影响总体的运行时间,就像只有一个插孔,你烧水和炒菜就并行不了了,要在池外进行等候。

这是简单的介绍,python中多进程还有很多内容,比如:多进程的类Process、进程间的交互Queue、进程之间交互Pipe、进程池pool等,请看我在简书下面的文章。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 202,009评论 5 474
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 84,808评论 2 378
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 148,891评论 0 335
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,283评论 1 272
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,285评论 5 363
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,409评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,809评论 3 393
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,487评论 0 256
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,680评论 1 295
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,499评论 2 318
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,548评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,268评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,815评论 3 304
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,872评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,102评论 1 258
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,683评论 2 348
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,253评论 2 341

推荐阅读更多精彩内容

  • 一直懒得写Python相关的文章,恰好有天需要简单的给童鞋们讲点课,仓促之余就诞生了此文. 今天本来准备全面的聊聊...
    涅槃1992阅读 1,717评论 0 8
  • 所有代码来自python核心编程 参考python核心编程一书,学习多线程工作模式,多线程实现主要模块thread...
    Ssop阅读 620评论 0 1
  • 第一章 Nginx简介 Nginx是什么 没有听过Nginx?那么一定听过它的“同行”Apache吧!Ngi...
    JokerW阅读 32,633评论 24 1,002
  • ——我想写一双翅膀,夜深时,飞过远方 临睡前,可能是最放松,灵感会源源不断;有时候也会在削一个土豆皮间,有时是坐公...
    蓝色的海sunshine阅读 218评论 0 2
  • reference: https://developer.apple.com/library/content/do...
    Zihowe阅读 228评论 0 0