1.进程池
当我们需要的进程数量不多的时候,我们可以使用multiprocessing的Process类来创建进程。但是如果我们需要的进程特别多的时候,手动创建工作量太大了,所以Python也为我们提供了Pool(池)的方式来创建大量进程。
需要注意:主进程不能结束
from multiprocessing import Pool
import time
# 进程池为了解决高并发时进行不断地创建销毁而浪费资源而设计的
def download(path):
print("一个独立的子进程", path)
print("下载完成")
time.sleep(1)
return 1
def save(args):
print(args)
print("下载完成视频后保存视频")
# 回调函数
# def save():
# print("下载完成,以保存")
# def run(path):
# for x in range(10):
# print("zi", x.os.getpid())
# time.sleep(1)
if __name__ == '__main__':
# 申请进程池,进程池开辟的进程是守护进程,依赖于主进程存活
pool = Pool(6)
for x in range(10):
# pool.apply_async() 异步,相互抢占资源
pool.apply_async(func=download, args=("www.xxx.com",), callback=save)
# pool.apply() 同步,排队形式走,一个结束另一个才会执行
# pool.apply()
# 结束申请,需要放在join之前
pool.close()
# 进程对象的join方法,使主进程等待当前
# 子进程运行结束后再进行运行
pool.join()
print("程序运行完成")
2.本地进程间的通讯方式
1.队列Queue
队列中的方法如下:
from multiprocessing import Pool,Queue
q = Queue(5)#可以推几个数据
q.empty()#是否空 布尔值
q.full()#是否满 布尔值
"""
如果超出3个,put会卡主,如果get了所有数据,get会卡主
"""
q.put(3)#推
q.get()#获得
q.qsize()#有几个数据
#没有数据不会卡主,不会等待,会抛出错误
q.get_nowait()
q.put_nowait()
"""
get,put中默认值,block为是否锁定,可改为false会没有值抛出错误
timeout 可设置等待时间,过时抛出错误
"""
q.get(block = True,timeout = None)
q.put(block = True,timeout = None)
实例
from multiprocessing import Process,Queue
import time
def send(q):
while True:
print("发送数据子进程开始运行了")
q.put("你好吗?")
time.sleep(1)
def revice(q):
while True:
print("接受数据的子进程开始运行了")
data = q.get()
print("数据是=====>",data)
time.sleep(1)
if __name__ == "__main__":
q = Queue()
t1 = Process(target=send,args=[q],name="sendData")
t1.start()
t2 = Process(target=revice,args=[q],name="reviceData")
t2.start()
2.管道Pipe
from multiprocessing import Process, Pipe
def send(p):
msg = " 管道 "
print("子程序", msg)
p.send("k")
print("数据发送成功")
p.close()
def receive(p):
print("接受管道", p)
if __name__ == "__main__":
parent_conn,son_conn = Pipe()
t1 = Process(target=send,args=(son_conn,),name="sendData")
t1.start()
print("接受到数据==>",parent_conn.recv())