Python多进程编程:创建方式、进程池与通信机制详解
本文深入解析Python中多进程的核心实现,涵盖通过Process类直接创建进程与继承Process子类两种方法。详细讲解利用Pool构建进程池以提升资源利用率,并演示如何使用Queue实现安全的进程间数据通信。通过具体代码示例,帮助开发者掌握Python并发编程的关键技术。
Python多进程的两种创建方式
在Python中,实现多进程主要有两种常见方式。第一种是利用multiprocessing模块中的Process类来实例化进程对象,随后调用start()方法启动。例如,定义一个执行特定功能的函数,将其作为target参数传入Process,即可创建并运行新进程。
from multiprocessing import Process
import time
def test_():
print '-----test-----'
if __name__ == '__main__':
p = Process(target=test_)
p.start()
while True:
print '--main--'
'''1.通过process 类创建一个进程对象,然后start即可开启进程, test
test_函数是进程实现的功能'''
from multiprocessing import Process
import time
class MyNewProcess(Process):
def run(self):
print '------run-------'
if __name__ == '__main__':
p = MyNewProcess()
p.start()
print '---main-----'
'''2.通过类似继承process 子类中必须有run 方法 里边实现 进程功能
创建对象之后 调用start'''
利用进程池Pool管理并发任务
另一种方式是通过继承Process类来自定义进程子类。在这种模式下,必须在子类中重写run()方法,将具体的进程逻辑写入其中。实例化该子类后,同样调用start()方法即可启动进程,这种方式更适合封装复杂的进程行为。
from multiprocessing import Pool
from time import sleep
import os
def func(num):
for i in range(3):
print '%s %s' %(os.getpid(),num) #
sleep(2)
def main():
pool = Pool(3)
for i in range(3, 6):
res = pool.apply_async(func, (i,))
pool.close()
pool.join()
if __name__ == '__main__':
main()
基于Queue的进程间通信实现
当需要管理多个进程时,进程池(Pool)是更优的选择。通过创建指定容量的Pool对象,可以使用apply_async()等异步方法提交任务,避免频繁创建销毁进程带来的开销。示例中展示了如何限制进程数量,并通过close()和join()确保所有任务执行完毕,从而高效处理批量计算任务。
'''python 进程间通信 Queue '''
'''1.Queue使用方法
1.Queue.qsize(): 返回当前队列包含的消息数量
2.Queue.empty(): 如果队列为空 返回True 反之 False
3.Queue.full(): 如果队列满了返回True 反之 False
4.Queue.get(): 获取队列中一条消息 然后将其从队列中移除 可传参数 超市时长
Queue.get_nowait(): 相当于 Queue.get(False) 取不到值 触发异常
Queue.put(): 将一个值添加到数列 可传参数 超时时长
Queue.put_nowait():相当于 Queue.get(False) 当队列满时 报错
'''
from multiprocessing import Process, Queue
import time
q = Queue() # 创建队列
for i in range(10):
q.put(i)
def test_a():
try:
while True:
num = q.get_nowait()
print '我是进程a 取出数字为:%s'%num
time.sleep(1)
except Exception, e:
print e
def test_b():
try:
while True:
num = q.get_nowait()
print '我是进程b 取出数字是:%s'%num
time.sleep(1)
except Exception, e:
print e
if __name__ == '__main__':
p1 = Process(target=test_a)
p2 = Process(target=test_b)
p1.start()
p2.start()
进程间通信(IPC)是并发编程中的关键环节,Python推荐使用Queue类来实现。Queue提供了put()和get()方法,支持在进程间安全地传递数据。通过示例可以看到,多个进程可以同时从同一个Queue中获取数据,利用get_nowait()配合异常处理,可以灵活控制读取逻辑,避免阻塞。
至此,关于Python多进程的基本使用介绍完毕。希望上述内容能帮助您更好地理解进程创建、池化管理及通信机制,如有更多疑问欢迎继续交流。
本站声明
本文内容仅供参考,不代表本站观点。转载或引用请注明出处。如发现内容问题,请通过联系我们页面反馈。













