Python多进程编程:创建方式、进程池与通信机制详解

顾言
顾言
发布时间:2026-10-13 | 3人浏览过
原创

本文深入解析Python中多进程的核心实现,涵盖通过Process类直接创建进程与继承Process子类两种方法。详细讲解利用Pool构建进程池以提升资源利用率,并演示如何使用Queue实现安全的进程间数据通信。通过具体代码示例,帮助开发者掌握Python并发编程的关键技术。

Python多进程的两种创建方式

在Python中,实现多进程主要有两种常见方式。第一种是利用multiprocessing模块中的Process类来实例化进程对象,随后调用start()方法启动。例如,定义一个执行特定功能的函数,将其作为target参数传入Process,即可创建并运行新进程。


from multiprocessing import Process
import time
def test_():
  print '-----test-----'
if __name__ == '__main__':
  p = Process(target=test_)
  p.start()
  while True:
    print '--main--'
    

'''1.通过process 类创建一个进程对象,然后start即可开启进程, test
test_函数是进程实现的功能'''
 
 from multiprocessing import Process
 import time
 class MyNewProcess(Process):
   def run(self):
     print '------run-------'
 if __name__ == '__main__':
   p = MyNewProcess()
   p.start()
   print '---main-----'
 '''2.通过类似继承process  子类中必须有run 方法 里边实现 进程功能 
 创建对象之后 调用start'''

利用进程池Pool管理并发任务

另一种方式是通过继承Process类来自定义进程子类。在这种模式下,必须在子类中重写run()方法,将具体的进程逻辑写入其中。实例化该子类后,同样调用start()方法即可启动进程,这种方式更适合封装复杂的进程行为。


from multiprocessing import Pool
from time import sleep
import os 
def func(num):
  for i in range(3):
    print '%s %s' %(os.getpid(),num) #
    sleep(2)
def main():
  pool = Pool(3)
  for i in range(3, 6):
    res = pool.apply_async(func, (i,))
  pool.close()
  pool.join() 
if __name__ == '__main__':
  main()

基于Queue的进程间通信实现

当需要管理多个进程时,进程池(Pool)是更优的选择。通过创建指定容量的Pool对象,可以使用apply_async()等异步方法提交任务,避免频繁创建销毁进程带来的开销。示例中展示了如何限制进程数量,并通过close()和join()确保所有任务执行完毕,从而高效处理批量计算任务。


'''python 进程间通信   Queue '''

'''1.Queue使用方法
  1.Queue.qsize(): 返回当前队列包含的消息数量
  2.Queue.empty(): 如果队列为空 返回True 反之 False
  3.Queue.full(): 如果队列满了返回True 反之 False
  4.Queue.get():  获取队列中一条消息 然后将其从队列中移除 可传参数 超市时长
  Queue.get_nowait(): 相当于 Queue.get(False) 取不到值 触发异常
  Queue.put(): 将一个值添加到数列 可传参数 超时时长
  Queue.put_nowait():相当于 Queue.get(False) 当队列满时 报错
'''
from multiprocessing import Process, Queue
import time
q = Queue() # 创建队列
for i in range(10):
  q.put(i)    
def test_a():
    try:
      while True:
        num = q.get_nowait()
        print '我是进程a 取出数字为:%s'%num
        time.sleep(1)
    except Exception, e:
      print e
def test_b():
  try:
    while True:
      num = q.get_nowait()
      print '我是进程b 取出数字是:%s'%num
      time.sleep(1)
  except Exception, e:
    print e
if __name__ == '__main__':
  p1 = Process(target=test_a)
  p2 = Process(target=test_b)
  p1.start()
  p2.start()

进程间通信(IPC)是并发编程中的关键环节,Python推荐使用Queue类来实现。Queue提供了put()和get()方法,支持在进程间安全地传递数据。通过示例可以看到,多个进程可以同时从同一个Queue中获取数据,利用get_nowait()配合异常处理,可以灵活控制读取逻辑,避免阻塞。

至此,关于Python多进程的基本使用介绍完毕。希望上述内容能帮助您更好地理解进程创建、池化管理及通信机制,如有更多疑问欢迎继续交流。

相关标签:

本站声明

本文内容仅供参考,不代表本站观点。转载或引用请注明出处。如发现内容问题,请通过联系我们页面反馈。

Python 相关产品和应用

全部下载

专题列表