Python多进程实战:文件批量复制与聊天服务器实现
本文详解Python多进程操作,通过两个实战案例展示进程池的应用。首先演示如何批量复制文件并优化进度显示,利用进程池提高执行效率;其次介绍基于多进程与多线程结合的聊天服务器实现方案,涵盖Socket通信、进程创建及消息收发逻辑,帮助开发者掌握高并发场景下的Python编程技巧。
本文通过具体实例解析Python中多进程及进程池的操作方法,旨在为读者提供实用的参考代码与思路。
多进程实现文件批量复制
一、多进程实现文件批量复制
import multiprocessing
import os
import time
# 复制文件,传入文件名
def copy_file(old_file_name, old_name):
new_file_name = 'new_file'
new_name = old_name
if not os.path.exists(new_file_name):
os.makedirs(new_file_name)
with open(old_file_name + '/' + old_name, 'rb') as f:
file_content = f.read()
with open(new_file_name + '/' + new_name, 'wb') as f:
f.write(file_content)
if __name__ == '__main__':
old_file_name = 'old_file'
name_list = os.listdir(old_file_name)
time_old = time.time()
for name in name_list:
process = multiprocessing.Process(target=copy_file, args=(old_file_name, name))
process.start()
time_new = time.time()
print('执行时间:%f' % (time_new - time_old))
引入进程池优化并添加复制进度显示
二、引入进程池优化并添加复制进度显示
import multiprocessing
import os
import time
# 复制文件,传入文件名
def copy_file(old_file_name, old_name, queue):
new_file_name = 'new_file'
new_name = old_name
if not os.path.exists(new_file_name):
os.makedirs(new_file_name)
with open(old_file_name + '/' + old_name, 'rb') as f:
file_content = f.read()
with open(new_file_name + '/' + new_name, 'wb') as f:
f.write(file_content)
queue.put(new_file_name)
if __name__ == '__main__':
old_file_name = 'old_file' #存放文件的文件名
name_list = os.listdir(old_file_name) #取出所有文件的文件名
queue = multiprocessing.Manager().Queue() #创建队列对象,用于计算复制完成百分比
po = multiprocessing.Pool(3) #创建线程池
time_old = time.time() #用于计算花费时间
for name in name_list:
po.apply_async(copy_file, (old_file_name, name, queue))
po.close()
index = 0
while True:
index += 1
queue.get()
print('\r以保存%.2f%%' % ((index / len(name_list)) * 100), end='')
if index == len(name_list):
break
time_new = time.time()
print('执行时间:%f' % (time_new - time_old))
基于多进程的聊天服务器实现
三、基于多进程的聊天服务器实现
import multiprocessing
import socket
import threading
# 需求:
# 1.主进程创建一个TCPconnect
# 2.主进程connect后创建进程开启一个新的Socketconnect
# 3.进程里创建线程不断的接收和提示发送消息
# 有连接时新创建一个进程处理聊天
def speak_send(tcp_msg):
while True:
test = input('请输入要发送的消息')
tcp_msg.send(test.encode('utf-8'))
def speak_rec(tcp_msg):
while True:
print(tcp_msg.recv(1024).decode('gbk'))
# 开启的进程聊天
def speak_process(tcp_sock, tcp_msg, ip):
print('开启进程')
# 5.开线程循环接收消息
msg_rec = threading.Thread(target=speak_rec, args=(tcp_msg,))
# print(tcp_msg.recv(1024).decode('gbk'))
# 6.开线程循环发送消息
msg_send = threading.Thread(target=speak_send, args=(tcp_msg,))
msg_rec.start()
msg_send.start()
msg_rec.join()
msg_send.join()
# 7.关闭
# tcp_msg.close()
def main():
# 1创建TCP对象
tcp_sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
# 2.绑定ip和端口
tcp_sock.bind(('', 9999))
# 3.改主动为被动
tcp_sock.listen(128)
# 4.accept接收msg和ip
while True:
tcp_msg, ip = tcp_sock.accept()
process = multiprocessing.Process(target=speak_process, args=(tcp_sock, tcp_msg, ip))
process.start()
if __name__ == '__main__':
main()
如需了解更多Python相关知识,建议查阅本站《Python进程与线程操作技巧总结》、《Python数据结构与算法教程》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》、《Python入门与进阶经典教程》、《Python+MySQL数据库程序设计入门教程》及《Python常见数据库操作技巧汇总》等专题文章。
希望上述内容能对您的Python程序设计工作有所帮助。
本站声明
本文内容仅供参考,不代表本站观点。转载或引用请注明出处。如发现内容问题,请通过联系我们页面反馈。













