Python3 Pika连接断开问题排查与解决方案
本文针对Python3使用Pika库消费RabbitMQ队列时出现的连接断开问题进行分析。通过排查发现，当回调函数执行耗时操作时，若未正确理解heartbeat_interval参数含义，会导致连接被服务端强制关闭。文章详细解释了该参数的作用机制，并提供了正确的配置建议，避免手动添加复杂心跳线程。
问题描述
在使用RabbitMQ队列进行消息消费的过程中，回调函数内往往需要执行较为耗时的业务逻辑。在完成这些操作后，程序需向RabbitMQ服务端发送确认信号（ACK），以便从队列中移除该条消息。
然而，问题通常出现在发送ACK信号的环节，此时程序往往会报错提示连接已断开或出现Socket错误。
源码示例
#!/usr/bin
#coding: utf-8
import pika
import time
USER = 'guest'
PWD = 'guest'
TEST_QUEUE = 'just4test'
def callback(ch, method, properties, body):
print(body)
time.sleep(600)
ch.basic_publish('', routing_key=TEST_QUEUE, body="fortest")
ch.basic_ack(delivery_tag = method.delivery_tag)
def test_main():
s_conn = pika.BlockingConnection(
pika.ConnectionParameters('127.0.0.1',
credentials=pika.PlainCredentials(USER, PWD)))
chan = s_conn.channel()
chan.queue_declare(queue=TEST_QUEUE)
chan.basic_publish('', routing_key=TEST_QUEUE, body="fortest")
chan.basic_consume(callback, queue=TEST_QUEUE)
chan.start_consuming()
if __name__ == "__main__":
test_main()
在程序运行一段时间后，控制台会抛出如下错误信息：
[ERROR][pika.adapters.base_connection][2017-08-18 12:33:49]Error event 25, None [CRITICAL][pika.adapters.base_connection][2017-08-18 12:33:49]Tried to handle an error where no error existed [ERROR][pika.adapters.base_connection][2017-08-18 12:33:49]Fatal Socket Error: BrokenPipeError(32, 'Broken pipe')
问题排查
初步推测原因可能是Pika客户端未能及时发送心跳包，导致服务端主动断开了连接。
起初尝试通过修改heartbeat_interval参数值来解决，具体配置示例如下：
def test_main():
s_conn = pika.BlockingConnection(
pika.ConnectionParameters('127.0.0.1',
heartbeat_interval=10,
socket_timeout=5,
credentials=pika.PlainCredentials(USER, PWD)))
# ....
修改参数后重新运行，错误依旧存在。随后分析认为，由于单线程持续被耗时操作占用，Pika库无法在后台正常发送心跳信号，从而导致连接超时。
为此，尝试引入独立的心跳线程来维持连接，相关代码示例如下：
#!/usr/bin
#coding: utf-8
import pika
import time
import logging
import threading
USER = 'guest'
PWD = 'guest'
TEST_QUEUE = 'just4test'
class Heartbeat(threading.Thread):
def __init__(self, connection):
super(Heartbeat, self).__init__()
self.lock = threading.Lock()
self.connection = connection
self.quitflag = False
self.stopflag = True
self.setDaemon(True)
def run(self):
while not self.quitflag:
time.sleep(10)
self.lock.acquire()
if self.stopflag :
self.lock.release()
continue
try:
self.connection.process_data_events()
except Exception as ex:
logging.warn("Error format: %s"%(str(ex)))
self.lock.release()
return
self.lock.release()
def startHeartbeat(self):
self.lock.acquire()
if self.quitflag==True:
self.lock.release()
return
self.stopflag=False
self.lock.release()
def callback(ch, method, properties, body):
logging.info("recv_body:%s" % body)
time.sleep(600)
ch.basic_ack(delivery_tag = method.delivery_tag)
def test_main():
s_conn = pika.BlockingConnection(
pika.ConnectionParameters('127.0.0.1',
heartbeat_interval=10,
socket_timeout=5,
credentials=pika.PlainCredentials(USER, PWD)))
chan = s_conn.channel()
chan.queue_declare(queue=TEST_QUEUE)
chan.basic_consume(callback,
queue=TEST_QUEUE)
heartbeat = Heartbeat(s_conn)
heartbeat.start() #开启心跳线程
heartbeat.startHeartbeat()
chan.start_consuming()
if __name__ == "__main__":
test_main()
再次尝试运行，问题仍未解决。此时需要冷静下来重新审视思路，检查是否方向有误。
查阅Pika的官方API文档，重点查看对heartbeat_interval参数的解析说明：
:param int heartbeat_interval: How often to send heartbeats.
Min between this value and server's proposal
will be used. Use 0 to deactivate heartbeats
and None to accept server's proposal.
根据API文档的说明，之前的理解存在偏差。上述代码期望每10秒发送一次心跳，但理论上实际发送间隔可能会略大于10秒。实际上，heartbeat_interval参数的含义是：如果超过设定的时间间隔未发送心跳或未向服务端发送任何信息，服务端将会断开连接；它并非控制Pika客户端主动发送心跳的频率。因此，只需将heartbeat_interval的值设置得比实际发送心跳或信息的间隔更长即可，例如将其设置为60秒，连接便能正常运行。
如果不指定heartbeat_interval参数，其默认值为None，这意味着将遵循RabbitMQ服务端配置的心跳检测机制。
若将heartbeat_interval设置为0，则表示禁用心跳检测，服务端将不会主动断开连接。
以上关于解决Python3 Pika连接断开问题的内容分享完毕，希望能对读者有所帮助，也欢迎大家继续支持本站。
本站声明
本文内容仅供参考，不代表本站观点。转载或引用请注明出处。如发现内容问题，请通过联系我们页面反馈。
