Python requests 库 timeout 机制详解与避坑指南

背景

近期在进行爬虫开发时，多个子模块均采用了Python的requests库。该库功能强大且使用便捷，深受开发者喜爱。

然而，近期遇到一个棘手问题：部分任务会无故停滞，既不抛出错误，也不继续执行后续流程。

经过全面排查，最终将问题根源锁定在requests库的timeout（超时）机制上。

注：本文探讨的是Python第三方库requests，而非Python内置模块urllib中的request模块，请注意区分。

如何设置超时时间

在requests中配置超时时间主要有两种方法。

第一种方法是传入单一数值作为timeout参数，示例如下：

r = requests.get('https://github.com', timeout=5)

此时，该timeout值将同时作为连接超时和读取超时的上限。

第二种方法是分别指定连接超时和读取超时的时间，示例如下：

r = requests.get('https://github.com', timeout=(3.05, 27))

在上述示例中，3.05代表连接超时时间，27代表读取超时时间。

官方建议将连接超时时间设置为略大于3的整数倍的值，例如3.05或6.05，具体原因可参考官方文档的相关说明。

潜在风险

上述两种超时设置方式中，连接超时和读取超时并非都有默认值。

连接超时的默认时间为21秒，而读取超时没有默认值，即默认情况下不会发生读取超时。

这意味着，如果请求成功建立连接，但在读取数据过程中服务器或代理出现异常，该请求将无限期挂起，既不报错也不继续执行。

这种现象可能导致程序长时间处于“天长地久”的等待状态。

解决方案

为避免此类情况，务必为requests请求显式设置超时时间，特别是在请求量巨大的场景下。

正如俗语所说，“常在河边走，哪有不湿鞋”，做好超时控制是稳定性的关键。

参考资料

Requests 官方文档

补充：python requests timeout不起作用导致卡死

在使用Python的requests进行数据请求时，若不设置timeout，大多数情况下会抛出超时异常，超时时间约为20多秒。

但有时超时机制可能失效，此时需要手动指定超时时间，例如使用timeout=60。

response = requests.get(url, headers=headers, proxies=proxies,timeout=60)

然而，即使设置了该参数，有时仍可能出现几分钟甚至十几分钟无返回结果的情况，此时可以使用timeout=(50, 60)。

timeout参数还可以传入一个包含两个浮点数的元组，分别用于设置请求超时时间和读取超时时间。

response = requests.get(url, headers=headers, proxies=proxies,timeout=(50, 60))

至此，关于Python requests timeout设置的详细介绍完毕，更多相关Python requests timeout内容请搜索本站以前的文章或继续浏览下面的相关文章希望大家以后多多支持本站！