Python爬虫遇到403 Forbidden错误怎么解决
针对Python爬虫在请求网页时遭遇HTTP 403 Forbidden状态码的问题,详细分析其触发机制与常见反爬策略,并提供按部就班的排查步骤与完整可运行的代码解决方案。
在编写Python爬虫抓取目标网页时,收到 403 Forbidden 响应状态码,意味着目标服务器已经收到并理解了客户端的HTTP请求,但服务器明确拒绝向该请求提供资源。发生403错误并不等于网站宕机或网络中断,绝大多数情况下是因为服务器识别到了爬虫的机器行为,或者该请求缺少目标接口所强制校验的身份信息。解决这个问题的核心,在于找出服务器拒绝服务的具体判断依据,并将爬虫的请求特征调整为与常规合法浏览器访问完全一致。
服务器为什么会返回403 Forbidden
当浏览器访问网站时,客户端会在底层自动组装包含浏览器内核版本、系统平台、语言首选项等几十项详细信息的HTTP请求头。与之不同,Python基础网络库(例如 requests 或 urllib)在默认状态下发出的请求特征非常粗糙,不仅带有明显的自动化标识,还缺乏浏览器运行的自然上下文。
网站服务端的反爬网关通常在应用层对进来的请求做多维度过滤。一旦某个请求命中反爬防护规则,服务器就会直接丢弃后续业务处理并返回403状态码。常见的触发依据可以分为客户端标识缺陷、访问行为异常以及缺少访问凭证三类:
- 默认标识暴露:
requests库默认的 User-Agent 头明确包含python-requests/2.x.x字符串,绝大多数反爬网关仅凭这一项就会直接阻断访问。 - 上下文请求头缺失:现代单页应用和Web API往往强制要求请求包含
Referer(来源页面)或Origin,以此验证请求是从其合法站内页面发起的,缺少该项将被判定为非法调用。 - Cookie与认证状态失效:某些数据节点要求登录,或者必须携带通过前端计算生成的防盗链Token。如果请求头中没有对应Cookie,服务器将判定为无权访问。
- IP频率超限被暂时或永久封禁:爬虫短时间内发起密集高频请求,触发了WAF(Web应用防火墙)的频控阈值,导致当前出口IP被列入拦截名单。
排查与解决403错误的递进步骤
解决403错误应遵循“由轻到重、由简到繁”的排查顺序。无需在一开始就引入复杂的代理池或无头浏览器,大多数基础拦截仅需完善HTTP标头即可排除。
步骤一:替换默认 User-Agent
打开浏览器的开发者工具(按 F12),切换到“网络(Network)”选项卡,刷新页面后点击任意一个本站请求。在右侧的“标头(Headers)”区域下拉找到 User-Agent,将其完整字符串复制下来。
在 Python 代码中,通过定义一个字典对象并传递给 requests.get() 的 headers 参数,覆盖掉默认的用户代理信息:
import requests
target_url = "https://httpbin.org/headers"
# 构造标准浏览器的 User-Agent 字符串
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/128.0.0.0 Safari/537.36"
}
response = requests.get(target_url, headers=headers, timeout=10)
print(f"响应状态码: {response.status_code}")
验证方法:运行上述脚本,检查终端输出的状态码。如果输出由 403 恢复为 200,说明目标服务器仅对客户端标识做了基础的黑名单匹配。
步骤二:补齐 Referer 与完整的浏览器标头
如果添加了 User-Agent 依然收到403响应,说明服务器开启了来源页校验(Anti-hotlinking)。这在抓取图片、文件流以及内部数据接口时非常普遍。服务端会核查 Referer 字段,判断该请求是否是从站内页面跳转过来的。
此时需要补充来源地址以及浏览器通用的接收类型描述:
import requests
target_url = "https://example.com/api/data"
# 补充与业务逻辑对应的上下文标头
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/128.0.0.0 Safari/537.36",
"Referer": "https://example.com/portal/index.html",
"Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,*/*;q=0.8",
"Accept-Language": "zh-CN,zh;q=0.9,en;q=0.8",
"Connection": "keep-alive"
}
response = requests.get(target_url, headers=headers, timeout=10)
print(f"响应状态码: {response.status_code}")
Referer 的值必须是目标服务器认可的父级业务页面URL。如果抓取的是二级接口,将其设为主站首页或前置搜索页最为保险。
步骤三:利用 Session 自动管理 Cookie 会话
某些网站在用户访问主页时,会先通过 Set-Cookie 向客户端下发一段临时会话标识,后续请求只有带上这个 Cookie 才被视为合法访问。单独使用 requests.get() 发起单次请求无法自动保留这层会话状态,从而引发403错误。
使用 requests.Session() 可以在同一个会话生命周期内自动接收并携带服务器下发的 Cookie:
在实际编码中,实现两步式会话访问的代码结构如下:
import requests
session = requests.Session()
# 将通用的 Headers 挂载到 Session 实例上
session.headers.update({
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/128.0.0.0 Safari/537.36",
"Accept-Language": "zh-CN,zh;q=0.9"
})
# 1. 先访问首页获取基础 Cookie 和 Session Token
home_url = "https://example.com/"
session.get(home_url, timeout=10)
# 2. 带着已建立的会话与 Cookie 请求具体数据页
data_url = "https://example.com/user/profile"
response = session.get(data_url, timeout=10)
print(f"数据页状态码: {response.status_code}")
步骤四:控制访问节奏与配置代理IP
若在排查初期可以正常抓取,但运行几分钟后突然集中出现403,通常代表爬取速率超过了防护策略设定的安全频次。触发频控后,目标服务器会将当前出口IP拉黑一定时长。
应对频控拦截主要采用两种组合手段:加入随机休眠以平滑单机请求频率;或者配置正向代理服务器(Proxy)轮换出口IP,稀释单位来源上的并发量。
import time
import random
import requests
proxies = {
"http": "http://10.10.1.10:3128",
"https": "http://10.10.1.10:3128"
}
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/128.0.0.0 Safari/537.36"
}
urls = [
"https://example.com/item/1",
"https://example.com/item/2",
"https://example.com/item/3"
]
for url in urls:
try:
response = requests.get(url, headers=headers, proxies=proxies, timeout=10)
if response.status_code == 200:
print(f"成功获取: {url}")
elif response.status_code == 403:
print(f"遇到403阻断,需检查代理或增大延时: {url}")
except requests.exceptions.RequestException as e:
print(f"请求失败: {e}")
# 每次请求后随机休眠 2 到 5 秒,避免高频触发频控网关
time.sleep(random.uniform(2.0, 5.0))
proxies 字典需替换为读者实际可用的有效代理服务地址与端口。测试代理时,建议先访问 https://httpbin.org/ip 验证出口IP是否已发生实质性变更。
常见问题与容易忽略的细节
按照前述步骤排查后,偶发性仍会遇到难以定位的403问题。以下列举几个最容易被忽视的隐蔽触发条件:
- TLS/JA3指纹拦截:部分现代WAF(如 Cloudflare 等)会在建立HTTPS连接的握手阶段,对底层加密套件、扩展列表进行特征比对。Python 默认的 OpenSSL 组合与标准浏览器有明显差异,即使上层请求头完全一致也会被识别。这种情况下,可使用支持调整TLS握手指纹的库(如
curl_cffi)代替基础requests库。 - HTTP POST请求未带CSRF Token:如果是向数据提交接口发请求时遭遇403,检查网页表单或请求标头中是否包含名为
csrf_token、_xsrf或X-CSRFToken的隐藏字符串。该参数通常需要预先从页面HTML源码中解析提取后随同表单一同发送。 - 自动化工具特征(WebDriver泄露):如果使用 Selenium 或早期的自动化驱动,浏览器对象中的
navigator.webdriver属性默认会被置为true,许多防御脚本据此直接拦截并抛出403。可使用undetected-chromedriver避免此类特征暴露。
排查总结与快速决策清单
遇到403 Forbidden错误时,可按照如下矩阵迅速评估当前处于哪一层防护并采取对应策略:
综上所述,解决 403 Forbidden 错误并不需要盲目尝试复杂技术栈。核心思路始终是:通过浏览器网络监控工具抓取正常的网络报文,逐层核对请求头(特别是 User-Agent 和 Referer)、会话凭证(Cookie)以及发送频率,使脚本在协议和行为特征上无限贴近自然浏览,即可恢复正常的抓取流程。
本站声明
本文内容仅供参考,不代表本站观点。转载或引用请注明出处。如发现内容问题,请通过联系我们页面反馈。













