Python爬虫反爬机制解析：Headers、IP代理与Cookies实战

拾光

发布时间：2026-10-14 | 5人浏览过

原创

本文详解Python爬虫应对常见反爬策略的三种核心方法。首先介绍如何通过F12开发者工具获取并模拟User-Agent和Referer以伪装浏览器身份；其次讲解IP代理的配置及访问频率控制，防止IP被封禁；最后阐述手动与自动获取Cookie的技巧，利用Session保持登录状态，有效解决403禁止访问错误。

一、浏览器模拟（Headers）

浏览器指纹模拟是应对反爬检测的基础手段。若网站频繁接收来自同一浏览器版本的高频请求，极易触发风控机制将其判定为机器人。为规避此风险，策略在于每次请求时动态更换浏览器标识信息。

如何找到浏览器信息

启动浏览器，按下F12键（Mac系统为Option+Command+I，或右键点击页面选择“检查”）进入开发者工具。

在开发者工具顶部导航栏中，点击“Network”（网络）标签页。

按下Ctrl+R（Mac系统为Command+R）刷新页面以触发网络抓包。

刷新完成后，在右侧Name列表中的任意请求项上点击，即可展开详情面板。红框标注区域即为当前浏览器向服务器发送的关键头部信息。

注意：部分网站会校验Referer字段，用于识别请求来源页面。类似某些特定站点会严格检查此信息，因此需通过上述相同步骤提取Referer值。如红框所示位置。

经由上述步骤，即可成功提取浏览器版本及相关头部信息。若能获取多组不同版本的标识数据，即可实现模拟不同浏览器的访问行为。

在Python代码中应用User-Agent的方法如下：


headers = {
  			'Referer': '具体的Referer',
            'User-Agent': '具体的user-agent'
    }
requests.get(url,headers=headers)

常用的模拟浏览器请求头（Headers）配置列表如下：


User_Agent = [
    "Mozilla/5.0 (iPod; U; CPU iPhone OS 4_3_2 like Mac OS X; zh-cn) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8H7 Safari/6533.18.5",
    "Mozilla/5.0 (iPhone; U; CPU iPhone OS 4_3_2 like Mac OS X; zh-cn) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8H7 Safari/6533.18.5",
    "MQQBrowser/25 (Linux; U; 2.3.3; zh-cn; HTC Desire S Build/GRI40;480*800)",
    "Mozilla/5.0 (Linux; U; Android 2.3.3; zh-cn; HTC_DesireS_S510e Build/GRI40) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1",
    "Mozilla/5.0 (SymbianOS/9.3; U; Series60/3.2 NokiaE75-1 /110.48.125 Profile/MIDP-2.1 Configuration/CLDC-1.1 ) AppleWebKit/413 (KHTML, like Gecko) Safari/413",
    "Mozilla/5.0 (iPad; U; CPU OS 4_3_3 like Mac OS X; zh-cn) AppleWebKit/533.17.9 (KHTML, like Gecko) Mobile/8J2",
    "Mozilla/5.0 (Windows NT 5.2) AppleWebKit/534.30 (KHTML, like Gecko) Chrome/12.0.742.122 Safari/534.30",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_2) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/14.0.835.202 Safari/535.1",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_2) AppleWebKit/534.51.22 (KHTML, like Gecko) Version/5.1.1 Safari/534.51.22",
    "Mozilla/5.0 (iPhone; CPU iPhone OS 5_0 like Mac OS X) AppleWebKit/534.46 (KHTML, like Gecko) Version/5.1 Mobile/9A5313e Safari/7534.48.3",
    "Mozilla/5.0 (iPhone; CPU iPhone OS 5_0 like Mac OS X) AppleWebKit/534.46 (KHTML, like Gecko) Version/5.1 Mobile/9A5313e Safari/7534.48.3",
    "Mozilla/5.0 (iPhone; CPU iPhone OS 5_0 like Mac OS X) AppleWebKit/534.46 (KHTML, like Gecko) Version/5.1 Mobile/9A5313e Safari/7534.48.3",
    "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/14.0.835.202 Safari/535.1",
    "Mozilla/5.0 (compatible; MSIE 9.0; Windows Phone OS 7.5; Trident/5.0; IEMobile/9.0; SAMSUNG; OMNIA7)",
    "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0; XBLWP7; ZuneWP7)",
    "Mozilla/5.0 (Windows NT 5.2) AppleWebKit/534.30 (KHTML, like Gecko) Chrome/12.0.742.122 Safari/534.30",
    "Mozilla/5.0 (Windows NT 5.1; rv:5.0) Gecko/20100101 Firefox/5.0",
    "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.2; Trident/4.0; .NET CLR 1.1.4322; .NET CLR 2.0.50727; .NET4.0E; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729; .NET4.0C)",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.2; .NET CLR 1.1.4322; .NET CLR 2.0.50727; .NET4.0E; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729; .NET4.0C)",
    "Mozilla/4.0 (compatible; MSIE 60; Windows NT 5.1; SV1; .NET CLR 2.0.50727)",
    "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E)",
    "Opera/9.80 (Windows NT 5.1; U; zh-cn) Presto/2.9.168 Version/11.50",
    "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)",
    "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; .NET CLR 2.0.50727; .NET CLR 3.0.04506.648; .NET CLR 3.5.21022; .NET4.0E; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729; .NET4.0C)",
    "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN) AppleWebKit/533.21.1 (KHTML, like Gecko) Version/5.0.5 Safari/533.21.1",
    "Mozilla/5.0 (Windows; U; Windows NT 5.1; ) AppleWebKit/534.12 (KHTML, like Gecko) Maxthon/3.0 Safari/534.12",
    "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 2.0.50727; TheWorld)",
    "Opera/9.80 (X11; Linux i686; Ubuntu/14.10) Presto/2.12.388 Version/12.16",
    "Opera/9.80 (Windows NT 6.0) Presto/2.12.388 Version/12.14",
    "Mozilla/5.0 (Windows NT 6.0; rv:2.0) Gecko/20100101 Firefox/4.0 Opera 12.14",
    "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.0) Opera 12.14",
    "Opera/12.80 (Windows NT 5.1; U; en) Presto/2.10.289 Version/12.02",
    "Opera/9.80 (Windows NT 6.1; U; es-ES) Presto/2.9.181 Version/12.00",
    "Opera/9.80 (Windows NT 5.1; U; zh-sg) Presto/2.9.181 Version/12.00",
    "Opera/12.0(Windows NT 5.2;U;en)Presto/22.9.168 Version/12.00",
    "Opera/12.0(Windows NT 5.1;U;en)Presto/22.9.168 Version/12.00",
    "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:40.0) Gecko/20100101 Firefox/40.1",
    "Mozilla/5.0 (Windows NT 6.3; rv:36.0) Gecko/20100101 Firefox/36.0",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10; rv:33.0) Gecko/20100101 Firefox/33.0",
    "Mozilla/5.0 (X11; Linux i586; rv:31.0) Gecko/20100101 Firefox/31.0",
    "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:31.0) Gecko/20130401 Firefox/31.0",
    "Mozilla/5.0 (Windows NT 5.1; rv:31.0) Gecko/20100101 Firefox/31.0",
    "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:29.0) Gecko/20120101 Firefox/29.0",
    "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:25.0) Gecko/20100101 Firefox/29.0",
    "Mozilla/5.0 (X11; OpenBSD amd64; rv:28.0) Gecko/20100101 Firefox/28.0",
    "Mozilla/5.0 (X11; Linux x86_64; rv:28.0) Gecko/20100101  Firefox/28.0",
    "Mozilla/5.0 (Windows NT 6.1; rv:27.3) Gecko/20130101 Firefox/27.3",
    "Mozilla/5.0 (Windows NT 6.2; Win64; x64; rv:27.0) Gecko/20121011 Firefox/27.0",
    "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:25.0) Gecko/20100101 Firefox/25.0",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:25.0) Gecko/20100101 Firefox/25.0",
    "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:24.0) Gecko/20100101 Firefox/24.0",
    "Mozilla/5.0 (Windows NT 6.0; WOW64; rv:24.0) Gecko/20100101 Firefox/24.0",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.8; rv:24.0) Gecko/20100101 Firefox/24.0"
]

二、IP代理

除浏览器指纹外，单一IP地址的高频访问同样会导致封禁风险。个人IP被封尚可接受，若企业出口IP被封锁，将严重影响业务访问。

针对IP策略，除需定期更换代理IP地址外，还需严格控制请求发送速度，避免程序高速运行导致瞬间流量激增。

Python中配置IP代理的代码示例如下：


import requests
proxies = {"http": 'IP地址'}
requests.get(url, headers=headers, proxies=proxies)

注：关于代理IP的来源，网络上存在大量免费或付费代理服务，可根据需求选择使用。

通过Python内置的time模块控制请求间隔：


import time
time.sleep(5)

三、Cookies模拟

访问某些网站时若返回403 Forbidden错误，通常意味着权限不足。这往往发生在未设置Cookie或Cookie配置错误的情况下。Cookie相当于网站的通行证，登录前后其值会发生显著变化。

手动获取cookie

获取Cookie的方式与提取User-Agent类似，可通过开发者工具直接查看：

自动获取cookie

利用requests库的Session对象可实现Cookie的自动管理与持久化。

具体示例代码如下：


import requests
session = requests.session()
session.cookies = LWPCookieJar(filename='Cookies.txt')
def login():
    name = input("输入账户:")
    password = input("输入密码:")
    url = "url"
    data = {
        "ck": "",
        "name": name,
        "password": password,
        "remember": "True",
        "ticket": "",
    }
    response = session.post(url, data=data)
    print(response.text)
    session.cookies.save()  # 保存 cookie

执行上述代码后，Cookie信息将自动保存至本地文件。

通过Session加载已保存Cookie的方法如下：


session.cookies = LWPCookieJar(filename='Cookies.txt')
session.cookies.load(ignore_discard=True)

使用cookies

获取Cookie后，使用方式与加载User-Agent类似，直接将其加入请求头即可。


headers = {
  			'Referer': '具体的Referer',
        'User-Agent': '具体的user-agent',
  			'Cookie': 'cookie'
    }
requests.get(url,headers=headers)

以上介绍了Python爬虫应对反爬机制的基础操作，更多相关技术资料请关注本站其他文章。

相关标签: Python 爬虫 Python爬虫

本站声明

本文内容仅供参考，不代表本站观点。转载或引用请注明出处。如发现内容问题，请通过联系我们页面反馈。

作者最新文章

全部内容

Java SE程序逻辑控制与输入输出实战 2026-10-16
Go语言中高效的字符串拼接方法与实践 2026-10-16
Python获取文件夹下所有文件的三种常用方法：os.listdir、glob与os.walk 2026-10-16
Python实现农历生日自动提醒：从数据查询到企业微信推送 2026-10-16
Python多进程程序打包成EXE无限创建子进程问题的解决方案 2026-10-16

Python 相关产品和应用

全部下载

Python Selenium

Selenium

4.51.0 · Windows

用于浏览器自动化和 Web 测试的 Python 工具。

Python 机器学习

scikit-learn

1.9.1 · Windows

常用 Python 机器学习算法与模型评估工具库。

Python 代码质量

Black

26.10.1 · Windows

强调一致性的 Python 自动代码格式化工具。

Python 代码质量

Ruff

0.17.1 · macOS

由 Rust 编写的高速 Python 代码检查和格式化工具。

Python pytest

pytest

9.1.1 · Windows

简洁而强大的 Python 自动化测试框架。

Python FastAPI API

FastAPI

0.146.0 · Windows

高性能 Python API 框架，支持类型提示和自动接口文档。

Python Flask Web开发

Flask

3.1.3 · Windows

轻量灵活的 Python Web 应用框架。

Python Django Web开发

Django

6.1.2 · Windows

成熟的 Python Web 框架，适合构建内容站点和业务系统。

Python Spyder

Spyder

6.1.7 · Windows

面向科学计算与数据分析的 Python 集成开发环境。

Python SciPy

SciPy

1.18.1 · Windows

面向科学、工程和技术计算的 Python 算法库。

Python Pandas 数据分析

pandas

3.0.6 · Windows

Python 数据分析库，提供 DataFrame 与丰富的数据处理能力。

Python NumPy

NumPy

2.5.4 · Windows

Python 科学计算基础库，提供高性能多维数组与数值运算。

网站导航

Python爬虫反爬机制解析：Headers、IP代理与Cookies实战

一、浏览器模拟（Headers）

如何找到浏览器信息

启动浏览器，按下F12键（Mac系统为Option+Command+I，或右键点击页面选择“检查”）进入开发者工具。

在开发者工具顶部导航栏中，点击“Network”（网络）标签页。

按下Ctrl+R（Mac系统为Command+R）刷新页面以触发网络抓包。

在Python代码中应用User-Agent的方法如下：

常用的模拟浏览器请求头（Headers）配置列表如下：

二、IP代理

Python中配置IP代理的代码示例如下：

通过Python内置的time模块控制请求间隔：

三、Cookies模拟

手动获取cookie

自动获取cookie

使用cookies

本站声明

作者最新文章

Python 相关产品和应用

Selenium

scikit-learn

Black

Ruff

pytest

FastAPI

Flask

Django

Spyder

SciPy

pandas

NumPy

文章分类

专题列表

Python爬虫反爬机制解析：Headers、IP代理与Cookies实战

一、浏览器模拟（Headers）

如何找到浏览器信息

启动浏览器，按下F12键（Mac系统为Option+Command+I，或右键点击页面选择“检查”）进入开发者工具。

在开发者工具顶部导航栏中，点击“Network”（网络）标签页。

按下Ctrl+R（Mac系统为Command+R）刷新页面以触发网络抓包。

在Python代码中应用User-Agent的方法如下：

常用的模拟浏览器请求头（Headers）配置列表如下：

二、IP代理

Python中配置IP代理的代码示例如下：

通过Python内置的time模块控制请求间隔：

三、Cookies模拟

手动获取cookie

自动获取cookie

使用cookies

相关文章

本站声明

作者最新文章

Python 相关产品和应用

Selenium

scikit-learn

Black

Ruff

pytest

FastAPI

Flask

Django

Spyder

SciPy

pandas

NumPy

文章分类

专题列表