Python怎么在网页请求中保持Session和Cookie状态

在进行自动化脚本编写、模拟登录或接口调用时，HTTP 协议本身的“无状态性”是初学者最常遇到的障碍。在默认的单次请求模式下，每次调用 requests.get() 或 requests.post() 都会新建底层 TCP 连接，并在请求完成后丢弃连接与服务端返回的状态信息。要在后续请求中维持登录身份或上下文状态，Python 最标准且直接的解决方案是使用 requests.Session() 对象。该对象会在内存中维护一个 CookieJar 容器，自动捕获服务端下发的 Set-Cookie 响应头，并在对同域名、同路径的后续请求中自动组装并携带 Cookie 请求头。

一、HTTP无状态与Session保持的底层运作机制

Web 应用程序通常依靠 Cookie 来识别不同客户端的访问。当客户端提交账号密码登录成功后，服务端会在响应报文头部通过 Set-Cookie: session_id=... 字段把凭证下发给客户端。客户端如果使用常规的单次请求函数，该响应头中的数据在请求返回后便脱离了生命周期；如果下一个接口需要验证登录凭证，服务端读取不到请求中的 Cookie 字段，就会返回未认证（401）或重定向到登录页（302）。

requests.Session 的核心价值在于充当了一个带有持久化存储能力的客户端客户端代理。它不仅会在跨请求之间自动存储、管理和发送 Cookie，还会复用底层的 urllib3 连接池（Connection Pool），从而避免为每个 HTTP 请求重复进行 TCP 三次握手和 TLS 握手，既保障了状态连续性，又提升了网络吞吐性能。

二、使用 requests.Session 的核心操作步骤

要在实战代码中实现状态保持，通常需要遵循四个标准步骤：实例化 Session、预访问拉取初始参数、发送认证请求建立会话、以及执行后续业务操作。下文结合代码详细说明每一步的关键操作点与代码逻辑。

步骤 1：创建并配置 Session 会话对象

推荐使用上下文管理器（with requests.Session() as session:）创建会话。当退出 with 块时，Session 会自动释放连接池资源。如果需要跨函数或在类实例中长期持有，也可以显式调用 session = requests.Session()，并在不需要时执行 session.close()。

import requests

# 建立会话并注入全局公用 Headers
session = requests.Session()
session.headers.update({
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36",
    "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8"
})

步骤 2：预访问与动态参数收集

很多现代网站的登录接口配置了防跨站请求伪造（CSRF）机制。在直接提交登录表单之前，必须先发起一次 GET 请求访问登录页面。这一步不仅能使服务端下发基础的初始 Cookie（例如会话种子），还能从 HTML 或响应 Cookie 中解析出隐藏的 csrf_token。

# 访问登录入口，自动接收服务端下发的初始 Cookie
login_page_url = "https://httpbin.org/cookies/set?initial_visitor=true"
resp_init = session.get(login_page_url)

# 打印此时 Session 已经自动记录的 Cookie
print("预访问后的 Cookies:", session.cookies.get_dict())
# 示例输出: {'initial_visitor': 'true'}

步骤 3：提交认证信息并建立登录状态

使用同一个 session 实例向目标登录接口提交 POST 请求。服务端核验账密无误后，返回的响应头中会包含用于识别身份的 Cookie，Session 会自动接收并存储。

# 模拟登录接口
login_api = "https://httpbin.org/cookies/set?auth_token=secret_token_123456"
login_resp = session.get(login_api)  # httpbin 模拟 set-cookie

if login_resp.status_code == 200:
    print("登录状态设置成功")
    print("当前活跃 Cookies:", session.cookies.get_dict())
    # 示例输出: {'auth_token': 'secret_token_123456', 'initial_visitor': 'true'}

步骤 4：在状态维持下请求受限业务数据

登录成功后，直接使用该 session 发起后续请求。由于 auth_token 已经常驻在 session.cookies 中，底层的 HTTP 适配器会自动将其拼接为 Cookie: auth_token=... 并发送至服务端，无需每次手动设置。

# 请求受保护的数据接口
dashboard_url = "https://httpbin.org/cookies"
dash_resp = session.get(dashboard_url)

# 服务端解析收到的 Cookie 报文
print("服务端接收到的完整 Cookie 镜像:", dash_resp.json())
# 示例输出: {'cookies': {'auth_token': 'secret_token_123456', 'initial_visitor': 'true'}}

三、手动管理、注入与检查 Cookie

在实际开发中，我们经常遇到不需要调用登录接口，而是直接通过抓包或浏览器开发者工具提取到现成 Cookie 的情况。此时可以直接将 Cookie 注入到 Session 中，或者对内部 Cookie 进行增删查改。

1. 查看与读取当前 Cookie

session.cookies 是一个 RequestsCookieJar 实例，继承自 Python 标准库的 http.cookiejar.CookieJar。它提供了字典式的便捷访问方法：

• session.cookies.get_dict()：导出为普通 Python 字典 {'key': 'value'}，便于序列化或快速查看。
• session.cookies.get("key")：读取指定名称的 Cookie 值。
• 通过迭代器遍历每个详细条目：可获取域名（domain）、路径（path）、有效期限（expires）等属性。

2. 手动向 Session 注入 Cookie

手动设置 Cookie 有两种常见方式：一种是针对单次请求临时生效，另一种是永久注入到 Session 会话中。

# 方式 A：注入到 Session 实例（该会话内的所有后续请求均有效）
session.cookies.set("user_session_id", "sess_987654321", domain="httpbin.org", path="/")

# 也可以直接通过字典形式批量更新
requests.utils.add_dict_to_cookiejar(session.cookies, {
    "device_fingerprint": "fp_abcdefg",
    "theme_mode": "dark"
})

# 方式 B：仅针对当前单次请求生效（不改变 Session 自身的 CookieJar）
temp_resp = session.get("https://httpbin.org/cookies", cookies={"temp_token": "one_time_only"})

四、Cookie 状态的本地持久化与复用

爬虫或自动化运维程序一旦重启，内存中的 Session 对象及其 CookieJar 就会被系统垃圾回收。频繁重新请求登录接口容易触发网站的风控拦截（如出现图形滑块或手机短信验证码）。因此，将已经有效的 Cookie 状态持久化存储到本地磁盘，并在启动时恢复，是一项关键的工程实践。

方案 1：使用标准库 LWPCookieJar 保存与加载（推荐）

Python 标准库的 http.cookiejar.LWPCookieJar 能够以规范的 Set-Cookie 格式把 Cookie 存储到磁盘文本文件中，并且能够完整保留域名、路径、过期时间等元数据信息：

import os
import requests
from http.cookiejar import LWPCookieJar

COOKIE_FILE = "session_cookies.txt"

session = requests.Session()
# 将 Session 的 cookies 容器绑定为支持落盘的 LWPCookieJar
session.cookies = LWPCookieJar(filename=COOKIE_FILE)

# 1. 启动时尝试从磁盘恢复 Cookie
if os.path.exists(COOKIE_FILE):
    # ignore_discard=True 表示即使是会话型 Cookie 也允许载入
    # ignore_expires=True 表示即使过期也被加载（后续由逻辑判断）
    session.cookies.load(ignore_discard=True, ignore_expires=True)
    print("成功从本地文件载入 Cookie 状态")
else:
    print("本地无缓存，执行首次登录")
    # 模拟首次登录并触发 Set-Cookie
    session.get("https://httpbin.org/cookies/set?logged_in_user=alice")
    # 2. 登录成功后保存至文件
    session.cookies.save(ignore_discard=True, ignore_expires=True)
    print("已将登录状态保存至本地文件")

# 3. 校验请求
resp = session.get("https://httpbin.org/cookies")
print("当前请求携带的 Cookies:", resp.json())

方案 2：基于 JSON 格式存储简化字典

如果你只需要记录键值对形式的 Cookie（如分布式 Redis 存储场景），可以使用 requests.utils 模块提供的序列化辅助函数：

import json
import requests

# 导出 Session 中的 Cookies 为普通字典并存储为 JSON
cookies_dict = requests.utils.dict_from_cookiejar(session.cookies)
with open("cookies.json", "w", encoding="utf-8") as f:
    json.dump(cookies_dict, f, ensure_ascii=False, indent=2)

# 读取 JSON 并重新装载进新会话
with open("cookies.json", "r", encoding="utf-8") as f:
    saved_cookies = json.load(f)

new_session = requests.Session()
requests.utils.add_dict_to_cookiejar(new_session.cookies, saved_cookies)

五、常见问题排查与关键避坑指南

即便正确使用了 requests.Session，在面对较为复杂的现代网站时，仍可能遇到“状态莫名丢失”的情况。下表列出了最典型的失效原因及排查方案：

总结

在 Python 中维持网络请求的 Session 和 Cookie 状态，其核心在于将原本离散的 HTTP 请求统一托管至持久化容器中。通过 requests.Session()，开发者无需手动解析和组装 Set-Cookie 与 Cookie 报文头，底层库会自动依据 RFC 标准完成作用域过滤和状态同步；对于长期稳定运行的爬虫与任务，再配合 http.cookiejar.LWPCookieJar 进行本地落盘与恢复，即可构建出健壮、高效且具备自愈能力的状态保持架构。