Python requests爬虫入门:发送GET与POST请求获取网页

远山来客
远山来客
发布时间:2026-11-17 | 9人浏览过
原创

面向初学者的 Python requests 网络爬虫入门教程。深入讲解如何使用 requests 发送 GET 与 POST 请求、传递参数与请求头、解析响应数据并处理编码与异常。

编写网络爬虫的本质是模拟浏览器向目标服务器发送网络请求,并从接收到的响应中提取所需内容。Python 内置的 urllib 模块语法繁琐,而第三方库 requests 以简洁、直观的 API 成为抓取网页的首选工具。本文讲解如何使用 requests 发送最核心的 GET 与 POST 请求、传递参数与请求头、解析响应数据,并建立基础的异常防护机制。

一、准备环境与爬虫基本工作流

在使用 requests 之前,需要确认本地已经安装了 Python 环境。通过终端或命令行工具执行包管理命令即可完成安装:

pip install requests

编写爬虫程序通常由四个标准环节组成:定义目标网址与参数、伪装请求头并发送 HTTP 请求、接收服务器返回的响应对象、根据格式提取目标数据。整体调用链路清晰直接,各模块分工明确。

Python requests爬虫入门:发送GET与POST请求获取网页
图 1:Python requests 爬虫四步基本开发流程

二、发送 GET 请求获取网页

GET 请求是 HTTP 协议中最常见的请求方式,主要用于从服务器检索或下载资源。在网络爬虫中,绝大多数新闻列表、博客文章以及公开页面的抓取都基于 GET 请求完成。

1. 最基础的 GET 请求代码

调用 requests.get(url) 即可发起请求,该方法会返回一个 Response 响应对象:

import requests

url = 'https://httpbin.org/get'
response = requests.get(url)

print("状态码:", response.status_code)
print("响应内容类型:", response.headers.get('Content-Type'))
print("前100字符:\n", response.text[:100])
示例运行输出
状态码: 200 响应内容类型: application/json 前100字符: { "args": {}, "headers": { "Accept": "*/*", "Accept-Encoding": "gzip, deflate", "Host": "httpbin.org"

2. 携带查询参数(params)

很多网页通过 URL 尾部的查询字符串(Query String)传递筛选条件,例如 https://example.com/search?keyword=python&page=2。如果手动拼接字符串,不仅容易出错,还需要对空格与特殊符号进行 URL 编码转义。

requests 提供了 params 参数,允许直接传入一个 Python 字典,库内部会自动完成键值对的拼接与编码:

import requests

url = 'https://httpbin.org/get'
query_params = {
    'keyword': '爬虫开发',
    'page': 1,
    'limit': 20
}

response = requests.get(url, params=query_params)
print("实际请求的完整 URL:", response.url)
示例运行输出
实际请求的完整 URL: https://httpbin.org/get?keyword=%E7%88%AC%E8%99%AB%E5%BC%80%E5%8F%91&page=1&limit=20

3. 正确处理响应内容与中文乱码

获取到 response 对象后,需根据返回内容的类型选择恰当的提取属性:

  • response.status_code:整数类型的 HTTP 状态码。值为 200 表示请求成功;403 代表服务器拒绝访问;404 代表目标资源不存在;500 代表服务端内部错误。
  • response.text:字符串形式的响应体内容。requests 会根据 HTTP 标头猜测编码并自动解码。如果网页返回乱码,通常是因为猜测的编码与实际不一致。此时可通过 response.encoding = response.apparent_encoding 自动根据页面实际字节分析并修正编码。
  • response.content:原始二进制字节数据(bytes 类型)。在爬取图片、视频、PDF 文件时必须使用此属性,再写入本地二进制文件。
  • response.json():若目标接口返回 JSON 字符串,调用该方法可直接反序列化为 Python 列表或字典,省去手动使用 json.loads() 的步骤。

三、发送 POST 请求提交数据

当目标网站需要提交表单、模拟用户登录或与异步交互式 API 对接时,通常需要使用 POST 请求。与 GET 请求将参数暴露在 URL 中不同,POST 请求将需要提交的数据封装在 HTTP 请求体(Request Body)内。

Python requests爬虫入门:发送GET与POST请求获取网页
图 2:GET 与 POST 请求在数据传输位置与调用场景上的关键对比

1. 提交表单数据(data 参数)

传统的 HTML 网页多使用 application/x-www-form-urlencoded 编码提交表单。在 requests 中,只需将待提交的数据字典赋值给 data 参数:

import requests

url = 'https://httpbin.org/post'
form_data = {
    'username': 'tester_demo',
    'auth_code': '987654'
}

response = requests.post(url, data=form_data)
result = response.json()

print("服务器接收到的 form 表单数据:", result.get('form'))
示例运行输出
服务器接收到的 form 表单数据: {'auth_code': '987654', 'username': 'tester_demo'}

2. 提交 JSON 数据(json 参数)

现代前后端分离网站的大量 API 接口要求客户端发送 Content-Type: application/json 格式的数据。如果使用 data 参数传递,需要手动调用 json.dumps() 并在 headers 中显式声明格式。

requests 提供了更为便捷的 json 参数:直接将 Python 字典传入 json=...,库会自动将字典序列化为 JSON 字符串,并将请求标头中的 Content-Type 自动设置为 application/json:

import requests

url = 'https://httpbin.org/post'
payload = {
    'action': 'query_records',
    'filters': {'status': 'active', 'level': 2}
}

response = requests.post(url, json=payload)
result = response.json()

print("服务器识别的 Content-Type:", result.get('headers', {}).get('Content-Type'))
print("服务器解析出的 json 负载:", result.get('json'))
示例运行输出
服务器识别的 Content-Type: application/json 服务器解析出的 json 负载: {'action': 'query_records', 'filters': {'level': 2, 'status': 'active'}}

四、请求头伪装与网络交互生命周期

很多网站都有基础的反爬虫防护策略。如果不做任何配置直接使用 requests 发起请求,HTTP 请求头中的 User-Agent 会默认被标记为类似 python-requests/2.31.0。目标服务器的防火墙识别到该特征后,会立即返回 403 Forbidden 拒绝响应。

为了使请求表现得更贴近正常浏览器访问,需要在请求中注入常用的 headers 字段,其中核心是 User-Agent 和 Referer。

Python requests爬虫入门:发送GET与POST请求获取网页
图 3:requests 请求装配、网络交互与响应对象属性解构模型

自定义 Headers 示例

通过构建一个字典并将其传给 headers 参数即可覆盖默认请求头:

import requests

url = 'https://httpbin.org/headers'
custom_headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36',
    'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8',
    'Referer': 'https://www.google.com/'
}

response = requests.get(url, headers=custom_headers)
print("服务端收到的 User-Agent:\n", response.json()['headers']['User-Agent'])
示例运行输出
服务端收到的 User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36

五、提升爬虫健壮性的核心机制

编写爬虫脚本时,不能假设每一次网络连接都能瞬间完成。服务器响应迟缓、网络抖动、DNS 故障或连续重定向,都会直接导致脚本卡死或异常崩溃。

1. 设置请求超时(timeout)

若不设置超时参数,当目标服务器因为过载没有返回数据时,Python 进程会无限期保持等待。建议在所有生产代码中显式指定 timeout 参数(单位为秒):

import requests

try:
    # 限制连接与读取总时间不超过 5 秒
    response = requests.get('https://httpbin.org/delay/2', timeout=5)
    print("请求成功,状态码:", response.status_code)
except requests.exceptions.Timeout:
    print("请求超时,已安全跳过或触发重试")

2. 捕获常见网络异常

requests 拥有完善的异常层级体系。所有异常均继承自 requests.exceptions.RequestException。针对特定错误进行分流处理,能让程序在遇阻时平稳降级:

import requests

def safe_fetch(url):
    try:
        response = requests.get(url, timeout=5)
        # 若状态码为 4xx 或 5xx 则主动抛出 HTTPError 异常
        response.raise_for_status()
        return response.text
    except requests.exceptions.ConnectionError:
        print("[错误] 网络连接失败,请检查 DNS 或网络链路")
    except requests.exceptions.Timeout:
        print("[错误] 目标服务器响应超时")
    except requests.exceptions.HTTPError as err:
        print(f"[错误] HTTP 状态异常: {err}")
    except requests.exceptions.RequestException as err:
        print(f"[错误] 请求发生未知异常: {err}")
    return None

3. 使用 Session 维持连接与 Cookie

如果连续向同一个站点发送多个请求(例如先发送 POST 登录、再发送多个 GET 抓取个人中心),直接调用 requests.get() 会为每个请求重新建立 TCP 连接,且不会保留登录产生的 Cookie。使用 requests.Session() 对象可以复用底层的 TCP 连接池,并自动在多次请求间持久化 Cookie 状态:

import requests

# 创建会话对象
session = requests.Session()
session.headers.update({
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)'
})

# 第一次请求设置了 Cookie(在真实场景中通常是登录接口)
session.get('https://httpbin.org/cookies/set/auth_user/alice')

# 第二次请求自动携带已保存的 Cookie
response = session.get('https://httpbin.org/cookies')
print("当前会话包含的 Cookies:", response.json())
示例运行输出
当前会话包含的 Cookies: {'cookies': {'auth_user': 'alice'}}
Python requests爬虫入门:发送GET与POST请求获取网页
图 4:Python requests 爬虫核心知识图谱与避坑指南

六、快速总结与开发检查表

掌握 GET 与 POST 请求是进行网络爬虫开发的第一步。在实际编写爬虫时,可以参照以下检查表逐项核对代码设置:

检查项 推荐设置 / 做法 目的与作用
请求方法选择 获取数据用 GET,提交表单或复杂条件用 POST 遵循 HTTP 语义与服务端接口规范
参数传递方式 GET 使用 params=dict;POST 表单用 data=dict,JSON 接口用 json=dict 避免手动拼接字符串,确保编码准确无误
伪装标头 设置 User-Agent 与必要的 Referer 消除默认爬虫标识,避免被直接拦截
状态码核验 检查 response.status_code == 200 或调用 raise_for_status() 确保只解析有效内容,避免对错误页进行空处理
中文编码处理 遇到乱码时设置 response.encoding = response.apparent_encoding 使用页面实际内容检测到的编码替换猜测编码
进程挂起防御 每个网络请求都显式指定 timeout(如 5 到 10 秒) 防止服务端无响应时脚本无限期阻塞
多步会话保持 多接口连续请求或维持登录态时使用 requests.Session() 自动维持 Cookie 并复用 TCP 连接池,提升运行效率

通过合理结合 GET 与 POST 请求,并为每个请求配置合适的标头、超时与异常兜底,即可应对绝大部分静态网页和基于 API 的数据抓取任务。

相关专题:

本站声明

本文内容仅供参考,不代表本站观点。转载或引用请注明出处。如发现内容问题,请通过联系我们页面反馈。

Python 相关产品和应用

全部下载

专题列表