Python requests+BeautifulSoup静态网页数据采集代码示例

橘子海
橘子海
发布时间:2026-11-16 | 6人浏览过
原创

本文提供基于Python requests与BeautifulSoup进行静态网页数据采集的完整代码示例与实用操作流程,包含环境安装、请求构造、DOM节点解析、字段清洗及常见问题排查指南。

采集静态网页的核心思路非常清晰:首先通过 Python 标准或第三方网络库发起 HTTP 请求获得网页源代码,随后交由 HTML 解析器构建 DOM 树,再通过选择器筛选出目标标签并提取文本与属性。本文聚焦于最稳定且普遍适用的组合——requests 与 BeautifulSoup,从依赖准备、工作分工、完整采集脚本到选择器提取技巧及常见报错排查,提供一套即插即用的代码范例与操作指南。

一、运行环境准备与依赖安装

在开始采集前,需要在本地 Python 环境中安装 requests(用于处理网络请求)和 beautifulsoup4(用于解析 HTML 节点)。此外,推荐安装 lxml 作为底层高性能解析器,它不仅解析速度快,还能自动纠正不严谨的 HTML 标签闭合错误。

在终端或命令行中执行如下安装命令:

pip install requests beautifulsoup4 lxml

安装完成后,可以在 Python 交互环境中导入模块测试是否安装成功:

import requests
from bs4 import BeautifulSoup

print("requests版本:", requests.__version__)

二、采集流程与模块工作原理

静态网页的数据直接嵌入在服务器返回的 HTML 文本中。整个采集流程由 requests 和 BeautifulSoup 密切配合完成,两者分工明确:

  • requests 负责通信层:负责组装请求头(如 User-Agent)、向目标 URL 发送 GET/POST 请求、处理 HTTP 状态码及文本编码,将网页原始字节流转为 HTML 字符串。
  • BeautifulSoup 负责解析层:接收 HTML 字符串,将其构造成由 Tag、NavigableString 等对象组成的层级 DOM 树,供开发者使用 CSS 选择器或方法快速提取所需内容。
Python requests+BeautifulSoup静态网页数据采集代码示例
图 1:Python 静态网页数据采集协作流程与模块职责

三、完整可运行的数据采集代码示例

下面是一个标准的静态网页数据采集脚手架。代码中以公开的图书目录页面结构为例,展示如何设置合规的请求头、发起请求、验证状态码、遍历商品卡片并提取标题、价格与链接等关键字段。

import requests
from bs4 import BeautifulSoup

def fetch_book_data(target_url):
    """
    采集目标静态网页中的书籍信息
    :param target_url: 目标网页地址
    :return: 包含书籍结构化数据的列表
    """
    # 1. 设置请求头,伪装合规的浏览器身份
    headers = {
        "User-Agent": (
            "Mozilla/5.0 (Windows NT 10.0; Win64; x64) "
            "AppleWebKit/537.36 (KHTML, like Gecko) "
            "Chrome/122.0.0.0 Safari/537.36"
        ),
        "Accept-Language": "zh-CN,zh;q=0.9,en;q=0.8"
    }

    try:
        # 2. 发起 HTTP GET 请求,设置合理的超时时间
        response = requests.get(target_url, headers=headers, timeout=10)
        
        # 3. 校验响应状态码,非 200 会抛出 HTTPError 异常
        response.raise_for_status()

        # 4. 指定编码防止中文乱码,优先使用服务器推断编码
        response.encoding = response.apparent_encoding

    except requests.exceptions.RequestException as err:
        print(f"网络请求失败: {err}")
        return []

    # 5. 构建 BeautifulSoup DOM 树
    soup = BeautifulSoup(response.text, "lxml")

    # 6. 定位目标列表容器(假设每个书籍卡片包裹在 article.product_pod 中)
    book_items = soup.find_all("article", class_="product_pod")
    results = []

    for item in book_items:
        # 提取标题:定位 h3 下的 a 标签中的 title 属性或文本
        title_tag = item.find("h3").find("a") if item.find("h3") else None
        title = title_tag.get("title") or title_tag.get_text(strip=True) if title_tag else "未知标题"

        # 提取详情页超链接
        link = title_tag.get("href") if title_tag else ""

        # 提取价格:定位 class 为 price_color 的段落
        price_tag = item.find("p", class_="price_color")
        price = price_tag.get_text(strip=True) if price_tag else "暂无报价"

        # 提取库存状态:定位 class 为 availability 的段落
        stock_tag = item.find("p", class_="instock")
        stock = stock_tag.get_text(strip=True) if stock_tag else "状态未知"

        # 汇聚单条记录
        results.append({
            "title": title,
            "price": price,
            "stock": stock,
            "link": link
        })

    return results

if __name__ == "__main__":
    # 示例目标网址(使用练习常用的静态测试站)
    test_url = "https://books.toscrape.com/"
    
    print(f"开始抓取网页: {test_url}")
    data = fetch_book_data(test_url)
    
    print(f"成功采集到 {len(data)} 条数据,前 3 条如下:")
    for index, record in enumerate(data[:3], start=1):
        print(f"[{index}] 书名: {record['title']} | 价格: {record['price']} | 状态: {record['stock']}")

代码运行说明:上述脚本可在本地标准终端中直接运行。运行前请确认网络能够正常访问目标网站。脚本中加入了 timeout=10 参数,避免因网络波动或服务端卡顿造成脚本无限期挂起。

四、核心采集操作步骤详解

从零编写一个网页爬虫,应该遵循固定的工程化步骤。跳过步骤(如未先分析网页源码就直接编写选择器)往往是导致代码失效的主要原因。

Python requests+BeautifulSoup静态网页数据采集代码示例
图 2:静态网页数据采集实施五步法

1. 确认网页是否为“真静态”

在浏览器中打开目标网页,按下快捷键 Ctrl + U(Mac 为 Command + Option + U)打开网页原始源代码,使用 Ctrl + F 搜索你想要采集的文字。

  • 若能在源码中搜到:说明数据直接由服务端渲染,属于静态网页,完全可以使用本文介绍的 requests + BeautifulSoup 方案。
  • 若搜不到但在页面上能看到:说明数据是通过 JavaScript 异步加载(如 Ajax 请求返回 JSON 接口),此时直接抓取 HTML 拿不到数据,需转为抓取后台 API 或使用无头浏览器。

2. 规范构造请求头 (Headers)

很多网站会通过检查请求头中的 User-Agent 拦截 Python 的默认请求标识(默认通常是形如 python-requests/2.x.x)。在发起请求时,显式配置主流浏览器的 User-Agent 是最基本的要求。

3. 构建与遍历节点树

解析 HTML 时,切忌一次性把所有标题和所有价格分别用 find_all 抓出来拼合。如果中间某个商品缺失价格,列表长度将对不上,导致数据错位。正确的做法是:先定位每个独立的卡片包裹容器(如 <div class="item">),再在每个卡片节点内部依次提取对应字段。

五、BeautifulSoup 常用节点定位方法对比

BeautifulSoup 提供了多种在节点树中检索元素的方法。针对不同层级和复杂度的 HTML,应选择最适合的定位方式。

Python requests+BeautifulSoup静态网页数据采集代码示例
图 3:BeautifulSoup 常用节点定位与检索方式对比

常用语法对照表

操作目标 标准方法 (find/find_all) CSS 选择器 (select/select_one)
根据 ID 定位 soup.find(id="main-nav") soup.select_one("#main-nav")
根据 Class 定位 soup.find_all("div", class_="article") soup.select("div.article")
层级嵌套定位 soup.find("ul").find_all("li") soup.select("ul > li")
属性筛选(如带特定属性) soup.find_all("a", href=True) soup.select("a[href^='https']")

六、常见问题排查与防坑要点

在实际采集过程中,即使代码逻辑完全一致,也可能由于服务器策略、网页结构特殊性引发异常。以下列出四大高频问题与应对方案。

Python requests+BeautifulSoup静态网页数据采集代码示例
图 4:静态网页采集四大典型问题排查指引

1. 响应状态码不是 200

养成使用 response.raise_for_status() 的习惯。如果遇到 403(禁止访问)或 429(请求过于频繁),应当:

  • 核查 headers 字典中的 User-Agent 是否完整,避免使用默认值。
  • 在批量遍历页面时引入随机延时,例如使用 import time; time.sleep(1.5),避免短时间内向同一站点发起高并发请求。

2. 中文网页中文乱码

当输出的中文显示为 \xe4\xbd\xa0 或类似乱码字符时,表明 requests 依据 HTTP 响应头猜测的编码(通常默认为 ISO-8859-1)发生偏差。可以在读取 response.text 之前加入如下设置:

# 让 chardet 库根据响应文本内容自动猜测实际编码
response.encoding = response.apparent_encoding

3. NoneType 错误防御

部分页面存在字段缺省的情况(例如部分文章没有副标题、部分商品无优惠券标签)。严禁书写链式提取代码(如 item.find('span').find('a').text),一旦中间某一级为 None,程序将直接崩溃。建议封装防御性提取辅助函数:

def safe_extract_text(parent_node, tag_name, class_name=None, default=""):
    """安全提取子节点文本,若不存在则返回默认值"""
    node = parent_node.find(tag_name, class_=class_name) if class_name else parent_node.find(tag_name)
    return node.get_text(strip=True) if node else default

七、总结

使用 requests + BeautifulSoup 开展静态网页采集,是一项基础而实用的技术。把握三个关键要点即可保证脚本的健壮性:

  1. 看源码定方案:先用浏览器原生源码确认目标数据是否为服务端直出,不把时间浪费在动态渲染页面上;
  2. 合规伪装与流控:带上标准的 User-Agent 请求头,批量采集时保持克制的请求频率;
  3. 模块化容错解析:先圈定每一条记录的独立容器,再在容器内部做字段提取,且对每个节点做好 None 值判断。

本站声明

本文内容仅供参考,不代表本站观点。转载或引用请注明出处。如发现内容问题,请通过联系我们页面反馈。

Python 相关产品和应用

全部下载

专题列表