Python爬虫入门实战:怎么合法抓取网页数据并保存

纸上星河
纸上星河
发布时间:2026-11-18 | 3人浏览过
原创

详细讲解Python网络爬虫的合法边界、工作原理、核心步骤与数据持久化保存实战,包含完整的合规抓取代码与四幅高清技术架构与流程图示。

合法抓取网页数据的核心路径在于:先通过目标站点的 Robots 协议与服务条款界定允许访问的公开数据边界,随后借助 Python 的 Requests 库模拟符合规范的 HTTP 请求获取响应,利用 BeautifulSoup 从 HTML 文档结构中精确提取目标字段,最终使用标准库将结构化结果写入 CSV 或 JSON 等本地持久化文件中,整个过程必须配合访问延迟以避免对目标服务器构成压力。

一、合规边界与“Robots协议”:抓取前的准绳

编写爬虫绝非单纯的代码实现,网络数据具有明确的权利归属与服务契约。合规抓取的底线是只获取公开可见、无需绕过权限验证的数据,严禁通过逆向突破登录限制、抓取受隐私保护的个人身份信息,或抓取属于他人受知识产权法严格保护的核心商业资产。

任何合规的爬虫在正式运行前,都应首先访问目标域名的 /robots.txt 文件(即 Robots Exclusion Protocol)。该协议是网站所有者与搜索引擎及爬虫程序之间达成的声明规范,明确列出了哪些路径允许被检索(Allow),哪些路径禁止访问(Disallow),以及建议的访问频次间隔(Crawl-delay)。

合规红线提示:若 robots.txt 中对目标路径标注了 Disallow: /data/,或网站用户协议明确禁止自动化脚本爬取,强行编写脚本抓取可能引发法律纠纷或直接触发目标站点的 IP 封禁与服务告警。
Python爬虫入门实战:怎么合法抓取网页数据并保存
图 1:Python 网络爬虫核心工作流与合规控制链架构

二、核心环境与基础库准备

完成一次标准的数据抓取与存储,Python 生态中推荐采用轻量可靠的黄金组合:requests 负责网络传输,beautifulsoup4 搭配 lxml 负责文档树解析。这些模块分工清晰,便于理解和排查故障。

在终端中执行如下命令安装必要依赖:

pip install requests beautifulsoup4 lxml

三、实战四步走:从请求、解析到存储

本实战以公开供开发者学习练习的测试站点 http://quotes.toscrape.com/ 为例,展示如何抓取名言、作者及标签,并将数据安全存储到本地文件。

Python爬虫入门实战:怎么合法抓取网页数据并保存
图 2:从发送网络请求到落盘保存的四阶段标准执行流程

步骤 1:构造文明友好的请求头并发送 GET 请求

直接使用 requests.get(url) 时,底层发送的 User-Agent 默认标头为 python-requests/x.y.z。很多反爬系统与防火墙会直接拒绝对该标头的响应。因此,必须将爬虫包装为常见的现代浏览器请求,同时可附加邮件或联系方式说明来源。

步骤 2:使用 BeautifulSoup 提取目标内容

获取到 response.text 后,传入 BeautifulSoup(html, 'lxml') 解析生成 DOM 语法树。通过浏览器“审查元素”(F12)定位包含数据的父容器和子标签,例如 class 为 quote 的 <div>,再通过 .get_text(strip=True) 剔除前后回车与空格。

步骤 3:数据持久化落地为 CSV 文件

Python 内置的 csv 模块支持字典写入器 DictWriter,非常适合保存多行具有固定表头结构的字段。指定 encoding='utf-8-sig' 可以让生成的 CSV 文件在中文版 Windows Excel 中双击打开时避免乱码。

完整可运行实战代码

import time
import csv
import json
import requests
from bs4 import BeautifulSoup

def fetch_quotes(page=1):
    url = f"http://quotes.toscrape.com/page/{page}/"
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36",
        "Accept-Language": "zh-CN,zh;q=0.9,en;q=0.8"
    }

    print(f"正在抓取第 {page} 页: {url}")
    try:
        response = requests.get(url, headers=headers, timeout=10)
        # 遇到 4xx/5xx 时主动抛出异常
        response.raise_for_status()
    except requests.RequestException as e:
        print(f"网络请求失败: {e}")
        return []

    soup = BeautifulSoup(response.text, "lxml")
    quote_elements = soup.find_all("div", class_="quote")
    
    results = []
    for elem in quote_elements:
        text_elem = elem.find("span", class_="text")
        author_elem = elem.find("small", class_="author")
        tag_elems = elem.find_all("a", class_="tag")

        quote_text = text_elem.get_text(strip=True) if text_elem else ""
        author = author_elem.get_text(strip=True) if author_elem else ""
        tags = [tag.get_text(strip=True) for tag in tag_elems]

        results.append({
            "quote": quote_text,
            "author": author,
            "tags": " / ".join(tags)
        })

    return results

def save_to_csv(data, filename="quotes.csv"):
    if not data:
        print("无数据需要保存")
        return

    fieldnames = ["quote", "author", "tags"]
    with open(filename, mode="w", newline="", encoding="utf-8-sig") as f:
        writer = csv.DictWriter(f, fieldnames=fieldnames)
        writer.writeheader()
        writer.writerows(data)
    print(f"已成功将 {len(data)} 条数据保存至 {filename}")

def save_to_json(data, filename="quotes.json"):
    if not data:
        return
    with open(filename, mode="w", encoding="utf-8") as f:
        json.dump(data, f, ensure_ascii=False, indent=2)
    print(f"已成功将 {len(data)} 条数据保存至 {filename}")

if __name__ == "__main__":
    all_quotes = []
    # 示例抓取前 2 页,并在请求间设置文明延时
    for page in range(1, 3):
        quotes = fetch_quotes(page)
        all_quotes.extend(quotes)
        # 关键:礼貌爬虫必不可少的抓取间隔
        time.sleep(1.5)

    save_to_csv(all_quotes, "quotes.csv")
    save_to_json(all_quotes, "quotes.json")

四、数据存储格式选择:CSV、JSON 与 SQLite 对比

抓取下来的数据根据结构复杂度和后续处理用途,应该选择不同的存储载体。简单的表格类数据推荐 CSV;嵌套结构或不定长属性优先选择 JSON;若需要去重、增量更新和多表关联,则推荐嵌入式 SQLite 数据库。

Python爬虫入门实战:怎么合法抓取网页数据并保存
图 3:网页数据常见持久化存储方式的技术维度与适用场景对比

五、工程稳健性与礼貌爬取准则

在实际编写爬虫时,网络抖动、目标站响应迟缓或临时限流属于常态。优秀的爬虫工程绝不应假定网络 100% 可用,而必须建立健全的防御性编程机制:

  • 超时保护(Timeout):requests.get() 必须指定 timeout=10 参数。如果不传该参数,遇到对方服务器挂起时,程序将永久阻塞卡死。
  • 频次节流(Rate Limiting):单线程爬虫每次循环末尾务必调用 time.sleep(random.uniform(1.0, 3.0)),模拟真实人类点击间隔,避免触发服务器熔断机制。
  • 异常分类重试:区分 requests.exceptions.Timeout、ConnectionError 与 HTTPError,遇到偶发超时进行有限次数(如 3 次)的退避重试,而非直接退出程序。
  • 增量去重:保存每条记录时维护唯一标识(例如文章 URL 或业务 ID),在落盘前查重,防止重复抓取导致的文件臃肿与资源浪费。
Python爬虫入门实战:怎么合法抓取网页数据并保存
图 4:爬虫工程上线合规自查与稳健性保障闭环清单

六、总结与核心结论

Python 爬虫的核心逻辑非常直观:以合规准则为前提,通过 requests 模拟真实且友好的网络访问,借助 BeautifulSoup 清晰定位 DOM 节点,并用标准文件写入方法将数据保存到本地。

技术本身是中立的工具,真正界定爬虫质量的不仅是提取数据的速度,更是对目标服务器承载力的尊重与对法律边界的敬畏。坚持做到“先读 Robots 协议、主动降低并发延迟、妥善处理异常情况”,才能在保障自身与他人系统稳定的前提下,高效获取有价值的数据资产。

本站声明

本文内容仅供参考,不代表本站观点。转载或引用请注明出处。如发现内容问题,请通过联系我们页面反馈。

Python 相关产品和应用

全部下载

专题列表