Python Scrapy数据持久化实战：从文件到MySQL的配置详解

许南星

发布时间：2026-10-14 | 4人浏览过

原创

本文详解Python Scrapy框架中项目数据的持久化处理方案。针对抓取数据需后期分析的需求，重点介绍如何将默认的文件存储切换至MySQL数据库。通过修改settings.py配置文件，启用SavetoMySQLPipeline并配置数据库连接参数，实现高效的数据存储与管理，避免文件散乱带来的检索难题。

Scrapy数据持久化方案概述

完成数据抓取后，若习惯将结果直接存放于原始位置，可能会引发后续管理的隐患。当新数据不断涌入或环境发生变化时，再次启用该文件往往变得困难，导致用户难以快速定位所需信息，而重新整理数据又显得不切实际。为解决这一痛点，接下来我们将深入探讨在Python爬虫框架Scrapy中高效处理项目数据的具体方法。

项目拉取与初始化

1、拉取项目

环境配置与依赖安装


$ git clone https://github.com/jonbakerfish/TweetScraper.git

$ cd TweetScraper/

$ pip install -r requirements.txt #add '--user' if you are not root

$ scrapy list

$ #If the output is 'TweetScraper', then you are ready to go.

选择MySQL进行数据持久化

2、数据持久化

查阅相关文档可知，该项目支持三种数据持久化路径：一是保存至本地文件，二是存入MongoDB数据库，三是写入MySQL数据库。鉴于抓取到的数据需要进行后续的深度分析，我们选择将数据持久化存储到MySQL数据库中。

修改配置文件启用MySQL存储

默认情况下，抓取到的数据会以Json格式保存在磁盘路径 ./Data/tweet/ 中。为了切换存储方式，需要修改项目的配置文件 TweetScraper/settings.py 。

MySQL连接参数配置示例


ITEM_PIPELINES = {  # 'TweetScraper.pipelines.SaveToFilePipeline':100,
#'TweetScraper.pipelines.SaveToMongoPipeline':100, # replace `SaveToFilePipeline` with this to use MongoDB
  'TweetScraper.pipelines.SavetoMySQLPipeline':100, # replace `SaveToFilePipeline` with this to use MySQL
}
#settings for mysql
MYSQL_SERVER = "18.126.219.16"
MYSQL_DB   = "scraper"
MYSQL_TABLE = "tweets" # the table will be created automatically
MYSQL_USER  = "root"    # MySQL user to use (should have INSERT access granted to the Database/Table
MYSQL_PWD  = "admin123456"    # MySQL user's password

Scrapy配置文件说明

内容扩展：

scrapy.cfg是项目的配置文件


from scrapy.spider import BaseSpider
class DmozSpider(BaseSpider):
name = "dmoz"
allowed_domains = ["dmoz.org"]
start_urls = [
  "http://www.dmoz.org/Computers/Programming/Languages/Python/Books/",
  "http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/"
]
def parse(self, response):
  filename = response.url.split("/")[-2]
  open(filename, 'wb').write(response.body)