Python Scrapy框架结构详解：从组件到数据流

Scrapy框架结构

在深入技术细节之前，我们需要先厘清几个核心问题，以便更好地理解Scrapy的设计哲学。

• 首先，需要明确Scrapy被定义为“框架”而非“库”的根本原因。
• 其次，探究Scrapy内部的工作机制是如何协同运作的。

项目结构

在开始爬取之前，必须创建一个新的Scrapy项目。进入您打算存储代码的目录中，运行下列命令:

注意:创建项目时，会在当前目录下新建爬虫项目的目录。

这些文件分别是:

• scrapy.cfg:项目的配置文件
• quotes/:该项目的python模块。之后您将在此加入代码
• quotes/items.py:项目中的item文件
• quotes/middlewares.py:爬虫中间件、下载中间件(处理请求体与响应体)
• quotes/pipelines.py:项目中的pipelines文件
• quotes/settings.py:项目的设置文件
• quotes/spiders/:放置spider代码的目录

Scrapy原理图

各个组件的介绍

1.Engine（引擎）：这是处理整个系统数据流、触发事务的核心，也是整个框架的心脏。

2.Item（项目）：它定义了爬取结果的数据结构，所有从网页中提取的数据都会被封装成该Item对象。

3.Scheduler（调度器）：负责接收引擎发来的请求，将其加入队列中进行排序和管理，并在引擎再次请求时将请求提供给它。

4.Downloader（下载器）：负责下载网页内容，并将获取到的网页内容返回给蜘蛛（Spider）。

5.Spiders（蜘蛛）：内部定义了爬取的逻辑和网页解析规则，主要负责解析响应内容，生成提取结果以及新的请求。

6.Item Pipeline（项目管道）：负责处理由蜘蛛从网页中抽取的项目，主要任务是对数据进行清洗、验证和存储。

7.Downloader Middlewares（下载器中间件）：位于引擎和下载器之间的钩子框架，主要处理引擎与下载器之间传递的请求及响应。

8.Spider Middlewares（蜘蛛中间件）：位于引擎和蜘蛛之间的钩子框架，主要处理蜘蛛输入的响应以及输出的结果和新请求。

数据的流动

• Scrapy Engine（引擎）：负责Spider、ItemPipeline、Downloader、Scheduler之间的通讯，包括信号传递和数据交换。
• Scheduler（调度器）：负责接受引擎发送过来的Request请求，并按照一定的方式进行整理排列、入队，当引擎需要时，交还给引擎。
• Downloader（下载器）：负责下载Scrapy Engine发送的所有Requests请求，并将其获取到的Responses交还给Scrapy Engine，由引擎交给Spider来处理。
• Spider（爬虫）：负责处理所有Responses，从中分析提取数据，获取Item字段需要的数据，并将需要跟进的URL提交给引擎，再次进入Scheduler（调度器）。
• Item Pipeline（管道）：负责处理Spider中获取到的Item，并进行后期处理（如详细分析、过滤、存储等）。
• Downloader Middlewares（下载中间件）：可以看作是一个可以自定义扩展下载功能的组件。
• Spider Middlewares（Spider中间件）：可以理解为是一个可以自定义扩展和操作引擎与Spider之间通信的功能组件（例如处理进入Spider的Responses和从Spider出去的Requests）。

到此这篇关于Python爬虫基础之简单说一下scrapy的框架结构的文章就介绍到这了,更多相关scrapy的框架结构内容请搜索本站以前的文章或继续浏览下面的相关文章希望大家以后多多支持本站！