Scrapy请求头部覆盖优先级详解与配置方法

Scrapy默认头部自动添加机制

Scrapy在发起请求时会自动注入部分默认头部信息。

即使未进行任何显式配置，Scrapy框架也会为发出的请求预设一些基础头部字段。

Scrapy会读取配置文件中的USER_AGENT设置，并自动将其加入请求头部。需要注意的是，如果后续配置中显式指定了User-Agent，该默认值将被覆盖。

当请求经过Scrapy的下载器处理后，会自动追加Accept-Encoding: gzip,deflate头部。同样，若后续配置中显式定义了Accept-Encoding，此默认值也会被覆盖。

Settings.py默认头部配置方法

可以通过修改settings.py文件来配置默认的请求头部信息。

#DEFAULT_REQUEST_HEADERS = {
# 'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
# 'Accept-Language': 'en'
#}

在settings.py中，DEFAULT_REQUEST_HEADERS配置项默认处于注释状态。取消注释后，其默认值为Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8以及Accept-Language: en。开发者可以通过取消注释并修改内容，来增删或更改这些默认头部。

Request与中间件头部覆盖优先级

不同来源的头部配置存在明确的优先级顺序。

• 在Request对象或中间件中配置的头部，其优先级高于Scrapy自动添加的默认头部。
• 显式配置的头部可以覆盖Scrapy自动添加的User-Agent和Accept-Encoding。

若希望某项配置仅在当前爬虫中生效，可以在爬虫类中通过custom_settings属性进行设置。

class XXXSpider(scrapy.Spider):
 ...
 custom_settings = {
  DEFAULT_REQUEST_HEADERS = {...}
	}
 ....

在构造Request对象时直接设置头部信息。

当向Scrapy引擎返回Request对象时，可以直接为该请求配置特定的头部信息。

...
def parse(self):
  headers = {
    ...
  }
  
  yield scrapy.Request(url, headers=headers)

Request中设置的头部与settings.py中的默认头部存在合并与覆盖关系。

• Request中指定的header会与settings.py中定义的DEFAULT_REQUEST_HEADERS进行合并。若两者存在相同的键名，Request中的配置将覆盖settings.py中的默认配置。
• 中间件中配置的头部优先级高于Request中设置的头部，会被中间件配置覆盖。

下载中间件头部配置与启用

在Scrapy中间件中统一配置请求头部。

当Request经过下载中间件并准备发往下载器时，可以在下载中间件中通过process_request方法配置头部信息。

class XXXDownloaderMiddleware
  def process_request(self, request, spider):
	  request.headers["key"] = value
    return None

要在项目中使用自定义的下载中间件，必须在配置文件中进行启用。

DOWNLOADER_MIDDLEWARES = {
  'project.middlewares.XXXDownloaderMiddleware': 543,
}

中间件中配置的头部具有极高的优先级。

• 中间件中设置的header会覆盖除Referer以外的所有其他头部配置。

Referer中间件特性与关闭方法

Scrapy内置的Referer中间件行为分析。

当存在连续多次请求时，Referer中间件会自动将前一次请求的URL作为当前请求的Referer头部值。

Referer中间件的优先级在所有头部配置中最高。

• 该中间件会在所有其他头部配置处理完毕后，强制添加或更新Referer字段。
• 除非是仅请求一次且无Referer的情况，否则即使在其他头部配置中手动设置了Referer，也会被Referer中间件的逻辑覆盖。

如何关闭Scrapy的Referer中间件。

在配置文件中添加设置REFERER_ENABLED = False，即可禁用Referer中间件。

头部配置优先级总结

对Scrapy头部配置的优先级进行综合梳理。

Scrapy中头部配置的生效优先级从低到高依次为：Scrapy自动添加的User-Agent与Accept-Encoding < settings.py中的DEFAULT_REQUEST_HEADERS < Request中修改的header < 中间件中添加的header < Referer中间件添加的Referer。

本文仅基于个人对Scrapy的理解进行总结，如有疏漏或错误，欢迎指正。

以上就是Scrapy头部修改方法的详细介绍，更多相关Scrapy配置内容可参考本站历史文章或继续浏览后续教程，感谢支持！