Scrapy框架中配置Cookie的三种有效方法

Scrapy Cookie配置概述

本文基于Python3.6环境进行说明。

在Scrapy框架中，配置Cookie主要包含以下三种方式。

通过Settings文件配置Cookie

第一种方法：通过settings配置文件进行全局设置。

当settings文件中的COOKIES_ENABLED配置项被注释掉时，Scrapy默认处于未启用Cookie的状态。

若COOKIES_ENABLED未被注释且明确设置为False，Scrapy将启用settings中定义的默认Cookie策略。

若COOKIES_ENABLED被设置为True，Scrapy将关闭settings中的默认Cookie处理，转而使用代码中自定义的Cookie逻辑。

因此，如果在希望使用settings默认Cookie的情况下，错误地将COOKIES_ENABLED设置为True，Scrapy会关闭settings的Cookie处理。

同时，若未配置自定义Cookie，这会导致所有请求均不包含Cookie信息，进而引发页面获取失败的问题。

配置总结如下：

若需使用自定义Cookie，必须将COOKIES_ENABLED设置为True。

若需使用settings中配置的默认Cookie，必须将COOKIES_ENABLED设置为False。

在Middleware中间件中注入Cookie

第二种方法：在Middleware中间件中设置Cookie。

可以在downloadermiddleware的process_request方法中配置Cookie，具体配置示例如下：

request.cookies={
'':'',
'':'',
}

注意，其中的Cookie内容必须以键值对的形式存在。

在Spider的Request中传递Cookie

第三种方法：在Spider爬虫主文件中，重写start_requests方法，并在Scrapy的Request函数参数中直接传递Cookies。

  # 重载start_requests方法
  def start_requests(self):
    headers = {
          "User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:59.0) Gecko/20100101 Firefox/59.0"}
    # 指定cookies
    cookies = {
          'uuid': '66a0f5e7546b4e068497.1542881406.1.0.0',
          '_lxsdk_cuid': '1673ae5bfd3c8-0ab24c91d32ccc8-143d7240-144000-1673ae5bfd4c8',
          '__mta': '222746148.1542881402495.1542881402495.1542881402495.1',
          'ci': '20',
          'rvct': '20%2C92%2C282%2C281%2C1',
          '_lx_utm': 'utm_source%3DBaidu%26utm_medium%3Dorganic',
          '_lxsdk_s': '1674f401e2a-d02-c7d-438%7C%7C35'}

        # 再次请求到详情页，并且声明回调函数callback，dont_filter=True 不进行域名过滤，meta给回调函数传递数据
    yield Request(detailUrl, headers=headers, cookies=cookies, callback=self.detail_parse, meta={'myItem': item}, dont_filter=True)

此外，还需要在settings.py中进行如下设置：

ROBOTSTXT_OBEY=False

至此，关于Scrapy中如何设置和应用Cookie的三种方法介绍完毕。更多相关Scrapy设置Cookie的内容，请搜索本站历史文章或继续浏览后续相关文章，希望大家以后多多支持本站！