Scrapy Spider 传参实战：命令行、Scrapyd 与 Request Meta 详解

Owen

发布时间：2026-10-14 | 3人浏览过

原创

本文详解向 Scrapy Spider 传递参数的三种常用方式。首先介绍通过命令行 crawl 命令的 -a 选项传递参数；其次讲解利用 Scrapyd 的 schedule.json 接口发送 -d 参数；最后演示如何在 Request 中使用 meta 字段在解析函数间传递数据。通过具体代码示例，帮助开发者灵活控制爬虫行为并关联用户请求与页面数据。

Scrapy Spider 传参概述

在实际开发中，我们常需根据具体需求向 Spider 传递参数，以动态控制爬虫行为。例如，依据用户提交的 URL 来限定爬取目标网站。实现这一需求主要有两种基础途径。

命令行传参：使用 -a 选项

第一种方式是在命令行执行 crawl 命令时，通过添加 -a 选项来传入参数。具体命令格式如下：


scrapy crawl myspider -a category=electronics

在 Spider 代码中，需通过构造函数接收这些参数。实现方式如下：


import scrapy

class MySpider(scrapy.Spider):
  name = 'myspider'

  def __init__(self, category=None, *args, **kwargs):
    super(MySpider, self).__init__(*args, **kwargs)
    self.start_urls = ['http://www.example.com/categories/%s' % category]
    # ...

关键在于在 Spider 的 __init__ 方法中定义并接收传入的参数，从而初始化 Spider 状态。

Scrapyd 调度传参：使用 -d 选项

第二种方式适用于使用 Scrapyd 部署和调度 Spider 的场景。此时，可以向 schedule.json 接口发送 -d 选项来附加参数。同样地，Spider 构造函数需按前述方式接收参数。示例命令如下：


$ curl http://localhost:6800/schedule.json -d project=myproject -d spider=somespider -d setting=DOWNLOAD_DELAY=2 -d arg1=val1

Request 间数据传递：利用 Meta 字段

此外，若需在 Scrapy 发出的 Request 对象中携带参数，可利用 Request 的 meta 属性。这样在后续的 Response 对象中即可获取该参数。此方法极具实用价值，例如：当需要追溯某个 URL 是由哪个用户发起爬取时，可先用上述两种方法之一将用户信息传入 Spider，Spider 将该信息存入 Request 的 meta 中，随后在对应的 Response 解析函数中，即可将用户信息与从页面提取的数据合并存入数据库。代码示例如下：


def parse_page1(self, response):
  item = MyItem()
  item['main_url'] = response.url
  request = scrapy.Request("http://www.example.com/some_page.html",
               callback=self.parse_page2)
  request.meta['item'] = item
  return request

def parse_page2(self, response):
  item = response.meta['item']
  item['other_url'] = response.url
  return item

至此，关于 Scrapy Spider 传参方法的介绍已完成。如需了解更多 Scrapy 相关技巧，可查阅本站往期文章或继续浏览后续内容，感谢支持。