Python Scrapy多页数据爬取实现过程解析

许南星

发布时间：2026-10-15 | 6人浏览过

原创

本文详细解析使用Python Scrapy框架进行多页数据爬取的实现过程。通过定义通用URL模板，在parse方法中利用递归逻辑手动发送后续页码的请求，从而实现对多页内容的自动抓取与解析。

定义通用URL模板

首先，需要定义用于构建请求URL的通用模板。

url = 'https://www.qiushibaike.com/text/page/%d/'#通用的url模板 pageNum = 1

parse方法递归处理逻辑

接着，对parse方法进行递归处理以应对多页数据。

parse方法的初次调用旨在解析第一页页面中的具体数据。

对于后续页码的数据，需要通过代码手动发起请求来获取。


if self.pageNum <= 5:
  self.pageNum += 1
  new_url = format(self.url%self.pageNum)
  #手动请求(get)的发送
  yield scrapy.Request(new_url,callback=self.parse)

完整代码示例

以下是完整的代码示例。


class QiubaiSpider(scrapy.Spider):
  name = 'qiubai'
  # allowed_domains = ['www.xxx.com']
  start_urls = ['https://www.qiushibaike.com/text/']
  
  url = 'https://www.qiushibaike.com/text/page/%d/'#通用的url模板
  pageNum = 1
  #parse第一次调用表示的是用来解析第一页对应页面中的段子内容和作者
  def parse(self, response):
    div_list = response.xpath('//*[@id="content-left"]/div')
    all_data = []
    for div in div_list:
      author = div.xpath('./div[1]/a[2]/h2/text()').extract_first()
      
      content = div.xpath('./a[1]/div/span//text()').extract()
      content = ''.join(content)

      # 将解析的数据存储到item对象
      item = QiubaiproItem()
      item['author'] = author
      item['content'] = content

      # 将item提交给管道
      yield item # item一定是提交给了优先级最高的管道类

    if self.pageNum <= 5:
      self.pageNum += 1
      new_url = format(self.url%self.pageNum)
      #手动请求(get)的发送
      yield scrapy.Request(new_url,callback=self.parse)

以上内容为本文的全部介绍，希望能对读者的学习提供辅助，也欢迎持续关注本站以获取更多技术支持。