CentOS部署Redis与Windows运行Scrapy-Redis的跨平台配置指南

首先介绍当前的运行环境：Redis服务部署在CentOS操作系统上，而爬虫程序则在Windows系统中运行。

1. 安装Redis服务

yum install -y redis

2. 修改Redis配置文件

vi /etc/redis.conf

需要取消注释配置项 protected-mode no，否则在未设置访问密码的情况下，远程客户端将无法连接至Redis服务。

3. 重启Redis服务

systemctl restart redis

4. 关闭系统防火墙

systemctl stop firewalld.service

5. 创建Scrapy-Redis项目，其创建流程与普通Scrapy项目一致，唯一区别在于需要修改 settings.py 文件，添加特定的配置行以启用Redis调度。

REDIS_URL = 'redis://192.168.61.130:6379'

6. 修改 spiders.py 文件，使爬虫类继承自 RedisSpider。

# -*- coding: utf-8 -*-
from scrapy_redis.spiders import RedisSpider
class ExampleSpider(RedisSpider):
  name = 'myspider'
  redis_key = 'test_key'
  allowed_domains = ['www.example.com']
  def parse(self, response):
    print(1111)
    pass

7. 此时即可尝试执行该爬虫程序。

scrapy runspider example.py

8. 进入Redis命令行工具进行交互。

redis-cli -h 127.0.0.1 -p
rpush test_key http://test.com

执行相关命令后，即可观察到爬虫开始从Redis队列中获取数据并运行。

总结

以上就是本文介绍的全部内容，希望这些步骤能对您的学习或工作提供有价值的参考。感谢支持，如需了解更多相关信息，请查阅相关链接。