Scrapy 分布式爬虫框架 Scrapy-Redis

github官网代码示例：https://github.com/rmax/scrapy-redis/blob/master/example-project/example/spiders/myspider_redis.py

什么是 Scrapy-Redis

Scrapy-Redis 是一个基于 Scrapy 的扩展，用于实现分布式爬虫。它利用 Redis 作为分布式队列来共享待爬取的 URL 和去重数据，这样可以让多个爬虫实例（即多个爬虫节点）并行工作，从而实现大规模的分布式数据抓取。

把普通爬虫改造成分布式爬虫

使用普通爬虫，改造成分布式爬虫，更便于理解

1. 安装 scrapy_redis框架模块

pip install scrapy_redis

2. 爬虫类修改如下：

import scrapy
# --- 1. 导入分布式爬虫类
from scrapy_redis.spiders import RedisSpider# --- 2. 继承分布式爬虫类
class BaiduSpider(RedisSpider):name = "baidu"# --- 3. 注释原来普通爬虫的 allowed_domains，start_urls# allowed_domains = ["baidu.com"]# start_urls = ["https://www.baidu.com"]# --- 4. 设置redis的key，起始url就存在这个key里redis_key = "baidu"# --- 5. 设置 __init__，固定写法如下def __init__(self, *args, **kwargs):domain = kwargs.pop('domain', '')self.allowed_domains = list(filter(None, domain.split(',')))  # 获取启动爬虫命令时输入的域名super().__init__(*args, **kwargs)def parse(self, response):print("解析数据：", response.xpath('//title/text()').get())

3. 配置 settings.py 文件

# myproject2 是项目名称
SPIDER_MODULES = ["myproject2.spiders"]
NEWSPIDER_MODULE = "myproject2.spiders"# USER_AGENT = "scrapy-redis (+https://github.com/rolando/scrapy-redis)"
USER_AGENT = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/127.0.0.0 Safari/537.36"# 重复过滤器使用的模块
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
# 设置调度器，scrapy_redis中的调度器具备与数据库交互的功能
SCHEDULER = "scrapy_redis.scheduler.Scheduler"
# 保持任务队列，当程序结束时不清空 Redis 中的队列
SCHEDULER_PERSIST = True# 设置任务队列使用的类型，可选的类型有：
# SCHEDULER_QUEUE_CLASS = "scrapy_redis.queue.SpiderPriorityQueue"  # 基于优先级的队列
# SCHEDULER_QUEUE_CLASS = "scrapy_redis.queue.SpiderQueue"          # 基于 FIFO 的队列
# SCHEDULER_QUEUE_CLASS = "scrapy_redis.queue.SpiderStack"          # 基于 LIFO 的队列ITEM_PIPELINES = {# "myproject2.pipelines.ExamplePipeline": 300,"scrapy_redis.pipelines.RedisPipeline": 400,
}# 配置 redis 连接信息
REDIS_HOST = "localhost"
REDIS_PORT = 6379
# REDIS_DB = 0
# REDIS_PASSWORD = "123456"LOG_LEVEL = "DEBUG"# Introduce an artifical delay to make use of parallelism. to speed up the
# crawl.
# 延迟时间，单位秒
DOWNLOAD_DELAY = 1

4. 启动分布式爬虫

在爬虫类所在目录打开多个命令行窗口，使用如下命令启动爬虫

# scrapy runspider 爬虫类
scrapy runspider baidu.py

如下：表示启动了多个程序，一起用于对这个爬虫进行爬取

5. 向redis中添加爬取的url

向redis中添加爬取的url，启动的爬虫会从redis中读取url进行爬取

# lpush key value1 value2 value3
lpush baidu "https://www.baidu.com"

6. 效果

向 redis 中存入多个url后，可以看到有多个窗口同时爬取不同url的数据

lpush baidu "https://www.baidu.com" "https://tieba.baidu.com/f?kw=沙井"

实际使用场景

当一个网站的数据特别多的时候，有很多分页，或者下拉分页。通过对分页比较找出分页规则，通过分页规则计算拿到所有的分页地址。把所有的分页地址存到 redis 中