当前位置：首页 > news >正文

终于有人把Scrapy爬虫框架讲明白了

news 来源：原创 2024/5/2 8:33:33

导读：Scrapy由Python语言编写，是一个快速、高层次的屏幕抓取和Web抓取框架，用于抓取Web站点并从页面中提取出结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试等。

作者：赵国生王健

来源：大数据DT（ID：hzdashuju）

Scrapy是用纯Python语言实现的一个为爬取网站数据、提取结构性数据而编写的应用框架，Scrapy使用了Twisted异步网络框架来处理网络通信，可以加快我们的下载速度，不用自己去实现异步框架，并且包含了各种中间件接口，可以灵活地实现各种需求。

Scrapy可以应用在包括数据挖掘、信息处理或存储历史数据等一系列的程序中，其最初是为页面抓取（更确切地说是网络抓取）而设计的，也可以应用于获取API所返回的数据（例如Amazon Associates Web Services）或者通用的网络爬虫。

01 Scrapy框架介绍

关于Scrapy框架的最简单的安装方法是：

通过anaconda→environments→最右边界面的第一个选项all，在搜索框里搜索scrapy→选择安装。

或者在terminal或者cmd中使用pip安装就好。

# python 3+
pip3 install scrapy

Scrapy内部实现了包括并发请求、免登录、URL去重等很多复杂操作，用户不需要明白Scrapy内部具体的爬取策略，只需要根据自己的需求去编写小部分的代码，就能抓取到所需要的数据。Scrapy框架如图8-1所示。

▲图8-1 Scrapy框架

图8-1中带箭头的线条表示数据流向，首先从初始URL开始，调度器（Scheduler）会将其交给下载器（Downloader），下载器向网络服务器（Internet）发送服务请求以进行下载，得到响应后将下载的数据交给爬虫（Spider），爬虫会对网页进行分析，分析出来的结果有两种：一种是需要进一步抓取的链接，这些链接会被传回调度器；另一种是需要保存的数据，它们则被送到项目管道（Item Pipeline），Item会定义数据格式，最后由Pipeline对数据进行清洗、去重等处理，继而存储到文件或数据库。

02 Scrapy框架详解

Scrapy由Python语言编写，是一个快速、高层次的屏幕抓取和Web抓取框架，用于抓取Web站点并从页面中提取出结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试等。

1. 框架内组件及作用

Scrapy框架内包含的组件如下：

爬虫中间件（Spider Middleware）：位于Scrapy引擎和爬虫之间的框架，主要用于处理爬虫的响应输入和请求输出。
调度器中间件（Scheduler Middleware）：位于Scrapy引擎和调度器之间的框架，主要用于处理从Scrapy引擎发送到调度器的请求和响应。
调度器：用来接收引擎发过来的请求，压入队列中，并在引擎再次请求的时候返回。它就像是一个URL的优先队列，由它来决定下一个要抓取的网址是什么，同时在这里会去除重复的网址。
下载器中间件（Downloader Middleware）：位于Scrapy引擎和下载器之间的框架，主要用于处理Scrapy引擎与下载器之间的请求及响应。代理IP和用户代理可以在这里设置。
下载器：用于下载网页内容，并将网页内容返回给爬虫。
Scrapy引擎（ScrapyEngine）：用来控制整个系统的数据处理流程，并进行事务处理的触发。
爬虫：爬虫主要是干活的，用于从特定网页中提取自己需要的信息，即所谓的项目（又称实体）。也可以从中提取URL，让Scrapy继续爬取下一个页面。
项目管道：负责处理爬虫从网页中爬取的项目，主要的功能就是持久化项目、验证项目的有效性、清除不需要的信息。当页面被爬虫解析后，将被送到项目管道，并经过几个特定的次序来处理其数据。