初识Scrapy
什么是Scrapy?
Scrapy
使用 Python
实现的一个开源爬虫框架,Scrapy
基于 twisted
这个高性能的事件驱动网络引擎框架,Scrapy
爬虫拥有很高的性能。
Scrapy
内置数据提取器(Selector
),支持XPath
和Scrapy
自己的CSS Selector
语法- 并且支持正则表达式,方便从网页提取信息。
- 交互式的命令行工具,方便测试
Selector
和debugging
爬虫 - 支持将数据导出为
JSON,CSV,XML
格式。 - 可推展性强,运行自己编写特定功能的插件
- 内置了很多拓展和中间件用于处理:
cookies
和session
HTTP
的压缩,认证,缓存robots.txt
- 爬虫深度限制
Scrapy流程图
其中:
Scrapy Engine(引擎)
: 负责Spider
、ItemPipeline
、Downloader
、Scheduler
中间的通讯,信号、数据传递等。Scheduler(调度器)
: 它负责接受引擎发送过来的Request请求,并按照一定的方式进行整理排列,入队,当引擎
需要时,交还给引擎
。Downloader(下载器)
:负责下载Scrapy Engine(引擎)
发送的所有Requests请求,并将其获取到的Responses交还给Scrapy Engine(引擎)
,由引擎
交给Spider
来处理,Spider(爬虫)
:它负责处理所有Responses,从中分析提取数据,获取Item字段需要的数据,并将需要跟进的URL提交给引擎
,再次进入Scheduler(调度器)
,Item Pipeline(管道)
:它负责处理Spider
中获取到的Item,并进行进行后期处理(详细分析、过滤、存储等)的地方.Downloader Middlewares(下载中间件)
:你可以当作是一个可以自定义扩展下载功能的组件。Spider Middlewares(Spider中间件)
:你可以理解为是一个可以自定扩展和操作引擎
和Spider
中间通信
的功能组件(比如进入Spider
的Responses;和从Spider
出去的Requests)
制作 Scrapy 爬虫 的步骤?
1 | 新建项目(scrapy startproject xxx):新建一个新的爬虫项目 |
如何安装Scrapy?
在windows系统下安装Scrapy
在windows 64bit系统下安装Scrapy需要安装以下依赖库:
1 | pip install wheel |
在linux下安装Scrapy
系统版本为ubuntu 16.04
1 | sudo apt-get install build-essential python3-dev libssl-dev libffi-dev libxml2 libxml2-dev libxslt1-dev zlib1g-dev |
Scrapy文件结构
我们在windows命令行模式下输入以下命令创建Scrapy项目:
1 | scrapy startproject 项目名称 |
可以看到创建了以下文件:
其中:
1 | scrapy.cfg :项目的配置文件 |
Scrapy单文件demo
创建完Scrapy项目,还是要上手实验一下才能更好的理解,所以我根据之前我在楼+课程中的学习笔记写了一个Scrapy单文件Demo,使用这个单文件Demo能快速爬取实验楼全部课程信息。
首先看下单文件的内容结构:
1 | # -*- coding:utf-8 -*- |
因为实验楼的网页结构还是很简单的,所以解析部分就不做赘述,直接上单文件完整代码:
1 | # -*- coding:utf-8 -*- |
保存文件,使用scrapy runspider xx.py -o data.json运行代码,这里使用 -o参数将结果输出为json格式。