scrapy爬取城市天气数据
scrapy爬取城市天气数据
- 一、创建scrapy项目
- 二、修改settings，设置UA，开启管道
- 三、编写爬虫文件
- 四、编写items.py
- 五、在weather.py中导入WeatherSpiderItem类
- 六、管道中存入数据，保存至csv文件
- 七、完整代码
一、创建scrapy项目
先来看一下爬取的字段情况：
本次爬取城市天气数据的scrapy项目使用pycharm创建。首先，使用pycharm创建一个项目并打开该项目，创建的项目名称为scrapyProject。打开pycharm的终端，输入命令scrapy startproject weatherspider，接下来在终端输入命令cd weatherspider进入该目录下。然后输入命令scrapy genspider weather www.xxx.com，这里的weather是spider的名字。项目便创建好了。
二、修改settings，设置UA，开启管道
打开settings.py，将ROBOTSTXT_OBEY改为False，LOG_LEVEL设置为ERROR，将User-Agent改为自己的User-Agen，如下图所示：
在settings.py文件中取消管道代码的注释，如下图所示：
