当前位置： 首页 > news >正文

Python爬取城市空气质量数据

news 来源：原创 2024/10/1 15:18:31

Python爬取城市空气质量数据

  • 一、思路分析
    • 1、寻找数据接口
    • 2、发送请求
    • 3、解析数据
    • 4、保存数据
  • 二、完整代码

一、思路分析

目标数据所在的网站是天气后报网站，网址为：www.tianqihoubao.com，需要采集武汉市近十年每天的空气质量数据。先看一下爬取后的数据情况：
在这里插入图片描述

1、寻找数据接口

在天气后报网站主页找到空气质量菜单项并点击，找到湖北武汉市并点击，下拉找到时间列表，点击一个月份时间（以2024年3月为例），进入到如下图所示页面：
在这里插入图片描述
打开浏览器开发者工具（按F12键或者在页面右键然后点击检查）进行抓包，按F5刷新页面，发现开发者工具Network选项卡下抓到了很多数据包，如图所示：
在这里插入图片描述
查看每个数据包中的Response，发现我们所需要的数据在http://www.tianqihoubao.com/aqi/wuhan-202403.html数据包中。

2、发送请求

第二步就是要模拟浏览器向服务器发送请

相关文章：

  • CMake的学习之路
  • nmap工具使用
  • 如何成为嵌入式系统工程师？
  • 解决生产问题的万能接口（Java编译器API的使用）
  • OA协同办公系统 iWebPDF插件安装
  • 字符串循环遍历抵消、队列的应用-649. Dota2 参议院
  • (delphi11最新学习资料) Object Pascal 学习笔记---第14章泛型第2节（泛型类的类构造函数）
  • 「C系列」C enum(枚举)
  • go-zero整合Excelize并实现Excel导入导出
  • pytest+requests+allure自动化测试接入Jenkins学习
  • uniapp地图选择位置
  • docker部署redis实践
  • `kubectl get pod -oyaml` 和 `kubectl describe pod`
  • C#面：什么是 Windows 服务，它的生命周期与标准的 EXE 程序有什么不同
  • 【2024算力大会分会 | SPIE独立出版 | 往届均已完成EI检索】2024云计算、性能计算与深度学习国际学术会议(CCPCDL 2024)
  • @jsonView过滤属性
  • 【刷算法】从上往下打印二叉树
  • conda常用的命令
  • CSS选择器——伪元素选择器之处理父元素高度及外边距溢出
  • HashMap ConcurrentHashMap
  • Java读取Properties文件的六种方法
  • Linux各目录及每个目录的详细介绍
  • PHP 程序员也能做的 Java 开发 30分钟使用 netty 轻松打造一个高性能 websocket 服务...
  • vue2.0项目引入element-ui
  • vue-cli在webpack的配置文件探究
  • VuePress 静态网站生成
  • Zsh 开发指南（第十四篇 文件读写）
  • 从地狱到天堂，Node 回调向 async/await 转变
  • 从零搭建Koa2 Server
  • 如何抓住下一波零售风口？看RPA玩转零售自动化
  • 移动端 h5开发相关内容总结(三)
  • - 转 Ext2.0 form使用实例
  • 仓管云——企业云erp功能有哪些？
  • 昨天1024程序员节，我故意写了个死循环~
  • ​水经微图Web1.5.0版即将上线
  • ‌前端列表展示1000条大量数据时，后端通常需要进行一定的处理。‌
  • #define MODIFY_REG(REG, CLEARMASK, SETMASK)
  • #define，static，const，三种常量的区别
  • #Js篇：单线程模式同步任务异步任务任务队列事件循环setTimeout() setInterval()
  • #我与Java虚拟机的故事#连载17：我的Java技术水平有了一个本质的提升
  • #我与虚拟机的故事#连载20：周志明虚拟机第 3 版：到底值不值得买？
  • (delphi11最新学习资料) Object Pascal 学习笔记---第2章第五节(日期和时间)
  • （附源码）springboot车辆管理系统 毕业设计 031034
  • （亲测成功）在centos7.5上安装kvm,通过VNC远程连接并创建多台ubuntu虚拟机（ubuntu server版本）...
  • （三维重建学习）已有位姿放入colmap和3D Gaussian Splatting训练
  • （十一）手动添加用户和文件的特殊权限
  • （算法二）滑动窗口
  • （学习日记）2024.03.12：UCOSIII第十四节：时基列表
  • （转载）Linux网络编程入门
  • *setTimeout实现text输入在用户停顿时才调用事件！*
  • .NET “底层”异步编程模式——异步编程模型（Asynchronous Programming Model，APM）...
  • .NET DataGridView数据绑定说明
  • .net oracle 连接超时_Mysql连接数据库异常汇总【必收藏】
  • .net 受管制代码
  • .NET开发者必备的11款免费工具