当前位置： 首页 > news >正文

软科中国大学排名爬虫+数据可视化

news 来源：原创 2024/9/20 2:51:59

这一期是关于软科中国大学排名的爬虫分析

目标网址：https://www.shanghairanking.cn/rankings/bcur/2024

每页30所学校信息，共20页

点击翻页，你发现网址没有发生变化，说明该页面信息应该是利用js实现动态加载数据的方式展示的，所以我们无法通过 get 传参的方式来切换网页进行爬取。

接下来，按 F12 或者右键选择审查元素，搜索一下清华大学查看网页结构：

这里我们可以看到信息都在一个 payload.js 的文件里，继续查看可以发现这里有590所学校的所有信息，说明网页显示的内容是通过 javascript 解析这个文件动态加载进去的。

那我们只需要解析这个文件就好了，找到各个变量对应的值。

最终爬取到的数据：

完整代码评论区获取

相关文章：

  • 北京网站建设多少钱？
  • 辽宁网页制作哪家好_网站建设
  • 高端品牌网站建设_汉中网站制作
  • 图片管理组建
  • Flink 实时数仓（三）【DWD 层搭建（一）】
  • 《人性的枷锁：菲利普的人生探索能解开枷锁吗？》
  • 树套树模板
  • PYTHON专题-（5）类的专有方法
  • 每日学术速递8.3
  • Xilinx管脚验证流程及常见问题
  • conda环境pip 安装Tensorflow-gpu 2.10.2提示nbconvert 的包依赖冲突
  • OpenStack Yoga版安装笔记（十二）nova安装（下）
  • 林轩田机器学习基石——笔记1.2 Learn to Answer Yes/No（如何进行学习）
  • Flink 实时数仓（二）【DIM 层搭建】
  • 中介子方程七十九
  • Apache Kylin数据模型设计：从ETL到多维分析
  • 自闭症儿童无法上学？专业康复机构是希望的灯塔
  • OpenCV Python 图像相加与透明色转换
  • 《Javascript数据结构和算法》笔记-「字典和散列表」
  •  D - 粉碎叛乱F - 其他起义
  • FastReport在线报表设计器工作原理
  • jQuery(一)
  • MyEclipse 8.0 GA 搭建 Struts2 + Spring2 + Hibernate3 （测试）
  • node 版本过低
  • Protobuf3语言指南
  • Shell编程
  • spring security oauth2 password授权模式
  • windows-nginx-https-本地配置
  • Work@Alibaba 阿里巴巴的企业应用构建之路
  • 从零开始在ubuntu上搭建node开发环境
  • 老板让我十分钟上手nx-admin
  • 前端代码风格自动化系列（二）之Commitlint
  • 小试R空间处理新库sf
  • 优化 Vue 项目编译文件大小
  • 你对linux中grep命令知道多少？
  • CMake 入门1/5：基于阿里云 ECS搭建体验环境
  • 组复制官方翻译九、Group Replication Technical Details
  • #免费 苹果M系芯片Macbook电脑MacOS使用Bash脚本写入(读写)NTFS硬盘教程
  • #使用清华镜像源 安装/更新 指定版本tensorflow
  • $GOPATH/go.mod exists but should not goland
  • (Ruby)Ubuntu12.04安装Rails环境
  • (附源码)apringboot计算机专业大学生就业指南 毕业设计061355
  • (转)Sql Server 保留几位小数的两种做法
  • (转)VC++中ondraw在什么时候调用的
  • .Net 6.0 处理跨域的方式
  • .NET Entity FrameWork 总结 ，在项目中用处个人感觉不大。适合初级用用，不涉及到与数据库通信。
  • .NET 将混合了多个不同平台（Windows Mac Linux）的文件 目录的路径格式化成同一个平台下的路径
  • .NET/C# 异常处理：写一个空的 try 块代码，而把重要代码写到 finally 中（Constrained Execution Regions）
  • .Net的DataSet直接与SQL2005交互
  • .net的socket示例
  • .vue文件怎么使用_我在项目中是这样配置Vue的
  • ::前边啥也没有
  • :O)修改linux硬件时间
  • @RequestBody与@RequestParam
  • @RequestBody与@RequestParam：Spring MVC中的参数接收差异解析
  • [001-03-007].第07节：Redis中的事务
  • [240727] Qt Creator 14 发布 | AMD 推迟 Ryzen 9000芯片发布
  • [android] 练习PopupWindow实现对话框