当前位置: 首页 > news >正文

python爬取某财富网

过程:

点击底部的第3页,第5页,网页刷新了,但是顶部的url地址没有变。那么就是 动态加载, 就是 XHR. 直接请求api.

实验代码如下:

import requestsheaders = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36"
}def get_data():url = "https://datacenter-web.eastmoney.com/api/data/v1/get?callback=jQuery1123003202116224702545_1721237385870&sortColumns=SCGGRQ&sortTypes=-1&pageSize=50&pageNumber=18&columns=ALL&source=WEB&token=894050c76af8597a853f5b408b759f5d&reportName=RPTA_WEB_BGCZMX"resp = requests.get(url, headers=headers)print(resp.status_code)ret = resp.textprint(ret)file_path = 'resp2.txt'with open(file_path, 'w', encoding='utf-8') as f:f.write(ret)get_data()

输出:
在这里插入图片描述

相关文章:

  • 北京网站建设多少钱?
  • 辽宁网页制作哪家好_网站建设
  • 高端品牌网站建设_汉中网站制作
  • windows go grpc
  • 深入浅出大模型:LangChain详解——打造你的自定义Chain与异步API
  • 使用安卓手机安装Kali Linux
  • 基于微信小程序的高校大学生信息服务平台设计与实现
  • 未来不会使用 AI 的人真的会被淘汰吗?
  • iptables和firewalld的区别以及用法
  • 【Golang 面试 - 基础题】每日 5 题(七)
  • Python实战——轻松实现动态网页爬虫(附详细源码)
  • Python 如何创建和操作矩阵?
  • ffmpeg将视频转换成图片
  • 【全面介绍下Gitea,什么是Gitea?】
  • 敏捷产品经理实训:助力产品负责人掌握敏捷方法,提升产品开发效率
  • VB中如何操作数据库(使用ADO.NET连接和查询数据库)
  • 在VMware里面安装Linux安装教程
  • 实时数仓Hologres TPC-H及点查性能开箱测试
  • IE9 : DOM Exception: INVALID_CHARACTER_ERR (5)
  • Angularjs之国际化
  • classpath对获取配置文件的影响
  • JavaScript 事件——“事件类型”中“HTML5事件”的注意要点
  • quasar-framework cnodejs社区
  • Spark in action on Kubernetes - Playground搭建与架构浅析
  • TCP拥塞控制
  • Transformer-XL: Unleashing the Potential of Attention Models
  • vuex 笔记整理
  • vue学习系列(二)vue-cli
  • 从0搭建SpringBoot的HelloWorld -- Java版本
  • 从零开始在ubuntu上搭建node开发环境
  • 浮现式设计
  • 和 || 运算
  • 浅谈Kotlin实战篇之自定义View图片圆角简单应用(一)
  • 山寨一个 Promise
  • 什么是Javascript函数节流?
  • 我的面试准备过程--容器(更新中)
  • d²y/dx²; 偏导数问题 请问f1 f2是什么意思
  • 树莓派用上kodexplorer也能玩成私有网盘
  • ​Redis 实现计数器和限速器的
  • ​ssh免密码登录设置及问题总结
  • ​软考-高级-信息系统项目管理师教程 第四版【第19章-配置与变更管理-思维导图】​
  • !!java web学习笔记(一到五)
  • # 数论-逆元
  • ###51单片机学习(2)-----如何通过C语言运用延时函数设计LED流水灯
  • #define
  • #etcd#安装时出错
  • #图像处理
  • ()、[]、{}、(())、[[]]等各种括号的使用
  • (八)Docker网络跨主机通讯vxlan和vlan
  • (二)学习JVM —— 垃圾回收机制
  • (二十三)Flask之高频面试点
  • (四)鸿鹄云架构一服务注册中心
  • (未解决)macOS matplotlib 中文是方框
  • (转)Linux NTP配置详解 (Network Time Protocol)
  • (最完美)小米手机6X的Usb调试模式在哪里打开的流程
  • .gitignore不生效的解决方案
  • .net core 6 redis操作类
  • .NET 中选择合适的文件打开模式(CreateNew, Create, Open, OpenOrCreate, Truncate, Append)