当前位置： 首页 > news >正文

【爬虫】web自动化和接口自动化

news 来源：原创 2024/5/13 11:43:18

 专栏文章索引：爬虫

目录

一、介绍

二、推荐

1.接口自动化

2.Web自动化

一、介绍

爬虫技术一般可以分为两种类型：接口自动化和web自动化。下面是它们的简要介绍：

1.接口自动化

接口自动化技术的主要目的是通过模拟HTTP请求来实现自动化，通常用于测试web API和抓取数据。接口自动化爬虫可以直接访问数据接口获取数据，它可以通过发送规范的HTTP请求来实现数据的抓取和操作。接口自动化技术适用于需要大量抓取数据的需求，以及在抓取时对页面交互没有要求的场景。

综上所述，根据不同的需求和场景，可以选择适合自己的爬虫类型，分别应用Web自动化或接口自动化技术来进行网页数据的抓取和处理。

2.Web自动化

Web自动化技术旨在模拟人类操作浏览器来实现自动化，通常用于对网页进行操作和抓取数据。Web自动化爬虫可以通过自动化浏览器驱动，模拟人类的行为来实现数据的抓取和操作。Web自动化技术可以模拟页面操作、登陆、填表、拖拽等操作，非常适合于需要登录并模拟用户操作的网站、复杂的网页交互以及需要抓取动态网页数据的需求。

二、推荐

1.接口自动化

  • requests库

python的第三方库，目前使用比较多

2.Web自动化

  • Selenium

初学者可以先学习这个工具

  • DrissionPage

语法跟Selenium类似，由于出现的比较晚，检测还不是很严格

  • SaossionPage

DrissionPage的plus版

相关文章：

  • 【全栈老魏】Vue3引入echarts
  • gin | gin环境搭建与示例工程
  • spring-boot-devtools debug SilentExitException
  • 全栈的自我修养 ———— 微信小程序开发电脑测试api请求正常，移动端请求异常！！
  • 安卓性能优化面试题 35-40
  • TinyEMU源码分析之虚拟机初始化
  • Uibot (RPA设计软件）财务会计Web应用自动化(批量开票机器人）
  • Docker启动失败，报错Is the docker daemon running? Is the docker daemon running?
  • 环境安装篇 之 安装kubevela
  • Java面试题(Spring篇)
  • python课后习题一
  • echart多折线图堆叠 y轴和实际数据不对应
  • 全量知识系统“全基因序列”程序构想及SmartChat的回复
  • Github: Github actions自动化工作原理与多workflow创建和部署
  • 掌握Go语言：利用Go语言的单向通道和select语句，提升库存管理效率（21）
  • 网络传输文件的问题
  • ES6指北【2】—— 箭头函数
  • 2019.2.20 c++ 知识梳理
  • es6
  • github从入门到放弃(1)
  • Java面向对象及其三大特征
  • laravel5.5 视图共享数据
  • Linux编程学习笔记 | Linux IO学习[1] - 文件IO
  • Python打包系统简单入门
  • Storybook 5.0正式发布：有史以来变化最大的版本\n
  • 聊一聊前端的监控
  • 如何在 Tornado 中实现 Middleware
  • 树莓派 - 使用须知
  • 小程序滚动组件，左边导航栏与右边内容联动效果实现
  • 一份游戏开发学习路线
  • 一个完整Java Web项目背后的密码
  • 移动互联网+智能运营体系搭建=你家有金矿啊！
  • 国内唯一，阿里云入选全球区块链云服务报告，领先AWS、Google ...
  • ​软考-高级-信息系统项目管理师教程 第四版【第23章-组织通用管理-思维导图】​
  • #laravel 通过手动安装依赖PHPExcel#
  • （附源码）springboot 智能停车场系统 毕业设计065415
  • （附源码）ssm考试题库管理系统 毕业设计 069043
  • （论文阅读26/100）Weakly-supervised learning with convolutional neural networks
  • (欧拉)openEuler系统添加网卡文件配置流程、(欧拉)openEuler系统手动配置ipv6地址流程、(欧拉)openEuler系统网络管理说明
  • （十八）用JAVA编写MP3解码器——迷你播放器
  • （四）Linux Shell编程——输入输出重定向
  • （转）mysql使用Navicat 导出和导入数据库
  • （转）平衡树
  • .NET Framework .NET Core与 .NET 的区别
  • .net framwork4.6操作MySQL报错Character set ‘utf8mb3‘ is not supported 解决方法
  • .net refrector
  • .net 简单实现MD5
  • .Net 垃圾回收机制原理（二）
  • .NET/C# 获取一个正在运行的进程的命令行参数
  • .NET/C# 如何获取当前进程的 CPU 和内存占用？如何获取全局 CPU 和内存占用？
  • .net打印*三角形
  • @private @protected @public
  • @RequestParam详解
  • [ 隧道技术 ] cpolar 工具详解之将内网端口映射到公网
  • [2019/05/17]解决springboot测试List接口时JSON传参异常