当前位置: 首页 > news >正文

爬取搜狗翻译项目实例

        视频中讲解的是百度翻译,但是视频中的方法现在已经不适用了,因为他们对 URL 的参数进行了修改,导致没法直接修改参数来爬取对应的翻译结果,这里我使用搜狗翻译来做演示,原理是一样的。

我们搜索的关键字会返回在 URL 中,后面的无用参数可以删除

删除后

前置知识:

翻译相关的页面有个特点:就是你输入单词后不需要其他操作,页面会自动刷新出新的数据(该数据就是翻译结构)

【页面局部刷新的现象】

如下图所示就是请求回来的翻译结果

所以该数据包就是我们需要捕获的数据包

判断返回数据类型是否为 json

编写代码

import requests
import  jsonif __name__ == '__main__':post_url = 'https://fanyi.sogou.com/reventondc/suggV3'headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:123.0) Gecko/20100101 Firefox/123.0'}word = input('enter a word:')data = {'from':'auto','to':'zh-CHS','client':"web",'text':word,'uuid':"5c2d6117-a5e9-482e-abaf-2343abcf3a93",'pid':"sogou-dict-vr",'addSugg':"on"}response = requests.post(url=post_url,data=data,headers=headers)# json 返回的是一个对象(如果确认响应数据是json类型的才可以使用)dic_obj = response.json()print(dic_obj)file_name = word + '.json'fp = open(file_name,'w',encoding='utf-8')json.dump(dic_obj,fp=fp,ensure_ascii=False)

注意:

data 字典里的请求参数要补全,不然无法实现

相关文章:

  • 网络协议栈--传输层--UDP/TCP协议
  • 简单的查看iPhone储存空间的几种方法,总有一种是你想要的
  • nginx mirror 流量镜像
  • [flask]http请求//获取请求头信息+客户端信息
  • 【C++】手撕哈希表的闭散列和开散列
  • Day08 Java复习8 Spring MVC概念
  • 蓝桥杯刷题-day5-动态规划
  • Chrome 插件打包发布
  • 单元测试框架 Junit
  • 本地项目连接gitee仓库
  • sheng的学习笔记-AI-人脸识别
  • 把本地文件上传到HDFS上操作步骤
  • 详细剖析多线程2----线程安全问题(面试高频考点)
  • 基于单片机工业生产现场的光照强度控制系统设计
  • 2024/3/26 C++作业
  • 【个人向】《HTTP图解》阅后小结
  • 【跃迁之路】【519天】程序员高效学习方法论探索系列(实验阶段276-2018.07.09)...
  • Android 架构优化~MVP 架构改造
  • electron原来这么简单----打包你的react、VUE桌面应用程序
  • Java Agent 学习笔记
  • Js基础知识(一) - 变量
  • Mocha测试初探
  • Node 版本管理
  • Phpstorm怎样批量删除空行?
  • SpringBoot 实战 (三) | 配置文件详解
  • SpringCloud(第 039 篇)链接Mysql数据库,通过JpaRepository编写数据库访问
  • 类orAPI - 收藏集 - 掘金
  • 前端面试之闭包
  • 远离DoS攻击 Windows Server 2016发布DNS政策
  • zabbix3.2监控linux磁盘IO
  • ​【C语言】长篇详解,字符系列篇3-----strstr,strtok,strerror字符串函数的使用【图文详解​】
  • ![CDATA[ ]] 是什么东东
  • #pragma pack(1)
  • #我与Java虚拟机的故事#连载07:我放弃了对JVM的进一步学习
  • (10)Linux冯诺依曼结构操作系统的再次理解
  • (11)工业界推荐系统-小红书推荐场景及内部实践【粗排三塔模型】
  • (20050108)又读《平凡的世界》
  • (C++17) std算法之执行策略 execution
  • (Matlab)遗传算法优化的BP神经网络实现回归预测
  • (附源码)ssm学生管理系统 毕业设计 141543
  • (附源码)计算机毕业设计ssm本地美食推荐平台
  • (原創) 人會胖會瘦,都是自我要求的結果 (日記)
  • (转)C#调用WebService 基础
  • (转)C语言家族扩展收藏 (转)C语言家族扩展
  • (转)IOS中获取各种文件的目录路径的方法
  • **登录+JWT+异常处理+拦截器+ThreadLocal-开发思想与代码实现**
  • .MSSQLSERVER 导入导出 命令集--堪称经典,值得借鉴!
  • .NET 6 Mysql Canal (CDC 增量同步,捕获变更数据) 案例版
  • .net 反编译_.net反编译的相关问题
  • .NetCore实践篇:分布式监控Zipkin持久化之殇
  • .sh
  • @KafkaListener注解详解(一)| 常用参数详解
  • [2019.3.20]BZOJ4573 [Zjoi2016]大森林
  • [Angular 基础] - 数据绑定(databinding)
  • [C#][opencvsharp]opencvsharp sift和surf特征点匹配