当前位置: 首页 > news >正文

Python爬虫实战案例之——MySql数据入库

Hello大家好,我是你们的南枫学长,咱们今天来学——爬虫之MySql数据入库。

话不多说,导入咱们的老朋友:

Pymysql就是我们Python里面的mysql库,主要功能就是用来连接MySql数据库,那么下载还是一样的操作去进行下载哈。

下载安装好之后,我们首先先使用到pymsql.connect方法去连接到mysql数据库,然后通过host=’localhost’来找到数据库服务器地址。User=’root’就是数据库名。Password=’jensen’是数据库密码。Db=’py_spider’就是我们需要连接的数据库名。Curor=db.cursor()是从数据库连接对象里面获取到一个游标对象,用来执行SQL语句。

设置url

这个url会返回一个json数据,所以我们可以使用get请求并且来获取json数据。

初始化数据列表。创建一个空列表,用来存储从json数据里面提取到的数据

遍历json数据,并提取所需要的信息。遍历json_data里面的每一个元素,再去提取每个元素(我就不一一的去打出来了哈),再把这些值呢,存储到一个新字典(data_dict)里面去,并且添加到data_list列表中。

打印看一下数据对不对

定义一个SQL语句,用在咱们数据库里面去创建一个名字叫:FaDianChang的表,并且去尝试执行SQL语句以创建表。

还偷摸写了个异常处理,这块就不用解释了吧!

如果成功,那么就会打印“表创建成功…”,如果失败,那就会捕获异常,并且打印“表创建失败”。

遍历数据列表,插入到数据库里面去:

定义SQL语句(其实就是数据库的增删改查里面的增),插入到对应的表里面去。

最后关闭数据库连接:

相关文章:

  • 【数据库】六、事务与并发控制(封锁)
  • 麒麟移动运行环境(KMRE)——国内首个开源的商用移固融合“Android生态兼容环境”正式开源
  • Cyber Weekly #12
  • 电压互感器在线监测
  • 线性卷积(相关)和圆周卷积(相关)以及FFT之间的关系(AEC举例)
  • Linux使用——查看发行版本、内核、shell类型等基本命令
  • 政务云VMware私有云企业云平台建设参考学习方案资料
  • ModbusTcp和ModbusRtu协议
  • ChatGPT提效:告别CRUD
  • BFS:解决多源最短路问题
  • Spring响应式编程之Reactor核心接口
  • 【Linux】进程间通信_1
  • 信创适配评测
  • HTML星空特效
  • 学生课程信息管理系统
  • CSS实用技巧干货
  • ECMAScript入门(七)--Module语法
  • ERLANG 网工修炼笔记 ---- UDP
  • Hibernate最全面试题
  • JWT究竟是什么呢?
  • mysql外键的使用
  • node 版本过低
  • React Native移动开发实战-3-实现页面间的数据传递
  • 机器学习学习笔记一
  • 讲清楚之javascript作用域
  • 精益 React 学习指南 (Lean React)- 1.5 React 与 DOM
  • 目录与文件属性:编写ls
  • 什么是Javascript函数节流?
  • 使用 Xcode 的 Target 区分开发和生产环境
  • 王永庆:技术创新改变教育未来
  • 怎样选择前端框架
  • d²y/dx²; 偏导数问题 请问f1 f2是什么意思
  • 《码出高效》学习笔记与书中错误记录
  • # Apache SeaTunnel 究竟是什么?
  • #我与Java虚拟机的故事#连载14:挑战高薪面试必看
  • ${factoryList }后面有空格不影响
  • (14)目标检测_SSD训练代码基于pytorch搭建代码
  • (2015)JS ES6 必知的十个 特性
  • (搬运以学习)flask 上下文的实现
  • (附源码)springboot 基于HTML5的个人网页的网站设计与实现 毕业设计 031623
  • (接口自动化)Python3操作MySQL数据库
  • (六)Hibernate的二级缓存
  • (转)【Hibernate总结系列】使用举例
  • ****** 二十三 ******、软设笔记【数据库】-数据操作-常用关系操作、关系运算
  • .NET CF命令行调试器MDbg入门(三) 进程控制
  • .netcore如何运行环境安装到Linux服务器
  • .NET连接数据库方式
  • .NET平台开源项目速览(15)文档数据库RavenDB-介绍与初体验
  • .net下简单快捷的数值高低位切换
  • ::before和::after 常见的用法
  • [ Linux Audio 篇 ] 音频开发入门基础知识
  • [2015][note]基于薄向列液晶层的可调谐THz fishnet超材料快速开关——
  • [20161101]rman备份与数据文件变化7.txt
  • [2019.3.5]BZOJ1934 [Shoi2007]Vote 善意的投票
  • [23] GaussianAvatars: Photorealistic Head Avatars with Rigged 3D Gaussians