当前位置: 首页 > news >正文

Python爬虫常用库的安装

Requests库的安装:

1 pip3 install requests

 Selenium的安装:

1 pip3 install selenium

Chrome浏览器的安装:

Mac版下载地址
链接: https://pan.baidu.com/s/1pvL6t5V_kOwxBJGGxbPfxA 密码: 7q13

ChromeDriver当安装:

Mac版下载地址

链接: https://pan.baidu.com/s/1bDVZRv-lPpBk08vSk5_gwQ 密码: amxn

只有安装ChromeDriver,才能驱动Chrome浏览器完成相应的操作。下面我们来介绍下怎样安装ChromeDriver。

确保已经正确安装好了Chrome浏览器并可以正常运行,点击Chrome菜单“帮助”→“关于Google Chrome”,即可查看Chrome的版本号。请记住Chrome版本号,因为选择ChromeDriver版本时需要用到。找好对应的版本号后,随后到ChromeDriver镜像站下载对应的安装包即可:https://chromedriver.storage.googleapis.com/index.html。

要仔细看一下,打开LATEST. RELEASE.,里面就是对应最新版本号,这个文件看一下。

打开对应的包,请打开下面的notes.txt. ,可查看对应版本。

在Linux和Mac下,需要将可执行文件配置到环境变量或将文件移动到属于环境变量的目录里。

要移动文件到/usr/bin目录。首先,需要在命令行模式下进入其所在路径,然后将其移动到/usr/bin:

1 sudo mv chromedriver /bin/chromedriver

Mac拷贝到usr/bin下,很难成功,我尝试直接粘贴,用命令拷贝等,都不行。最后发现拷贝到:/usr/local/bin/,就可以用了。简单可行。

 用命令行:sudo mv chromedriver /bin/chromedriver

1 open /usr/local/bin/

配置完成后,就可以在命令行下直接执行chromedriver命令了:

1 chromedriver

如果输入控制台有chromedriver的输出,则证明ChromeDriver的环境变量配置好了。

随后再在程序中测试,执行如下Python代码:

1 from selenium import webdriver
2 browser = webdriver.Chrome()

运行之后,如果弹出一个空白的Chrome浏览器,则证明所有的配置都没有问题。如果没有弹出,请检查之前的每一步配置。

如果弹出后闪退,则可能是ChromeDriver版本和Chrome版本不兼容,请更换ChromeDriver版本。

如果没有问题,接下来就可以利用Chrome来做网页抓取了。

 

 

转载于:https://www.cnblogs.com/wanglinjie/p/9103116.html

相关文章:

  • 非 root 用户全局安装和配置 NodeJS
  • MYSQL性能优化的最佳20+条经验
  • 6.kotlin安卓实践课程-用kotlin写第一个activity对应P层
  • MHA源码分析——环境部署
  • 你需要了解的23种JavaScript设计模式
  • 2018-06-01Linux学习
  • 调查:市面上你知道有哪几款APP支持这个功能?
  • Python将SQL server 数据库导入到mongoDB数据库中
  • 多线程 - wait、notify
  • STP的算法与PVST+实现负载均衡
  • linux用户和权限详解
  • python---list列表、元组
  • 回归初始互联网手机核心档位初心 荣耀Play性能真旗舰再出发
  • 高性能服务器开发基础系列 (七)——开源一款即时通讯软件的源码
  • Docker命令备忘录
  • [ 一起学React系列 -- 8 ] React中的文件上传
  • 【面试系列】之二:关于js原型
  • CSS中外联样式表代表的含义
  • Git同步原始仓库到Fork仓库中
  • HTTP中GET与POST的区别 99%的错误认识
  • JS笔记四:作用域、变量(函数)提升
  • k8s如何管理Pod
  • LintCode 31. partitionArray 数组划分
  • php的插入排序,通过双层for循环
  • PV统计优化设计
  • Redux 中间件分析
  • Sass 快速入门教程
  • sessionStorage和localStorage
  • Vue2.0 实现互斥
  • Vue源码解析(二)Vue的双向绑定讲解及实现
  • webpack入门学习手记(二)
  • 大主子表关联的性能优化方法
  • 类orAPI - 收藏集 - 掘金
  • 巧用 TypeScript (一)
  • 深入浅出webpack学习(1)--核心概念
  • 使用 QuickBI 搭建酷炫可视化分析
  • 思否第一天
  • 探索 JS 中的模块化
  • 小而合理的前端理论:rscss和rsjs
  • 与 ConTeXt MkIV 官方文档的接驳
  • ​​​​​​​​​​​​​​汽车网络信息安全分析方法论
  • (Redis使用系列) SpringBoot 中对应2.0.x版本的Redis配置 一
  • (机器学习的矩阵)(向量、矩阵与多元线性回归)
  • (介绍与使用)物联网NodeMCUESP8266(ESP-12F)连接新版onenet mqtt协议实现上传数据(温湿度)和下发指令(控制LED灯)
  • (四)鸿鹄云架构一服务注册中心
  • (四)汇编语言——简单程序
  • (转)C#开发微信门户及应用(1)--开始使用微信接口
  • (转载)PyTorch代码规范最佳实践和样式指南
  • ****** 二 ******、软设笔记【数据结构】-KMP算法、树、二叉树
  • ***详解账号泄露:全球约1亿用户已泄露
  • .L0CK3D来袭:如何保护您的数据免受致命攻击
  • .NET Conf 2023 回顾 – 庆祝社区、创新和 .NET 8 的发布
  • .net core 控制台应用程序读取配置文件app.config
  • .net 写了一个支持重试、熔断和超时策略的 HttpClient 实例池
  • .NetCore Flurl.Http 升级到4.0后 https 无法建立SSL连接