Python爬虫---selenium基本使用
为什么使用selenium？
使用urllib.request.urlopen()模拟浏览器有时候获取不到数据,所以使用selenium
(1) selenium是一个用于web应用程序测试的工具
(2) selenium 测试直接运行在浏览器中，就像真正的用户在操作一样
(3) 支持通过各种driver (FirfoxDriver,IternetExplorerDriver，OperaDriver, ChromeDriver) 驱动真实浏览器完成测试。
(4) selenium也是支持无界面浏览器操作的。
1. 安装selenium（以谷歌为例）
1.1. 安装谷歌浏览器驱动 chromedriver ：chromedriver官网下载地址
注意：chromedriver 需要下载与谷歌浏览器对应的版本，防止版本不兼容
选择自己需要的版本，我这是120.0版本，复制这个链接到空的标签页就可下载
将下载的解压包解压后无需安装和运行，将exe文件直接放在程序目录下，如下图：
1.2. 安装selenium：pip install selenium 或 pip install selenium -i https://pypi.douban.com/simple
如果报错可以安装此版本（需卸载之前的）：pip install selenium==3.3.1
注意：需要安装在python解释器下面，例如：D:\Program Files\Python3.11.4\Scripts
2. 使用selenium基础
1）导入selenium
2）创建浏览器操作对象
3）访问网站
# import urllib.request
# url = "https://www.jd.com/"
# response = urllib.request.urlopen(url=url)
# content = response.read().decode("utf-8")
# print(content) # 获取不到京东秒杀活动，所以需要使用selenium# 1）导入selenium
from selenium import webdriver
# from selenium.webdriver.common.by import By
# 2）创建浏览器操作对象
path = "chromedriver.exe" # 驱动路径browser = webdriver.Chrome(path)# 3）访问网站
url = "https://www.baidu.com"browser.get(url)
browser.get("https://www.jd.com/")# page_source：获取网页源码
content = browser.page_source
print(content) # 可以获取京东秒杀活动