python-爬虫实例（5）：将进酒，杯莫停！
目录
前言
将进酒，杯莫停！
一、浇给
二、前摇
1.导入selenium库
2.下载浏览器驱动
三、爬虫四步走
1.UA伪装
2.获取url
3.发送请求
4.获取响应数据进行解析并保存
总结
前言
博主身为一个农批，当然要尝试爬取王者荣耀的东西啦。
将进酒，杯莫停！
一、浇给
import time
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.edge.options import Optionsif __name__ == '__main__':# 无头模式opt = Options()opt.add_argument("--headless")driver = webdriver.Edge(options=opt)# 创建一个可以通过 Selenium 控制的 Microsoft Edge 浏览器实例，并将其赋值给变量 driver# driver = webdriver.Edge()# 获取url并发送请求driver.get("https://pvp.qq.com/web201605/herolist.shtml")# time.sleep(3)WebDriverWait(driver, 10).until( # 等待程序运行10s，定位到英雄列表的位置则继续运行，未定位到则报错EC.presence_of_element_located((By.XPATH, "//ul[@class='herolist clearfix']")))# find_elements获取ul标签下的所有li标签 find_element获取该标签下第一个标签的内容li_list = driver.find_elements(By.XPATH, "//ul[@class='herolist clearfix']/li")for i in li_list:img_url = i.find_element(By.XPATH, "a/img").get_attribute("src")name = i.find_element(By.XPATH, "a/img").get_attribute("alt")print(img_url, name)driver.close()输出：太多了，就不复制进代码里展示了，获取了所有英雄的图片和名字。
二、前摇
1.导入selenium库
按win + r打开命令提示符，输入cmd，按回车进入，安装selenium库
安装不了的可以先给pip换个源，这篇文章开头即有：python-快速上手爬虫-CSDN博客
pip install selenium
2.下载浏览器驱动
我用的edge的浏览器，所以在这介绍的就是下载edge浏览器的驱动。
打开浏览器设置，点击最下面的关于浏览器，记住浏览器的版本号。
搜索edge驱动。
点进去，往下翻找到驱动的版本，找到自己浏览器对应的版本下载，安装x64的。
下载完之后将文件解压并移至python解释器所在的文件夹，上面的就是浏览器的驱动，下面的是python解释器。如果python解释器下载时环境变量没有配置好的可以看：0基础学python-1：python解释器的安装及环境配置-CSDN博客
至此，技能前摇已完成。
三、爬虫四步走
1.UA伪装
这一次不用进行UA伪装，虚晃一枪，哈哈哈。实际原因是selenium请求是驱动浏览器自己进行操作，所以不需要UA伪装，但是有一些网站可能还是能检测到。
2.获取url
进入王者荣耀英雄列表的界面，按f12进入检查，刷新页面，然后获取url。
先展示一段selenium请求的效果，selenium会驱动浏览器自己去打开给定的url界面。这就意味着我们可以使用这种方式让浏览器自己进行更多的操作。
3.发送请求
流水的url，铁打的发送请求。不过这俩可以合并使用。
# 获取url并发送请求driver.get("https://pvp.qq.com/web201605/herolist.shtml")
4.获取响应数据进行解析并保存
- 睡眠三秒是为了等界面渲染完再获取信息，不然界面未渲染完就获取信息，会导致找不到信息，然后报错。
- WebDriverWait(driver, 10).until 的作用也是如此，前一个参数是等待的程序，后一个是等待的时间。
- EC.presence_of_element_located里是期望定位到的内容。定位到了就继续运行，未定位或者超出等待时间会报错。
- selenium里定位标签的方法是By，这里是通过XPATH进行定位，还有其他的参数可以进行定位，例如ID，ClASS_NAME之类的信息。
- find_elements获取ul标签下的所有li标签 ，find_element获取ul标签下第一个li标签。
- 然后就是熟悉的遍历li标签取值，在这里不需要用"./"来表示当前目录，而是直接写li标签下的标签。
- 还有一点不同的是，取标签里的属性这里不使用@属性名，而是用.get_attribute(''属性名'')来进行取值。
- 最后要关闭这个运行程序,使用.close()进行关闭
time.sleep(3)WebDriverWait(driver, 10).until( # 等待程序运行10s，定位到英雄列表的位置则继续运行，未定位到则报错EC.presence_of_element_located((By.XPATH, "//ul[@class='herolist clearfix']")))# find_elements获取ul标签下的所有li标签 find_element获取该标签下第一个标签的内容li_list = driver.find_elements(By.XPATH, "//ul[@class='herolist clearfix']/li")for i in li_list:img_url = i.find_element(By.XPATH, "a/img").get_attribute("src")name = i.find_element(By.XPATH, "a/img").get_attribute("alt")print(img_url, name)driver.close()
这样进行操作的时候，浏览器会打开王者荣耀英雄列表的界面，这样会占用一定资源。
那我们可以使用"无头模式"进行操作。更快更有效的利用资源
将这段代码
# 创建一个可以通过 Selenium 控制的 Microsoft Edge 浏览器实例，并将其赋值给变量 driverdriver = webdriver.Edge()
替换成这样即可
from selenium.webdriver.edge.options import Options# 无头模式opt = Options()opt.add_argument("--headless")driver = webdriver.Edge(options=opt)
总结
博主作为李白十年老玩家，就使用了李白的《行路难》里的一句诗当文章题目。
将进酒，杯莫停！
这句真的很帅啊！
希望大家使用我这个方法都能成功，如果有什么问题可以私信交流，或者直接在评论区询问即可。一起加油！