如何使用Python自动化测试工具Selenium进行网页自动化？

引言

Selenium是一个流行的Web自动化测试框架，它支持多种编程语言和浏览器，并提供了丰富的API和工具来模拟用户在浏览器中的行为。Selenium可以通过代码驱动浏览器自动化测试流程，包括页面导航、元素查找、数据填充、点击操作等。

与PyAutoGUI和AutoIt相比，Selenium更适合于处理Web界面上的自动化操作。

它可以轻松地测试像网页表单、AJAX异步请求、JavaScript交互等功能。Selenium有一个活跃的社区，确保持续的开发和更新，也有许多用例和最佳实践可供借鉴。

此外，一些云测平台如BrowserStack或Sauce Labs，也提供内置的Selenium集成，从而使测试流程变得更加容易和灵活。因此，在处理Web界面自动化测试时，Selenium是一个值得推荐的选择。

概述

selenium是网页应用中最流行的自动化测试工具，可以用来做自动化测试或者浏览器爬虫等。官网地址为：Selenium。相对于另外一款web自动化测试工具QTP来说有如下优点：

• 免费开源轻量级，不同语言只需要一个体积很小的依赖包
• 支持多种系统，包括Windows，Mac，Linux
• 支持多种浏览器，包括Chrome，FireFox，IE，safari，opera等
• 支持多语言，包括Java，C，python，c#等主流语言
• 支持分布式测试用例执行

python+selenium环境安装

首先需要安装python（推荐3.7+）环境，然后直接用pip install selenium安装依赖包即可。

另外还需要下载浏览器相应的webdriver驱动程序，注意下载的驱动版本一定要匹配浏览器版本。

• Firefox浏览器驱动：geckodriver
• Chrome浏览器驱动：chromedriver
• IE浏览器驱动：IEDriverServer
• Edge浏览器驱动：MicrosoftWebDriver
• Opera浏览器驱动：operadriver

下载以后可以把驱动程序加到环境变量，这样使用时就不用手动指定驱动程序路径。

使用selenium启动浏览器

from selenium import webdriver# 启动Chrome浏览器，要求chromedriver驱动程序已经配置到环境变量# 将驱动程序和当前脚本放在同一个文件夹也可以driver = webdriver.Chrome()# 手动指定驱动程序路径driver = webdriver.Chrome(r'D:/uusama/tools/chromedriver.exe')driver = webdriver.Ie() # Internet Explorer浏览器driver = webdriver.Edge() # Edge浏览器driver = webdriver.Opera() # Opera浏览器driver = webdriver.PhantomJS() # PhantomJSdriver.get('http://uusama.com') # 打开指定路径的页面

from selenium import webdriver# 创建chrome启动选项对象options = webdriver.ChromeOptions()options.add_argument("--proxy-server=127.0.0.1:16666") # 设置代理options.add_argument("---ignore-certificate-errors") # 设置忽略https证书校验options.add_experimental_option("excludeSwitches", ["enable-logging"]) # 启用日志# 设置浏览器下载文件时保存的默认路径prefs = {"download.default_directory": get_download_dir()}options.add_experimental_option("prefs", prefs)driver = webdriver.Chrome(options=options)

selenium页面加载等待和检测

使用selenium打开页面以后，还不能立刻操作，需要等到待处理页面元素加载完成，这时就需要检测和等待页面元素加载。

使用time.sleep()等待

最简单的方法就是打开页面以后，使用time.sleep()强制等待一定时间，该方法只能设置一个固定时间等待，如果页面提前加载完成，则会空等阻塞。

from time import sleepfrom selenium import webdriverdriver = webdriver.Chrome()driver.get('http://uusama.con')time.sleep(10)print('load finish')

使用implicitly_wait设置最长等待时间

另外还可以使用implicitly_wait设置最长等待时间，如果在给定时间内页面加载完成或者已经超时，才会执行下一步。该方法会等到所有资源全部加载完成，也就是浏览器标签栏的loading图表不再转才会执行下一步。有可能页面元素已经加载完成，但是js或者图片等资源还未加载完成，此时还需要等待。

另需注意使用implicitly_wait只需设置一次，且对整个driver生命周期都起作用，凡是遇到页面正在加载都会阻塞。

示例如下：

from selenium import webdriverdriver = webdriver.Chrome()driver.implicitly_wait(30) # 设置最长等30秒driver.get('http://uusama.com')print(driver.current_url)driver.get('http://baidu.com')print(driver.current_url)

使用WebDriverWait设置等待条件

使用WebDriverWait（selenium.webdriver.support.wait.WebDriverWait）能够更加精确灵活地设置等待时间，WebDriverWait可在设定时间内每隔一段时间检测是否满足某个条件，如果满足条件则进行下一步操作，如果超过设置时间还不满足，则抛出TimeoutException异常，其方法声明如下：

WebDriverWait(driver, timeout, poll_frequency=0.5, ignored_exceptions=None)

其中各参数含义如下：

• driver：浏览器驱动
• timeout：最长超时时间，默认以秒为单位
• poll_frequency：检测的间隔（步长）时间，默认为0.5秒
• ignored_exceptions：忽略的异常，即使在调用until()或until_not()的过程中抛出给定异常也不中断

 WebDriverWait()一般配合until()或until_not()方法使用，表示等待阻塞直到返回值为True或者False，需要注意这两个方法的参数都需是可调用对象，即方法名称，可以使用expected_conditions模块中的方法或者自己封装的方法。

from selenium import webdriverfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.support.ui import WebDriverWaitfrom selenium.webdriver.support import expected_conditionsdriver = webdriver.Chrome()driver.get("http://baidu.com")# 判断id为`input`的元素是否被加到了dom树里，并不代表该元素一定可见，如果定位到就返回WebElementelement = WebDriverWait(driver, 5, 0.5).until(expected_conditions.presence_of_element_located((By.ID, "s_btn_wr")))# implicitly_wait和WebDriverWait都设置时，取二者中最大的等待时间driver.implicitly_wait(5)# 判断某个元素是否被添加到了dom里并且可见，可见代表元素可显示且宽和高都大于0WebDriverWait(driver,10).until(EC.visibility_of_element_located((By.ID, 'su')))# 判断元素是否可见，如果可见就返回这个元素WebDriverWait(driver,10).until(EC.visibility_of(driver.find_element(by=By.ID, value='kw')))

 下面列出expected_conditions常用的一些方法：

• title_is: 判断当前页面title是否精确等于预期
• title_contains: 判断当前页面title是否包含预期字符串
• presence_of_element_located: 判断某个元素是否被加到了dom树里，并不代表该元素一定可见
• visibility_of_element_located: 判断某个元素是否可见（元素非隐藏，并且元素的宽和高都不等于0）
• visibility_of: 跟上面的方法做一样的事情，只是上面的方法要传入locator，这个方法直接传定位到的element就好了
• presence_of_all_elements_located: 判断是否至少有1个元素存在于dom树中。举个例子，如果页面上有n个元素的class都是'column-md-3'，那么只要有1个元素存在，这个方法就返回True
• text_to_be_present_in_element: 判断某个元素中的text是否包含了预期的字符串
• text_to_be_present_in_element_value: 判断某个元素中的value属性是否包含了预期的字符串
• frame_to_be_available_and_switch_to_it: 判断该frame是否可以switch进去，如果可以的话，返回True并且switch进去，否则返回False
• invisibility_of_element_located: 判断某个元素中是否不存在于dom树或不可见
• element_to_be_clickable: 判断某个元素中是否可见并且是enable的，这样的话才叫clickable
• staleness_of: 等某个元素从dom树中移除，注意，这个方法也是返回True或False
• element_to_be_selected: 判断某个元素是否被选中了,一般用在下拉列表
• element_selection_state_to_be: 判断某个元素的选中状态是否符合预期
• element_located_selection_state_to_be: 跟上面的方法作用一样，只是上面的方法传入定位到的element，而这个方法传入locator

检测document是否加载完成

另外还可以使用driver.execute_script('return document.readyState;') == 'complete'来检测document是否加载完成。

注意document加载完成，是不包括那种异步加载ajax请求动态渲染dom的，这种需要使用WebDriverWait检测某个元素是否渲染完成。

selenium元素定位和读取

def check_element_exists(xpath):try:driver.find_element_by_xpath(xpath)except NoSuchElementException:return Falsereturn True

selenium交互控制

ActionChains动作链

webdriver通过ActionChains对象来模拟用户操作，该对象表示一个动作链路队列，所有操作会依次进入队列但不会立即执行，直到调用perform()方法时才会执行。其常用方法如下：

• click(on_element=None): 单击鼠标左键
• click_and_hold(on_element=None): 点击鼠标左键，不松开
• context_click(on_element=None): 点击鼠标右键
• double_click(on_element=None): 双击鼠标左键
• send_keys(*keys_to_send): 发送某个键到当前焦点的元素
• send_keys_to_element(element, *keys_to_send): 发送某个键到指定元素
• key_down(value, element=None): 按下某个键盘上的键
• key_up(value, element=None): 松开某个键
• drag_and_drop(source, target): 拖拽到某个元素然后松开
• drag_and_drop_by_offset(source, xoffset, yoffset): 拖拽到某个坐标然后松开
• move_by_offset(xoffset, yoffset): 鼠标从当前位置移动到某个坐标
• move_to_element(to_element): 鼠标移动到某个元素
• move_to_element_with_offset(to_element, xoffset, yoffset): 移动到距某个元素（左上角坐标）多少距离的位置
• perform(): 执行链中的所有动作
• release(on_element=None): 在某个元素位置松开鼠标左键

模拟鼠标事件

下面代码模拟鼠标移动，点击，拖拽等操作，注意操作时需要等待一定时间，否则页面还来不及渲染。

from time import sleepfrom selenium import webdriver# 引入 ActionChains 类from selenium.webdriver.common.action_chains import ActionChainsdriver = webdriver.Chrome()driver.get("https://www.baidu.cn")action_chains = ActionChains(driver)target = driver.find_element_by_link_text("搜索")# 移动鼠标到指定元素然后点击action_chains.move_to_element(target).click(target).perform()time.sleep(2)# 也可以直接调用元素的点击方法target.click()time.sleep(2)# 鼠标移动到(10, 50)坐标处action_chains.move_by_offset(10, 50).perform()time.sleep(2)# 鼠标移动到距离元素target(10, 50)处action_chains.move_to_element_with_offset(target, 10, 50).perform()time.sleep(2)# 鼠标拖拽，将一个元素拖动到另一个元素dragger = driver.find_element_by_id('dragger')action.drag_and_drop(dragger, target).perform()time.sleep(2)# 也可以使用点击 -> 移动来实现拖拽action.click_and_hold(dragger).release(target).perform()time.sleep(2)action.click_and_hold(dragger).move_to_element(target).release().perform()

模拟键盘输入事件

通过send_keys模拟键盘事件，常用有：

send_keys(Keys.BACK_SPACE): 删除键（BackSpace）send_keys(Keys.SPACE): 空格键(Space)send_keys(Keys.TAB): 制表键(Tab)send_keys(Keys.ESCAPE): 回退键（Esc）send_keys(Keys.ENTER): 回车键（Enter）send_keys(Keys.F1): 键盘 F1send_keys(Keys.CONTROL,'a'): 全选（Ctrl+A）send_keys(Keys.CONTROL,'c'): 复制（Ctrl+C）send_keys(Keys.CONTROL,'x'): 剪切（Ctrl+X）send_keys(Keys.CONTROL,'v'): 粘贴（Ctrl+V）

示例：定位到输入框，然后输入内容

# 输入框输入内容driver.find_element_by_id("kw").send_keys("uusamaa")# 模拟回车删除多输入的一个字符adriver.find_element_by_id("kw").send_keys(Keys.BACK_SPACE)

警告框处理

用于处理调用alert弹出的警告框。

• driver.switch_to_alert(): 切换到警告框
• text：返回alert/confirm/prompt中的文字信息，比如js调用alert('failed')则会获取failed字符串
• accept()：接受现有警告框
• dismiss()：关闭现有警告框
• send_keys(keysToSend)：将文本发送至警告框

selenium浏览器控制

基本常用api

下面列出一些非常实用的浏览器控制api:

• driver.current_url: 获取当前活动窗口的url
• driver.switch_to_window("windowName"): 移动到指定的标签窗口
• driver.switch_to_frame("frameName"): 移动到指定名称的iframe
• driver.switch_to_default_content(): 移动到默认文本内容区
• driver.maximize_window(): 将浏览器最大化显示
• driver.set_window_size(480, 800): 设置浏览器宽480、高800显示
• driver.forword(), driver.back(): 浏览器前进和后退
• driver.refresh(): 刷新页面
• driver.close(): 关闭当前标签页
• driver.quiit(): 关闭整个浏览器
• driver.save_screenshot('screen.png'): 保存页面截图
• driver.maximize_window(): 将浏览器最大化显示
• browser.execute_script('return document.readyState;'): 执行js脚本

selenium读取和加载cookie

使用get_cookies和add_cookie可以实现将cookie缓存到本地，然后启动时加载，这样可以保留登录态。实现如下

import osimport jsonfrom selenium import webdriverdriver = webdriver.Chrome()driver.get("https://www.baidu.cn")# 读取所有cookie并保存到文件cookies = driver.get_cookies()cookie_save_path = 'cookie.json'with open(cookie_save_path, 'w', encoding='utf-8') as file_handle:json.dump(cookies, file_handle, ensure_ascii=False, indent=4)# 从文件读取cookie并加载到浏览器with open(cookie_save_path, 'r', encoding='utf-8') as file_handle:cookies = json.load(file_handle)for cookie in cookies:driver.add_cookie(cookie)

selenium打开新的标签页窗口

使用driver.get(url)会默认在第一个标签窗口打开指定连接，点击页面中的_blank的链接时也会打开一个新的标签窗口。

还可以用下面的方式手动打开一个指定页面的标签窗口，需要注意打开新窗口或者关闭以后，还需要手动调用switch_to.window切换当前活动的标签窗口，否则会抛出NoSuchWindowException异常。

from selenium import webdriverdriver = webdriver.Chrome()driver.get("https://www.baidu.cn")new_tab_url = 'http://uusama.com'driver.execute_script(f'window.open("{new_tab_url}", "_blank");')time.sleep(1)# 注意：必须调用switch_to.window手动切换window，否则会找不到tab view# 聚焦到新打开的tab页面，然后关闭driver.switch_to.window(driver.window_handles[1])time.sleep(2)driver.close() # 关闭当前窗口# 手动回到原来的tab页面driver.switch_to.window(driver.window_handles[0])time.sleep(1)

除了使用execute_script外，还可以使用模拟打开新tab页按键的方式新建一个标签页窗口：

• driver.find_element_by_tag_name('body').send_keys(Keys.CONTROL + 't')
• ActionChains(driver).key_down(Keys.CONTROL).send_keys('t').key_up(Keys.CONTROL).perform()

selenium一些问题记录

获取隐藏元素的文本内容

如果一个元素是隐藏的，即display=none，虽然可以通过find_element查找到该元素，但是用element.text属性是获取不到该元素文本内容的，其值是空字符串，这时可以用下面的方式获取：

element = driver.find_element_by_id('uusama')driver.execute_script("return arguments[0].textContent", element)driver.execute_script("return arguments[0].innerHTML", element)# 相应的也可以把隐藏的元素设置为非隐藏driver.execute_script("arguments[0].style.display = 'block';", element)

浏览器崩溃WebDriverException异常处理

比如在Chrome中长时间运行一个页面会出现Out Of Memory内存不足的错误，此时WebDriver会抛出WebDriverException异常，基本所有api都会抛出这个异常，这个时候需要捕获并进行特殊处理。

我的处理方式是记录页面的一些基本信息，比如url，cookie等，并定期写入到文件中，如果检测到该异常，则重启浏览器并且加载url和cookie等数据。

selenium抓取页面请求数据

网上有通过driver.requests或者通过解析日志来获取页面请求的方式，但是我感觉都不是很好使。最后使用mitmproxy代理进行抓包处理，然后启动selenium时填入代理来实现。

proxy.py为在mitmproxy基础上封装的自定义代理请求处理，其代码如下：

import osimport gzipfrom mitmproxy.options import Optionsfrom mitmproxy.proxy.config import ProxyConfigfrom mitmproxy.proxy.server import ProxyServerfrom mitmproxy.tools.dump import DumpMasterfrom mitmproxy.http import HTTPFlowfrom mitmproxy.websocket import WebSocketFlowclass ProxyMaster(DumpMaster):def __init__(self, *args, **kwargs):super().__init__(*args, **kwargs)def run(self, func=None):try:DumpMaster.run(self, func)except KeyboardInterrupt:self.shutdown()def process(url: str, request_body: str, response_content: str):# 抓包请求处理，可以在这儿转存和解析数据passclass Addon(object):def websocket_message(self, flow: WebSocketFlow):# 监听websockt请求passdef response(self, flow: HTTPFlow):# 避免一直保存flow流，导致内存占用飙升# flow.request.headers["Connection"] = "close"# 监听http请求响应，并获取请求体和响应内容url = flow.request.urlrequest_body = flow.requestresponse_content = flow.response# 如果返回值是压缩的内容需要进行解压缩if response_content.data.content.startswith(b'\x1f\x8b\x08'):response_content = gzip.decompress(response_content.data.content).decode('utf-8')Addon.EXECUTOR.submit(process, url, request_body, response_content)def run_proxy_server():options = Options(listen_host='0.0.0.0', listen_port=16666)config = ProxyConfig(options)master = ProxyMaster(options, with_termlog=False, with_dumper=False)master.server = ProxyServer(config)master.addons.add(Addon())master.run()if __name__ == '__main__':with open('proxy.pid', mode='w') as fin:fin.write(os.getpid().__str__())run_proxy_server()

在使用mitmproxy过程中，随着时间推移proxy.py会出现占用内存飙升的问题，在github的issue区有人也遇到过，有说是因为http连接keep-alive=true请求会一直保存不会释放，导致请求越多越占用内存，然后通过添加flow.request.headers["Connection"] = "close"来手动关闭连接，我加了以后有一定缓解，但还是不能从根本上解决。

最后通过写入proxy.pid记录代理程序进程，然后用另外一个程序定时重启proxy.py来解决内存泄漏的问题。

最后感谢每一个认真阅读我文章的人，礼尚往来总是要有的，虽然不是什么很值钱的东西，如果你用得到的话可以直接拿走：

​

这些资料，对于【软件测试】的朋友来说应该是最全面最完整的备战仓库，这个仓库也陪伴上万个测试工程师们走过最艰难的路程，希望也能帮助到你！