Python桌面自动化利器PyAutoGUI实战指南

此前我们探讨过如何利用Python在浏览器中执行页面自动化，无论采用何种方案，核心逻辑均依赖于对页面元素的定位与交互。

本文将视角转向桌面环境下的自动化操作。与浏览器自动化原理相似，桌面自动化的关键在于确定鼠标在屏幕上的坐标位置，并依据该位置执行相应的交互指令。

GUI控制神器

本文的主角是 pyautogui，这是一个纯Python编写的GUI自动化工具库。借助该库，程序能够模拟控制鼠标移动与键盘输入，从而实现自动化测试或重复性操作的自动化。

安装该模块的过程与常规Python库一致，可通过pip命令完成：

pip3 install pyautogui

安装完成后，即可在代码中直接调用相关功能。

鼠标操作

鼠标移动

桌面自动化的基础在于对鼠标位置的控制，我们可以精确指定鼠标移动到的目标坐标：

# 移动鼠标
pyautogui.moveTo(200,400,duration=2)
pyautogui.moveRel(200,500,duration=2)

屏幕坐标系以左上角为原点(0,0)，所有鼠标操作均基于此原点确定相对或绝对位置。

第一行代码将鼠标绝对移动至像素坐标(200, 400)处；第二行代码则使鼠标从当前位置相对移动，向右偏移200像素，向下偏移400像素。

上述两行代码均包含 duration 参数，该参数用于指定移动过程持续的时间（单位为秒），数值越大，鼠标移动越缓慢，便于观察。

运行上述代码，观察屏幕中鼠标的移动轨迹，即可直观感受其效果。

此外，我们还可以实时获取鼠标当前的屏幕坐标：

print(pyautogui.position())  

该操作返回鼠标在当前屏幕中的(x, y)坐标值，执行后控制台将输出类似如下格式的结果：

Point(x=400, y=900)

鼠标点击

常规鼠标通常配备左键和右键，部分高级鼠标还包含中键。

以我使用的双键鼠标为例，其中间并无独立按键。

pyautogui 库针对这三种按键操作均提供了对应的处理函数：

# 鼠标点击，默认左键
pyautogui.click(100,100)   
# 单击左键
pyautogui.click(100,100,button='left')  
# 单击右键
pyautogui.click(100,300,button='right') 
# 单击中间 
pyautogui.click(100,300,button='middle')  

执行鼠标点击时，若未指定 button 参数，默认执行左键单击，前两个参数分别代表点击位置的横纵坐标。

运行上述代码，即可在桌面上看到鼠标点击的效果。

除了单击，鼠标还支持双击操作：

# 双击左键
pyautogui.doubleClick(10,10)  
# 双击右键
pyautogui.rightClick(10,10)   
# 双击中键
pyautogui.middleClick(10,10) 

相关函数命名直观，易于理解。若初次接触代码感到困惑，建议结合注释仔细阅读几遍。

熟悉前端开发的朋友可能注意到，鼠标交互包含按下和释放两个状态，桌面自动化同样支持对这两个状态的独立控制：

# 鼠标按下
pyautogui.mouseDown()   
# 鼠标释放
pyautogui.mouseUp()    

鼠标拖动

我们可以控制鼠标拖动至指定的绝对坐标位置，并可设置拖动过程的时间：

pyautogui.dragTo(100,300,duration=1)   

其运行效果与鼠标移动类似，只是轨迹表现为拖拽状态。

基于之前的移动经验，我们也支持按相对方向进行拖动操作：

pyautogui.dragRel(100,300,duration=4) 

鼠标滚动

在桌面操作中，有时需要模拟滚轮滚动以向上或向下浏览内容，此时可使用 scroll 函数来实现：

pyautogui.scroll(30000) 

该函数的参数为整数，表示滚动的单位数量。不同操作系统下“单位”的定义可能有所差异。通常，传入正整数表示向上滚动，传入负整数表示向下滚动。

屏幕处理

获取屏幕截图

假设一个场景：需要在屏幕上识别一个红色像素点。常规做法是获取该点的颜色值，然后遍历屏幕像素进行比对，直至找到匹配点。

pyautogui 库为此场景提供了完整的支持，包含三个关键函数：

im = pyautogui.screenshot()
im.save('screenshot.png')
rgb = im.getpixel((100, 500))
print(rgb)
match = pyautogui.pixelMatchesColor(500,500,(12,120,400))
print(match)

第一个函数用于截取当前屏幕，返回Pillow库的Image对象；第二个函数用于获取指定坐标点的RGB颜色值；第三个函数用于判断指定坐标点的颜色是否与目标颜色匹配，返回布尔值。

接下来升级需求场景：

如何在屏幕上定位Edge浏览器的图标？

常规思路是先获取Edge图标图片，明确其颜色特征（如绿色或蓝色）及尺寸比例，然后在屏幕图像中进行模板匹配，直到找到与目标图标一致的区域。

实现该功能的代码如下：

# 图像识别（一个）
oneLocation = pyautogui.locateOnScreen('1.png')
print(oneLocation)  

# 图像识别（多个）
allLocation = pyautogui.locateAllOnScreen('1.png')
print(list(allLocation))

你可以先截取桌面上某个应用图标的图片并保存，随后使用上述代码进行识别。若识别成功，控制台将返回类似以下的结果：

Box(left=20, top=89, width=33, height=34) [Box(left=20, top=89, width=33, height=34)]

上述结果即为图片在屏幕上的位置坐标。若未找到匹配图片，函数将返回None。

键盘输入

键盘函数

键盘自动化主要涉及以下常用函数：

• keyDown()：模拟按键按下状态
• keyUP()：模拟按键松开状态
• press()：模拟一次完整的按键过程（即先按下后松开）
• typewrite()：模拟键盘逐字输出内容

举例说明，平时输入感叹号（!）的操作是：

先按住Shift键，再按下数字1键。使用 pyautogui 库实现该操作的代码如下：

pyautogui.keyDown('shift')    
pyautogui.press('1')    
pyautogui.keyUp('shift')   

运行上述代码，若鼠标焦点位于文本编辑框内，屏幕上将输出一个感叹号！

此外，我们还可以直接模拟连续输入文本内容：

pyautogui.typewrite('python', 1)

第一个参数指定要输出的字符串内容，第二个参数指定每个字符之间的间隔时间（单位为秒）。

运行上述代码，编辑器中将每隔1秒依次输出“python”这六个字母。

特殊符号

有时需要输入键盘上的特殊功能键，如换行、方向键等，这些按键有对应的字符串表示法：

pyautogui.typewrite(['p','y','t','h','o','n','enter'])   

运行上述代码，编辑器中将输出“python”字符串后自动换行。

其他特殊按键对应的字符串表示，请参考官方文档说明。

快捷键

若需模拟复制操作（通常使用Ctrl+C），按照前述步骤需分别控制Ctrl和C键的按下与释放：

pyautogui.keyDown('ctrl')
pyautogui.keyDown('c')
pyautogui.keyUp('c')
pyautogui.keyUp('ctrl')

这种写法较为繁琐，且需严格把控按键按下的顺序。

pyautogui 库提供了一个更便捷的函数：

pyautogui.hotkey('ctrl','c')

该函数实现的效果与前述4行代码完全相同，但代码更为简洁。

信息框

在模拟桌面操作时，若涉及分支逻辑，需要根据用户实际选择来决定后续操作，此时是否需要一个交互界面供用户选择？

pyautogui 库贴心地提供了此类功能，通过弹出选择框中断当前脚本执行，等待用户选择操作分支。

way = pyautogui.confirm('领导，该走哪条路？', buttons=['农村路', '水路', '陆路'])
print(way)

这类似于HTML页面中的confirm对话框。用户选择选项后，脚本可获取该返回值，并基于此判断进入相应的操作分支。

除了确认选择框外，库还提供了其他类型的提示框：

# 警告框
alert = pyautogui.alert(text='警告！敌军来袭！', title='警告框')
print(alert)
# 密码框
password = pyautogui.password('请输入密码')
print(password)
# 普通输入框
input = pyautogui.prompt('请输入指令：')
print(input)

总结

关于 pyautogui 的基础知识介绍至此。该Python模块功能强大且函数接口简洁，对初学者十分友好。掌握这些基础后，你可以组合使用这些功能，实现各种有趣的桌面自动化操作，不妨动手尝试一下！

以上就是Python自动操作神器PyAutoGUI的使用教程的详细内容，更多关于Python PyAutoGUI的资料请关注本站其它相关文章！