agent-desktop 1.3.1的JSON快照如何区分桌面权限与沙箱问题?

Elena
Elena
发布时间:2026-11-16 | 6人浏览过
原创

agent-desktop 1.3.1以JSON封装桌面命令结果,操作目标来自辅助功能树中的快照ref。排查失败时,应先区分平台权限、过期ref和沙箱生命周期;该补丁让已启动沙箱在启动器退出后保持运行,不代表桌面任务已经完成。

agent-desktop桌面自动化工具说明

先确认工具返回什么

这个工具同时提供CLI和C库,不自带推理模型。AI代理负责决定下一步,agent-desktop负责读取操作系统辅助功能树或执行具体桌面动作。命令输出的JSON封装是程序接口,不能把其中的成功状态简单等同于用户最终目标已经实现。

官方快照示例包含snapshot_id、ref_count、complete和tree等字段。tree中的ref属于生成它的那次快照;裸元素编号不够,界面变化后旧ref可能返回STALE_REF或AMBIGUOUS_TARGET。这种情况需要重新观察,不应把同一旧目标无限重试。

在终端核对1.3.1与当前平台

以下操作面向已有Node.js/npm的环境,使用当前用户有权写入的全局安装位置。先固定安装1.3.1,再读取版本与状态;不要用其他版本输出验证这个补丁。

npm install -g agent-desktop@1.3.1
agent-desktop version
agent-desktop status

预期version确认实际运行的CLI,status返回平台、权限和支持表面。某个可执行文件仍指向旧安装时,应先解决安装路径选择。macOS、Windows和Linux依赖的辅助功能接口不同,同一份自动化计划不能假定三者权限表现完全一致。

对操作结果重新取快照

macOS上可用Finder读取交互元素。下面的命令只观察,不包含点击、输入或删除动作;需要本机具备对应的辅助功能权限,并有可观察的Finder界面。

agent-desktop snapshot --app Finder -i

预期得到包含该次快照标识和可操作元素ref的JSON。后续动作须使用实际返回的完整ref;若窗口、弹窗或界面发生变化,应重新读取快照再选择目标。这里没有预填任何机器上的元素编号,也不把官方示例编号当作你当前桌面上的真实目标。

多个窗口可能需要明确窗口身份。输出中的错误码和细节比“命令没成功”更有区分力:权限不足、目标歧义与旧ref分别指向不同排查方向。若要重试失败动作,应遵守错误结果中disposition.retry的安全判断。

1.3.1修复的是另一层生命周期

如果任务还使用sandbox,1.3.1的修复让已启动沙箱在启动器退出后继续运行,避免其存活依赖启动器。它与ref有效性不同:前者关心运行环境是否仍然存在,后者关心界面目标是否仍对应当前快照。Release还将rustix更新到1.1.6以处理RUSTSEC-2026-0486,不应把这项依赖变更泛化为新的桌面功能。

agent-desktop 1.3.1正式补丁的两项变更

内置指南与日志边界

读取所安装版本附带的桌面与平台指南,可避免把其他发行版说明中的行为混入当前使用环境。

agent-desktop skills get desktop
agent-desktop skills get platform

预期分别输出桌面观察、操作与核验规则,以及当前操作系统差异。快照、剪贴板、截图和调试资料可能包含桌面私密内容,排错材料应只保留必要信息,不应把整份桌面输出直接上传到公开日志。最终验收仍应观察目标应用的实际状态,不能只凭启动命令结束或一条JSON响应下结论。

相关专题:

本站声明

本文内容仅供参考,不代表本站观点。转载或引用请注明出处。如发现内容问题,请通过联系我们页面反馈。

Python 相关产品和应用

全部下载

专题列表