让 AI 在电脑上点按钮，常见做法像是让人隔着照片指位置：窗口一移动、界面一变化，原来的坐标就可能失效。开源项目 agent-desktop 换了条路。它读取操作系统的无障碍树——原本供屏幕阅读器使用的界面结构，从中识别按钮、文本框及其状态，再用稳定的控件引用执行操作。
这套工具以 Rust 编写，提供 CLI（用文字命令驱动程序的命令行界面）和 54 个可实际操作的命令，覆盖观察、点击、键盘、剪贴板与窗口管理等任务。面对 Slack、VS Code 等结构复杂的应用，它先给出浅层界面骨架，再按需深入局部；项目作者称，这能减少 78% 至 96% 的 token 消耗。它还提供 C ABI，让 Python、Swift、Go 等程序直接加载同一底层库，不必每次另起命令行进程。
值得关注的不是“AI 会点击”本身，而是操作依据从像素位置变成了控件身份，失败后也更容易安全重试。不过目前项目要求 macOS 13.0 以上，并需授予相应的无障碍权限；上述节省幅度来自项目方自述。