你让 AI 在桌面上点开“Downloads”里的“Documents”。如果它只看截图、记坐标，窗口稍微移动，原本的按钮位置就可能变成另一个文件。Agent Desktop 想解决的正是这种问题：别让 Agent 对着像素猜，而是让它直接读取操作系统眼中的按钮、菜单和文本框。
这个由 vercel-labs 开源的项目单日新增 2243 星。它面向 Computer use Agent——能点击、输入、切换窗口的桌面智能体——提供 CLI（可从终端调用的命令行界面）和 C library（供其他程序直接接入的底层代码库），覆盖 macOS、Windows 和 Linux。以下功能与限制均来自项目仓库，目前没有第三方测试可交叉验证。
它不是“看图找按钮”
Agent Desktop 读取的是操作系统无障碍树。这套结构原本服务于屏幕阅读器等辅助工具，会记录界面里有哪些按钮、输入框和菜单，以及它们当前的状态。对 Agent 来说，它更像一份带名称的界面目录：目标不再是“屏幕左上方某个坐标”，而是“名为 Documents、可以点击的控件”。
仓库称，这套操作不依赖像素匹配。Agent 先执行 snapshot，取得一份 JSON 格式的界面快照；系统会给每个可操作元素分配一个 ref，也就是这次快照里的临时引用。Agent 根据 ref 点击或输入，再拍一次快照，确认结果。整个过程可以概括为“观察—操作—再观察”。
这一步真正重要的地方，不只是更容易找到控件，而是尽量避免界面变化后的误点。ref 只属于生成它的那次快照。界面改变后，旧引用可能返回 STALE_REF（引用已经过期）或 AMBIGUOUS_TARGET（目标不唯一），提示 Agent 重新观察，而不是若无其事地点向另一个对象。
macOS 端还做了一层防护。命令会按快照命名空间和二进制构建版本复用一个私有 command host，并暂时保留原生无障碍对象。仓库给出的理由是：如果列表中的一行已经删除，系统不应把旧引用悄悄解析到一个标识符相同、但仍然存在的新对象上。这个 host 空闲 15 分钟后退出。
为什么这双“手”值得看
桌面 Agent 常被讨论的是模型够不够聪明，但真正执行任务时，“点到了什么”同样关键。截图坐标自动化很直观，却容易受窗口移动、缩放和界面改版影响。无障碍树把操作目标从位置换成了控件身份，也让错误更容易被程序识别和处理。
2026 年的 Tactile 研究做过相近方向的实验。据 Tactile 研究团队在 arXiv 公布的数据，引入这类界面结构后，Codex 在 macOSWorld 类任务上的 Success@100 从 41.1%升至 50.0%；在专门适配无障碍接口的任务上，从 45.2%升至 55.3%。这不能直接证明 Agent Desktop 达到同样效果，但说明“少猜像素、多读控件”并非只有工程直觉，也已有研究结果支持其方向价值。
生态反应也很快。据 GitHub 上 oh-my-openagent 项目的讨论，2026 年 10 月 31 日，有人提议把 Agent Desktop 接成桌面操作后端，特别看中跨平台能力，以及界面变化后让旧引用报错的设计。维护者当天把它列入 computer-use 工作的比较对象，但没有承诺接入时间。
Agent Desktop 可通过 npm install -g agent-desktop 安装，Bun、Yarn 和 pnpm 也能安装同一软件包。包内含 x64 与 ARM64 的原生二进制文件和平台辅助程序。不过，“支持三大系统”不代表三端能力完全一致：macOS 需要 Accessibility 权限；Windows 对与终端处于同一 integrity level（系统用来区分进程权限强弱的级别）的应用无需额外授权；Linux 则需要用户图形会话和 at-spi2-core。无界面运行时，前台激活和合成输入仍被禁止。
局限与未知
- 目前证据全部来自项目自身仓库，没有成功率、延迟、任务完成率，也没有与视觉式 computer use 的直接对比，因而还不能把“可靠的手”当作已被证实的效果。
- 跨平台兼容性、旧
ref防误操作机制的可靠程度，以及“不依赖像素匹配”的具体边界，尚缺第三方实测。Homebrew 和 Scoop 官方包在材料记录时仍处于提交阶段，发布前还需重新核查状态。 - 快照、剪贴板读取、截图、命令输出和调试产物都可能包含私人桌面内容，不应进入公开日志或上传。可选的 JEV helper 还会把屏幕描述发送给所配置的模型提供商；它与原生 CLI 相互独立，但两者都需要认真处理敏感数据。