让 AI 替你操作电脑不难,难的是让它同时管一批不同系统的机器,还能统一验收结果。Cua 正在补这层基础设施:computer-use——让模型看屏幕、点击和键入——不再只是一台电脑上的演示,而能通过同一套 API 控制本地或云端的 macOS、Windows、Linux、Android 虚拟机与容器。
其中最实用的一点是驱动层:它把 Agent 的通用指令翻译成不同系统的屏幕读取和输入动作。Cua Drivers 还能在后台操控原生桌面应用,不抢走用户的鼠标焦点;CLI 和 MCP——连接 AI 与工具的统一协议——也可跨三大桌面系统使用。配套的 Cua Bench 则把任务并行分发到隔离环境,在 OSWorld、ScreenSpot、Windows Arena 或自定义任务上评测,并导出操作轨迹供训练使用。
这意味着 computer-use 开始拥有“设备舰队”的雏形:一处调度,多机执行,统一留痕。不过项目也明确提示,Linux Wayland 的后台输入受具体合成器限制;部分 macOS Sequoia 虚拟机首次启动仍可能需要人工处理辅助功能设置。