想让 AI 在普通桌面软件里找按钮、填文字或滚动页面，往往比调用在线服务麻烦：这些应用未必提供 API——软件之间直接交换指令的接口。开源项目 pi-computer-use 给 Pi Agent 加上 Computer Use 能力，也就是让模型观察屏幕，再像人一样点击、输入和滚动。它支持 macOS 和 Windows，适合处理只能通过可视界面完成的任务。
它是一个 Pi 扩展——安装到宿主 Agent 上的附加能力包。装好后，Pi 可以寻找已打开的应用和窗口，读取当前可见界面，搜索文字、按钮与控件，检查局部细节，执行操作，并等待界面变化。项目还会保存每次观察对应的界面状态；操作完成后，在能够可靠识别界面元素时，只返回前后变化，减少重复信息。多个彼此独立的窗口也可以并行处理。
作者强调，它不是 API 或 MCP server 的替代品：应用若有可靠的直接集成，应优先使用；只有屏幕是唯一入口时，才更适合让 Agent 动手操作。macOS 端要求 macOS 14 或更新版本，并需开放辅助功能与屏幕录制权限；Windows 端则需要交互式桌面会话。