想象一下:一台二十多年前的掌机,不联网,也能慢慢写出一段回答。开发者 liright 把一个 90M 对话模型装进 Sony PSP——索尼于 2004 年推出的便携式游戏机——想看看这种老硬件究竟能承受多大的本地模型。这属于边缘推理,也就是不把问题发往云端,直接在设备上运行 AI;好处是离线和隐私,代价则是算力与内存极其紧张。
90M 指约九千万个参数,也就是模型训练后保存的数值。按作者在 Reddit 的自述,这大约是 PSP 在不让生成速度“糟糕到无法接受”之前的上限。实际速度约为每秒 0.5—0.6 个 token;token 是模型逐步生成的文字片段,可能是一个字、半个词或标点。一次回复往往要等 1—3 分钟。它能写粗糙的诗、短篇故事和无法运行的代码,偶尔答对简单常识,也会给出离谱的幻觉答案。这个项目的价值不在实用,而在给极端低资源设备上的本地生成画出一条具体边界;目前这些表现仅来自作者展示,材料未提供独立测试。