Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.013 — 2026-07-17
PAPER 约 1 分钟

一个词元就能验明模型真身

反复问简单问题,每次只看一个词元,就能低成本核验 API 背后的模型是否货不对板。

你通过转售 API 购买某款模型,屏幕上的名字却不能证明后台没有换成更便宜的版本。Tomas Bruckner 提出一种轻量核验法:反复让模型“说一个 1 到 100 的随机数”,每次只收一个词元——模型处理文字的最小单位——再统计答案频率。不同模型看似都在随机作答,实际偏好并不相同;这种细微而稳定的习惯,就像行为声纹。

研究用 10 类任务、四种语言测试 OpenRouter 上的 165 个模型,共发出 32.6 万次请求,成本低于 35 美元。作者报告,只取八组探针、约 120 次单词元查询时,核验的等错误率为 10.6%——即把真模型误判为假、把假模型误判为真的两类错误达到平衡时的错误水平;完整 40 组探针可降至 7.3%。它不需要读取模型内部概率、生成长文或获得厂商配合,适合黑箱 API 的日常抽查。不过,这仍是统计判断,不是一次回答就能“验明正身”;实际使用还需要可信的参考模型作比对。


供稿材料 SOURCES — 1

← 返回 2026-07-17 · 学术板块