给一批模型做体检,现实往往不是大家答同一张卷子:有的只测数学,有的只测法律,连同一任务里做过的题也不同。结果是一张布满空格的榜单,逐项补测又很贵。Helm 等人提出 PKPS(Product Kernel Perspective Space),尝试利用过去评测保存的模型原始回答,预测这些缺失成绩。
关键一步是,不强求两个模型回答过同一道题。PKPS 用“核方法”——把相似程度变成可计算数值——同时比较题目与回答:题目即使不相同,只要相似,其回答仍可用于判断两个模型的行为有多接近。系统再把这种关系压缩成模型的低维表示,并据此预测完整任务得分。换句话说,它从零散旧答卷中寻找可比线索,而不是只盯着最终总分。
据论文作者自述,PKPS 在两个大型基准套件的预测中优于对照方法;与低秩矩阵补全结合后,缺失分数的补全误差最多降低 28%。这项工作的意义不在于替代正式评测,而是让评测预算优先花在少量新问题上,其余表现先由历史缓存回答推算。