同一支团队处理不同任务,不必总排成同一条流水线:有时该把一道工序多做几遍,有时该分组尝试再汇合。SelfMorph把这个思路放进冻结LLM——主干参数不变,却能针对每个输入临时重排内部计算,让测试时扩展(模型回答时追加计算)不只增加算力,还改变算力的“形状”。
它提供三种路线:照常逐层运行;重复执行一段中间层;或把隐藏状态——模型在各层间传递的临时数字表示——轻微扰动后分支处理,再取平均合并。最关键的一步是,一个轻量选择器先读取问题经过各层时留下的隐藏状态轨迹,在生成首个回答词前,从25种候选方案中决定路线、位置和强度,无须逐个生成答案试错。
据作者报告,SelfMorph在3个4B至27B的模型、9项基准上测试:对5项训练分布内基准平均相对提升8.06%,对4项未见基准提升4.45%;它还在全部15组比较中胜过“每项基准固定选一条路线”。结果尚以论文实验为准,但它提出了一个值得关注的维度:冻结模型能否提升,不只看多算多久,也看内部计算怎样组织。