同一段声音,响度相同,相位关系不同,叠加结果也会不同。复数神经元能同时记录“大小”和“相位”,理论上更适合这类信号。但能表示不等于能学会:训练算法还得在合理时间内找到正确参数。这篇 JMLR 论文追问的正是,复数神经元何时真的比实数网络更容易训练。
据 JMLR 介绍,作者在低维输入、无偏置项、用期望平方误差训练单个神经元的理论设定下发现:普通复数神经元学习实数目标时,收敛速度为 Θ(t^-3),反而比实数神经元的线性收敛慢。关键问题不在表达能力,而在参数写法。作者重新参数化相位——不改变模型能表示什么,只把“旋钮刻度”换得更顺手——随后证明复数神经元也能恢复线性收敛。
更强的边界是:在同一设定下,有限宽的两层实数网络无法学会一个非退化复数神经元表达的目标函数。也就是说,复数结构的优势既取决于它能表达什么,也取决于训练时如何安排参数坐标;结论目前主要来自受控理论设定,作者另以模拟实验检验了更一般的情况。