你的 iPhone 和 Mac 里有一块专门跑 AI 的 Apple Neural Engine(ANE),平时主要负责“推理”——拿现成模型处理图像、语音等任务。训练则像让模型边做题边改答案,需要反向计算并调整参数,苹果并未通过 Core ML 向开发者开放这条路径。maderix/ANE 绕过公开工具链,逆向调用 _ANEClient、_ANECompiler 等私有 API,让训练计算直接进入 ANE。
项目最具体的进展,是从头实现了 Transformer 的前向与反向传播。作者给出的结果中,1.09 亿参数的 Stories110M 每个训练步骤耗时 91 毫秒,5.96 亿参数的 Qwen3-0.6B 为 412 毫秒,而且无需每步重新编译。不过,模型权重的梯度仍由 CPU 计算,不少逐元素运算也会退回 CPU;作者称 ANE 利用率只有峰值的约 5%—9%。所以它现在不是大模型训练方案,而是一项证明:苹果设备端训练的障碍至少不全在硬件,也在软件是否开放。由于项目依赖可能随系统更新变化的私有 API,作者明确将其定位为研究代码,而非生产框架。