拿到一套成品聊天模型,你通常只能直接使用;拿到 Base 模型,却像拿到一块还可继续加工的底座。百度此次放出的 ERNIE-5.5-Flash-Base,正是尚未经过中期训练或后训练的预训练终点,可供团队继续做领域适配、指令微调或强化学习,而非开箱即用的聊天助手。
据百度 ERNIE 官方发布页介绍,它采用稀疏 MoE(准备许多“专家”子网络,但每次只调用少数几个),总参数量为 280B,每个词元实际激活 14B 参数。模型从零开始在 33.5T 词元上预训练,训练上下文最长为 128K;官方称推理时最多支持约 1M 词元。Hugging Face 百度官方仓库已提供下载,主仓库模型文件约 288GB。
这次上线的意义,不在于多了一个聊天产品,而在于国内开放基础模型阵营多了一个可下载、可继续训练的候选。开放权重也不自动等于传统开源软件许可,商用和地区限制仍须查看随附许可证。