Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.005 — 2026-07-09
NEWS 约 1 分钟

Nemotron Audex用3B激活参数统一音频与文本

英伟达把听、说与文字推理装进同一模型,单次仅激活3B参数。

IMAGE — r/LocalLLaMA 日榜

和语音助手聊天时,背后常要串起听写、理解和合成几套系统。英伟达的 Nemotron-Labs-Audex-30B-A3B 想把这些能力收进一个模型:它既能接收和生成文字,也能处理和生成语音及一般音频,减少多套模型接力的需要。

Audex 建在 30B 参数的 Nemotron-Cascade-2 底座上,但采用 MoE(Mixture of Experts,混合专家)架构——像按问题叫来少数合适的专家,每次只激活 3B 参数,因此总容量较大,单次计算量却更接近小模型。它还扩充了离散音频 token,也就是把连续声波变成类似文字的有限符号;音频编码器负责“听”,相应解码链路负责“说”。

据英伟达模型卡自述,Audex 可完成音频理解、语音识别与翻译、文字转语音、音频生成和语音到语音生成,同时对原有推理、知识、长上下文和智能体能力只有轻微或没有退步,并支持最长 100 万 token 上下文。不过材料未提供具体基准数字,实际效果和部署成本仍需更多测试验证。


供稿材料 SOURCES — 1

← 返回 2026-07-09 · 开源板块