Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.077 — 2026-09-19
NEWS 约 1 分钟

训练Transformer也想绕开CUDA

用 Rust 和 Vulkan 训练 143 种 Transformer,探索绕开 CUDA 与 PyTorch 的路径。

训练 AI 模型,通常像进一间只认特定工具的工厂:软件大多围绕 NVIDIA 的 CUDA——GPU 并行计算平台——和 PyTorch——负责计算、求导与硬件加速的机器学习框架——搭建。Hierarchos Native 想换一套工具:用 Rust 加 Vulkan,直接调度不同厂商的 GPU,完成训练和推理。

据项目作者介绍,这套原生后端已覆盖 143 种 Transformer 架构。Transformer 是许多现代语言模型的基础结构。它不只让模型“跑起来”,还自行实现前向与反向计算、完整训练、AdamW 优化、LoRA 微调、混合精度和断点续训等环节,并为部分较新的模型设计专用 Vulkan 计算内核。算上 Hugging Face 的同类命名别名,项目目前宣传支持 224 种 model_type 写法。

它值得关注,不是因为已经取代 CUDA,而是为非 NVIDIA 训练栈提供了一条可动手验证的新路线。作者也明确收窄了边界:登记支持某种架构,只代表实现了原生文本计算图,不等于所有配置和多模态组件都已验证;现阶段也不宣称能替代 CUDA/PyTorch。


供稿材料 SOURCES — 1

← 返回 2026-09-19 · 开源板块