想亲手做一个聊天模型，通常难的不只是租显卡，而是把数据处理、训练、评测和对话程序全部接起来。Karpathy 的 nanochat 把这条流水线收进一套尽量精简、方便修改的代码：从 Tokenization——把文字切成模型能读取的编号单元——到预训练、微调、评测和推理，都能在单个 GPU 节点上完成。项目单日新增 325 星，适合用来快速看懂聊天模型是怎样从文本一路变成可对话程序的。
最具体的看点是成本。按项目说明，使用 8 张 H100 GPU，约两小时、48 美元便能训练出达到 GPT-2 水平的模型；若采用价格浮动、随时可能被回收的 spot instance，成本可接近 15 美元。用户只需调整 --depth，也就是 Transformer 的层数，其余宽度、注意力头数量和学习率等参数由程序自动计算。当前速度榜的最好记录为 1.65 小时。不过，“百美元迷你 ChatGPT”更像一个便于理解的目标：材料证明的是 GPT-2 级能力和完整训练流程，并未给出它与现代 ChatGPT 的直接对比。