如果你需要关于Karpathy的nanochat的视频指南,请查看斯坦福大学的CS336课程! 它涵盖了: - 代币化 - 资源核算 - 预训练 - 微调(SFT/RLHF) - 关键架构概述 - 使用GPU - 内核和Tritons - 并行性 - 规模法则 - 推理 - 评估 - 对齐 你所需的一切,帮助你为在Frontier AI Labs的工作做好准备。 我已经在回复中分享了播放列表!