在@grail_ai主网推出了完全异步的训练器,正在训练一个7B模型 🚀 训练现在从重放缓冲区连续运行!无需等待通信。 这解锁了2000+的上下文,让我们能够从1.5B扩展到7B模型,甚至以后会更大。