滑动窗口注意力（SWA）正在为前沿混合模型提供高效支持。有没有更好的选择？ 介绍Phalanx，一种更快、更高质量的滑动窗口注意力（SWA）替代品。 Phalanx是一种新的硬件和数值感知窗口层系列，专注于数据局部性和不规则的、块对齐的窗口，能够直接映射到GPU上。 在训练中，Phalanx在4K–32K上下文长度下，相比优化过的SWA混合模型和变换器，提供了10%–40%的端到端吞吐量提升，减少了昂贵的跨warp通信。 今天，我们发布了技术报告、博客以及Phalanx内核，作为我们的研究内核库spear的一部分。 我们正在招聘。

介绍 RND1，这是迄今为止最强大的基础扩散语言模型（DLM）。 RND1（Radical Numerics Diffusion）是一个实验性的 DLM，具有 30B 参数（3B 活跃），采用稀疏 MoE 架构。 我们将其开源，发布权重、训练细节和代码，以促进对 DLM 推理和后训练的进一步研究。 我们是来自 DeepMind、Meta、Liquid 和斯坦福的研究人员和工程师，正在构建递归自我改进（RSI）的引擎——并利用它来加速我们的工作。我们的目标是让 AI 设计 AI。 我们正在招聘。