滑動窗口注意力（SWA）正在為前沿混合模型提供效率。還有更好的選擇嗎？ 介紹 Phalanx，一個更快且更高品質的滑動窗口注意力（SWA）替代品。 Phalanx 是一個新的硬體和數值感知窗口層系列，專注於數據局部性和不規則的、塊對齊的窗口，這些窗口可以直接映射到 GPU。 在訓練中，Phalanx 在 4K–32K 上下文長度下，提供比優化的 SWA 混合模型和 Transformers 高出 10–40% 的端到端吞吐量，通過減少昂貴的跨 warp 通信來實現。 今天，我們發布了技術報告、博客以及 Phalanx 核心，這些都在我們的研究核心庫 spear 中。 我們正在招聘。

介紹 RND1，迄今為止最強大的基礎擴散語言模型 (DLM)。 RND1（Radical Numerics Diffusion）是一個實驗性的 DLM，擁有 30B 參數（3B 活躍），採用稀疏的 MoE 架構。 我們將其開源，釋放權重、訓練細節和代碼，以促進對 DLM 推理和後訓練的進一步研究。 我們是研究人員和工程師（DeepMind、Meta、Liquid、Stanford），正在構建遞歸自我改進（RSI）的引擎——並利用它來加速我們自己的工作。我們的目標是讓 AI 設計 AI。 我們正在招聘。