スライディングウィンドウアテンション(SWA)は、効率を高めるフロンティアハイブリッドモデルを強化しています。もっと良いものはありますか? スライディングウィンドウアテンション(SWA)のより速く、より高品質のドロップイン代替品であるファランクスをご紹介します。 Phalanxは、データの局所性と、GPUに直接マッピングされるギザギザのブロックアラインウィンドウに重点を置いて設計された、ハードウェアと数値を意識したウィンドウレイヤーの新しいファミリーです。 トレーニングでは、Phalanxは、コストのかかるワープ間通信を削減することで、最適化されたSWAハイブリッドとトランスフォーマーよりも、4K〜32Kのコンテキスト長で10〜40%高いエンドツーエンドのスループットを実現します。 本日、技術レポート、ブログ、研究カーネルライブラリであるspearのPhalanxカーネルの両方をリリースします。 採用中です。

これまでで最も強力なベース拡散言語モデル(DLM)であるRND1のご紹介です。 RND1 (Radical Numerics Diffusion) は、スパース MoE アーキテクチャを備えた 30B パラメータ (3B アクティブ) を持つ実験的な DLM です。 私たちはそれをオープンソースにし、重み、トレーニングの詳細、コードをリリースして、DLM推論とポストトレーニングに関するさらなる研究を促進しています。 私たちは研究者兼エンジニア(DeepMind、Meta、Liquid、Stanford)であり、再帰的自己改善(RSI)のエンジンを構築し、それを使用して私たち自身の研究を加速しています。 私たちの目標は、AI に AI を設計させることです。 採用中です。