前回のブログ投稿では、プライバシーを保護する LLM スキームを破る方法、つまり順列されたモデルの状態をほぼ完璧な精度でデコードする方法を示しました。 今日は、私たちの防御を紹介します:カスケード 🕵️ ♂️✨

Cascadeは、「トークンシャーディング」を介して隠された状態を当事者間で分割することにより、LLM推論を保護します—各ノードは順番にいくつかのトークンのみを参照します。ノードのトークンが離れているほど、攻撃のコストは高くなり、距離とともに指数関数的に増加します。

カスケードは推論において完全な忠実度を維持し、近似や固定小数点の演算はありません。計算を CompNode (MLP 用) と AttnNode (アテンション用) の間で分割し、分散ステージ間で正確な結果を保持します。

Cascade の核心は、再構築攻撃と既知の学習ベースの攻撃の両方に対して堅牢なトークン シャーディング スキームです。この論文では、c-δ シャーディングと呼ばれる私たちのアプローチが、忠実度を損なうことなく強力なプライバシーを実現することを実証しています。

学習ベースの攻撃に対するCascadeのセキュリティについて、広範な実験を行っています。SMPC の正式な保証はありませんが、十分なノードがあれば、Cascade はこれらの攻撃に対して経験的に堅牢であることを実証しています。

Cascade の最も重要な利点は、速度とスケーラビリティです。MPCFormerやPumaなどの既存のSMPCスキームと比較すると、Cascadeは、テストした最も安全な設定(72人の参加者)でさえ、2桁高速です。

Cascade は、プライバシー、セキュリティ、スケーラビリティの間のトレードオフにおいて新しいパラダイムを見つける必要性によって動機付けられました。私たちは、その核となるアイデアであるトークンシャーディングがそのバランスを取り、プライバシーを保護する LLM の新たな方向性を開くと信じています。

攻撃とカスケードの両方に関する私たちの研究はICML 2025で受け入れられ、7月16日午後4時30分(太平洋標準時)にバンクーバーコンベンションセンターのイーストエキシビションホールA-B、ルームE-2612で発表されます。 ぜひお話しください! 🔗

ICMLの儀式ソーシャルにぜひご参加ください。当社の AI および暗号通貨研究チームに会い、素晴らしい人々とくつろぎ、正しい方法で一日を締めくくりましょう。それは完璧な儀式です。 こちらから登録してください: