在上一篇部落格文章中，我們展示了如何打破保護隱私的 LLM 方案——以近乎完美的精度解碼排列模型狀態。 今天，我們介紹我們的防禦：級聯 🕵️ ♂️✨

Cascade 通過 "token sharding" 將隱藏狀態分割到各方來保護 LLM 推理——每個節點僅按順序查看幾個標記。節點的標記越分散，攻擊的成本就越高——隨著距離的增加呈指數增長。

級聯在推理中保持完全保真——沒有近似值，沒有定點數學。它在 CompNode（用於 MLP）和 AttnNodes（用於注意力）之間拆分計算，從而在分佈式階段保留準確的結果。

Cascade 的關鍵是一種代幣分片方案，它對我們的重建攻擊和已知的基於學習的攻擊都具有穩健性。我們在論文中證明，我們的方法稱為 c-δ 分片，可以在不影響保真度的情況下實現強大的隱私。

我們對 Cascade 針對基於學習的攻擊的安全性進行了廣泛的實驗。雖然它缺乏 SMPC 的形式保證，但我們證明，有了足夠的節點，Cascade 在經驗上對這些攻擊是穩健的。

Cascade 最重要的優勢是速度和可擴展性。與現有的 SMPC 計劃如 MPCFormer 和 Puma 相比，Cascade 快了 2 個數量級，即使在我們測試的最安全設置（72 位參與者）下也是如此：

Cascade 的動機是需要在隱私、安全性和可擴展性之間的權衡中找到一種新的範式。我們相信其核心理念——代幣分片——實現了這種平衡，並為保護隱私的法學碩士開闢了新的方向。

我們在攻擊和 Cascade 方面的工作在 ICML 2025 上被接受，並將於太平洋標準時間 7 月 16 日下午 4：30 在溫哥華會議中心東展廳 A-B E-2612 室展示。 快來和我們聊聊吧！ 🔗

快來加入我們 ICML 的儀式社交活動。認識我們的人工智慧和加密貨幣研究團隊，與優秀的人一起放鬆身心，並以正確的方式結束您的一天。這是完美的儀式。 在這裡註冊：