Edellisessä blogikirjoituksessamme näytimme kuinka murtaa yksityisyyttä säilyttävät LLM-järjestelmät – purkaa permutoituja mallitiloja lähes täydellisellä tarkkuudella. Tänään esitämme puolustuksemme 🕵️ ♂️✨

Cascade varmistaa LLM-päättelyn jakamalla piilotetut tilat osapuolten kesken "token shardingin" avulla – jokainen solmu näkee vain muutaman tunnuksen peräkkäin. Mitä kauempana solmun tokenit ovat toisistaan, sitä korkeammat ovat hyökkäyksen kustannukset – ne kasvavat eksponentiaalisesti etäisyyden myötä.

Cascade säilyttää täyden tarkkuuden päättelyssä – ei likiarvoja, ei kiinteän pisteen matematiikkaa. Se jakaa laskennan CompNodesin (MLP:t) ja AttnNodesin (huomion vuoksi) välillä säilyttäen tarkat tulokset hajautetuissa vaiheissa.

Cascaden ydin on tokenien sirpalointijärjestelmä, joka on vankka sekä jälleenrakennushyökkäyksellemme että tunnetuille oppimispohjaisille hyökkäyksille. Osoitamme artikkelissa, että lähestymistapamme, jota kutsutaan c-δ shardingiksi, saavuttaa vahvan yksityisyyden uskollisuudesta tinkimättä.

Teemme laajoja kokeiluja Cascaden turvallisuudesta oppimispohjaisia hyökkäyksiä vastaan. Vaikka siltä puuttuu SMPC:n muodolliset takuut, osoitamme, että riittävällä solmulla Cascade on empiirisesti kestävä näille hyökkäyksille.

Cascaden merkittävin etu on nopeus ja skaalautuvuus. Verrattuna olemassa oleviin SMPC-järjestelmiin, kuten MPCFormeriin ja Pumaan, Cascade on 2 suuruusluokkaa nopeampi, jopa turvallisin testaamamme asetus (72 osallistujaa):

Cascaden motiivina oli tarve löytää uusi paradigma yksityisyyden, turvallisuuden ja skaalautuvuuden väliseen kompromissiin. Uskomme, että sen ydinidea – token-sharding – löytää tämän tasapainon ja avaa uuden suunnan yksityisyyttä säilyttäville LLM:ille.

Sekä hyökkäystä että Cascadea koskeva työmme hyväksyttiin ICML 2025 -tapahtumassa, ja se esitellään 16.7. klo 16.30 PST East Exhibition Hall AB:ssä, huoneessa E-2612, Vancouverin kongressikeskuksessa. Tule juttelemaan kanssamme! 🔗

Tule mukaan ICML:n rituaalisosiaaliseen tapahtumaan. Tapaa tekoäly- ja kryptotutkimustiimimme, rentoudu mahtavien ihmisten kanssa ja päätä päiväsi oikealla tavalla. Se on täydellinen rituaali. Ilmoittaudu tästä: