Chủ đề thịnh hành
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Trong bài đăng trên blog cuối cùng của chúng tôi, chúng tôi đã chỉ ra cách phá vỡ các sơ đồ LLM bảo vệ quyền riêng tư - giải mã các trạng thái mô hình hoán vị với độ chính xác gần như hoàn hảo.
Hôm nay, chúng tôi trình bày biện pháp bảo vệ của chúng tôi: Cascade 🕵️ ♂️✨

Cascade bảo mật suy diễn LLM bằng cách chia sẻ trạng thái ẩn giữa các bên thông qua "token sharding"—mỗi nút chỉ thấy một vài token theo thứ tự. Càng xa nhau, chi phí tấn công của các token trên một nút càng cao—tăng theo cấp số nhân với khoảng cách.

Cascade vẫn giữ được độ trung thực hoàn toàn trong suy luận — không có xấp xỉ, không có toán điểm cố định. Nó phân chia tính toán giữa CompNode (dành cho MLP) và AttnNodes (để chú ý), bảo toàn kết quả chính xác giữa các giai đoạn phân tán.

Điểm mấu chốt của Cascade là một sơ đồ phân mảnh mã thông báo mạnh mẽ đối với cả cuộc tấn công tái tạo của chúng tôi và các cuộc tấn công dựa trên học tập đã biết. Chúng tôi chứng minh trong bài báo rằng cách tiếp cận của chúng tôi, được gọi là phân mảnh c-δ, đạt được quyền riêng tư mạnh mẽ mà không ảnh hưởng đến độ trung thực.
Chúng tôi thực hiện các thử nghiệm mở rộng về bảo mật của Cascade chống lại các cuộc tấn công dựa trên học tập. Mặc dù nó thiếu sự đảm bảo chính thức của SMPC, nhưng chúng tôi chứng minh rằng với đủ nút, Cascade có khả năng mạnh mẽ về mặt kinh nghiệm đối với các cuộc tấn công này.

Lợi ích lớn nhất của Cascade là tốc độ và khả năng mở rộng. So với các sơ đồ SMPC hiện có như MPCFormer và Puma, Cascade nhanh hơn 2 bậc độ lớn, ngay cả trong cài đặt an toàn nhất mà chúng tôi đã thử nghiệm (72 người tham gia):

Cascade được thúc đẩy bởi nhu cầu tìm ra một mô hình mới trong sự đánh đổi giữa quyền riêng tư, bảo mật và khả năng mở rộng. Chúng tôi tin rằng ý tưởng cốt lõi của nó — phân mảnh mã thông báo — đạt được sự cân bằng đó và mở ra một hướng đi mới cho các LLM bảo vệ quyền riêng tư.
Công việc của chúng tôi về cả cuộc tấn công và Cascade đã được chấp nhận tại ICML 2025 và sẽ được trình bày vào ngày 16/7 lúc 4:30 chiều theo giờ PST tại Phòng Triển lãm Đông AB, Phòng E-2612, trong Trung tâm Hội nghị Vancouver.
Hãy đến và trò chuyện với chúng tôi!
🔗
Hãy tham gia cùng chúng tôi để tham gia xã hội Nghi lễ tại ICML. Gặp gỡ nhóm nghiên cứu AI và tiền điện tử của chúng tôi, thư giãn với những người tuyệt vời và kết thúc một ngày của bạn đúng cách. Đó là Nghi lễ hoàn hảo.
Đăng ký tại đây:

28,31K
Hàng đầu
Thứ hạng
Yêu thích