Bence bu kışkırtıcı bir yaklaşım ve iyi bir düşünce ama mantığı biraz üzerinde çalışmak istedim. Bugün çoğu yapay zeka aracı bulutta çalışıyor. Her modelden bir şeyi yazmasını, özetlemesini, çevirmesini veya analiz etmesini istediğinizde, bu talep bir veri merkezindeki GPU'ya çarpıyor. Daha fazla kullanıcı, →daha fazla sorgu → daha fazla GPU → daha fazla veri merkezi → daha fazla güç hattı, trafo, trafo → daha fazla üretim vb. Bu, mevcut yapay zeka donanımı + veri merkezi sermaye patlamasının temel fınan çarkıdır. Cihaz üzerindeki faydalı çıkarım, bu doğrusal zinciri bozar. Eğer çok milyar parametreli bir model, telefonunuzunuzda, dizüstü bilgisayarınızda, arabanızda veya kulaklığınızdaki sinir çipinde çalışacak kadar verimliyse, günlük görevlerin büyük bir kısmı cihazdan asla ayrılmak zorunda kalmaz. Basit ama yüksek hacimli istekleri düşünün: otomatik tamamlama, e-posta taslağı, sesli transkripsiyon, özetleme, basit görüntü tanıma. Bunlar, muhtemelen kullanıma hakim olacak yüksek hacimli, düşük karmaşıklıktaki genel sorgular. Hızlıca neyin kayabileceğine dair hissetme: Basit varsayımlar - istediğiniz gibi esnetin. -1B kullanıcılar günde 50 sorgu × × ~$0.002/sorgu x 365 gün = ~$35B/yıl bulut çıkarımı maliyeti. -Eğer bunun %30'u cihazda hareket ederse, bu ~$11B+ yıllık bulut talebi demektir ama hiç gerçekleşmez. -Cihaz gönderildiğinde yerel sorgu başına marjinal maliyet fiilen ~$0'dır. Normal uyarılar: donanım oraya doğru ilerliyor ama yine de bellek, bant genişliği vb. ölçeklendirmek gerekiyor. Ancak, bir telefonun sinir çipinde çalışan 3–7B parametre modeli (bugün yaklaşık 10–45 "TOPS", 2027'ye kadar 60+ öngörülüyor) bu yüksek hacimli, düşük karmaşıklıktaki görevleri yerel olarak halledebilir. Her istek için sınır ölçeği modellere ihtiyacınız yok. Bulut hâlâ çok net olmak gerekir. Sınır modelleri eğitimi, uzun bağlamlı akıl yürütme, büyük kurumsal iş yükleri, çoklu ajan koordinasyonu – bunların hepsi büyük, merkezi veri merkezleri için çok daha uygun. Önemli değişim, mantık zincirinin artık "her yeni kullanıcı = daha fazla GPU ve daha fazla gigawatt veri merkezi kapasitesi eklemeliyim" olmamasıdır. Burada bilinmeyen bir şey ise Jevon'un paradoks argümanı ve bunun daha fazla yapay zeka kullanımını sürüp sürmediği, kullanıcıları daha karmaşık istemler aramaya sürükleyip bulamadığı ve bunun bir kısmını dengelediği Aashay'ın belirttiği gibi, sermaye patlaması tamamen 'kırılmıyor', ancak mevcut yoğunluk oranı muhtemelen değiştiriliyor. Günümüz ölçeğinde buluttan cihaza çıkarım iş yüklerinin %5–30'unu bile taşımak anlamlı olabilir. Zor sorunlar bulutta merkezi kalır. Ama "günlük yapay zeka" zaten sahip olduğunuz donanımın bir özelliği haline gelir, sorgu tarafından kiralanan ölçülü bir yardımcı programın yerine.