Turboahda Nvidia AI -grafiikkasuorittimet: yksinkertaisia temppuja salamannopeaan suorituskykyyn Autotallissani minun on tehtävä se pieni ei-pääomasijoittajatutkimus ja -kehitys, työ, minulla on penniä ja saan enemmän vauhtia kuin yritykset, joilla on miljardeja. Tämä rajoitus saa minut löytämään tapoja puristaa enemmän irti vähemmästä. Teen monia asioita, joita useimmat eivät voi ajatella. Tässä on esimerkki vain yhdestä 100:sta. GPU:t ovat voimanpesiä, jotka ovat täynnä tonneittain prosessointiyksiköitä, jotka ovat valmiita murskaamaan numeroita. Löysin Mutta usein niitä ei hyödynnetä täysin, mikä johtaa hitaaseen suorituskykyyn. Mitä löysin? Älykkäät optimoinnit, jotka pitävät nämä yksiköt surisevana, lyhentävät tekoälyn renderöintiaikoja ja tarjoavat valtavia nopeuden lisäyksiä. Huomaa ensin pullonkaulat. Käytän profilointityökaluja, kuten Nvidian Nsightia, nähdäkseni, mikä pidättelee asioita, olipa kyse sitten muistin odottamisesta tai muista asioista. Kun se on tunnistettu, sukellan sisään ja säädän koodia pakkaamaan jokaiseen säikeeseen lisää työtä. Yksinkertaiset muutokset, kuten silmukoiden avaaminen tai tietojen pakkaaminen, voivat piilottaa viiveet ja lisätä suorituskykyä, mikä antaa välittömiä nopeushyppyjä. Suuri käyttö voi joskus aiheuttaa välimuistikaaosta – korjaa se vähentämällä säikeiden määrää älykkäästi valekoodilla tai muistin säädöillä, mikä vapauttaa resursseja rinnakkaisiin tehtäviin. Todellinen pelin muuttaja? Asynkroninen laskenta. Suorita useita tehtäviä rinnakkain, täytä tyhjäkäynnit ja päällekkäiset raskaat kuormat. Yhdistämällä muistia kuluttavat tehtävät saat näytönohjaimen moniajon, mikä voi puolittaa ajat ja tehostaa tehokkuutta. Nämä säädöt muuttavat alikäytetyt GPU:t nopeusdemoneiksi. Se ei eroa siitä, miten IBM PC/AT:n henkilökohtaiset tietokoneet toimivat jopa 100 MHz:n taajuudella vuonna 1986, kun ne tulivat tehtaalta 8 MHz:n taajuudella. Kirjoitan tästä tarkemmin, mutta jos suuret tekoälyyritykset käyttäisivät op-kooditason Nvidia GPU -optimointiani, ne todennäköisesti saavuttaisivat AGI:n melko nopeasti. Kun tunnet laitteiston ja ohjelmiston lähes atomitasolla, voit tehdä ensimmäiset periaatteet uudelleen.