Ik heb gisteren met Gemini 3 gespeeld via vroege toegang. Een paar gedachten - Ten eerste dring ik meestal aan op voorzichtigheid met openbare benchmarks, omdat ze naar mijn mening behoorlijk te manipuleren zijn. Het komt neer op discipline en zelfbeheersing van het team (dat ondertussen sterk anders wordt gestimuleerd) om testsets niet te overfitten via ingewikkelde gymnastiek over testset-adjacent data in de documentembeddingruimte. Realistisch gezien, omdat iedereen het doet, is de druk om dit te doen hoog. Ga met het model praten. Praat met de andere modellen (Rijd de LLM-cyclus - gebruik elke dag een andere LLM). Ik had gisteren een positieve eerste indruk over persoonlijkheid, schrijven, vibe-codering, humor, enz., zeer solide dagelijkse rijpotentieel, duidelijk een tier 1 LLM, gefeliciteerd aan het team! In de komende dagen/weken ben ik het meest nieuwsgierig en op zoek naar een ensemble over privé-evaluaties, wat veel mensen/organisaties nu lijken te bouwen voor zichzelf en af en toe hier rapporteren.

Ik begin een gewoonte te ontwikkelen om alles (blogs, artikelen, hoofdstukken van boeken,…) te lezen met LLM's. Gewoonlijk is de eerste ronde handmatig, dan ronde 2 "verklaar/samenvatten", ronde 3 Q&A. Ik eindig meestal met een beter/dieper begrip dan als ik verder was gegaan. Het groeit naar een van de belangrijkste gebruikstoepassingen. Aan de andere kant, als je een schrijver bent die iets probeert uit te leggen/communiceren, zullen we misschien steeds minder de mindset zien van "ik schrijf dit voor een andere mens" en meer "ik schrijf dit voor een LLM". Want zodra een LLM het "begrijpt", kan het vervolgens de idee richten, personaliseren en aan zijn gebruiker aanbieden.

Een interessante recente conversatie delen over de impact van AI op de economie. AI is vergeleken met verschillende historische precedenten: elektriciteit, industriële revolutie, enzovoort. Ik denk dat de sterkste analogie die van AI als een nieuw computerparadigma (Software 2.0) is, omdat beide fundamenteel gaan over de automatisering van digitale informatieverwerking. Als je de impact van computing op de arbeidsmarkt in de jaren '80 zou moeten voorspellen, zou de meest voorspellende eigenschap van een taak/baan waar je naar zou kijken, in hoeverre het algoritme ervan vastligt zijn, d.w.z. ben je gewoon mechanisch informatie aan het transformeren volgens vaste, gemakkelijk te specificeren regels (bijv. typen, boekhouden, menselijke rekenmachines, enz.)? Toen was dit de klasse van programma's die de computercapaciteit van die tijd ons toestond om te schrijven (met de hand, handmatig). Met AI kunnen we nu nieuwe programma's schrijven die we voorheen nooit met de hand hadden kunnen schrijven. We doen dit door doelstellingen te specificeren (bijv. classificatie-nauwkeurigheid, beloningsfuncties), en we doorzoeken de programmaruimte via gradient descent om neurale netwerken te vinden die goed presteren tegen dat doel. Dit is mijn Software 2.0 blogpost van een tijdje geleden. In dit nieuwe programmeerparadigma is de nieuwe meest voorspellende eigenschap om naar te kijken verifieerbaarheid. Als een taak/baan verifieerbaar is, dan kan deze direct of via reinforcement learning geoptimaliseerd worden, en kan een neuraal netwerk worden getraind om extreem goed te presteren. Het gaat erom in hoeverre een AI iets kan "oefenen". De omgeving moet resetbaar zijn (je kunt een nieuwe poging starten), efficiënt (er kunnen veel pogingen worden gedaan), en beloonbaar (er is een geautomatiseerd proces om elke specifieke poging die is gedaan te belonen). Hoe meer een taak/baan verifieerbaar is, hoe meer deze geschikt is voor automatisering in het nieuwe programmeerparadigma. Als het niet verifieerbaar is, moet het afhangen van de neurale net magie van generalisatie, duimen maar, of via zwakkere middelen zoals imitatie. Dit is wat de "gehaakte" grens van vooruitgang in LLM's aandrijft. Taken die verifieerbaar zijn, vorderen snel, mogelijk zelfs voorbij de capaciteiten van top-experts (bijv. wiskunde, code, hoeveelheid tijd besteed aan het kijken naar video's, alles wat lijkt op puzzels met juiste antwoorden), terwijl veel andere taken in vergelijking achterblijven (creatief, strategisch, taken die echte wereldkennis, staat, context en gezond verstand combineren). Software 1.0 automatiseert gemakkelijk wat je kunt specificeren. Software 2.0 automatiseert gemakkelijk wat je kunt verifiëren.