In der Biologie funktionieren Skalierungsgesetze... ...bis sie es nicht mehr tun. Für die Vorhersage der Fitness steigt die Leistung von Protein-Sprachmodellen mit der Modellgröße, bis sie ein Plateau erreicht und dann abnimmt. Wenn der Trainingsverlust (NLL) sinkt, beginnen die Modelle, höhere Sequenzwahrscheinlichkeiten vorherzusagen und korrelieren weniger mit der zugrunde liegenden Fitness. Beispiel 10.001, warum KI in der Biologie eine sorgfältige Berücksichtigung der zugrunde liegenden Verteilungen, Trainingsziele und Dutzende anderer Details erfordert. Die Schnittmenge ist reichhaltig, erfordert jedoch sorgfältige Arbeit in beiden Disziplinen.

Großartige Detektivarbeit vom Shen-Labor an der Columbia University: