MosaicML estaba trabajando en un preentrenamiento eficiente de LM antes que casi nadie más, desde al menos 2021. si no hubieran vendido, hoy valdrían 10 veces esto, si no 100.