MosaicML 在幾乎所有人之前就開始致力於高效的語言模型預訓練，至少從 2021 年開始。 如果他們沒有出售，今天的價值將是現在的 10 倍，甚至 100 倍。