双重下降表明卢卡斯批评仅适用于局部。 即,模型误差随着参数的增加而上升,直到某个点(“过拟合”),但随后随着参数的增加而下降。 经济学简化模型以适应所谓的样本外拟合是个错误——继续进行就好!
另一个有趣的机器学习话题是“grokking”,在这个过程中,模型会突然从过拟合转向泛化。 如果你是 @alz_zyd_,我想你会说这是模型只是一个思考的存在并开始理解的标志。
22.45K