Overfitting Testing

在LLM盛行的当下，研究人员出发点都变成了构建一个超级大的模型，去拟合整个人类社会的数据(pre-training)，并通过一些技术向人类演化出来的交互方式去做alignment(post-training)。大家似乎对于过拟合这一个原来机器学习中非常基础的议题不再关注，