目前习以为常的“验证集”和“测试集”的划分,在未来看来可能非常可笑 —— David 9
现今的机器学习(深度学习)的工作流已经到了需要重新思考的时候了。
从最常见的“验证集”和“测试集”的划分,就已经很陈旧了(虽还不是一无是处)。曾有学者认为,需要有一部分数据集彻底和训练集“隔绝”,从而达到最好的评估效果,即所谓的“测试集”,但其实漏洞很多,首先,用静态“测试集”去模拟动态的真实分布,在实际场景中会错误百出,其次,人类日常的学习没有什么“信息隔离”一说,接触到的信息都是可以学习的。有人会说,高考不就是人类通过“隔离”试卷信息选拔人才(“模型”)的过程吗?那么David要问一下大家,为什么会有“复读”再高考这种选择? 就是因为这个固定的隔离“测试集”漏洞太多了,有教师出题偏好的问题,有运气的问题,有学生状态的问题。
再说“验证集”,验证集和训练集真的区分很重要吗? 继续阅读重新思考机器学习新形式,模型实际评估,分布漂移问题,工程模型部署