Home

算力喵

机器学习不能停~


Blog Github

吴恩达机器学习:方差与偏差

在前几周的课程里,我们已经学习了 监督学习 中的 线性回归逻辑回归神经网络( 点击进入笔记 )。回顾课程作业,所有的样本数据都被用来训练模型。验证模型时,也只是将模型的数据结果与正确结果作对比来看正确率。 这样的训练方法是否正确?正确率是否能作为评价模型的标准?这周就将学习如何评价我们的模型,以及如何采取正确有效的改进策略。

点击 课程视频 你就能不间断地学习 Ng 的课程,关于课程作业的 Python 代码已经放到了 Github 上,点击 课程代码 就能去 Github 查看( 无法访问 Github 的话可以点击 Coding 查看 ),代码中的错误和改进欢迎大家指出。

以下是 Ng 机器学习课程第五周的笔记。

改进策略

对于 预测函数,我们通常会使用以下几种手段来改进:

  1. 采集更多的样本数据
  2. 减少特征数量,去除非主要的特征
  3. 引入更多的相关特征
  4. 采用多项式特征
  5. 减小正则化参数
  6. 增加正则化参数

Andrew Ng 告诉大家,他见过很多开发者盲目地使用改进策略,为此耗费了大量的时间和精力,却没什么效果。所以我们需要一些依据来帮助我们选择合适的策略。

数据集划分

为了评价模型,我们通常将数据集分为三个部分,训练集交叉验证集测试集,并使用 误差 作为模型使用在这些集合上的评价,误差 的形式与之前的 代价函数 相同( 线性回归误差函数如下 )。

在被划分的集合中,我们使用 训练集 来训练参数 ,使用 交叉验证集 来选择模型( 比如该使用多少次的多项式特征 ),使用 测试集 来评估模型的预测能力。

方差与偏差

当我们的模型表现不佳时,通常是出现两种问题,一种是 高偏差 问题,另一种是 高方差 问题。识别它们有助于选择正确的优化方式,所以我们先来看下 偏差方差 的意义。

  • 偏差: 描述模型输出结果的期望与样本真实结果的差距。
  • 方差: 描述模型对于给定值的输出稳定性。

就像打靶一样,偏差描述了我们的射击总体是否偏离了我们的目标,而方差描述了射击准不准。接下来让我们通过各种情况下 训练集交叉验证集误差 曲线来直观地理解 高偏差 与 高方差 的意义。

对于 多项式回归,当次数选取较低时,我们的 训练集误差 和 交叉验证集误差 都会很大;当次数选择刚好时,训练集误差 和 交叉验证集误差 都很小;当次数过大时会产生过拟合,虽然 训练集误差 很小,但 交叉验证集误差 会很大( 关系图如下 )。

所以我们可以计算 ,如果他们同时很大的话,就是遇到了高偏差问题,而 大很多的话,则是遇到了高方差问题。

对于 正则化 参数,使用同样的分析方法,当参数比较小时容易产生过拟合现象,也就是高方差问题。而参数比较大时容易产生欠拟合现象,也就是高偏差问题。

学习曲线

无论你是要检查你的学习算法是否正常工作或是要改进算法的表现,学习曲线 都是一个十分直观有效的工具。学习曲线 的横轴是样本数,纵轴为 训练集交叉验证集误差。所以在一开始,由于样本数很少, 几乎没有,而 则非常大。随着样本数的增加, 不断增大,而 因为训练数据增加而拟合得更好因此下降。所以 学习曲线 看上去如下图:

在高偏差的情形下, 已经十分接近,但是 误差 很大。这时候一味地增加样本数并不能给算法的性能带来提升。

在高方差的情形下,误差 较小, 比较大,这时搜集更多的样本很可能带来帮助。

总结

有了以上的分析手段,就能够得出在何种场景下使用我们的改进策略:

  1. [高方差] 采集更多的样本数据
  2. [高方差] 减少特征数量,去除非主要的特征
  3. [高偏差] 引入更多的相关特征
  4. [高偏差] 采用多项式特征
  5. [高偏差] 减小正则化参数
  6. [高方差] 增加正则化参数

So~,第五周的内容就是这些了,谢谢大家耐心阅读。


hertzcat

2018-04-21

Blog Github