岭回归是在自变量高度相关的场景中估测多元回归模型系数的方法。 该方法提高了参数估测问题的效率，换取代价是可容忍的偏差量，同时 Lasso（最小绝对收缩和选择运算符）亦是一种回归分析方法，它同时执行变量选择和正则化，从而提升成果统计模型的预测准确性和可解释性。 Lasso 最初是为线性回归模型制定的。 这个简单的案例揭示了大量关于估测器的信息。 其中包括它与岭回归和最佳子集选择的关系，以及 lasso 系数估侧与所谓的软阈值之间的联系。 它亦揭示出（如同标准线性回归），如果协变量是共线性的，则系数估测不需要是唯一的。

现在，为了理解为什么我们需要这样的模型，我们先搞明白偏差和方差这个术语。
偏差 是机器学习无力捕获自变量和响应变量之间的真实关系
这对模型意味着什么？
低偏差：具有低偏差的模型对目标函数的形式做出较少的假设
高偏差：具有高偏差的模型做出更多假设，并且能够捕获训练数据集内的关系
方差方差告知随机变量距其预期值的差异程度。
减少高偏差的途径。
在模型拟合不足时增加输入特征
减少正则化项
采用更复杂的特征，例如包括一些多项式特征
减少高方差的途径。
减少输入特征；在模型拟合不足时的参数数量
不要采用太复杂的模型
增加训练数据
增加正则化项
偏差-方差权衡在构建机器学习模型时，注意偏差和方差从而避免模型过度拟合非常重要。 如果模型非常简单，且参数较少，则它往往具有较大的偏差，但方差较小；而复杂模型通常最终具有低偏差，但高方差值。 故此需要在偏差和方差误差之间取得平衡，在这两项之间找到平衡称为偏差-方差权衡。
为了准确预测模型，算法也需要较低的偏差和较低的方差，但这实际上是不可能的，因为偏差和方差彼此呈负相关。