2.2.3　回归分析

回归分析研究的是因变量（目标）和自变量（特征）之间的关系，用于发现变量之间的因果关系。回归分析按照涉及变量的多少分为一元回归分析和多元回归分析；按照因变量的多少，可分为简单回归分析和多重回归分析；按照自变量和因变量之间的关系类型，可分为线性回归分析和非线性回归分析。其中，线性回归分析指的是自变量和因变量之间满足线性关系（见图2.6），其表现形式如公式2.2所示。

　（2.2）

其中， 是预测值， 是特征的数量， 是第个特征， 是第个模型参数（包括偏执项以及特征的权重）。

图2.6　线性关系

现实生活中的数据往往更为复杂，难以用简单的线性模型拟合，因此衍生出更多非线性模型、多项式回归、逻辑回归等，具体的回归方法会在第7章中介绍。

回归分析与相关分析的相同之处在于研究变量之间的相关性；不同之处在于，相关分析中两组变量的地位是平等的，而回归分析中两组变量一个是因一个是果，位置一般不能互换。