1.3 核函数

并不是所有的分类回归问题都可以采用线性分划来解决，如图1.3.1所示，就无法直接用线性分划。

虽然图1.3.1所示的训练样本没法直接用线性分划来区分，但通过观察可发现，可以用一非线性分划椭圆将两类训练样本成功分类，如图1.3.2所示。前面已经有了线性分划的方法，非线性分划的计算量要复杂得多，所以，应该尽量将非线性分划转化为线性分划问题。

图1.3.2所示的非线性分划曲线可以表示为

令

则式（1.3.1）可写为

由此可见，对于非线性问题，关键在于找出合适的变换，将原问题转换为线性问题。图1.3.2所描述的情况转换为线性情况如图1.3.3所示。

在支持向量机非线性问题中，需要选择一个映射Φ（·），将训练样本所在的空间RN映射到另一高维空间H中，使其转换为线性问题。映射确定后，可由其内积构造出核函数K（·,·）来进行支持向量机运算。

例如，对于回归问题，则式（1.2.14）变为

其二次规划问题，变为

引入拉格朗日函数，求得其对偶函数，则式（1.2.24）变成

同时，相应的决策函数为

使用支持向量机时，核函数K（·,·）起着非常重要的作用。实际上，不需要知道具体的映射是什么，只要选定合适的核函数K（·,·）就可以了。选择不同的核函数，即意味着选择不同的映射空间，采用不同的估价标准。

支持向量机中常用的核函数有以下几种：

1）高斯径向基核函数

2）多项式核函数

3）Sigmoid核函数

4）线性核函数

核函数是支持向量机的重要组成部分，如何选取适当的核函数，不仅影响计算的复杂度，还关系着问题能否正确解决。要根据具体的问题构造合适的核函数，这样才能有效地解决问题。