Wang Haihua
🍈 🍉🍊 🍋 🍌
当训练集 $T$ 的两类样本点集重合的区域很大时, 上述用来处理线性可分 问题的线性支持向量分类机就不适用了。通过引进从输入空间 $\Omega$ 到另一个高 维的 Hilbert 空间 $H$ 的变换 $x \mapsto \phi(x)$ 将原输入空间 $\Omega$ 的训练集 $$ T=\left\{\left(a_{1}, c_{1}\right),\left(a_{2}, c_{2}\right), \cdots,\left(a_{N}, c_{N}\right)\right\}, $$ 转化为 Hilbert 空间 $H$ 中新的训练集 $$ \tilde{T}=\left\{\left(\tilde{a}_{1}, c_{1}\right), \cdots,\left(\tilde{a}_{N}, c_{N}\right)\right\}=\left\{\left(\phi\left(a_{1}\right), c_{1}\right), \cdots,\left(\phi\left(a_{N}\right), c_{N}\right)\right\}, $$ 使其在 Hilbert 空间 $H$ 中线性可分, Hilbert 空间 $H$ 也称为特征空间。
然后在空间 $H$ 中求得超平面 $\omega^{T} \phi(x)+b=0$, 这个超平面可以硬性划分训练 集 $\tilde{T}$, 于是原问题转化为如下的二次规划问题 $$ \min \frac{1}{2}\|\omega\|^{2} \text {, } $$ $$ \text { s.t. } c_{i}\left(\omega^{T} \phi\left(a_{i}\right)+b\right) \geq 1, \quad i=1,2, \cdots, N \text {. } $$ 采用核函数 $K$ 满足 $$ K\left(a_{i}, a_{j}\right)=\phi\left(a_{i}\right)^{T} \phi\left(a_{j}\right) $$ 将避免在高维特征空间进行复杂的运算，不同的核函数形成不同的算法。
王要的核函数有如下几类
线性内核函数 $K\left(a_{i}, a_{j}\right)=a_{i}^{T} a_{j}$;
多项式核函数 $K\left(a_{i}, a_{j}\right)=\left(a_{i}^{T} a_{j}+r\right)^{p}$;
烃向基核函数 $K\left(a_{i}, a_{j}\right)=\exp \left\{-r\left\|a_{i}-a_{j}\right\|^{2}\right\}$;
$\mathrm{S}$ 形内核函数 $K\left(a_{i}, a_{j}\right)=\tanh \left(\gamma a_{i}^{T} a_{j}+r\right)$;
傅里叶核函数 $K\left(a_{i}, a_{j}\right)=\sum_{k=1}^{n} \frac{1-q^{2}}{2\left(1-2 q \cos \left(a_{i k}-a_{j k}\right)+q^{2}\right)}$.
同样可以得到其 Lagrange 对偶问题如下 $$ \begin{gathered} \max _{\alpha}-\frac{1}{2} \sum_{i=1}^{N} \sum_{j=1}^{N} c_{i} c_{j} \alpha_{i} \alpha_{j} K\left(a_{i}, a_{j}\right)+\sum_{i=1}^{N} \alpha_{i}, \\ \text { s.t. }\left\{\begin{array}{l} \sum_{i=1}^{N} c_{i} \alpha_{i}=\mathbf{0}, \\ \alpha_{i} \geq \mathbf{0}, i=\mathbf{1}, 2, \cdots, N . \end{array}\right. \end{gathered} $$ 若 $K$ 是正定核，则对偶问题是一个凸二次规划问题，必定有解。
求解上述最优化问题, 得到最优解 $\alpha^{*}=\left[\alpha_{1}^{*}, \cdots, \alpha_{N}^{*}\right]^{T}$, 选择 $\alpha^{*}$ 的一个正分量 $\alpha_{j}^{*}$ 并以此计算 $$ b^{*}=c_{j}-\sum_{i=1}^{N} c_{i} \alpha_{i}^{*} K\left(a_{i}, a_{j}\right), $$ 构造分类函数 $$ f(x)=\operatorname{sgn}\left(\sum_{i=1}^{N} c_{i} \alpha_{i}^{*} K\left(a_{i}, x\right)+b^{*}\right), $$ 从而对未知样本进行分类。
参考文献