支持向量机 (SVM)

找一条「中间空隙最大」的分界线

直觉

硬间隔 SVM:在可分数据上最大化间隔 $2/\|w\|$。落在间隔边界上的点叫支持向量——决策边界只由它们决定。

软间隔引入松弛变量容忍少量越界;核技巧把非线性问题映射到高维线性可分空间(本页先看线性情形)。

交互:间隔与支持向量

和逻辑回归比

  • 逻辑回归优化似然;SVM 优化间隔(几何)
  • SVM 对特征缩放敏感,通常要标准化
  • 高维稀疏文本任务里线性 SVM 仍很常用