🎯 逻辑回归

从线性回归到分类:Sigmoid 函数与决策边界

📚 核心概念

逻辑回归(Logistic Regression)用于二分类问题。它不直接输出类别,而是输出属于正类的概率,范围在 0~1 之间。

与线性回归的关系:先算线性组合 $z = wx + b$,再通过 Sigmoid 函数压缩到概率:$P(y=1|x) = \sigma(z) = \frac{1}{1+e^{-z}}$

$$P(y=1|x) = \frac{1}{1 + e^{-(wx+b)}}$$

📈 Sigmoid 曲线

当 $z=0$ 时概率为 0.5;$z$ 越大越接近 1,越小越接近 0。

🎮 交互:二维分类与决策边界

调节权重 $w_1, w_2$ 和偏置 $b$,观察决策边界 $w_1 x_1 + w_2 x_2 + b = 0$ 如何划分两类点。

准确率
真正例 TP
假正例 FP

💡 与线性回归对比

  • 输出:线性回归 → 连续值;逻辑回归 → 概率(0~1)
  • 损失函数:线性回归常用 MSE;逻辑回归用交叉熵
  • 应用:预测房价 vs 预测邮件是否为垃圾邮件