1. 公式推導(dǎo)一定要會
2. 邏輯回歸的基本概念
這個最好從廣義線性模型的角度分析，邏輯回歸是假設(shè)y服從Bernoulli分布。
3. L1-norm和L2-norm
其實稀疏的根本還是在于L0-norm也就是直接統(tǒng)計參數(shù)不為0的個數(shù)作為規(guī)則項，但實際上卻不好執(zhí)行于是引入了L1-norm;而L1norm本質(zhì)上是假設(shè)參數(shù)先驗是服從Laplace分布的，而L2-norm是假設(shè)參數(shù)先驗為Gaussian分布，我們在網(wǎng)上看到的通常用圖像來解答這個問題的原理就在這。
但是L1-norm的求解比較困難，可以用坐標軸下降法或是最小角回歸法求解。
4. LR和SVM對比
首先，LR和SVM最大的區(qū)別在于損失函數(shù)的選擇，LR的損失函數(shù)為Log損失(或者說是邏輯損失都可以)、而SVM的損失函數(shù)為hinge loss。
其次，兩者都是線性模型。
最后，SVM只考慮支持向量(也就是和分類相關(guān)的少數(shù)點)
5. LR和隨機森林區(qū)別
隨機森林等樹算法都是非線性的，而LR是線性的。LR更側(cè)重全局優(yōu)化，而樹模型主要是局部的優(yōu)化。
京公網(wǎng)安備 11010802030320號