阿裡雲的課程有邏輯回歸的內容的，學一下。 原理 分類變數:又稱定性變數或離散變數，觀察個體只能屬於互不相容的類別中的一組。一般用非數字表達。與之相對的是定量變數或連續變數，變數具有數值特征。 常見的有有序變數(年齡等級，收入等級等)，名義變數(性別，天氣，職業等)。 自變數包含分類變數:名義變數通常 ...
阿裡雲的課程有邏輯回歸的內容的，學一下。
原理
分類變數:又稱定性變數或離散變數，觀察個體只能屬於互不相容的類別中的一組。一般用非數字表達。與之相對的是定量變數或連續變數，變數具有數值特征。
常見的有有序變數(年齡等級，收入等級等)，名義變數(性別，天氣，職業等)。
自變數包含分類變數:名義變數通常使用虛擬變數(啞變數)，有序變數通過選取連續函數構建位置結構模型或者規則結構模型。
因變數包含分類變數:通常不滿足回歸分析的基本假設，通常使用新的回歸方法。
問題:誤差項非正態分佈;誤差項零均值異方差;回歸方程有限制。
改進:①回歸函數改用限制在[0,1]之間的連續曲線，而不再是直線回歸方程。常用的是logistic函數(或稱sigmoid函數)。其形式為f(x) = 1/(1+1/e**-x)
因變數取值為0,1,不適合直接作為回歸的因變數，改用因變數取值為1的概率π作為回歸因變數。因此也叫線性概率模型。
使用logit變換可以將logistic函數變換為線性函數。
用最大似然法估計參數值。
求解用到了梯度法。
梯度:是一個向量，表示某一函數在該點處的方嚮導數沿著該方向取得最大值，即函數在該點處沿著該方向變化最快，變化率最大。
梯度下降法:一種最優化演算法，也稱為最速下降法，沿著負梯度方向去減小函數值從而接近目標值。求最小值。
梯度上升法:一種最優化演算法，也稱最速上升法，沿著梯度方向去增加函數值從而接近目標值。求最大值。又有批量梯度上升法，隨機梯度上升法等，小批量梯度上升法。
迴圈終止條件:設定迴圈閾值，當兩次迭代值之差小於閾值時停止。或者定義最大迴圈次數，到達後即終止。
邏輯回歸的基本假設
①因變數是二分類的分類變數，或某事件的發生率，並且是數值型變數。
②殘差和因變數都要服從二項分佈，二項分佈對應的是分類變數，所以不是正態分佈，進而不是用最小二乘法，而是最大似然法來解決方程估計和檢驗問題。
③自變數和logistic概率是線性關係。
④各觀測對象之間相互獨立，共線性問題會影響邏輯回歸的參數估計和預測。
對於多分類變數，也可以轉化為多個二項邏輯回歸解決。還可以使用softmax作為損失函數，將輸出映射到(0,1)。
用sklearn自帶的iris數據集實測一下。
代碼見https://github.com/zwdnet/MyQuant/blob/master/20/logist.py
模型的評估、診斷與調優
構造統計量，用卡方檢驗。回歸繫數的檢驗構造Wald統計量，用卡方檢驗，或者計算擬合優度。自變數篩選與線性回歸類似。前進法，後退法，逐步回歸法。
除了與線性回歸共有的問題，邏輯回歸還有過離散，空單元，完全分類等特有的問題。
sklearn貌似還是不能進行統計檢驗，看看分數吧。
0.8066666666666666 還不錯。
我發文章的四個地方，歡迎大家在朋友圈等地方分享，歡迎點“在看”。
我的個人博客地址：https://zwdnet.github.io
我的知乎文章地址： https://www.zhihu.com/people/zhao-you-min/posts
我的博客園博客地址： https://www.cnblogs.com/zwdnet/
我的微信個人訂閱號：趙瑜敏的口腔醫學學習園地
