Table Of ContentLogistic
xd歸模生 ——
方法及應用
Logistic Egression ^Models ； MetHocfs and JippRcation
王濟川、郭志剛著
國
臺北市立
rffi書館藏書
K1 1琴藿龙分館
[:
五南圖書出版G
司印行
前 言
在過去的20年中，由於計算機技術和統計軟體的迅速發展，量化分析已經成為社會
科學各個學科領域中廣為應用的技術方法。在社會科學諸如社會學、心理學、人□學、
政治學、經濟學以及公共衛生學當中，logistic迴歸模型是對二元因變數(dichotomous
dependent variable)(即y = 1或y=0)進行迴歸分析時最為普遍應用的多元量化分析方
法。根據Hosmer及其同事的統計(1991 )，在1985〜1989年間，國際知名刊物《美國
公共衛生雜誌》上發表的文章中約有20% (579篇文章中的113篇)應用了 logistic迴歸
模型。雖然logistic迴歸已經達到3如此流行的程度，但不少使用這一模型的人對於該模
型的性質和原理仍無法充分理解，在實際應用中常有困惑的問題，對於模型結果的闡述也
不一致。並且|在很多應用該方法的研究中連模型擬合優度(goodness of fit)的評估也被
忽略3。比如，在上述所統計的113篇文章中，只有5% (6篇文章)涉及到模型擬合優
度的評估①。
在現有的統計教科書中，一般都有logistic迴歸模型的內容。然而，在這些教科書中，
logistic迴歸往往不是作為中心内容，也缺乏關於這種方法的詳盡討論。有關專著在國外
很少，國內尚無。國外的一些專著中對於logistic迴歸模型的實際應用，特別是結合統計
軟體執行模型並對模型結果進行解釋方面較為欠缺。本書的主要目的是提供對於logistic
迴歸模型的深入專題介紹，專注於這一方法本身的討論，以及模型結果的詳細闡述。作者
儘量以深入淺出的手法，旁徵博引，理論聯繫實際，大量運用例題並結合計算機統計軟體
的使用，介紹和討論診模型的原理及運用。讀者在學習本書內容之前應對多元迴歸和統計
推斷的基礎知識有所瞭解。
本書將採用國際上廣泛使用的統計軟體SAS (Statistics Analysis System)和SPSS
(Statistics Package for Social Sciences)來分析書中的例題。本書將提供用這兩種軟體進
① Hosmer. Taber, and Lemeshow. 1991.
2 □前言
行具體例題分析的計算機程序’並對於這兩種軟體的模型估計結果進行詳細的解釋和對比
分析。本書中例題的主要資料是由作者模擬設計的’其原始資料可從下列網址下載：
http:// www.hep.com.cn;http:"www.wright.edu/~jichuan.wang
http: //www.disa.pku.edu.cn / 課程
本書共由8章組成。
在第1章中，我們將首先討論分析二元因變數時所產生的問題，並討論經典的線性機
率模型(linear probability model, LPM)及其侷限性。然後介紹logistic迴歸模型。
在第2章中，我們將介紹logistic迴歸模型估計所用的最大概似估計法(maximum
likelihood estimation, MLE)、模型估計的假設條件，以及最大概似估計的性質。此外1
還將介紹對分組資料進行logit分析的加權最小平方法(weighted least squares, WLS) °
第3章介紹logistic迴歸模型的評估，討論各種擬合優度(goodness of fit)，預測準
確性(predictive accuracy)和模型卡方統計(model chi-square statistic)。
第4章關注於logistic模型迴歸係數意義的闡釋。除了討論發生比率(odds ratio)、
預測機率(predicted probability)和互動影響(interactions)外，這一章還要討論使用各
種不同編碼時分類自變數迴歸係數的意義和解釋。
第5章討論logistic迴歸係數的統計推斷(statistical inference)。
第6章的內容涉及模型的選擇，討論建立模型過程中的策略。
第7章關於模型的診斷，討論多元共線性(multicollinearity)、有問題的資料架構
(problematic data configuration)、極端值(outliers)、特異影響案例(influential obser
vations) 和過離散分佈(overdispersion)等問題，以及這些問題的補救對策。
在最後一章中，我們將介紹與logistic迴歸類似的另外一種分析二元因變數的備選模
型——probit模型。然後，將logistic迴歸模型擴展到次序logistic迴歸模型(ordered
logistic regression model)和多項式 logit 模型(multinomial logit model)，這些模型分別
用以解決次序變數和多分類名義變數為因變數的問題。
二元因變數與logistic迴歸模型 1
1.1引言/2
1.2 線性機率模型(Linear Probability Model, LPM) / 3
1.3 Logistic 迴歸模型/^ 7
Logistic迴歸模型估計-----------------------------15
2.1 最大概似｛拓十(Maximum Likelihood Estimation, MLE ) / 16
2.2 Logistic迴歸模型估計的假設條件/ 20
2.3 最大概似估計的性質/ 21
2.4模型估計的樣本規模/ 21
2.5 擬合logistic迴歸的示範模型/ 23
2.6 用分組資料作logistic迴歸分析/ 40
Logistic迴歸模型評價---------------------------- 61
3.1 擬合優度(Goodness of fit)/ 68
3.1.1 皮爾遜 ％2 (Pearson/2) / 68
3.1.2 離差(Deviance) / 73
3.1.3 Hosmer-Lemeshow 擬合優度指標/ 77
3.1.4 訊息測量指標(Information Measures )/80
2 □目錄
3.2 Logistic迴歸模型的預測準確性Z 86
3.2.1 類 7?2指標(Analogous7?2) / 86
3.2.2預測機率與測量值之間的關聯/ 90
3.2.3 分類表(Classification Table) / 96
3.3 模型 ％2統計(Model Chi-Square Statistic) / 106
4 Logistic迴歸係數解釋------------------------ 109
4.1 發生比和發生比率(Odds and Odds Ratio)/ 111
4.2按發生比率來解釋logistic迴歸係數/ 114
4.2.1連續自變數的發生比率/ 115
4.2.2二元自變數的發生比率/ 119
4.2.3分類自變數的發生比率/ 121
4.3用機率來解釋自變數的作用/ 133
4.4 預測機率/ 135
4.5 標準化係數/ 139
4.6 偏相關(Partial Correlation) / 146
<5 Logistic迴歸係數的統計推斷------------------ 149
5.1 Logistic迴歸係數的顯著性檢驗/ 150
5.1.1 Wald 檢驗/ 151
5.1.2概似比檢驗/ 153
5.1.3檢驗係數子集/ 161
5.2 Logistic迴歸參數的可信區間/ 166
5.2.1 Logistic迴歸係數的可信區間/ 167
目錄03
5.2.2發生比率的可信區間/ 169
5.2.3 事件機率的可信區間/ 173
建立模型----------------------------------------179
6.1 選擇變數/ 180
6.1.1篩選自變數/ 181
6.1.2模型的比較/ 188
6.1.3逐步模型選擇法/ 190
6.1.4排除有意義的變數和包括沒有意義的變數/ 212
6.2 非線性與非加性(Nonlinearity and Nonadditivity ) / 213
6.2.1 非線性/ 214
6.2.2 非加性/ 220
Logistic迴歸診斷-------------------------------- 227
7.1 過離散(Overdispersion) / 228
7.2 空單元(Zero Cell Count) / 232
7.3 完全分離(Complete Separation) 233
7.4 多元共線性(Multicollinearity) 236
7.5 特異值和特殊影響案例(Outliers and Influential Observa
tions) / 241
7.5.1殘差影響的測量/ 241
7.5.2檢查特異值和特殊影響案例/ 250
4 □目錄 XT
s
Logistic迴歸的替代模型及擴展--------------------- 269
8.1 Probit 模型Z 270
8.1.1 Probit模型的對數概似函數/ 270
8.1.2擬合probit示範模型271
8.1.3 Probit 模型的解釋-/276
8.1.4用分組資料建立probit模型/ 280
8.1.5 Logistic迴歸模型與probit模型的比較/ 289
8.2 Logistic迴歸擴展於多分類反應變數/ 291
8.2.1 累積 logistic 迴歸模型(Cumulative Logistic Regression
Model) / 292
8.2.2 多項 logit 模型(Multinomial Logit Model) / 307
參考文獻
關鍵詞索引
TABLE OF CONTEMTS
Dichotomous dependent variable and logistic regression model 1
1.1 Introduction / 2
1.2 Linear probability model (LPM)/ 3
1.3 Logistic regression model / 7
Estimation of logistic regression model-------------------------------15
2.1 Maximum likelihood estimation (MLE)/ 16
2.2 Assumptions of logistic regression model estimation / 20
2.3 Properties of MLE / 21
2.4 Sample size for model estimation / 21
2.5 Examples of logistic regression models / 23
2.6 Logistic analysis with grouped data / 40
Evaluation of logistic regression model------------------------------ 67
3.1 Goodness of fit / 68
3.1.1 Pearson/2/ 68
3.1.2 Deviance / 73
3.1.3 Hosmer-Lemeshow goodness of fit statistic / 77
3.1.4 Information measures / 80
2 □ TABLE Of CONTEMTS
3.2 Predictive accuracy of logistic regression model / 86
3.2.1 Measures of analogous R2/ 86
3.2.2 Association between predicted probability and observed
response / 90
3.2.3 Classification table / 96
3.3 Model Chi-square statistic / 106
Interpretation of logistic regression coefficients-------------------109
4.1 Odds and odds ratio /111
4.2 Interpretating logistic regression coefficients in odds ratio / 114
4.2.1 Odds ratio for continuous variable / 115
4.2.2 Odds ratio for indicator variable / 119
4.2.3 Odds ratio for categorical variable X 121
4.3 Interpretating effect on probability / 133
4.4 Predicted probabilities / 135
4.5 Standardized coefficients / 139
4.6 Partial correlation / 146
Statistical inference for logistic regression coefficients---------149
5.1 Significance test of logistic regression coefficients / 150
5.1.1 Wald test / 151
5.1.2 Likelihood ratio test / 153
5.1.3 Testing a subset of coefficients / 161
TABLE OF CONTEMTS □ 3
5.2 Confidence intervals for logistic regression parameter
estimate / 166
5.2.1 Confidence intervals for logistic regression coefficient /
167
5.2.2 Confidence intervals for odds ratio / 169
5.2.3 Confidence intervals for predicted probabilities / 173
Model building--------------------------------------------------------------179
6.1 Variable selection / 180
6.1.1 Screening candidates of independent variables / 181
6.1.2 Model comparison / 188
6.1.3 Stepwise computer model selection / 190
6.1.4 Excluding relevant variables and including irrelevant
variables / 212
6.2 Nonlinearity and nonadditivity / 213
6.2.1 Nonlinearity / 214
6.2.2 Nonadditivity / 220
Logistic regression model diagnostics------------------------------227
7.1 Overdispersion / 228
7.2 Zero cell count / 232
7.3 Complete separation / 233
7.4 Multicollinearity / 236
7.5 Outliers and influential observations / 241
