Analysis of variance for random models: theory, methods, applications, and data analysis

493 Pages·2004·2.057 MB·English

by  Hardeo Sahai, Mario M. Ojeda

Hardeo Sahai
Mario Miguel Ojeda
Analysis of Variance
for Random Models
Volume II: Unbalanced Data
Theory, Methods, Applications,
and Data Analysis
Birkha¨user
Boston • Basel • Berlin
HardeoSahai MarioMiguelOjeda
CenterforAddictionStudies DirectorGeneraldelA´reaAcade´mica
SchoolofMedicine Econo´micoAdministrativa
UniversidadCentraldelCaribe UniversidadVeracruzana
Bayamon,PuertoRico00960-6032 Xalapa,VeracruzC.P.91090
USA Me´xico
CoverdesignbyAlexGerasev.
AMSSubjectClassifications:62H,62J
LibraryofCongressCataloging-in-PublicationData
Sahai,Hardeo.
Analysisofvariancefromrandommodels:theory,methods,applications,anddataanalysis
/HardeoSahai,MarioMiguelOjeda.
p.cm.
Includesbibliographicalreferencesandindex.
Contents:v.1.Balanceddata.
ISBN0-8176-3230-1(v.1:alk.paper)
1.Analysisofvariance.I.Ojeda,MarioMiguel,1959-II.Title.
QA279.S232003
(cid:1)
519.538–dc22 20030630260
ISBN0-8176-3229-8 VolumeII Printedonacid-freepaper.
ISBN0-8176-3230-1 VolumeI
(cid:2)c2005Birkha¨userBoston
Allrightsreserved.Thisworkmaynotbetranslatedorcopiedinwholeorinpartwithoutthewrit-
tenpermissionofthepublisher(Birkha¨userBoston,c/oSpringerScience+BusinessMediaInc.,233
SpringStreet,NewYork,NY10013,USA),exceptforbriefexcerptsinconnectionwithreviewsor
scholarlyanalysis.Useinconnectionwithanyformofinformationstorageandretrieval,electronic
adaptation,computersoftware,orbysimilarordissimilarmethodologynowknownorhereafterde-
velopedisforbidden.
Theuseinthispublicationoftradenames,trademarks,servicemarksandsimilarterms,evenifthey
arenotidentifiedassuch,isnottobetakenasanexpressionofopinionastowhetherornottheyare
subjecttoproprietaryrights.
PrintedintheUnitedStatesofAmerica. (JLS/SB)
987654321
www.birkhauser.com
Contents
ListofFigures xiii
ListofTables xv
Preface xix
Acknowledgments xxiii
9 MatrixPreliminariesandGeneralLinearModel 1
9.1 GeneralizedInverseofaMatrix . . . . . . . . . . . . . . . . 3
9.2 TraceofaMatrix. . . . . . . . . . . . . . . . . . . . . . . . 4
9.3 QuadraticForms . . . . . . . . . . . . . . . . . . . . . . . . 4
9.4 GeneralLinearModel . . . . . . . . . . . . . . . . . . . . . 6
9.4.1 MathematicalModel . . . . . . . . . . . . . . . . 6
9.4.2 ExpectationUnderFixedEffects . . . . . . . . . . 7
9.4.3 ExpectationUnderMixedEffects . . . . . . . . . . 8
9.4.4 ExpectationUnderRandomEffects . . . . . . . . . 9
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
Bibliography . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
10 SomeGeneralMethodsforMakingInferencesaboutVariance
Components 13
10.1 Henderson’sMethodI . . . . . . . . . . . . . . . . . . . . . 14
10.2 Henderson’sMethodII . . . . . . . . . . . . . . . . . . . . 16
10.3 Henderson’sMethodIII . . . . . . . . . . . . . . . . . . . . 18
10.4 AnalysisofMeansMethod . . . . . . . . . . . . . . . . . . 22
10.5 SymmetricSumsMethod . . . . . . . . . . . . . . . . . . . 23
10.6 EstimationofPopulationMeaninaRandomEffectsModel . 25
10.7 MaximumLikelihoodEstimation . . . . . . . . . . . . . . . 27
10.7.1 Hartley–RaoEstimationProcedure . . . . . . . . . 27
10.7.2 LargeSampleVariances . . . . . . . . . . . . . . . 30
10.8 RestrictedMaximumLikelihoodEstimation . . . . . . . . . 33
10.8.1 NumericalAlgorithms,Transformations,and
ComputerPrograms . . . . . . . . . . . . . . . . . 38
10.9 BestQuadraticUnbiasedEstimation . . . . . . . . . . . . . 40
10.10 Minimum-NormandMinimum-VarianceQuadratic
UnbiasedEstimation . . . . . . . . . . . . . . . . . . . . . . 40
10.10.1 FormulationofMINQUEandMIVQUE . . . . . . 41
v
vi Contents
10.10.2 DevelopmentoftheMINQUE . . . . . . . . . . . 43
10.10.3 DevelopmentoftheMIVQUE . . . . . . . . . . . 47
10.10.4 SomeCommentsonMINQUEandMIVQUE . . . 48
10.11 MinimumMeanSquaredErrorQuadraticEstimation . . . . . 50
10.12 NonnegativeQuadraticUnbiasedEstimation . . . . . . . . . 53
10.13 OtherModels,PrinciplesandProcedures . . . . . . . . . . . 55
10.13.1 CovarianceComponentsModel . . . . . . . . . . . 55
10.13.2 Dispersion-MeanModel. . . . . . . . . . . . . . . 56
10.13.3 LinearModelsforDiscreteandCategoricalData. . 56
10.13.4 HierarchicalorMultilevelLinearModels. . . . . . 56
10.13.5 DiallelCrossExperiments. . . . . . . . . . . . . . 57
10.13.6 PredictionofRandomEffects . . . . . . . . . . . . 58
10.13.7 BayesianEstimation . . . . . . . . . . . . . . . . . 58
10.13.8 GibbsSampling . . . . . . . . . . . . . . . . . . . 59
10.13.9 GeneralizedLinearMixedModels . . . . . . . . . 60
10.13.10 NonlinearMixedModels . . . . . . . . . . . . . . 61
10.13.11 Miscellany . . . . . . . . . . . . . . . . . . . . . . 61
10.14 RelativeMeritsandDemeritsofGeneralMethodsof
Estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
10.15 ComparisonsofDesignsandEstimators . . . . . . . . . . . 64
10.16 MethodsofHypothesisTesting . . . . . . . . . . . . . . . . 66
10.17 MethodsforConstructingConfidenceIntervals . . . . . . . . 69
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
Bibliography . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
11 One-WayClassification 93
11.1 MathematicalModel . . . . . . . . . . . . . . . . . . . . . . 93
11.2 AnalysisofVariance . . . . . . . . . . . . . . . . . . . . . . 94
11.3 MinimalSufficientStatisticsandDistributionTheory . . . . 96
11.4 ClassicalEstimation . . . . . . . . . . . . . . . . . . . . . . 97
11.4.1 AnalysisofVarianceEstimators . . . . . . . . . . . 97
11.4.2 Fitting-Constants-MethodEstimators . . . . . . . . 99
11.4.3 SymmetricSumsEstimators . . . . . . . . . . . . 100
11.4.4 Estimationofµ . . . . . . . . . . . . . . . . . . . 102
11.4.5 MaximumLikelihoodandRestrictedMaximum
LikelihoodEstimators . . . . . . . . . . . . . . . . 103
11.4.6 BestQuadraticUnbiasedEstimators . . . . . . . . 106
11.4.7 Naqvi’sGoodness-of-FitEstimators . . . . . . . . 108
11.4.8 Rao’sMIVQUEandMINQUE . . . . . . . . . . . 109
11.4.9 AnUnbiasedEstimatorofσ2/σ2 . . . . . . . . . . 113
α e
11.4.10 Estimationofσ2/(σ2+σ2) . . . . . . . . . . . . 113
α e α
11.4.11 ANumericalExample . . . . . . . . . . . . . . . . 114
11.5 BayesianEstimation . . . . . . . . . . . . . . . . . . . . . . 117
11.5.1 JointPosteriorDistributionof(σ2,σ2) . . . . . . . 119
e α
11.5.2 JointPosteriorDistributionof(σ2,σ2/σ2) . . . . . 119
e α e
Contents vii
11.5.3 ConditionalPosteriorDistributionofσ2Givenτ . . 120
e
11.5.4 MarginalPosteriorDistributionsofσ2andσ2 . . . 120
e α
11.5.5 InferencesAboutµ . . . . . . . . . . . . . . . . . 121
11.6 DistributionandSamplingVariancesofEstimators . . . . . . 122
11.6.1 DistributionoftheEstimatorofσ2 . . . . . . . . . 122
e
11.6.2 DistributionoftheEstimatorsofσ2 . . . . . . . . . 123
α
11.6.3 SamplingVariancesofEstimators. . . . . . . . . . 124
11.7 ComparisonsofDesignsandEstimators . . . . . . . . . . . 131
11.8 ConfidenceIntervals . . . . . . . . . . . . . . . . . . . . . . 136
11.8.1 ConfidenceIntervalforσ2 . . . . . . . . . . . . . 136
e
11.8.2 ConfidenceIntervalsforσ2/σ2andσ2/(σ2+σ2) . 136
α e α e α
11.8.3 ConfidenceIntervalsforσ2.. . . . . . . . . . . . . 143
α
11.8.4 ANumericalExample . . . . . . . . . . . . . . . . 145
11.9 TestsofHypotheses . . . . . . . . . . . . . . . . . . . . . . 146
11.9.1 Testsforσ2andσ2 . . . . . . . . . . . . . . . . . 146
e α
11.9.2 Testsforτ . . . . . . . . . . . . . . . . . . . . . . 147
11.9.3 Testsforρ . . . . . . . . . . . . . . . . . . . . . . 148
11.9.4 ANumericalExample . . . . . . . . . . . . . . . . 149
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149
Bibliography . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155
12 Two-WayCrossedClassificationwithoutInteraction 165
12.1 MathematicalModel . . . . . . . . . . . . . . . . . . . . . . 165
12.2 AnalysisofVariance . . . . . . . . . . . . . . . . . . . . . . 165
12.3 ExpectedMeanSquares . . . . . . . . . . . . . . . . . . . . 167
12.4 EstimationofVarianceComponents. . . . . . . . . . . . . . 169
12.4.1 AnalysisofVarianceEstimators . . . . . . . . . . . 169
12.4.2 Fitting-Constants-MethodEstimators . . . . . . . . 170
12.4.3 AnalysisofMeansEstimators . . . . . . . . . . . . 174
12.4.4 SymmetricSumsEstimators . . . . . . . . . . . . 178
12.4.5 OtherEstimators. . . . . . . . . . . . . . . . . . . 181
12.4.6 ANumericalExample . . . . . . . . . . . . . . . . 181
12.5 VariancesofEstimators . . . . . . . . . . . . . . . . . . . . 186
12.5.1 VariancesofAnalysisofVarianceEstimators . . . . 186
12.5.2 VariancesofFitting-Constants-MethodEstimators . 189
12.6 ConfidenceIntervals . . . . . . . . . . . . . . . . . . . . . . 190
12.6.1 ANumericalExample . . . . . . . . . . . . . . . . 192
12.7 TestsofHypotheses . . . . . . . . . . . . . . . . . . . . . . 193
12.7.1 Testsforσ2 =0andσ2 =0 . . . . . . . . . . . . 193
α β
12.7.2 ANumericalExample . . . . . . . . . . . . . . . . 194
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 195
Bibliography . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 198
viii Contents
13 Two-WayCrossedClassificationwithInteraction 201
13.1 MathematicalModel . . . . . . . . . . . . . . . . . . . . . . 201
13.2 AnalysisofVariances . . . . . . . . . . . . . . . . . . . . . 201
13.3 ExpectedMeanSquares . . . . . . . . . . . . . . . . . . . . 204
13.4 EstimationofVarianceComponents. . . . . . . . . . . . . . 206
13.4.1 AnalysisofVarianceEstimators . . . . . . . . . . . 207
13.4.2 Fitting-Constants-MethodEstimators . . . . . . . . 208
13.4.3 AnalysisofMeansEstimators . . . . . . . . . . . . 213
13.4.4 SymmetricSumsEstimators . . . . . . . . . . . . 217
13.4.5 OtherEstimators. . . . . . . . . . . . . . . . . . . 221
13.4.6 ANumericalExample . . . . . . . . . . . . . . . . 221
13.5 VariancesofEstimators . . . . . . . . . . . . . . . . . . . . 226
13.5.1 VariancesofAnalysisofVarianceEstimators . . . . 227
13.5.2 VariancesofFitting-Constants-MethodEstimators . 229
13.5.3 VariancesofAnalysisofMeansEstimators . . . . . 230
13.6 ComparisonsofDesignsandEstimators . . . . . . . . . . . 230
13.7 ConfidenceIntervals . . . . . . . . . . . . . . . . . . . . . . 238
13.7.1 ANumericalExample . . . . . . . . . . . . . . . . 239
13.8 TestsofHypotheses . . . . . . . . . . . . . . . . . . . . . . 240
13.8.1 SomeApproximateTests . . . . . . . . . . . . . . 240
13.8.2 SomeExactTests . . . . . . . . . . . . . . . . . . 242
13.8.3 ANumericalExample . . . . . . . . . . . . . . . . 242
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 243
Bibliography . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 250
14 Three-WayandHigher-OrderCrossedClassifications 255
14.1 MathematicalModel . . . . . . . . . . . . . . . . . . . . . . 255
14.2 AnalysisofVariance . . . . . . . . . . . . . . . . . . . . . . 256
14.3 ExpectedMeanSquares . . . . . . . . . . . . . . . . . . . . 258
14.4 EstimationofVarianceComponents. . . . . . . . . . . . . . 261
14.4.1 AnalysisofVarianceEstimators . . . . . . . . . . . 261
14.4.2 SymmetricSumsEstimators . . . . . . . . . . . . 262
14.4.3 OtherEstimators. . . . . . . . . . . . . . . . . . . 264
14.5 VariancesofEstimators . . . . . . . . . . . . . . . . . . . . 264
14.6 Generalr-WayCrossedClassification . . . . . . . . . . . . . 266
14.7 ANumericalExample . . . . . . . . . . . . . . . . . . . . . 268
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 272
Appendix: CoefficientsAij ofProductsofVarianceComponents
inCovarianceMatrixofT . . . . . . . . . . . . . . . . . . . 276
Bibliography . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 285
Contents ix
15 Two-WayNestedClassification 287
15.1 MathematicalModel . . . . . . . . . . . . . . . . . . . . . . 287
15.2 AnalysisofVariance . . . . . . . . . . . . . . . . . . . . . . 288
15.3 ExpectedMeanSquares . . . . . . . . . . . . . . . . . . . . 289
15.4 DistributionTheory . . . . . . . . . . . . . . . . . . . . . . 292
15.5 UnweightedMeansAnalysis. . . . . . . . . . . . . . . . . . 293
15.6 EstimationofVarianceComponents. . . . . . . . . . . . . . 295
15.6.1 AnalysisofVarianceEstimators . . . . . . . . . . . 295
15.6.2 UnweightedMeansEstimators . . . . . . . . . . . 295
15.6.3 SymmetricSumsEstimators . . . . . . . . . . . . 296
15.6.4 OtherEstimators. . . . . . . . . . . . . . . . . . . 299
15.6.5 ANumericalExample . . . . . . . . . . . . . . . . 299
15.7 VariancesofEstimators . . . . . . . . . . . . . . . . . . . . 303
15.7.1 VariancesofAnalysisofVarianceEstimators . . . . 304
15.7.2 LargeSampleVariancesofMaximum
LikelihoodEstimators . . . . . . . . . . . . . . . . 306
15.8 ComparisonsofDesignsandEstimators . . . . . . . . . . . 306
15.9 ConfidenceIntervals . . . . . . . . . . . . . . . . . . . . . . 310
15.9.1 ConfidenceIntervalforσ2 . . . . . . . . . . . . . 310
e
15.9.2 ConfidenceIntervalsforσ2andσ2 . . . . . . . . . 310
β α
15.9.3 ConfidenceIntervalsforσ2+σ2+σ2 . . . . . . . 313
e β α
15.9.4 ConfidenceIntervalsonσ2/σ2andσ2/σ2 . . . . . 313
β e α e
15.9.5 ConfidenceIntervalsonσ2/(σ2+σ2+σ2)and
α e β α
σ2/(σ2+σ2+σ2) . . . . . . . . . . . . . . . . . 314
β e β α
15.9.6 ANumericalExample . . . . . . . . . . . . . . . . 315
15.10 TestsofHypotheses . . . . . . . . . . . . . . . . . . . . . . 317
15.10.1 Testsforσ2 =0 . . . . . . . . . . . . . . . . . . . 317
β
15.10.2 Testsforσ2 =0 . . . . . . . . . . . . . . . . . . . 318
α
15.10.3 ANumericalExample . . . . . . . . . . . . . . . . 320
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 321
Bibliography . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 325
16 Three-WayNestedClassification 329
16.1 MathematicalModel . . . . . . . . . . . . . . . . . . . . . . 329
16.2 AnalysisofVariance . . . . . . . . . . . . . . . . . . . . . . 330
16.3 ExpectedMeanSquares . . . . . . . . . . . . . . . . . . . . 331
16.4 UnweightedMeansAnalysis. . . . . . . . . . . . . . . . . . 334
16.5 EstimationofVarianceComponents. . . . . . . . . . . . . . 336
16.5.1 AnalysisofVarianceEstimators . . . . . . . . . . . 336
16.5.2 UnweightedMeansEstimators . . . . . . . . . . . 337
16.5.3 SymmetricSumsEstimators . . . . . . . . . . . . 338
16.5.4 OtherEstimators. . . . . . . . . . . . . . . . . . . 342
16.5.5 ANumericalExample . . . . . . . . . . . . . . . . 342
16.6 VariancesofEstimators . . . . . . . . . . . . . . . . . . . . 347
x Contents
16.6.1 VariancesofAnalysisofVarianceEstimators . . . . 347
16.6.2 LargeSampleVariancesofMaximum
LikelihoodEstimators . . . . . . . . . . . . . . . . 351
16.7 ComparisonsofDesignsandEstimators . . . . . . . . . . . 353
16.8 ConfidenceIntervalsandTestsofHypotheses . . . . . . . . 359
16.8.1 ConfidenceIntervals. . . . . . . . . . . . . . . . . 359
16.8.2 TestsofHypotheses . . . . . . . . . . . . . . . . . 359
16.8.3 ANumericalExample . . . . . . . . . . . . . . . . 360
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 362
Bibliography . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 367
17 Generalr-WayNestedClassification 371
17.1 MathematicalModel . . . . . . . . . . . . . . . . . . . . . . 371
17.2 AnalysisofVariance . . . . . . . . . . . . . . . . . . . . . . 372
17.3 ExpectedMeanSquares . . . . . . . . . . . . . . . . . . . . 375
17.4 EstimationofVarianceComponents. . . . . . . . . . . . . . 376
17.4.1 AnalysisofVarianceEstimators . . . . . . . . . . . 376
17.4.2 SymmetricSumsEstimators . . . . . . . . . . . . 377
17.4.3 OtherEstimators. . . . . . . . . . . . . . . . . . . 381
17.5 VariancesofEstimators . . . . . . . . . . . . . . . . . . . . 382
17.6 ConfidenceIntervalsandTestsofHypotheses . . . . . . . . 382
17.7 ANumericalExample . . . . . . . . . . . . . . . . . . . . . 385
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 387
Bibliography . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 388
Appendices 391
A TwoUsefulLemmasinDistributionTheory . . . . . . . . . 391
B SomeUsefulLemmasforaCertainMatrix . . . . . . . . . . 393
Bibliography . . . . . . . . . . . . . . . . . . . . . . . . . . 393
C IncompleteBetaFunction . . . . . . . . . . . . . . . . . . . 394
Bibliography . . . . . . . . . . . . . . . . . . . . . . . . . . 395
D IncompleteInvertedDirichletFunction . . . . . . . . . . . . 395
Bibliography . . . . . . . . . . . . . . . . . . . . . . . . . . 397
E InvertedChi-SquareDistribution . . . . . . . . . . . . . . . 397
F TheSatterthwaiteProcedure . . . . . . . . . . . . . . . . . . 397
Bibliography . . . . . . . . . . . . . . . . . . . . . . . . . . 400
G MaximumLikelihoodEstimation . . . . . . . . . . . . . . . 400
H Some Useful Lemmas on the Invariance Property of the
MLEstimators . . . . . . . . . . . . . . . . . . . . . . . . . 402
I CompleteSufficientStatisticsandtheRao–Blackwelland
Lehmann–ShefféTheorems . . . . . . . . . . . . . . . . . . 403
J PointEstimatorsandtheMSECriterion. . . . . . . . . . . . 403
Bibliography . . . . . . . . . . . . . . . . . . . . . . . . . . 404
K LikelihoodRatioTest . . . . . . . . . . . . . . . . . . . . . 405
Bibliography . . . . . . . . . . . . . . . . . . . . . . . . . . 405