Reasoning Ability: Rule-based test construction of a figural analogy test Barbara Maria Esther ...

211 Pages·2008·1.06 MB·English

Westfälische
Wilhelms-Universität
Münster
Fachgebiet: Psychologie
easoning bility
R A :
ule based test construction of a figural
R -
analogy test
Inaugural-Dissertation
zur Erlangung des Doktorgrades
der
Philosophischen Fakultät
der
Westfälischen Wilhelms-Universität
zu
Münster (Westf.)
vorgelegt von
arbara aria sther eckmann
B M E B
aus Münster
Juli 2008
Tag der mündlichen Prüfung: 26.09.2008
Dekan: Prof. Dr. Bromme
Referent: Prof. Dr. Holling
Korreferent: PD Dr. Gediga

Vorwort
Im Rahmen der vorliegenden Arbeit wird das Ziel der regelgeleiteten Test-
entwicklung zur Erfassung der fluiden Intelligenz mittels figuralen Analo-
gieaufgaben verfolgt. Schlussfolgerndes Denken wurde als Testgegenstand
gewählt, da es als zentrale Komponente kognitiver Fähigkeiten und analy-
tischer Intelligenz gilt. Der Einfluss der im Test angewandten Regeln und
Elemente auf die Aufgabenschwierigkeit wird mittels Linear Logistischer
Testmodelle untersucht.
TestinstruktionenundBeispielaufgabendesimRahmendieserDissertation
entwickelten figuralen Analogietests werden im Anhang aufgeführt. Da
dieArbeitinenglischerSprachegeschriebenist,befindetsicheinedeutsche
Zusammenfassung am Ende der Arbeit.
Mein herzlicher Dank gilt Herrn Prof. Dr. Holling für die Betreuung
meinerArbeit,seineUnterstützungundAnregungen. HerrnPDDr. Gediga
danke ich für seine Bereitschaft, die Aufgabe des zweiten Gutachters zu
übernehmen. Meinen Kollegen des Lehrstuhls gebührt ebenfalls großer
Dank für ihre Unterstützung und die beständige und gute Zusammenar-
beit.
Münster, im Juli 2008 Barbara Beckmann
Contents
1 Introduction 1
2 ReasoningAbility: TheoreticalandEmpiricalBackground 7
2.1 Reasoning Ability: Assignment and Definition . . . . . . . . . 7
2.2 Reasoning Ability in Influential Intelligence Models . . . . . . 9
2.3 Information-Processing Theories of Analogy Tasks . . . . . . 16
2.4 EmpiricalFindingsbetweenCognitiveAbilitiesandAcademic
Achievement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
2.5 Effects of Training and Instruction on Test Performance . . . . 47
2.5.1 Training Effects . . . . . . . . . . . . . . . . . . . . . . . 47
2.5.2 Effects of Instruction on Test Performance . . . . . . . 51
2.5.3 Concluding Remarks on the Effects of Training and
Instruction . . . . . . . . . . . . . . . . . . . . . . . . . . 56
3 AnalysisofCognitiveStructure 58
3.1 Rule-based Test Construction . . . . . . . . . . . . . . . . . . . 59
3.2 Test Theory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
i
Contents
3.2.1 Classical Test Theory and Item Response Theory . . . 62
3.2.2 Probabilistic Test Models . . . . . . . . . . . . . . . . . 64
3.3 Methods of Validating the Cognitive Structure . . . . . . . . . 67
3.3.1 Linear Logistic Test Model . . . . . . . . . . . . . . . . 68
3.3.2 Linear Logistic Test Model with Random Item Effects 71
3.3.3 Optimal Design . . . . . . . . . . . . . . . . . . . . . . . 73
3.4 Empirical Findings on Information Structure and Compo-
nents of Item Difficulty . . . . . . . . . . . . . . . . . . . . . . . 74
3.5 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
4 ResearchQuestionsandPretests 83
4.1 Research Questions . . . . . . . . . . . . . . . . . . . . . . . . . 84
4.2 Pretests . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88
4.2.1 Pretest 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
4.2.2 Pretest 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
4.2.3 Pretest 3 . . . . . . . . . . . . . . . . . . . . . . . . . . . 99
4.2.4 Summary and Conclusion on Pretests . . . . . . . . . . 104
5 MainExamination 106
5.1 Material . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107
5.1.1 Test and Items . . . . . . . . . . . . . . . . . . . . . . . . 107
5.1.2 Distractors . . . . . . . . . . . . . . . . . . . . . . . . . . 109
5.2 Instruction, Procedure, and Measures . . . . . . . . . . . . . . 112
5.3 Sample . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113
5.4 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115
5.4.1 Item Statistics According to Classical Test Theory . . . 115
ii
Contents
5.4.2 Confirmatory Factor Analysis . . . . . . . . . . . . . . 123
5.4.3 Estimating Parameters According to IRT-Models . . . 124
5.4.4 Goodness of Fit . . . . . . . . . . . . . . . . . . . . . . . 132
5.4.5 Item Construction in Focus . . . . . . . . . . . . . . . . 140
5.4.6 Impact of Elements on Item Difficulty . . . . . . . . . . 153
6 SummaryandDiscussion 160
6.1 Future Prospects . . . . . . . . . . . . . . . . . . . . . . . . . . 171
References 173
A TablesandFigures 184
B TestMaterials 188
iii
List of Tables
2.1 Analogy Example According to Sternberg (1977a) . . . . . . . 21
4.1 Descriptive Statistics of Pretest 1 . . . . . . . . . . . . . . . . . 94
4.2 Parameter Estimates of Pretest 1 . . . . . . . . . . . . . . . . . 95
4.3 Descriptive Statistics of Pretest 2 . . . . . . . . . . . . . . . . . 97
4.4 Parameter Estimates of Pretest 2 . . . . . . . . . . . . . . . . . 98
4.5 Descriptive Statistics of Pretest 3 . . . . . . . . . . . . . . . . . 102
4.6 Parameter Estimates of Pretest 3 (Subtests 1, 4, 5) . . . . . . . 103
4.7 Parameter Estimates of Pretest 3 (Subtests 2, 3) . . . . . . . . . 103
5.1 Cognitive Operations . . . . . . . . . . . . . . . . . . . . . . . . 108
5.2 Optimal Design Matrix (Subtests 1 & 2) . . . . . . . . . . . . . 110
5.3 Optimal Design Matrix (Subtests 3 & 4) . . . . . . . . . . . . . 111
5.4 T-TestMeansoftheInstructionGroupandtheNon-Instruction
Group . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118
5.5 Descriptive Statistics: Total Sample . . . . . . . . . . . . . . . . 119
5.6 Descriptive Statistics: Instruction Group . . . . . . . . . . . . . 120
iv
List of Tables
5.7 Descriptive Statistics: Non-Instruction Group . . . . . . . . . . 121
5.8 Item Parameters 1PL Model (BILOG) . . . . . . . . . . . . . . 129
5.9 Item Parameters 2PL Model (BILOG) . . . . . . . . . . . . . . 130
5.10 Goodness of Fit According to Likelihood and Information-
theoretic Criteria . . . . . . . . . . . . . . . . . . . . . . . . . . 133
5.11 Model Test According to Martin-Löf (k = 31, N = 484) . . . . . 135
5.12 Model Test According to Martin-Löf (k = 44, N = 484) . . . . . 136
5.13 Model Test According to Andersen (k = 31, N = 484) . . . . . 138
5.14 Model Test According to Andersen (k = 44, N = 484) . . . . . 139
5.15 LLTM vs. Rasch Parameter: Total Sample (LPCM-Win) . . . . 142
5.16 LLTM: Basic Parameter Estimates, Total Sample (LPCM-Win) 143
5.17 LLTM:BasicParameterEstimates,InstructionGroup(LPCM-
Win) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144
5.18 LLTM vs. Rasch Parameter: Instruction Group (LPCM-Win) . 145
5.19 LLTM: Basic Parameter Estimates, Non-Instruction Group
(LPCM-Win) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146
5.20 LLTM vs. Rasch Parameter: Non-Instruction Group (LPCM-
Win) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147
5.21 Comparison of Parameter Estimates: Instruction Group vs.
Non-Instruction Group . . . . . . . . . . . . . . . . . . . . . . . 148
5.22 LLTMwithRandomItemEffects: BasicParameterEstimates,
Total Sample (SAS) . . . . . . . . . . . . . . . . . . . . . . . . . 150
5.23 LLTM: Total Sample (SAS) . . . . . . . . . . . . . . . . . . . . . 151
5.24 LLTM with Random Item Effects for Rasch Conform Items
(k = 32, N = 484) (SAS) . . . . . . . . . . . . . . . . . . . . . . . 152
v
List of Tables
5.25 LLTM with Random Item Effects: Parsimonious Model for
Rasch Conform Items (k = 32, N = 484) (SAS) . . . . . . . . . 153
5.26 LLTM: Combination of Letters and Digits (LPCM-Win) . . . . 154
5.27 LLTM: Orientation of A-Elements (LPCM-Win) . . . . . . . . 155
5.28 LLTM: C-Elements (LPCM-Win) . . . . . . . . . . . . . . . . . 157
5.29 LLTM: Elements A & C (LPCM-Win) . . . . . . . . . . . . . . . 157
5.30 LLTM: Elements and Transformations (LPCM-Win) . . . . . . 159
A.1 LLTM with Random Item Effects: Instruction Group (SAS) . . 185
A.2 LLTM: Instruction Group (SAS) . . . . . . . . . . . . . . . . . . 185
A.3 LLTM with Random Item Effects: Non-Instruction Group
(SAS) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 186
A.4 LLTM: Non-Instruction Group (SAS) . . . . . . . . . . . . . . . 186
vi