Überprüfung von Messinvarianz mittels CFA und DIF-Analysen

19 Pages·2015·0.29 MB·English

Überprüfung von Messinvarianz mittels CFA und DIF-Analysen 175
Empirische Sonderpädagogik, 2015, Nr. 3, S. 175-193
ISSN 1869-4845 (Print) · ISSN 1869-4934 (Internet)
Überprüfung von Messinvarianz mittels CFA und
DIF-Analysen
Susanne Schwab1 & Christoph Helm2
1 Universität Bielefeld
2 JKU Linz
Zusammenfassung
Ziel der vorliegenden Studie ist es, die Bedeutung von Messinvarianz latenter Variablen beim
Gruppenvergleich aufzuzeigen und anhand einer Beispielskala die einzelnen Schritte bei der
Berechnung von Messinvarianz mit Mplus 7 und R zu veranschaulichen. Messinvarianz wird
dabei sowohl vor dem Hintergrund des linearen, konfirmatorischen Faktorenansatzes als auch
des nicht linearen, logistischen Item-Response-Theorie-basierten Differential Functioning Ansat-
zes (DIF) untersucht. Datengrundlage der Studie ist eine Stichprobe von 1037 Schülerinnen und
Schülern der vierten und siebten Schulstufe aus drei österreichischen Bundesländern, wovon et-
wa 11% einen sonderpädagogischen Förderbedarf (SPF) aufweisen. Zur Erfassung von Einsam-
keitserleben wurde eine deutsche Kurzversion der Illinois Loneliness and Social Satisfaction Sca-
le (ILSS; Asher, Hymel & Renshaw, 1984; siehe dazu Schwab, 2015b) verwendet. Die angenom-
mene eindimensionale Faktorenstruktur wurde für beide Gruppen (Schülerinnen und Schüler
mit und ohne SPF) konfirmatorisch bestätigt. Sowohl die Prüfung der mehrgruppen-konfirmato-
rischen Faktorenanalysen (CFA) als auch die DIF-Analysen zeigen, dass die Skala für Schülerin-
nen und Schüler mit und ohne SPF messäquivalent ist. Konfigurale, metrische und skalare Mess-
invarianz liegen vor. Somit kann diese Skala verwendet werden, um latente Mittelwertverglei-
che zwischen diesen beiden Gruppen durchzuführen. Dieser Vergleich belegt, dass Schülerin-
nen und Schüler mit SPF über eine signifikant höhere Einsamkeit berichten. Zusammenfassend
wird auf die hohe Bedeutung von Messinvarianz für vergleichende Studien verwiesen.
Schlüsselwörter: Messinvarianz, Differential Functioning, Sonderpädagogischer Förderbedarf,
Einsamkeit
176 Susanne Schwab & Christoph Helm
Testing for Measurement Invariance in Students with and without Special
Educational Needs – A case example using the Short Form of the Illinois
Loneliness and Social Satisfaction Scale
Abstract
This study focuses on the relevance of measurement invariance for group comparisons of latent
variables. A case example is used to illustrate the individual steps taken when analysing meas-
urement invariance with Mplus 7 and R. Measurement invariance is examined within the frame-
work of the linear Confirmatory Factor Analysis (CFA), as well as the Differential Item Function-
ing (DIF) approach stemming from the non-linear logistic item response theory. Participants are
1037 pupils attending 4thand 7thgrade in three Austrian federal states. Some 11 % of the student
were diagnosed as having special educational needs (SEN). A short German version of the Illi-
nois Loneliness and Social Satisfaction Scale (ILSS; Asher, Hymel & Renshaw, 1984; see
Schwab, 2015b) was used as latent construct. The assumed one-dimensional factor structure is
confirmed for both groups (pupils with and without SEN). Both the examination of the CFA and
the DIF-analyses support measurement equivalence of the scale for pupils with and without
SEN. Configural, metric and scalar measurement invariance are confirmed. Consequently, the
scale can be used to compare the means between both groups on the latent variable. This com-
parison shows that pupils with SEN report a significantly higher degree of loneliness. The pres-
ent study shows the great importance of measurement invariance when groups are compared.
Keywords: measurement invariance, differential item functioning, special educational needs,
loneliness
Bedeutung von Messinvarianz für der Messäquivalenz auch die Strukturbezie-
latente Gruppenvergleiche hungen in einem Pfadmodell, das für beide
Gruppen geprüft wird, verzerrt sein kön-
Zahlreiche Wissenschaftlerinnen und Wis- nen.
senschaftler der empirischen Sonderpäda- In der Testtheorie wird grundsätzlich da-
gogik führen Gruppenvergleiche zwischen von ausgegangen, dass sich der Messwert
Schülerinnen und Schülern mit und ohne aus einem wahren Wert, also der tatsächli-
sonderpädagogischem Förderbedarf (SPF) chen Ausprägung, und einem Messfehler
durch. Es werden zumeist Gruppenverglei- zusammensetzt (z.B. Bühner, 2011). Dieser
che in Bezug auf die mittleren Ausprägun- Messfehler ist ein Zufallsfehler mit dem Er-
gen von latenten Variablen, wie beispiels- wartungswert von Null. Zusätzlich kann ein
weise dem Selbstkonzept, durchgeführt. Bias unter anderem aufgrund von Motivati-
Diesbezüglich muss kritisch angemerkt wer- on oder persönliche Tagesverfassung resul-
den, dass die verwendeten Messinstrumen- tieren. Messinvarianz ist von diesem Bias je-
te oftmals nicht für Schülerinnen und Schü- doch insofern zu unterscheiden, als sich
ler mit SPF konzipiert wurden. Dabei kön- diese auf die Vergleichbarkeit von Werten
nen verschiedene Verzerrungen vorliegen. zwischen Gruppen bezieht und untersucht,
Temme und Hildebrandt (2008) zeigen an ob ein latentes Konstrukt durch die verwen-
einem hypothetischen Beispiel auf, dass bei deten Items in den Gruppen auch äquiva-
fehlender Messinvarianz Probanden einer lent erfasst wird. „Gruppenspezifische Ei-
Gruppe Items im Schnitt negativer einschät- genschaften (z.B. der kulturelle Hinter-
zen, als Probanden der Vergleichsgruppe, grund) können aber die Reaktion der Be-
obwohl beide Gruppen über die gleiche fragten auf Fragebogenstatements und da-
Ausprägung der latenten Variable verfügen. mit die Messbeziehungen so beeinflussen,
Weiter argumentieren sie, dass bei fehlen- dass die beobachteten Indikatoren die ‚wah-
Überprüfung von Messinvarianz mittels CFA und DIF-Analysen 177
ren‘ Gruppendifferenzen auf der Konstrukt- lierungen als zu komplex eingeschätzt wer-
ebene, insbesondere Mittelwertdifferenzen den kann (Venetz et al., 2014). Gerade aber
und Unterschiede in den strukturellen Be- im sonderpädagogischen Forschungsbe-
ziehungen zwischen den latenten Varia- reich liegt der Gedanke nahe, dass Items bei
blen, nur verzerrt wiedergeben“ (Temme & Schülerinnen und Schülern mit und ohne
Hildebrandt, 2008, S. 1). Messinvarianz SPF unterschiedlich funktionieren können.
kann daher beispielsweise entstehen, wenn Soweit den Autoren bekannt ist, nahmen
bei den Vergleichsgruppen ein unterschied- Kuhl, Weirich, Haag, Kocaj und Kroth
liches konzeptionelles Verständnis über ein (2013) erstmals eine Messinvarianzprüfung
Konstrukt vorherrscht, was insbesondere von Kompetenztests in den Fächern
bei interkultureller Forschung vorkommt, Deutsch und Mathematik für Schülerinnen
weil ein und derselbe Begriff in verschiede- und Schüler mit SPF vor. In Bezug auf Schü-
nen Kulturen unterschiedlich konnotiert lerinnen und Schüler mit unterschiedlichen
oder assoziiert ist (Chen, 2008). Im Rahmen schulischen Fähigkeiten wurde von Stein-
der PISA-Studie 2009 wurden für Leseaufga- metz, Schmidt, Tina-Booh, Schwartz und
ben zudem das Itemformat, das Format des Wieczorek (2009) bereits bestätigt, dass
vorgelegten, zu lesenden Textes, das kogni- Messäquivalenz ein Problem darstellen
tive Anspruchslevel der Aufgaben, die Text- kann. Demzufolge lässt sich auch für Schü-
sorte (Narration, Exposition, Argumentati- lerinnen und Schüler mit und ohne SPF ver-
on, …) sowie der Kontext der Aufgabe (pri- muten, dass Skalen für diese beiden Grup-
vat, beruflich, schulisch, …) als nicht mes- pen nicht immer gleich gut funktionieren
sinvariant für Kinder mit und ohne Migrati- (z.B. Bossaert & Petry, 2013; Nusser, Cars-
onshintergrund identifiziert, wobei Kinder tensen & Artelt, 2015). Das bedeutet, dass
ohne Migrationshintergrund durch dieses Schülerinnen und Schüler mit SPF bei glei-
Bias systematisch bevorzugt wurden (Dinis cher latenter Ausprägung andere Antwort-
da Costa & Araújo, 2012). Um latente Mit- wahrscheinlichkeiten aufweisen. Allerdings
telwerte zwischen verschiedenen Gruppen gibt es auch Studien, die belegen, dass In-
vergleichen zu können, gilt daher das Vor- strumente wie die Kurzform des FDI (K-FDI
liegen von Messinvarianz als Voraussetzung 4-6; Venetz et al., 2014) oder eine Kurzver-
(Christ & Schlüter, 2012). Bislang wurde der sion der Chedoke-McMaster Attitudes to-
Messvarianz in der empirischen Sonderpä- wards Children with Handicaps Skala
dagogik allerdings kaum Beachtung ge- (Schwab, 2015c) bei Schülerinnen und
schenkt. Teilweise werden zwar Instrumen- Schülern mit und ohne SPF Messinvarianz
te speziell für die Verwendung bei Schüle- besitzen.
rinnen und Schülern mit SPF erprobt, wie
beim Fragebogen zur Erfassung von Dimen-
Prüfung von Messinvarianz
sionen der Integration von Schülerinnen
und Schülern (FDI) von Haeberlin, Moser, Mit der Prüfung der Messinvarianz rücken
Bless und Klaghofer (1989) (siehe dazu Ve- drei Fragen in den Vordergrund:
netz, Zurbriggen & Eckhart, 2014), dennoch (1) Passen die Messmodelle in den einzel-
wird zumeist vor latenten Mittelwertverglei- nen Gruppen zu den Daten?
chen von Kindern mit und ohne SPF nicht (2) Welche Modellparameter unterscheiden
überprüft, ob die Skalen über die Gruppen sich in den Gruppen? Hier interessiert
hinweg invariant messen. Zudem muss bei meist die Ausprägung der latenten Varia-
vielen Instrumenten, wie beispielsweise blen.
dem FDI angemerkt werden, dass diese für (3) Inwieweit ist die Strukturbeziehung zwi-
Kinder mit sprachlichen Schwierigkeiten schen latenten Variablen in den einzel-
oder Kinder mit SPF als zu umfangreich und nen Gruppen unterschiedlich?
auch hinsichtlich der sprachlichen Formu-
178 Susanne Schwab & Christoph Helm
Der vorliegende Beitrag beschränkt sich nun auch die unstandardisierten Ladungen
auf die ersten beiden Fragen. Zu (1): Im der manifesten Variablen über die Gruppen
Rahmen der Analyse des Messmodells wird hinweg gleichgesetzt. Sowohl die Faktoren-
geprüft, ob ein Konstrukt in unterschiedli- struktur als auch die Faktorenladungen wer-
chen Gruppen bzw. Populationen (z.B. bei den nun als äquivalent angenommen. Wird
Mädchen und Buben, bei Schülerinnen und diese Annahme bestätigt, kann davon aus-
Schülern mit und ohne SPF) durch die ver- gegangen werden, dass in den untersuchten
wendeten Items äquivalent repräsentiert Subpopulationen die latenten Konstrukte
wird. Konkreter: Es wird geprüft, ob die die gleiche inhaltliche Bedeutung haben.
„Messbeziehung zwischen den beobachte- Skalare Invarianz (auch starke Messin-
ten Indikatoren und den ihnen zugrunde varianz genannt) geht über die konfigurale
liegenden latenten Variablen in den Grup- und metrische Invarianz hinaus und nimmt
pen gleich sind“ (Temme & Hildebrandt, zusätzlich an, dass die Intercepts der mani-
2008, S 1). Es wird also geprüft, ob ein festen Variablen über die Gruppen hinweg
Messmodell in verschiedenen Subgruppen identisch sind. Das heißt, es müssen für die
gültig ist (für eine Übersicht siehe Christ & Stichproben sowohl invariante Faktoren-
Schlüter, 2012, S. 49ff.). Je nach Restriktivi- strukturen, invariante Faktorenladungen als
tät der Annahmen über die Gleichheit von auch invariante Intercepts (Regressionskon-
Modellparametern zwischen den unter- stanten) für die manifesten Variablen vorlie-
suchten Gruppen werden mehrere Arten gen. Bei Nachweis dieser Messinvarianz
von Messinvarianz unterschieden: konfigu- kann davon ausgegangen werden, dass kei-
rale, metrische, skalare, messfehlerbezoge- ne itemspezifischen Schwierigkeitsunter-
ne (strikte) und vollständige Messinvarianz, schiede zwischen den Gruppen bestehen.
welche hinsichtlich ihrer Restriktivität an- Die Ausprägung in der latenten Variable
steigen und damit in hierarchischer Bezie- kann zwischen den Gruppen verglichen
hung zueinander stehen (Brown, 2006). So werden.
ist beispielsweise die konfigurale Messinva- Liegen alle der drei genannten Formen
rianz Voraussetzung für die strengeren Inva- von Messinvarianz vor, so bezeichnet man
rianzen. dies auch als starke faktorielle Invarianz
Konfigurale Messinvarianz ist die am (Sass, 2011).
wenigsten restriktive Form der Messinvari- Strikte Invarianz (strenge Parallelität; In-
anz und bezieht sich auf eine invariate, also varianz der Messfehler) bezeichnet die Prü-
äquivalente Faktorenstruktur. Konkret heißt fung der Annahme, dass in allen Subgrup-
das, dass in beiden Subgruppen (z.B. Schü- pen zusätzlich die Messfehlervarianzen
lerinnen und Schüler mit und ohne SPF) das gleich sind. Kann über die skalare Messin-
gleiche Modell mit den gleichen Parame- varianz hinaus auch diese Invarianz nach-
tern geschätzt wird, diese aber unterschied- gewiesen werden, so halten die Daten auch
liche Werte annehmen dürfen (=„frei vari- einer sogenannten strikten Invarianzprüfung
ieren“). Bei Vorliegen dieser Invarianz la- stand. Kann keine strikte Invarianz nachge-
den die manifesten Variablen auf einer oder wiesen werden, so ist das ein Hinweis da-
mehreren identen latenten Variablen in bei- rauf, dass die Indikatoren über unterschied-
den Populationen. Dies bedeutet, dass sich liche Reliabilitäten in den Gruppen verfü-
sowohl die Anzahl der Faktoren, als auch gen (Temme & Hildebrandt, 2008).
die Ladungsmuster in den Gruppen nicht Vollständige Invarianz ist die stärkste
signifikant voneinander unterscheiden. Form der Invarianzprüfung, da alle Parame-
Metrische Invarianz (auch schwache In- ter des Modells (z.B. auch Strukturpfade
varianz genannt)ist gegenüber der konfigu- zwischen latenten Variablen eines Struktur-
ralen Messinvarianz restriktiver, denn zu- gleichungsmodells) über die Gruppen hin-
sätzlich zur konfiguralen Invarianz werden weg gleichgesetzt werden.
Überprüfung von Messinvarianz mittels CFA und DIF-Analysen 179
Im Rahmen empirischer Studien kommt zifiziert. Die sparsamste Variante, das
es mit Zunahme der Strenge der Messinvari- Rasch-Modell für dichotome Items, enthält
anz häufig zu einer Ablehnung der Äquiva- neben dem Parameter für die Personenfä-
lenzhypothese. In diesen Fällen kann ver- higkeit lediglich einen weiteren Parameter
sucht werden, partielle Messinvarianz nach- für die Itemschwierigkeit. Eine grafische In-
zuweisen: „Ist nur ein kleiner Teil der ei- varianzprüfung kann daher erfolgen, indem
nem Faktor zugeordneten Indikatoren nicht- man die Itemschwierigkeiten für zwei Per-
invariant, so werden diese z.B. bei weiter- sonen-Subgruppen im Koordinatensystem
führenden Invarianztests oder Tests auf Un- auf der x- und y-Achse gegenüberstellt.
terschiede in den Mittelwerten der latenten Weichen die Koordinatenpunkte signifikant
Variablen zwar weiter einbezogen, durch von der Diagonale ab, ist das ein Hinweis
die Schätzung gruppenspezifischer Parame- für fehlende Messinvarianz eines Items. In
ter (d.h. Faktorladungen, Konstanten und der vorliegenden Studie werden polytome
Residualvarianzen) für diese Indikatoren Items mit fünfstufigem Antwortmuster ana-
wird aber die fehlende Messinvarianz kon- lysiert. Dazu eignet sich das sogenannte
trolliert“ (Temme & Hildebrandt, 2008, S. Partial Credit Model nach Masters (Heine,
19). Die Identifikation der nichtinvarianten 2014; Masters, 1982). Das Modell schätzt
Indikatoren erfolgt dabei meist explorativ neben der Itemschwierigkeit weiter je Item
(Krafft & Litfin, 2002). vier Schwellenwerte (= Thresholds) für die
In Längsschnittstudien kommt der Mes- fünf Antwortkategorien. Diese Parameter
sinvarianzprüfung, vor allem wenn die Ent- stehen im Fokus der folgenden Itemanaly-
wicklung im Hinblick auf eine latente Varia- sen. Derartige Messinvarianzprüfungen auf
ble untersucht werden soll, große Bedeu- Ebene der Antwortkategorien sind natürlich
tung zu. In diesem Fall ist es notwendig si- auch im MGA-Vorgehen möglich und dann
cherzustellen, dass zu den verschiedenen sinnvoll, wenn man von einem kategorialen
Messzeitpunkten das gleiche Konstrukt ge- Messniveau der Indikatoritems ausgeht. Ei-
messen wird. Dabei geht man wie bei der ne entsprechende Syntax ist bei Koziol
Mehrgruppenanalyse vor, jedoch mit dem (2010) zu finden.
Unterschied, dass die Messzeitpunkte die
Gruppen darstellen.
Fragestellung
Ziel der Studie ist es, zu prüfen, ob ein la-
Messäquivalenz vor dem
tenter Mittelwertvergleich für die deutsche
Hintergrund der Item Response
Kurzform der Illinois Loneliness and Social
Theory (IRT)
Satisfaction Scale (ILSS; Asher et al., 1984;
Die Multigroup Analysis/Mehrgruppenana- siehe Schwab, 2015b) für Schülerinnen und
lyse (MGA), wie sie hier thematisiert wird, Schüler mit und ohne SPF zulässig ist, und
stellt in den Sozialwissenschaften den ge- wenn ja, wie ausgeprägt dieser Unterschied
bräuchlichsten Ansatz zur Überprüfung von ist. Diesbezüglich ist im ersten Schritt zu
Messinvarianz dar (Temme & Hildebrandt, analysieren, ob die Skala reliabel ist und ob
2008). Der alternative IRT-Ansatz geht, im sich für Schülerinnen und Schüler mit und
Gegensatz zum linearen CFA-Ansatz, von ohne SPF die verschiedenen Formen der
einem nicht linearen, logistischen Zusam- Messinvarianz bestätigen lassen.
menhang zwischen dem Antwortverhalten
der Probanden und dem zu messenden la-
tenten Konstrukt aus (für einen Vergleich
der beiden Ansätze siehe Meade & Lauten-
schlager, 2004). Dabei werden je nach IRT-
Modell unterschiedlich viele Parameter spe-
180 Susanne Schwab & Christoph Helm
Methode ein Verhältnis von 200 : 800 den Type I Er-
ror in Bezug auf die Hypothese, dass starke
Stichprobe und vollständige Messinvarianz vorliegt,
nicht beeinflusste. Daher ist nicht davon
Im Rahmen des ATIS-SI Projekts (Attitudes auszugehen, dass das hier vorliegende Ver-
Towards Inclusion of Students with disabili- hältnis von 111 : 926 das Untersuchungser-
ties related to Social Inclusion; Schwab, gebnis beeinflusst.
2015a) wurde eine Befragung bei Schülerin-
nen und Schülern in drei österreichischen
Erhebungsinstrument
Bundesländern (Steiermark, Niederöster-
reich, Burgenland) durchgeführt. Für den Um die von Schülerinnen und Schülern
vorliegenden Artikel werden die Daten des wahrgenommene Einsamkeit im Unterricht
zweiten Messzeitpunktes (Ende des Schul- zu erfassen, wurde eine deutsche Kurzversi-
jahres 2013/14) verwendet. An der Erhe- on der Illinois Loneliness and Social Satisf-
bung haben insgesamt 1047 Schülerinnen action Scale (ILSS; Asher et al., 1984; siehe
und Schüler teilgenommen, welche aus 61 dazu Schwab, 2015b) verwendet. Diese so-
Schulklassen1 stammten. Zur Teilnahme genannte “Pure-Loneliness-Scale” wurde
eingeladen wurden nur Schulen, welche in bereits mehrfach erprobt (siehe z.B. Ladd,
der entsprechenden Jahrgangsstufe auch In- Kochenderfer & Coleman, 1996; Qualter et
tegrationsklassen führten. Die Schulen wur- al., 2012; Schwab, 2015b) und umfasst ins-
den telefonisch kontaktiert und gefragt, ob gesamt vier Items (siehe Tabelle 1), welche
sie bereit wären, an der Studie teilzuneh- auf einer fünfstufigen Ratingskala von
men und ob eine entsprechende Integrati- (1 = nie bis 5 = immer) zu beantworten
onsklasse vorhanden sei. Die Regelklassen sind. Schwab (2015b) überprüfte die Ska-
(in denen es keine Schülerinnen und Schü- lenreliabilität für Schülerinnen und Schüler
ler mit SPF gibt) waren, wenn möglich, Pa- mit und ohne SPF der vierten und der sieb-
rallelklassen in den gleichen Schulen. Auf- ten Schulstufe und erhielt durchwegs zufrie-
grund fehlender Werte wurden zehn Schü- denstellende Kennwerte (α = .71-.85).
lerinnen und Schüler (1%) aus dieser Studie Grundsätzlich ist anzumerken, dass die
ausgeschlossen. Die Stichprobe besteht da- meisten Probanden die Items eher im Be-
her aus 1037 Schülerinnen und Schülern reich „nie bis selten“ angekreuzt haben. Für
(512 Jungen, 525 Mädchen) der vierten die Operationalisierung des SPF wurde auf
(39%) und siebten (61%) Schulstufe. 111 das Vorhandensein eines SPF-Bescheids zu-
Schülerinnen und Schüler weisen einen SPF rückgegriffen.
auf, welcher per Bescheid vom Bezirks-
schulrat erteilt wurde und sich zumeist (bei
Statistische Analysen
77%) auf den Bereich „Lernen“ bezieht. Die
unterschiedlichen Gruppengrößen stellen Software. Alle statistischen Analysen wer-
laut einer Simulationsstudie von Koh und den in den Statistikpaketen Mplus 7 (Mu-
Zumbo (2008) kein Problem für die Messin- thén & Muthén, 1998-2014) und R (R Core
varianzprüfung dar. Koh und Zumbo haben Team, 2014) durchgeführt. Dieses Vorge-
im Rahmen ihrer Simulationsstudie die hen ist zwar redundant, da dieselben Ergeb-
Stichprobengrößen der Subgruppen variiert. nisse erzielt werden, jedoch stellt das Paper
Dabei konnte gezeigt werden, dass selbst auch einen Service-Beitrag dar, der interes-
1 Es wird darauf verzichtet, die hierarchische Datenstruktur zu berücksichtigen, da eine Multilevel-Regres-
sionsanalyse ohne Prädiktoren (Nullmodell) mit der z-standardisierten Einsamkeitsskala als Kriterium kei-
ne signifikante Varianz auf Klassenebene anzeigte (ICC= .001, n.s.). Zudem zeigte sich keine signifikan-
te Varianz auf Klassenebene für die vier Nullmodelle der Einzelitems.
Überprüfung von Messinvarianz mittels CFA und DIF-Analysen 181
sierten Lesern die Syntax der frei zugängli- kriterien. Simulationsstudien kommen bei
chen Software R liefert (siehe Kästen 5-7 im der Frage nach der Wahl der Schätzmetho-
Anhang), um die hier vorgestellten Ergeb- de im Rahmen der Messinvarianzprüfung
nisse nachzurechnen. Die dazu notwendi- (Cheng-Hsien, 2014; Koziol, 2010) zwar zu
gen Daten können auf Wunsch bei Susanne dem Ergebnis, dass der Robust Weighted
Schwab angefordert werden. Least Square Schätzer (WLSMV-Schätzer)
Confirmatory Factor Analysis (CFA). Als und der Robust Unweighted Least Square
erster Analyseschritt wurde eine konfirmato- Schätzer (ULSMV-Schätzer) unter bestimm-
rische Faktorenanalyse (CFA) der angenom- ten Bedingungen (v.a. bei mehrdimensiona-
menen Faktorenstruktur (Beziehung zwi- len Modellen und der Annahme kategoria-
schen den manifesten Indikatoren und der ler Messungen) dem Maximum Likelihood
latenten Variable) für die Gesamtstichprobe Robust-Schätzer (MLR-Schätzer) vorzuzie-
durchgeführt. Für die Beurteilung der Güte hen sind, da diese zu exakteren Schätzun-
der CFA werden übliche Fit-Statistiken gen der Faktorladungen und ihrer Messfeh-
(χ²/df ≤ 3, RMSEA ≤ .06, CFI ≥ .95, TLI ler kommen und zudem besser zur Bestim-
≥ .95, RMSEA ≤ .08, SRMR≤ .08, Hu & mung der Type-I-Error-Rate im Rahmen des
Bentler, 1999; Weiber & Mühlhaus, 2010) χ²-Modelltests geeignet sind. Demgegen-
als deskriptive Indizien herangezogen. Die über besitzt der MLR-Schätzer eine höhere
Prüfung auf Modellanpassung bzw. man- Effizienz und ermöglicht auch die Behand-
gelnde Modellanpassung wird über die Er- lung von Missings (unter der Missing at Ran-
gebnisse des χ²-Tests vorgenommen. dom-Bedingungen). Des Weiteren kommt
Parameterschätzung. Die am häufigsten die Simulationsstudie von Koziol (2010) zu
verwendete Schätzmethode im Rahmen dem Ergebnis, dass der MLR-Schätzer den
von konfirmatorischen Faktorenanalysen ist anderen gegenüber zu bevorzugen ist,
laut Bühner (2011) der Maximum Likeli- wenn der Type-I-Error im Fokus der Analy-
hood-Schätzer. Dieser setzt jedoch eine sen steht und von kontinuierlichenMessun-
multivariate Normalverteilung der Items gen ausgegangen wird, was auf die vorlie-
(hier die Messindikatoren der konfirmatori- gende Studie zutrifft. Zudem ist der MLR,
schen Faktorenanalyse) voraus. Mit dem R wie erwähnt, die am häufigsten verwendete
package „MVN“ (Korkmaz, Goksuluk & Za- Methode, weshalb das Ziel der Vergleich-
rarsiz, 2014) wurden die vier Items der Lo- barkeit der vorliegenden Ergebnisse mit an-
neliness-Skala auf multivariate Normalver- deren Studien ein weiteres Wahlkriterium
teilung geprüft. Sowohl die Signifikanztests darstellt. Aus diesen Gründen wird für die
(Marida: χ² = 28.376, p = .00, z = Folgeanalysen der MLR als Schätzmethode
skew kurt
82.288, p= .00; Royston: H= 804.259, p verwendet.
= .00; Henze-Zirkler: HZ = 352.592, p = Messinvarianz-Prüfung. Für die an-
.00) als auch der hier nicht berichtete grafi- schließende Berechnung der Messinvarianz
sche Chi-Square Q-Q Plot zeigen eine deut- wurde der Step-Up Ansatz verwendet. Da-
liche Abweichung der Daten von der multi- runter ist zu verstehen, dass mit der am we-
variaten Normalverteilung an. Aus diesem nigsten restriktiven Form der Messinvarianz
Grund musste eine Schätzmethode verwen- (konfigurale Messinvarinz) begonnen wird
det werden, die gegenüber dieser Voraus- und die Modelle sukzessive restriktiver wer-
setzungsverletzung robust ist. Die Wahl des den (z.B. Christ & Schlüter, 2012). Ob das
konkreten Schätzers ist von vielen Aspekten jeweils restriktivere, genestete Modell passt,
abhängig. Koziol (2010) nennt bspw. die wird mittels χ²-Differenztest geprüft. Der
Annahme über das Skalenniveau der Mes- Unterschied im Modellfit wurde aufgrund
sungen, den Fokus auf Type-I- oder Type-II- des MLR-Schätzers über den Satorra-Bentler
Error und die einfachere Interpretation be- skalierten χ²-Differenztest geprüft (z.B.
stimmter Parameterschätzungen als Wahl- Christ & Schlüter, 2012). Da der Anpas-
182 Susanne Schwab & Christoph Helm
sungstest stichprobensensitiv ist und bei wird im Paket „pairwise“ (Heine, 2014) der
größeren Samples (wie dem vorliegenden) „allgemeine“ Schwierigkeitsparameter zwi-
schon bei kleineren Modellverschlechterun- schen den Gruppen durch einen graphi-
gen signifikant wird, werden die Modellver- schen Modelltest auf Invarianz geprüft. Al-
gleiche zudem auf Basis der rule of thumb ternativ können auch komplexere, mehrdi-
nach Chen (2007; Cheung & Rensvold, mensionale IRT-Modelle im Paket „mirt“
2002) beurteilt. Dabei gilt: Solange der CFI (Chalmers, 2012) auf Messinvarianz geprüft
nicht um mehr als .02 Einheiten sinkt und werden.
der RMSEA nicht um mehr als .015 Einhei-
ten steigt, können beide Modelle als, die
Datenstruktur gleichgut widerspiegelnd, an-
gesehen werden. Hierbei wird dem sparsa- Ergebnisse
meren Modell, das mit weniger Parametern
auskommt, der Vorzug gegeben. Itemkennwerte und Ergebnisse
Differential Item Functioning (DIF). Die der Reliabilitätsanalyse
DIF-Analysen wurden auf Basis des Partial
Credit Models nach Masters (1982; vgl. Die Mittelwerte der Subgruppen sind in Ta-
auch Andrich, 1978) durchgeführt. Dieses belle 1 abgetragen. Zudem zeigt sich bereits
Modell schätzt neben einem Parameter für auf Basis der manifesten Mittelwerte, dass
die Ausprägung des Personenmerkmals sich die Schülerinnen und Schüler mit SPF
weiterhin einen „allgemeinen“ Schwierig- signifikant einsamer fühlen, als diejenigen
keitsparameter pro Item und zusätzlich vier ohne SPF (t = -3.308, p < .01, Cohens
1035
Schwellenwerte (=Thresholds) für die fünf d = .34). Die Ergebnisse der Reliabilitäts-
Kategorien je Item. In Mplus wird die DIF- analyse zeigen sowohl für Schülerinnen
Analyse durch Gleichsetzen der Parameter und Schüler ohne SPF (α= .80) als auch für
über die Subgruppen hinweg durchgeführt jene mit SPF (α= .82) eine zufriedenstel-
(ähnlich der Messinvarianzprüfung). In R lende Reliabilität. Diese Reliabilitäten sind
Tabelle 1: Deskriptive Statistiken zur Pure-Loneliness-Scale
Gesamt Schülerinnen Schülerinnen Korrelationstabelle
und Schüler und Schüler
ohne SPF mit SPF
n = 1037 n = 926 n = 111
M SD M SD M SD Item 1 Item 2 Item 3 Item 4
Item 1 1.43 0.77 1.42 0.75 1.52 0.94 -
Item 2 1.34 0.73 1.30 0.66 1.61 1.10 0.71 -
Item 3 1.36 0.79 1.35 0.76 1.50 1.02 0.61 0.70 -
Item 4 1.34 0.89 1.31 0.84 1.58 1.20 0.38 0.38 0.36 -
Item 1-4 5.47 2.52 5.38 2.38 6.22 3.45 0.83 0.85 0.83 0.69
α[CI] .80 [.77-.84] .80 [.76-.84] .82 [.73-.91]
Anmerkungen.N = Stichprobengröße, M = Mittelwert, SD = Standardabweichung, α= Cronbach’s Al-
pha, CI = Konfidenzintervall (siehe dazu Fan & Thompson, 2001), alle Korrelationen sind statistisch signi-
fikant p< .01. Item 1: In meiner Klasse bin ich einsam. Item 2: In meiner Klasse fühle ich mich alleine.
Item 3: In meiner Klasse fühle ich mich ausgegrenzt. Item 4: In meiner Klasse habe ich niemanden, mit dem
ich reden kann. Die Annahmen eines tau-äquivalenten Modells wurden in Mplus geprüft und bestätigt
(χ² = 4.194, df= 4, p= .38), da diese Voraussetzung für das Cronbachs Alpha sind (Graham, 2006).
Überprüfung von Messinvarianz mittels CFA und DIF-Analysen 183
aufgrund der sich überlappenden Konfi- hinweisen (siehe die Modellfits in Abbil-
denzintervalle nicht signifikant unterschied- dung 1). Alle anderen Kennwerte sprechen
lich voneinander, was auf Messfehlerinvari- jedoch für eine gute Modellpassung. Bezüg-
anz hindeutet. Die Korrelationen zeigen lich der Faktorladungen zeigt sich, wie auch
weiter, dass Item 4 „In meiner Klasse habe schon in den deskriptiven Analysen, dass
ich niemanden, mit dem ich reden kann“ das Item 4 am geringsten auf dem latenten
nicht so hoch mit den anderen drei Items Faktor lädt, offenbar aber in der SPF-Gruppe
korreliert, wie die übrigen Items der Skala noch am ehesten Ausdruck von Einsamkeit
untereinander. Das Item wird (1) aus inhalt- ist. Die hohen Faktorladungen deuten auf
lichen Gründen, (2) aus Gründen der Ver- Eindimensionalität hin.
gleichbarkeit mit anderen Studien, in denen In Tabelle 2 sind die Prüfungen der hie-
ebenfalls alle vier Items verwendet wurden, rarchischen Messinvarianzen über die
sowie (3) der Tatsache, dass das Messmo- Gruppen (kein SPF vs. SPF) hinweg vorzu-
dell mit nur drei Items genau identifiziert finden. Im Rahmen des konfiguralen Invari-
wäre (was zu einem saturierten Modell füh- anzmodells wurden alle Faktorladungen, In-
ren und die Interpretation der Modellver- tercepts und Residualvarianzen über beide
gleiche erschweren würde), beibehalten. Subpopulationen hinweg frei geschätzt. Ein-
zig der Mittelwert und die Varianz der la-
tenten Variablen wurden auf 0 bzw. 1 fi-
Ergebnisse der CFA zur
xiert. Dadurch ergeben sich 4 Freiheitsgra-
Pure-Loneliness-Scale
de: Insgesamt liegen 28 verfügbare Informa-
Die Berechnung der CFA, getrennt für den tionen vor – je Gruppe vier Mittelwerte,
gesamten Datensatz sowie für die Daten der vier Varianzen und sechs Kovarianzen der
Schülerinnen und Schüler mit und ohne vier Items. Für jede Gruppe sind vier Faktor-
SPF, zeigt, dass das angenommene Mess- ladungen, vier Intercepts und vier Residual-
modell in allen Samples gilt, wenn auch der varianzen zu schätzen, weshalb 24 der 28
TLI und RMSEA für das Sample der Schüle- Freiheitsgrade aufgebraucht werden. Die
rinnen und Schüler mit SPF auf eine leichte Fit-Statistiken zeigen, dass der Modellfit
Abweichung des Modells von den Daten beim konfiguralen Invarianzmodell ange-
Abbildung 1: CFA für getrennte Samples
Anmerkungen.χ²=Chi-Square, df=degrees of freedom, CFI=comparative fit index, TLI=Tucker-Lewis In-
dex, RMSEA=root mean square error of approximation.
184 Susanne Schwab & Christoph Helm
nommen werden kann. Dies bedeutet, dass mit SPF einsamer fühlen als diejenigen oh-
der Faktor in beiden Gruppen in ähnlicher ne SPF.
Weise konzeptualisiert ist. Auch die Gleich- Führt man die Messinvarianzprüfung
heitsrestriktionen auf den Faktorladungen, weiter, dann kann für die „Pure-Loneliness-
die im Rahmen der metrischen Invarianz Scale“-Skala weder strikte Invarianz (die
gesetzt wurden und wodurch drei Freiheits- Gleichsetzung der Messfehler über die bei-
grade (die Varianz der latenten Skala in der den Gruppen hinweg führt zu weiteren vier
SPF-Gruppe wurde freigesetzt) gewonnen Freiheitsgraden) noch vollständige Invari-
wurden, verschlechtern die Modellpassung anz (die Gleichsetzung des latenten Mittel-
nicht bedeutsam (ΔCFI ≤. |.02|, ΔRMSEA werts über die Gruppen hinweg führt zu ei-
≤ .015). Insofern gilt, dass die Maßeinheit nem zusätzlichen Freiheitsgrad) nachgewie-
der Skala für Schülerinnen und Schüler mit sen werden, wie Tabelle 2 zeigt. Die Mo-
und ohne SPF identisch ist (metrische Inva- dellverschlechterungen erreichen hier ein
rianz). Auch nach Gleichsetzung der Inter- signifikantes Ausmaß.
cepts und Freisetzung des Mittelwerts der Als nächstes wird untersucht, ob die
latenten Skala in der SPF-Gruppe (wodurch strikte Invarianz zumindest partiell erreicht
weitere drei Freiheitsgrade gewonnen wur- werden kann. Tabelle 3 zeigt den Modell-
den) wurde keine substantielle Verschlech- vergleich für den Fall, in dem die Messfeh-
terung der Modellanpassung festgestellt lerparameter des ersten und zweiten Items
(skalare Messinvarianz). Die p-values zei- in beiden Gruppen frei geschätzt werden.
gen an, dass die Erhöhung der Modellab- Die anderen beiden Messfehlerparameter
weichung in Relation zu den gewonnen von Item 3 und 4 werden über die beiden
Freiheitsgraden statistisch nicht signifikant Gruppen hinweg gleichgesetzt, weshalb an-
ist. Stützt man die Modellevaluation aller- statt der in Tabelle 2 zur strikten Invarianz
dings auf den χ²-Test, so wird mit einem p- angeführten 14 Freiheitsgrade hier nur 12
value von .03 deutlich, dass das Modell an vorliegen. Die Teststatistiken des Modell-
sich die empirische Kovarianzmatrix nicht vergleichs zeigen, dass partielle Messinvari-
widerspiegelt. Da aber die übrigen Fitwerte anz erreicht werden konnte.
auf einen akzeptablen Modellfit hinweisen,
gehen wir weiterhin von skalarer Messinva-
Differential Item Functioning-
rianz aus. Die unterschiedlichen Größen
Analysen vor dem Hintergrund der
der Subsamples nehmen keinen Einfluss auf
Item Response Theory
die Ergebnisse. Somit kann bereits an dieser
Stelle der Prüfung eine vollständige Messin- Da die „Pure-Loneliness-Scale“ fünf Ant-
varianz für die Skala über die Gruppen wortkategorien verwendet, existieren vier
(kein SPF vs. SPF) hinweg angenommen Schwellenwerte, die Informationen darüber
werden. Insofern sind die Voraussetzungen geben, ab welcher Ausprägung auf der la-
für einen sinnvollen Vergleich zwischen tenten Variable eine Person von einer nied-
den latenten Mittelwertunterschieden in rigeren Kategorie in eine höhere überwech-
dieser Skala gegeben. Die Gruppe der Schü- selt. Wenn die Items für Schülerinnen und
lerinnen und Schüler mit SPF verfügt über Schüler mit und ohne SPF gleich „funktio-
eine latente mittlere Ausprägung auf der nieren“ sollen, dann geht man von der An-
Skala „Pure-Loneliness-Scale“, die um 0.24 nahme aus, dass diese Schwellenwerte für
Standardabweichungen höher liegt als die beide Gruppen auf der latenten Skala gleich
latente mittlere Ausprägung der Gruppe der lokalisiert (also gleich schwierig) sind (M2).
Schülerinnen und Schüler ohne SPF. Dieser Der Modellvergleich in Tabelle 4 bestätigt
Unterschied ist statistisch signifikant (S.E.= diese Annahme bzw. diese Form der Mess-
.086, p = .01). Somit kann festgehalten invarianz. Die Modellverschlechterung ist
werden, dass sich Schülerinnen und Schüler nur marginal.