medidas de acuerdo y de sesgo entre jueces

375 Pages·2009·1.3 MB·Spanish

Universidad de Murcia
Facultad de Psicología
Departamento de Psicología Básica y Metodología
TESIS DOCTORAL
MEDIDAS DE ACUERDO Y DE SESGO
ENTRE JUECES
Autora: Ana Pilar Benavente Reche
Director: Dr. Manuel Ato García
Murcia, Julio de 2009
Agradecimientos
Recuerdo aún con cariño y una sonrisa el día 28 de Diciembre del 2001, fecha
en la que me enteré que era beneficiaria de una beca predoctoral FPU. Fue un
momento único, una mezcla de sentimientos solo comparable a la que disfruto
en este momento al finalizar la redacción de este de proyecto de tesis doctoral,
fruto de mucho esfuerzo, trabajo y dedicación de un magnífico equipo humano
con el que he tenido la suerte de participar y aprender , tanto en el plano
personal como profesional, en pocas palabras “ ha sido y es una experiencia
inefable e inolvidable”. Unos meses atrás veía tan lejano este momento..., y
conforme se acercaba pensaba entre otras muchas cosas escribir con antelación
los agradecimientos. Quien bien me conoce sabe que, pese a mi “apariencia
alocada”, me gusta planificar las cosas, pero a veces llego justa de tiempo, por las
“sempiternas leyes de Murphy” y otras que en un ataque de sinceridad, he de
confesar son fruto de mi forma de ser, “algo nerviosilla”. Nunca un año se
presentó con tantas pruebas y obstáculos, con seguridad puedo decir que los
aprendizajes obtenidos en este proceso marcarán mi camino de hoy en adelante.
Hoy hago memoria y deseo hacer mención a todos los que que ha estado y
estarán conmigo, que tanto quiero y me han ayudado. Es justo por ello
brindarles un pequeño homenaje dedicándoles unas palabras.
En primer lugar debo y quiero mencionar a Manuel Ato García. Por él
siento desde hace años una profunda admiración, y esa admiración ha ido en
aumento conforme he tenido la oportunidad de tratarlo a nivel personal y
profesional. No he conocido a nadie que muestre un entusiasmo similar en su
trabajo, en la labor incansable de la investigación y que consiga transmitir a todos
los afortunados que le tenemos cerca. Mi sueño es ser algún día como él, o al
menos acercarme un poquito....Es y ha sido un compañero de trabajo envidiable
en todos los sentidos, y pese a ser mi director de tesis y supuesto “jefe”, me ha
tratado siempre como a uno más del resto de compañeros. Su continuo apoyo
personal, emocional y profesional ha ido mucho más allá de lo imaginable, sin él
jamás habría sido capaz de terminar este proyecto, los dos lo sabemos. Además,
con permiso de su familia, ha sido para mí en cierto modo como el padre que
Dios se llevó hace unos años y que a buen seguro donde quiera que se
encuentre, le estará dando las gracias por cuidar así de su niña. Gracias Manolo
por confiar en mí y por todo.
A mis compañeros y amigos del Área de Metodología de las Ciencias del
Comportamiento: Lola Hidalgo, Fulgencio Marín, Antonio Velandrino, Julio
Sánchez Meca, Jose Antonio López Pina, Jose Antonio López López, Rafael
Rabadán y Juanjo López, en especial a estos dos últimos, darles las gracias por
su ayuda en sus aportaciones a esta tesis.
A mis otros compañeros y amigos del Área de Psicología Básica, en especial
a Damián Amaro por aclararme y ayudarme con los “engorrosos” trámites de
tipo burocrático.
No puedo dejar de mostrar mi agradecimiento a mis amigos, ellos saben
quienes son, sobre todo por su sinceridad, honestidad, apoyo en los momentos
difíciles, y por qué no decirlo también, en los momentos de alegría. Gracias por
estar ahí y que sea para toda la vida.
A Marga, Inma, Carolina y Pulpita. Gracias por brindarme vuestra hermosa
amistad entre otras cosas, por los buenos e inolvidables momentos compartidos
y simplemente por estar ahí cuando siempre os necesitaba. Nunca os olvidaré.
Os quiero.
A Raúl, por su apoyo y cariño durante estos años en este proceso a largo
plazo, a mis desplantes, cambios de humor y a su apoyo incondicional y
“logístico” en mis momentos de debilidad. Gracias.
A mi abuela María Dolores, que siempre estará en mi memoria con su
sonrisa y del grato recuerdo de pasar horas a mi lado junto al pc, y sobre todo
por su cariñosa frase : “nieta, ¿cuando vas a dejar de estudiar?”, a la que yo
contestaba siempre “si Dios quiere, nunca abuela”.
A mis hermanos Leandro y María Dolores, a los que adoro y ellos lo saben.
Por su continuo apoyo, en los momentos en los que flaqueaba y por sacarme a
flote. Pese a que somos diferentes al expresar nuestras sentimientos, sé que se
han preocupado y han sufrido para que saliera adelante este proyecto. Gracias
hermanos por ser como sois y estar ahí .
A toda mi familia, paterna y materna, con la pregunta eterna , ¿cuándo
terminas la tesis?
A mi prima Toñi y de nuevo a mi hermana María Dolores, por releer esta
tesis y tratar de corregir errores, pese a reconocerme que no se enteraban de
nada.
A la música que me ha acompañado en tantas horas de soledad y trabajo.
Y por último, a mi madre María, que como diría Antonio Vega “ es una
mujer hecha de algodón, de seda y de hierro puro”. No tengo palabras de
agradecimiento para ella, sin la cual este proyecto jamás habría sido posible. No
he conocido a alguien con tanta fuerza y coraje para sacar adelante todo,
siempre dando todo sin esperar nada a cambio, de invertir toda su vida sin
medir la rentabilidad que le aporte su inversión, sufriendo cuando sufro,
alegrándose de mis alegrías y siendo mi mejor confidente. Gracia mamá, te
quiero mucho.
A todos ellos y muchos más que seguro se me han olvidado, espero me
disculpen, muchas gracias por todo
A mis padres:
Juan Miguel y María.
Gracias por darme la vida y buscar siempre lo mejor para mí
Índice general i
Índice General
Introducción...........................................................................................1
• Algunos conceptos básicos...............................................................3
• Fiabilidad y acuerdo entre jueces....................................................10
• Objetivos de este trabajo.................................................................13
1 Datos cuantitativos.............................................. …...........................17
1.1 Medidas de acuerdo para variables numéricas....................17
1.2 El coeficiente de correlación intraclase...............................20
1.2.1 Modelo I. …..................................................................21
1.2.2 Modelo II. ….................................................................23
1.2.3 Modelo III. …................................................................27
1.2.4 Correlación intraclase y teoría de la
generalizabilidad...........................................................31
ii Índice general
1.3 El coeficiente de correlación de concordancia....................32
1.4 Procedimientos de estimación del coeficiente
correlación intraclase............................................................36
1.5 Generalización del coeficiente de
correlación intraclase............................................................41
1.5.1 Generalización a más de dos jueces..............................42
1.5.2 Generalización a medidas categóricas...........................43
1.5.3 Generalización a datos longitudinales...........................45
1.6 El coeficiente r y sus alternativas................................48
WG
2 Datos nominales: dos jueces, dos categorías.....................................57
2.1 Introducción y notación.......................................................57
2.2 Medidas del acuerdo corregidas del azar.............................61
2.2.1 El coeficiente  de Bennett y otros (1954)...................64
2.2.2 El coeficiente  de Scott (1955)...................................67
2.2.3 El coeficiente  de Cohen (1960)..................................70
2.2.4 El coeficiente  de Gwett (2008)..................................73
2.3 Contexto de acuerdo y contexto de asociación....................75
2.3.1 Contexto de acuerdo: kappa intraclase..........................76
2.3.2 Contexto de asociación: kappa ponderado....................79
2.4 Dos paradojas asociadas con el coeficiente de kappa.........80
2.5 La varianza de las medidas descriptivas de acuerdo
mediante jackknife...............................................................87
Índice general iii
3 Datos nominales y ordinales: dos jueces,
más de dos categorías.........................................................................91
3.1 Introducción.........................................................................91
3.2 Categorías nominales...........................................................92
3.2.1 El caso K x K.................................................................92
3.2.2 Ejemplo 3.1...................................................................95
3.3 Categorías ordinales..........................................................104
3.3.1 El,coeficiente kappa ponderado..................................104
3.3.2 Ejemplo 3.2: Los datos de
von Eye y Schuster......................................................107
3.3.3 La equivalencia entre kappa ponderado y
el coeficiente de concordancia.....................................110
3.3.4 La equivalencia entre kappa ponderado y
el coeficiente de correlación intraclase para
un modelo mixto sin interacción.................................111
3.4 Distinguibilidad entre categorías.......................................117
4 Datos nominales y ordinales: más de dos jueces,
dos o más categorías.........................................................................121
4.1 Introducción.......................................................................121
4.2 Formas de representación..................................................122
4.3 Ejemplo 4.1: los datos de Conger (1980)..........................123
4.3.1 El procedimiento analítico y la generalización
de los coeficientes descriptivos....................................124
4.3.2 Varianza de los coeficientes de acuerdo para
múltiples observadores................................................139
iv Índice general
4.3.3 Un procedimiento de computación
simplificado..................................................................142
4.3.4 Estimación de los coeficientes de acuerdo..................147
4.3.5 Cálculo de las varianzas..............................................149
4.3.6 Cálculo de las varianzas mediante el
procedimiento de jackkinfe..........................................154
4.4 Ejemplo 4.2: los datos de von Eye (2005).........................163
4.4.1 Estimación de los coeficientes de acuerdo..................168
4.4.2 Cálculo de las varianzas de los
coeficientes de acuerdo...............................................170
4.4.3 Cálculo de las varianzas mediante
el procedimiento de jackknife.......................................172
5 El coeficiente de acuerdo iota...........................................................183
5.1 Introducción.......................................................................183
5.2 Generalización a kappa para dos observadores.................186
5.3 Generalización a kappa para más de dos observadores.....189
5.3.1 Procedimiento directo..................................................193
5.3.2 Procedimiento indirecto vía ANOVA..........................196
5.4 Generalización a medidas cuantitativas............................198
5.5 Generalización al caso multivariante.................................203
6 Modelos loglineales............................................................................207
6.1 Introducción.......................................................................207
6.2 Modelos loglineales...........................................................210
6.3 Ejemplo 6.1: Los datos de Dillon y Mullani (1984)..........211
Índice general v
6.3.1 El modelo de independencia (Modelo I).....................213
6.3.2 El modelo de cuasi-independencia (Modelo QI).........217
6.3.3 El modelo de cuasi-independencia constante
(Modelo QIC)..............................................................221
6.3.4 El modelo de cuasi-independencia homogéneo
(Modelo QIH)...............................................................225
6.3.5 El modelo de cuasi-independencia
constante y homogéneo(Modelo QICH)....................228
6.3.6 El modelo de cuasi-independencia uniforme
(Modelo QIU)..............................................................230
6.3.7 El modelo de cuasi-independencia constante con
asociación uniforme (Modelo QICAU).......................233
6.3.8 Comparación entre modelos........................................236
6.4 Algunas generalizaciones del modelo loglineal................237
6.4.1 La inclusión de covariantes.........................................238
6.4.1.1 Ejemplo 4.2: Los datos de Jackson
y otros (2001)........................................................240
6.4.2 Más de dos jueces. Ejemplo 6.3:
Los datos de von Eye y Mun (2005)...........................243
7 Modelos mixtura................................................................................247
7.1 Introducción.......................................................................247
7.2 La familia QI de los modelos mixtura...............................249
7.2.1 El modelo mixtura básico: Modelo mixtura QI...........250
7.2.2 El Modelo mixtura QIC...............................................257
7.2.3 El Modelo mixtura QIH...............................................262