El ABC de la evaluación educativa

413 Pages·2011·3.33 MB·Spanish

El ABC de la evaluación educativa.
Citation
Koretz, Daniel. 2010. El ABC de la evaluación educativa. Translated by Maria Elena Ortiz Salinas.
Mexico: Centro Nacional de Evaluación para la Educación Superior, A.C. (Ceneval). Originally
published as Measuring Up (Cambridge, MA: Harvard University Press, 2008).
Permanent link
http://nrs.harvard.edu/urn-3:HUL.InstRepos:33797646
Terms of Use
This article was downloaded from Harvard University’s DASH repository, and is made available
under the terms and conditions applicable to Other Posted Material, as set forth at http://
nrs.harvard.edu/urn-3:HUL.InstRepos:dash.current.terms-of-use#LAA
Share Your Story
The Harvard community has made this article openly available.
Please share how this access benefits you. Submit a story .
Accessibility

El ABC de la evaluación educativa
(Measuring Up)
Daniel Koretz
Centro Nacional de Evaluación para la Educación Superior, A.C.
MÉXICO 2 0 1 0
Título original:
Measuring Up
What Educational Testing Really Tells Us
Daniel Koretz
El ABC de la evaluación educativa
(Measuring Up)
Traducción:
María Elena Ortiz Salinas
Revisión técnica:
Rafael Vidal Uribe
Eduardo Andere Martínez
© 2008 by the Presidente and Fellows of Harvard College
D.R. © 2010, Centro Nacional de Evaluación
para la Educación Superior, A.C. (Ceneval)
Av. Camino al Desierto de los Leones 19,
Col. San Ángel, Deleg. Álvaro Obregón,
C.P. 01000, México, D.F.
www.ceneval.edu.mx
Diseño de portada:
Alvaro Edel Reynoso Castañeda
Diseño y formación de interiores:
Mónica Cortés Genis
Se prohíbe la reproducción total o parcial de esta
obra –incluido el diseño tipográfico y de portada–,
sea cual fuere el medio, electrónico o mecánico,
sin el consentimiento por escrito del editor.
Agosto de 2010
ISBN: 978-607-7704-01-0
Impreso en México Printed in Mexico
Contenido
Prólogo. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1. Si sólo fuera tan simple. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
2. ¿Qué es una prueba?. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
3. Lo que medimos: ¿qué tan buena es la muestra? . . . . . . . . 43
4. La evolución de la evaluación en Estados Unidos. . . . . . . 55
5. ¿Qué nos dicen las calificaciones de las
pruebas sobre los niños estadounidenses?. . . . . . . . . . . . . 89
6. ¿Qué influye en los resultados de las pruebas?
(o cómo no escoger una escuela) . . . . . . . . . . . . . . . . . . . 135
7. Error y confiabilidad:
¿qué tanto no sabemos
de lo que estamos hablando? . . . . . . . . . . . . . . . . . . . . . . 169
8. Informe sobre desempeño:
estándares y escalas. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 209
9. Validez . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 251
10. Resultados inflados de las pruebas. . . . . . . . . . . . . . . . . . 275
11. Impacto adverso y sesgo. . . . . . . . . . . . . . . . . . . . . . . . . . 303
12. Evaluación de estudiantes
con necesidades especiales . . . . . . . . . . . . . . . . . . . . . . . . 327
13. Usos razonables de las pruebas. . . . . . . . . . . . . . . . . . . . . 367
Notas. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 387
Reconocimientos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 397
Índice temático. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 399

Prólogo
En
casi todo Estados Unidos es difícil exagerar la importan-
cia de la evaluación educativa: ha sido enorme su impac-
to en la práctica educativa y es un factor relevante en las decisiones
de innumerables familias respecto a dónde vivir y si deben utilizar
las escuelas oficiales. Las pruebas tienen también una influencia
poderosa en el debate público acerca de temas sociales como la
competitividad económica, la inmigración y las desigualdades
raciales y étnicas. Además, debido a su sencillez y sentido común,
las pruebas de logro parecen ser dignas de confianza: se pide a los
estudiantes que realicen ciertas tareas, se ve cómo las realizan y de
este modo se juzga qué tan exitosos son ellos y sus escuelas.
Sin embargo, esta aparente simplicidad es engañosa. La eva-
luación del logro es una empresa muy compleja y, por ende, es
común que se malentienda y se abuse de los resultados de sus
pruebas; las consecuencias pueden ser graves precisamente por la
importancia que se confiere en nuestra sociedad a las calificacio-
nesobtenidas en las pruebas. Entonces, la intención de este libro
es ayudar a los lectores a entender las complejidades inherentes a
la evaluación, evitar los errores comunes, hacer una interpretación
razonable de las calificaciones y un uso productivo de las pruebas.
La evaluación se ha convertido en tema de acalorada controver-
sia y en los años recientes se ha publicado un gran número de polé-
micas, con argumentos en favor y en contra. No es el caso de este
libro, aunque en él se hace amplia referencia a las controversias
5
El ABCde la evaluación educativa
políticas relacionadas con la evaluación y no se rehúye la explica-
ción de las posturas que, en mi opinión, están mejor sustentadas
por la evidencia. Por ejemplo, la investigación muestra de manera
sistemática que la evaluación de alto impacto (la que hace que la
gente se responsabilice de mejorar las calificaciones) puede produ-
cir una enorme inflación de los resultados, y en un capítulo poste-
rior describo parte de esa evidencia. No obstante, mi propósito no
es hacer una apología de una u otra postura. Más bien, pretendo
aclarar las virtudes y las limitaciones de la evaluación del logro. Si
bien puede cometerse un abuso atroz cuando se usan los resulta-
dos sin considerar esas limitaciones, al emplearse con cuidado
arrojan información valiosa que no puede obtenerse de otras fuen-
tes. Para extraer lo bueno y evitar lo malo es necesario conocer
algo sobre las dificultades de la evaluación, de la misma manera
que se requiere de conocimiento y cautela cuando se consume un
medicamento potente y se quieren evitar efectos secundarios peli-
grosos. Hace más de una década, Don Stewart, en ese momento
presidente del Consejo de Universidades (una organización que
auspicia el SAT, uno de los exámenes más conocidos y de mayor
uso en Estados Unidos), lo planteó de forma clara: dijo que al usar
las pruebas es necesario encontrar un equilibrio entre el entusias-
mo y el respeto por la evidencia.
Algunas de las complejidades de la evaluación del logro parecen
enormes, incluso incomprensibles para la mayoría de los usuarios
de los resultados de las pruebas. Puede entenderse el desconcierto
del desventurado padre o del director de escuela que descarga el
informe técnico del programa de evaluación de su estado y lee, por
ejemplo, que los resultados se escalaron usando un modelo logísti-
co de tres parámetros de la teoría de respuesta al ítem.
La buena noticia es que si bien esos intimidantes detalles técni-
cos son de fundamental importancia para la elaboración de las
pruebas y la operación de los programas de evaluación, no son
6
Prólogo
necesarios para entender los principios de la evaluación y las con-
troversias a que ésta da lugar. En la Escuela de Posgrado en Edu-
cación de Harvard cada año se inscribe un gran número de
estudiantes de maestría que deben conocer lo básico de la evalua-
ción educativa; necesitan convertirse en consumidores informados
de los resultados y en usuarios cuidadosos de las pruebas, pero no
cuentan con la formación matemática, el tiempo o la necesidad de
la introducción matemática tradicional a la medición. Hace algu-
nos años preparé un curso justo para esos estudiantes, diseñado
para hacerles entender los principios de la medición y las contro-
versias actuales en ese campo, como la evaluación de alto impac-
to y la evaluación de estudiantes con discapacidades. El curso no
requiere formación previa en matemáticas y su contenido en ese
tema es mínimo. Ese curso dio lugar a este libro.
El libro evita las presentaciones matemáticas, incluso más que
el curso que lo propició. No incluye ecuaciones y las gráficas son
muy pocas. Sin embargo, no evade el uso de conceptos técnicos,
como confiabilidad y error de medición, porque es necesario
conocerlos para poder entender y hacer juicios fundamentados
acerca de algunos de los problemas que surgen en la evaluación.
Así, los lectores encontrarán algunas secciones didácticas disemi-
nadas en el libro, en ocasiones como capítulos separados y otras
veces no. He intentado organizar las cosas de modo que los lecto-
res puedan saltarse esas partes si quieren, pero lo hice a regaña-
dientes porque el material es importante y tengo la esperanza de
que todos se tomarán el tiempo de asimilarlo.
El lector encontrará también que es útil conocer algunos con-
vencionalismos que seguí al escribir este libro. Los académicos sal-
pican sus textos con citas para apoyar sus afirmaciones y dar a
otros colegas el crédito que merecen, pero las citas pueden resul-
tar una molesta distracción para los lectores profanos en la mate-
ria. No obstante, es necesario incluir algunas citas, por cuestión de
7