Efectos del corrector en las evaluaciones educativas de alto impacto

espanolAntecedentes: Los items de ejecucion que son calificados por diferentes jueces mediante rubricas es uno de los mayores desafios en la evaluacion educativa a gran escala y de alto impacto. Es conocido que los efectos del corrector afectan a los resultados de la evaluacion. En este contexto, el presente estudio analiza la fiabilidad entre-correctores en la evaluacion de la expresion escrita. Metodo: un grupo de 13 correctores calificaron 375 escritos de estudiantes de 6o curso, siguiendo una rubrica analitica compuesta de 8 criterios de correccion. Los correctores se asignaron a 13 tribunales siguiendo un diseno de bloques incompletos balanceado. Los analisis realizados buscaron, en primer lugar, confirmar la estructura unidimensional de la rubrica. A continuacion se emplearon diferentes metodos clasicos para estudiar los efectos del corrector, la consistencia intra-juez y el acuerdo entre jueces. Resultados: se encontraron efectos diferenciales entre los correctores. Estas diferencias son importantes cuando se compara el grado de severidad de los jueces. Tambien se encuentran diferencias en la consistencia interna de cada juez y en el acuerdo entre correctores. Este ultimo efecto es especialmente significativo en algunos tribunales. Conclusiones: las diferencias entre correctores pueden tener diferentes fuentes, como son la experiencia, familiaridad con la tarea y grado de entrenamiento con las rubricas; la naturaleza de la tarea a evaluar o el propio diseno de la rubrica empleada. EnglishAntecedents: the constructed response test items that are qualified by different correctors with rubrics are one of the biggest challenges for Rater effects in high-impact educational assessments and are applied to large sample groups. It is known that rater bias affects the results of the evaluation. In this context, the present study analyzes the raters’ effects of the corrector on written expression. Method: a group of 13 raters rated 375 written productions of 6th-grade students, following an analytical rubric composed of 8 correction criteria. The raters were assigned to 13 groups of correction following a balanced incomplete block design. The first step of the analysis carried out was to confirm the one-dimensional structure of the rubric. The next and final step used different classical methods to study the raters’ effects, the intra-rater consistency and the agreement between judges. Results: differential effects were found among the raters. These differences are important when the raters’ severity is compared. There are also differences in the internal consistency of each judge and in the agreement between correctors. This last effect is especially significant in some raters’ groups. Discussion: differences between raters may have different sources, such as experience and familiarity with the task; the degree of training with the rubrics; the nature of the test; and the design of the rubric used