Estudio Piloto y Experimentación de la Evaluación Lingüística
El pilotaje y la experimentación son etapas importantes en el proceso de desarrollo de un Test Lingüístico. Cada una de estas etapas contribuyó a preparar la Prueba de Campo que tuvo lugar en febrero/marzo de 2010. En octubre del 2008 se llevó a cabo un Estudio Piloto cuyo objetivo principal era:
- Obtener información sobre el modelo de test y el tipo de tareas para el diseño del Test Lingüístico.
- Evaluar el innovador y cooperativo proceso de producción del test y de creación de items de Surveylang.
El Estudio Piloto dio más importancia a la evaluación de los conceptos que a los items del test en sí mismos.
El Estudio Piloto
Para lograr los anteriores objetivos, se llevó a cabo un Estudio Piloto a pequeña escala con varias instituciones y escuelas de lenguas de toda Europa. Se crearon y experimentarion un total de 34 tests en las cinco lenguas del proyecto: 13 tests de Comprensión Escrita, 9 de Comprensión Auditiva y 12 de Expresión Escrita.
Los tests abarcaban cada una de las cinco lenguas evaluadas: inglés, francés, alemán, italiano y español, y se ajustaban al formato propuesto para la encuesta, de 30 minutos de duración. En el Estudio Piloto se experimentaba además el uso de la prueba de nivel.
Junto con esta evaluación se llevó a cabo de forma paralela la recopilación de feedback cualitativo sobre los tipos de tareas procedente de los organismos y personas implicados en el proyecto, tales como los Coordinadores de Investigación Nacional o la Comisión Europea, y también de los profesores que participaban en el Estudio Piloto.
El proceso de creación de items
El grupo de evaluación lingüística de Surveylang ha trabajado en estrecha colaboración para desarrollar items de examen en las cinco lenguas siguiendo los mismos plazos de ejecución y, lo que es más importante, las mismas especificaciones y el mismo nivel de dificultad.
Surveylang ha desarrollado nuevos procesos de colaboración para satisfacer estas demandas, y el Estudio Piloto ha proporcionado una magnífica oportunidad para comprobar el éxito de estos procesos.
Un elemento destacado en este proceso fue la revisión interlingüística. En este proceso de revisión interlingüística las tareas de cada lengua fueron revisadas por los socios de al menos otras dos lenguas, además de la revisión que cada socio hizo en su propia lengua. Creadores de items experimentados y multilingües revisaron las tareas de las otras lenguas para poder así asegurar que las tareas, los items y las opciones funcionaban correctamente y tenían un nivel de dificultad comparable al de las tareas en las otras lenguas. La revisión interlingüística suscitó un gran debate entre el equipo de desarrollo del test lingüístico, y sirvió de gran ayuda para promover el intercambio de “buenas prácticas” dentro del equipo. La revisión interlingüística recibió también una gran cantidad de feedback positivo de los diversos organismos implicados.
Resultados del Estudio Piloto
El análisis de los datos del estudio contribuyó a completar las especificaciones del examen y los tipos de tareas. A continuación, estos fueron aprobados por la Comisión, los países participantes y otros organismos importantes implicados, todo ello antes del inicio del trabajo de creación de items en enero de 2009 para la preparación de la Experimentación.
Un aspecto importante del pilotaje era conseguir confirmar en la práctica la viabilidad de los sistemas de creación de items y de autoría del examen desarrollados para el proyecto pero, además, este pilotaje llevó también a otros hallazgos importantes, como por ejemplo a descubrir que:
- La adaptación de las tareas entre las lenguas es un medio muy práctico para asegurar la comparabilidad.
- Los tipos de tareas propuestas funcionan para el grupo de estudiantes meta.
- Los tipos y la variedad de temas, textos, gráficos, etc propuestos son apropiados para los estudiantes meta.
- El nivel de dificultad de las diferentes tareas utilizadas en el Estudio Piloto resulta apropiado para los estudiantes. Existe un gran margen de confianza para pensar que el nivel de dificultad de todas las nuevas tareas que se creen será también apropiado una vez que sean experimentadas y realizada la Prueba de Campo.
Experimentación
La Experimentación se centra en el análisis extensivo del nivel y la calidad de las tareas y los items del examen.
Tras la aprobación de los tipos de tareas y las especificaciones del examen, se inició un largo proceso de creación de items, revisión y corrección interlingüística. Se ha construido un total de 145 tests de experimentación en las cinco lenguas para evaluar la Comprensión de Lectura, la Comprensión Auditiva y la Expresión Escrita. En octubre de 2009 se pasaron estos tests en varias escuelas de los países participantes en la Encuesta, además de en otras instituciones educativas seleccionadas. Una vez completado este proceso, se llevó a cabo un análisis extensivo del nivel y la calidad de los items y las tareas de examen. Posteriormente se procedió a la revisión de las tareas, con las mejores tareas seleccionadas para la Prueba de Campo y el Estudio Principal.