Étude pilote et Prétest
Une étude pilote a été organisée en octobre 2008 et avait pour objectifs principaux:
- d’obtenir des commentaires sur les types de tâches proposées et sur le concept du test ;
- de tester les processus innovants de SurveyLang et le travail en équipe interinstitutionnel concernant la production de tests et le type de tâches.
Par conséquent, l’étude pilote a mis l’accent sur les concepts plutôt que les items.
L’étude pilote
Pour atteindre les objectifs ci-dessus, une étude pilote a été menée à petite échelle, dans un certain nombre d’écoles de langue et d’institutions dans toute l’Europe. Au total, 34 tests (parmi les cinq langues) ont été produits et expérimentés : 13 tests de compréhension écrite, 9 tests de compréhension orale et 12 tests de production écrite.
Les tests ont été élaborés pour chacune des cinq langues à évaluer : allemand, anglais, espagnol, français et italien selon un même format conçu pour l’enquête. La durée des tests était de 30 minutes et l’étude pilote a également expérimenté l’utilisation de tests de placement.
Lors de cette étude pilote, les décideurs institutionnels (Coordinateurs nationaux et Commission européenne par exemple), de même que les professeurs des écoles impliquées, ont pu faire part de leurs commentaires sur les types de tâches proposés.
Le processus de conception des items
Les partenaires du groupe langue SurveyLang ont travaillé en collaboration étroite pour développer les items dans les 5 langues, non seulement en respectant les mêmes échéances, mais surtout les mêmes spécifications et niveaux de difficulté.
SurveyLang a développé de nouvelles méthodes de collaboration pour atteindre ces objectifs et l’étude pilote a offert une importante opportunité d’expérimenter le succès de ce processus.
Un élément important de ce processus a été la validation inter-langues. Dans ce processus de validation inter-langues, les tâches de chaque langue ont été examinées par deux ou trois autres partenaires linguistiques, après avoir été validées par l’institution responsable. Des concepteurs d’items multilingues et expérimentés ont examiné et validé les tâches des autres langues pour assurer que les tâches, items et options fonctionnent correctement et soient d’un niveau de difficulté comparable aux tâches des autres langues. Le processus de validation inter-langues a provoqué de nombreuses discussions utiles au sein de l’équipe de développement des tests de langues et a servi à encourager le partage de bonnes pratiques. La validation inter-langues a également été très appréciée par les décideurs institutionnels.
Les résultats de l’étude pilote
Les analyses des résultats de l’étude pilote ont permis de finaliser les spécifications du test et les différents types de tâches. Ceux-ci ont été, par la suite, validés par la Commission, les pays participants et les décideurs institutionnels importants, avant que le travail de conception des items ne commence, en janvier 2009, pour le prétest.
L’un des objectifs de cette étude pilote était de voir si la méthodologie utilisée pour la rédaction des items était viable, mais cette étude pilote a également permis de tirer d’autres conclusions concernant notamment:
- l’adaptation des tâches d’une langue à l’autre permet d’assurer la comparabilité ;
- les types de tâches proposés sont adéquats pour la population visée ;
- l’éventail et les types de sujets, textes, illustrations proposés sont appropriés pour la population visée ;
- le niveau de difficulté des différentes tâches utilisées dans l’étude pilote semble être approprié pour les élèves. Ceci permet de penser que le niveau de difficulté de toutes les nouvelles tâches créées, une fois prétestées puis utilisées dans l’étude de terrain, sera également approprié.
Prétest
Le prétest a permis d’analyser de manière systématique le niveau et la qualité des tâches et items.
Suite à la validation des spécifications du test et des types de tâches, un long processus de conception, de révision, de validation inter-langues s’est engagé. Au total, 145 prétests (pour les 5 langues) ont été construits pour évaluer la compréhension écrite, la compréhension orale et la production écrite. En octobre 2009, les écoles de certains pays qui participent à l’Étude européenne sur l'indicateur de compétence en langues de même que d’autres institutions éducatives sélectionnées, ont fait passer le prétest. Les réponses recueillies lors du prétest ont fait l’objet d’une analyse approfondie tant sur le plan du niveau que celui de la qualité des tâches et des items. Ensuite, les tâches ont été de nouveau révisées et celles qui ont le mieux fonctionné ont été sélectionnées pour l’expérimentation sur le terrain.