Studio Pilota sul Testing Linguistico e Pretesting
Gli Studi Pilota e il pretesting sono fasi importanti nel processo di elaborazione di un test linguistico. Ognuna di queste fasi ha contribuito alla preparazione della Sperimentazione sul Campo del febbraio/marzo 2010.
Uno Studio Pilota è stato condotto ad ottobre 2008 con gli obiettivi principali di:
- ottenere un feedback su quanto proposto in termini di tipologie di test linguistici e struttura dei test.
- testare i processi innovativi e compartecipativi di SurveyLang per la stesura e la produzione dei test.
Lo Studio Pilota ha pertanto posto maggior enfasi sulla sperimentazione dei concetti di base piuttosto che dei soli item dei test.
Lo Studio Pilota
Per il raggiungimento degli obiettivi sopra menzionati, è stato condotto uno Studio Pilota su piccola scala, coinvolgendo alcune scuole di lingue e istituzioni in Europa. Per ognuna delle cinque lingue sono stati realizzati e sperimentati 34 test in totale: 13 test di comprensione della lettura, 9 di comprensione dell’ascolto e 12 di produzione scritta.
I test erano relativi ad ognuna delle cinque lingue oggetto di verifica: inglese, francese, tedesco, italiano e spagnolo; e rispettavano il format di 30 minuti proposto per l’Indagine. Lo Studio Pilota è servito inoltre per sperimentare il test di piazzamento.
Nel corso di questa sperimentazione si è provveduto ad una raccolta di feedback sulle tipologie di testing utilizzate, effettuata presso i vari soggetti interessati, quali i Coordinatori Nazionali della Ricerca, la Commissione Europea, gli insegnanti delle scuole coinvolte nello studio pilota.
I processi di stesura degli item
II gruppo del testing linguistico di SurveyLang ha lavorato in stretta collaborazione per elaborare item nelle 5 lingue, rispettando non solo le stesse scadenze, ma, cosa molto importante, anche le stesse specificazioni e livelli di difficoltà.
Allo scopo di far fronte a queste necessità, SurveyLang ha sviluppato nuovi processi di lavoro d’equipe e lo Studio Pilota ha rappresentato un’opportunità importante per sperimentare il buon esito di questi processi.
Un importante elemento caratterizzante questo processo è stata la verifica cross-linguistica. Nella verifica cross-linguistica, i compiti relativi ad ogni lingua, oltre ad essere sottoposti ad un processo di verifica da parte del gruppo che li ha realizzati, sono stati verificati da almeno altri due partner di lingue diverse. Item-writer esperti e poliglotti hanno verificato compiti di altre lingue per garantire il corretto funzionamento di item ed opzioni, nonché la loro comparabilità in termini di difficoltà con i compiti delle altre lingue. La verifica cross-linguistica ha dato vita ad un dibattito costruttivo all’interno del gruppo preposto alla realizzazione dei test ed è stata di vitale importanza nel promuovere la condivisione di “buone prassi” . La verifica cross-linguistica ha inoltre ricevuto molti feedback positivi da parte dei vari soggetti interessati.
I risultati dello Studio Pilota
L’analisi dei dati relativi allo Studio Pilota ha contribuito a determinare le specificazioni e le tipologie dei test. Le stesse sono state quindi stabilite in accordo con la Commissione, i Paesi partecipanti e altri importanti soggetti interessati, prima di dare inizio, nel gennaio 2009, al lavoro di stesura degli item in preparazione del pretesting.
Aver potuto confermare l’applicabilità del processo di stesura degli item sviluppato per il progetto ha rappresentato un aspetto importante dello Studio Pilota; ma lo Studio Pilota ha fatto emergere anche altri importanti risultati, quali:
- adattare i compiti trasversalmente alle diverse lingue è un modo pratico per assicurare comparabilità
- le tipologie di compiti proposte sono adeguate alla popolazione target degli studenti
- la selezione e i tipi di argomenti, testi, immagini, etc. proposti sono appropriati per la popolazione target
- il livello di difficoltà dei vari compiti utilizzati durante la sperimentazione del test sembra essere appropriato per gli studenti. Ci sono validi motivi per ritenere che il livello di difficoltà di tutti i nuovi compiti realizzati, una volta pretestati e sperimentati sul campo, risulterà altrettanto appropriato.
Pretesting
Il pretesting si concentra sull’analisi dettagliata del livello e della qualità di compiti e item presenti nei test.
Una volta stabilite le specificazioni e le tipologie dei test, è stato avviato un lungo processo di stesura, produzione e verifica cross-linguistica degli item. Per le cinque lingue sono stati realizzati 145 pretest in totale, relativi a lettura, ascolto e scrittura. Le scuole dei Paesi che partecipano all’Indagine e gli altri enti selezionati, operanti nel campo educativo, hanno somministrato i pretest ad ottobre 2009. A completamento, è stata dapprima condotta un’ampia analisi relativa al livello e alla qualità dei compiti e degli item dei test, per poi procedere ad un’ulteriore revisione dei compiti allo scopo di selezionare i migliori e utilizzarli per la Sperimentazione sul Campo e per l'Indagine principale.