Pedagogia sperimentale: appunti per l’esame

Una maestra prova un nuovo modo di insegnare le frazioni e, alla fine dell’anno, i suoi alunni vanno meglio di quelli della classe accanto. Il metodo funziona? Forse. O forse la sua classe era già più brava, o lei era più entusiasta, o i bambini si sono impegnati di più perché sapevano di essere osservati. La pedagogia sperimentale è la disciplina che ti insegna a distinguere tra queste spiegazioni: a porre domande sull’educazione in modo che si possa rispondere con dati, e a leggere con spirito critico le ricerche che affermano che “un metodo funziona”.

L’esame si sostiene in Scienze dell’educazione e della formazione, in Formazione primaria e nei percorsi per diventare insegnante. Il programma unisce storia della disciplina, metodologia della ricerca (quantitativa e qualitativa), strumenti di rilevazione, elementi di statistica e una parte sulla valutazione scolastica (la docimologia) e sulle indagini nazionali e internazionali. All’esame ti chiedono di saper definire i concetti e, spesso, di progettare una piccola ricerca o di analizzarne una.

Come usare questi appunti

Comincio dalla storia, breve, per capire da dove nasce l’idea di studiare l’educazione con metodo sperimentale. Poi passo al cuore del programma: il percorso di una ricerca, le variabili, i disegni, la validità, il campionamento. Poi gli strumenti e la statistica di base. Chiudo con la valutazione degli apprendimenti, le indagini come PISA e INVALSI, la ricerca qualitativa e la ricerca-azione, e l’etica della ricerca con i minori.

Il consiglio pratico: per ogni concetto inventa un esempio di ricerca in una classe reale. “Variabile indipendente: il metodo di lettura. Variabile dipendente: il punteggio in una prova di comprensione.” Se sai fare questo per ogni voce, all’esame non ti blocchi.

Che cos’è la pedagogia sperimentale

Una definizione

La pedagogia sperimentale è la disciplina che studia i fenomeni educativi con il metodo della ricerca empirica: formula ipotesi, raccoglie dati in modo controllato, li analizza e ne trae conclusioni verificabili. Il termine “sperimentale” va inteso in senso largo. Comprende l’esperimento vero e proprio, ma anche le indagini, l’osservazione sistematica, le ricerche qualitative: tutto ciò che si basa su dati raccolti con regole esplicite e controllabili.

Le origini

La disciplina nasce tra la fine dell’Ottocento e l’inizio del Novecento, quando la psicologia sperimentale fondata da Wilhelm Wundt a Lipsia nel 1879 comincia a influenzare lo studio dell’educazione. In Germania Ernst Meumann e Wilhelm August Lay propongono una “pedagogia sperimentale”, e Lay pubblica un libro con questo titolo nei primi anni del Novecento. In Francia Alfred Binet, con Théodore Simon, costruisce nel 1905 la prima scala per misurare l’intelligenza dei bambini, nata per individuare gli alunni che avevano bisogno di un sostegno scolastico. A Ginevra Édouard Claparède fonda nel 1912 l’Istituto Jean-Jacques Rousseau, centro di scienze dell’educazione.

In Italia una figura chiave è Maria Montessori, medico, che nel 1909 pubblica Il metodo della pedagogia scientifica applicato all’educazione infantile nelle Case dei bambini: un metodo nato dall’osservazione sistematica dei bambini. Nel secondo dopoguerra la disciplina si sviluppa con studiosi come Aldo Visalberghi, autore nel 1955 di Misurazione e valutazione nel processo educativo, e con la diffusione dei test e delle prove oggettive nella scuola.

Le due anime

La pedagogia sperimentale ha due anime che convivono. Una è quantitativa, legata alla misurazione, alla statistica, all’esperimento con gruppo di controllo. L’altra è qualitativa, legata all’osservazione, all’intervista, allo studio di casi, alla comprensione dei significati che le persone danno all’esperienza educativa. Oggi si tende a integrarle in disegni misti, scegliendo il metodo in base alla domanda.

Cosa ti chiedono all’orale (definizione e storia)

Che cos’è la pedagogia sperimentale? È la disciplina che studia i fenomeni educativi con metodi empirici: formulazione di ipotesi, raccolta controllata di dati, analisi e conclusioni verificabili. Comprende l’esperimento in senso stretto, ma anche indagini, osservazioni sistematiche e ricerche qualitative. Si distingue dalla pedagogia generale perché fonda le sue affermazioni su dati raccolti con procedure esplicite.

Quali sono le origini della disciplina? Nasce tra fine Ottocento e inizio Novecento, sotto l’influenza della psicologia sperimentale di Wundt. In Germania Meumann e Lay parlano di pedagogia sperimentale; in Francia Binet e Simon costruiscono nel 1905 la prima scala di intelligenza; a Ginevra Claparède fonda l’Istituto Rousseau. In Italia Maria Montessori pubblica nel 1909 Il metodo della pedagogia scientifica, basato sull’osservazione dei bambini.

Il percorso di una ricerca

Le fasi

Una ricerca empirica segue un percorso che i manuali descrivono in modo simile. Impara le fasi in ordine, perché all’esame ti chiedono spesso di progettare una ricerca seguendole.

• Il problema: una domanda precisa su un fenomeno educativo. Non “come migliorare la scuola”, ma “la lettura ad alta voce quotidiana migliora la comprensione del testo nei bambini di terza elementare?”.
• La rassegna della letteratura: che cosa sappiamo già? Quali ricerche sono state fatte, con quali risultati?
• L’ipotesi: una risposta provvisoria e verificabile. “I bambini che ascoltano letture ad alta voce ogni giorno per tre mesi ottengono punteggi più alti in una prova di comprensione rispetto a chi non le ascolta.”
• Il disegno della ricerca: come raccogliere i dati per verificare l’ipotesi (esperimento, indagine, osservazione).
• Il campione: su chi si fa la ricerca.
• Gli strumenti: prove, questionari, griglie di osservazione.
• La raccolta dei dati.
• L’analisi dei dati, con strumenti statistici o qualitativi.
• L’interpretazione e la comunicazione dei risultati.

Le variabili

Il concetto centrale della ricerca quantitativa è la variabile: una caratteristica che può assumere valori diversi. Distingui:

• la variabile indipendente, quella che il ricercatore manipola o considera come causa (il metodo didattico);
• la variabile dipendente, quella che misura l’effetto (il punteggio nella prova);
• le variabili intervenienti o di disturbo, che possono influire sul risultato senza essere oggetto della ricerca (il livello di partenza, l’ambiente familiare, l’insegnante).

Operazionalizzare

Per misurare una variabile bisogna operazionalizzarla, cioè definire con precisione le operazioni con cui la si rileva. “Comprensione del testo” è un concetto; “punteggio ottenuto in una prova di dieci domande a scelta multipla su un brano di 300 parole” è una definizione operativa. Gran parte delle discussioni sulle ricerche educative riguarda proprio questo passaggio: misuriamo davvero quello che diciamo di misurare?

Cosa ti chiedono all’orale (percorso)

Che differenza c’è tra variabile indipendente e dipendente? La variabile indipendente è quella che il ricercatore manipola o considera come possibile causa, per esempio il metodo di insegnamento. La variabile dipendente è quella su cui si misura l’effetto, per esempio il punteggio in una prova. Le variabili intervenienti sono altri fattori che possono influire sul risultato e che il disegno della ricerca deve controllare.

Che cosa significa operazionalizzare una variabile? Significa tradurre un concetto astratto in una procedura precisa di rilevazione. La “motivazione allo studio” diventa, per esempio, il punteggio in una scala di venti affermazioni con risposte da 1 a 5. È un passaggio decisivo, perché dalla definizione operativa dipende la validità della misura.

I disegni di ricerca

Esperimento, quasi-esperimento, indagine

Il manuale classico sui disegni di ricerca in educazione è Experimental and Quasi-Experimental Designs for Research di Donald T. Campbell e Julian C. Stanley (1963). La loro classificazione è ancora la base di quella che studierai.

• I disegni pre-sperimentali non hanno un vero gruppo di controllo: per esempio, si misura un gruppo prima e dopo un intervento. Il miglioramento può dipendere da mille altre cause.
• I disegni sperimentali veri hanno un gruppo sperimentale, che riceve l’intervento, e un gruppo di controllo, che non lo riceve, e i soggetti sono assegnati ai gruppi in modo casuale (randomizzazione). La casualità rende i gruppi equivalenti in media su tutte le variabili, anche quelle che non conosciamo.
• I disegni quasi-sperimentali hanno un gruppo di controllo ma senza assegnazione casuale: per esempio due classi già formate. Sono i più comuni nella scuola, dove non si possono rimescolare gli alunni. Il ricercatore deve controllare le differenze iniziali, di solito con un pre-test.

Accanto a questi ci sono le ricerche non sperimentali: indagini descrittive, studi correlazionali, che cercano relazioni tra variabili senza manipolarle. Una correlazione tra numero di libri in casa e risultati scolastici non dice che i libri causano i risultati: entrambi possono dipendere dal livello culturale della famiglia.

Il disegno pre-test post-test con gruppo di controllo

Il disegno che devi saper descrivere a memoria è questo:

• gruppo sperimentale: pre-test, intervento, post-test;
• gruppo di controllo: pre-test, nessun intervento (o intervento tradizionale), post-test.

Si confronta il miglioramento dei due gruppi. Se i soggetti sono assegnati casualmente, è un disegno sperimentale; se i gruppi sono classi già esistenti, è quasi-sperimentale.

Cosa ti chiedono all’orale (disegni)

Che differenza c’è tra disegno sperimentale e quasi-sperimentale? Entrambi confrontano un gruppo che riceve un intervento con un gruppo di controllo. Nel disegno sperimentale i soggetti sono assegnati ai gruppi in modo casuale, il che rende i gruppi equivalenti in media; nel quasi-sperimentale si usano gruppi già formati, come le classi, e quindi bisogna controllare le differenze iniziali con un pre-test o con tecniche statistiche.

Perché una correlazione non dimostra un rapporto causale? Perché due variabili possono essere associate senza che una causi l’altra: possono dipendere entrambe da una terza variabile, o il rapporto può essere inverso. Il numero di libri in casa e i risultati scolastici sono correlati, ma entrambi dipendono anche dal livello culturale ed economico della famiglia. Per stabilire una causa serve un disegno sperimentale.

La validità

Validità interna

Una ricerca ha validità interna quando possiamo essere ragionevolmente sicuri che l’effetto osservato dipenda davvero dalla variabile indipendente. Campbell e Stanley elencano le principali minacce alla validità interna. Impara le più importanti, con un esempio scolastico per ciascuna.

• Storia: eventi esterni che accadono durante la ricerca (una gita, un nuovo insegnante).
• Maturazione: i bambini crescono e migliorano comunque, anche senza intervento.
• Effetto del test: rifare una prova simile migliora i risultati per familiarità.
• Strumentazione: cambiare prova o correttore tra pre-test e post-test.
• Regressione statistica: chi ha ottenuto punteggi estremi in una prova tende a ottenerne di meno estremi nella successiva, per effetto del caso.
• Selezione: i gruppi erano diversi fin dall’inizio.
• Mortalità sperimentale: alcuni soggetti abbandonano la ricerca, e non a caso.

Validità esterna

La validità esterna riguarda la generalizzabilità: i risultati valgono anche per altri soggetti, altri contesti, altri momenti? Una ricerca condotta in due classi di una scuola privata del centro di una grande città può non dire nulla su una scuola di periferia. Spesso tra validità interna ed esterna c’è una tensione: più controlli la situazione, più diventa artificiale.

Effetti da conoscere

• L’effetto Hawthorne: le persone modificano il loro comportamento perché sanno di essere osservate o di partecipare a una ricerca. Prende il nome dagli studi condotti tra gli anni Venti e Trenta nello stabilimento Hawthorne della Western Electric, vicino a Chicago, anche se l’interpretazione originale di quegli studi è stata in seguito discussa.
• L’effetto Pigmalione: le aspettative dell’insegnante influenzano i risultati degli alunni. Robert Rosenthal e Lenore Jacobson, in Pygmalion in the Classroom (1968), riferirono che alunni indicati casualmente agli insegnanti come “in procinto di fiorire” avevano mostrato miglioramenti maggiori. La ricerca ha avuto enorme influenza ed è stata anche molto criticata sul piano metodologico; studi successivi confermano l’esistenza dell’effetto ma con dimensioni in genere modeste.
• L’effetto novità: un metodo nuovo funziona all’inizio perché è nuovo, non perché è migliore.

Cosa ti chiedono all’orale (validità)

Quali sono le principali minacce alla validità interna? Secondo Campbell e Stanley: la storia, cioè eventi esterni durante la ricerca; la maturazione dei soggetti; l’effetto del test ripetuto; i cambiamenti negli strumenti; la regressione statistica dei punteggi estremi; la selezione di gruppi non equivalenti; la mortalità, cioè l’abbandono di alcuni soggetti. Il disegno sperimentale con gruppo di controllo e randomizzazione serve a ridurle.

Che cos’è l’effetto Pigmalione? È l’influenza delle aspettative dell’insegnante sui risultati degli alunni. Rosenthal e Jacobson, nel 1968, riferirono che alunni segnalati a caso come promettenti avevano migliorato di più. Lo studio è stato criticato sul piano metodologico, ma ricerche successive confermano che le aspettative hanno un effetto, anche se in genere di dimensioni contenute.

Il campionamento

Popolazione e campione

La popolazione è l’insieme di tutti i soggetti su cui vogliamo trarre conclusioni: per esempio, tutti gli alunni di quinta elementare di una regione. Il campione è il sottoinsieme che studiamo davvero. Il campione deve essere rappresentativo, cioè riprodurre le caratteristiche della popolazione, perché i risultati siano generalizzabili.

I tipi di campionamento

• Casuale semplice: ogni soggetto ha la stessa probabilità di essere estratto.
• Stratificato: la popolazione viene divisa in strati (per esempio per area geografica o tipo di scuola) e si estrae un campione casuale da ciascuno, in proporzione.
• A grappoli: si estraggono unità intere, come scuole o classi, invece dei singoli alunni. È il metodo usato in molte indagini scolastiche, perché è più pratico.
• Di convenienza: si studiano i soggetti disponibili, per esempio le classi del proprio tirocinio. È il più comune nelle ricerche piccole, ma non permette di generalizzare.

La numerosità

Più il campione è grande, più le stime sono precise. Ma la rappresentatività conta più della grandezza: un campione enorme ma distorto, per esempio composto solo da volontari, dà risultati peggiori di un campione piccolo ma ben costruito.

Cosa ti chiedono all’orale (campionamento)

Che cos’è un campionamento stratificato? È una tecnica in cui la popolazione viene divisa in sottogruppi omogenei, gli strati, secondo caratteristiche rilevanti come area geografica, tipo di scuola o genere, e da ciascuno si estrae un campione casuale, di solito proporzionale alla sua consistenza. Garantisce che tutti i sottogruppi siano rappresentati in modo corretto.

Perché un campione di convenienza non permette di generalizzare? Perché i soggetti non sono scelti con un criterio probabilistico ma per la loro disponibilità, e possono differire in modo sistematico dalla popolazione. Le classi di una sola scuola o i volontari possono avere caratteristiche particolari. I risultati valgono per quel gruppo, ma non si possono estendere con sicurezza ad altri.

Gli strumenti di rilevazione

Questionari e scale

Il questionario è uno strumento per raccogliere informazioni, opinioni, atteggiamenti. Le domande possono essere chiuse, con risposte predefinite, o aperte. Per misurare atteggiamenti si usano spesso le scale Likert, dal nome dello psicologo Rensis Likert, che le propose nel 1932: una serie di affermazioni su cui il soggetto esprime il grado di accordo, di solito su cinque livelli, da “per niente d’accordo” a “del tutto d’accordo”.

Costruire un buon questionario è difficile. Le domande devono essere chiare, non ambigue, non tendenziose, una sola idea per domanda. Va sempre provato prima su un piccolo gruppo (studio pilota).

Le prove oggettive di profitto

Per misurare gli apprendimenti si usano le prove strutturate o oggettive, in cui la correzione non dipende dal giudizio del correttore. I tipi principali sono:

• vero/falso;
• scelta multipla, con una risposta corretta e alcuni distrattori;
• completamento;
• corrispondenze, cioè collegare elementi di due liste.

Accanto a queste ci sono le prove semistrutturate, come le domande a risposta breve con criteri di correzione precisi, e le prove aperte, come il tema o l’interrogazione.

Validità e attendibilità di uno strumento

Ogni strumento deve essere:

• valido, cioè misurare ciò che dichiara di misurare. Si distinguono la validità di contenuto (le domande coprono l’argomento?), di criterio (i risultati concordano con un’altra misura affidabile?), di costrutto (lo strumento misura davvero il concetto teorico?);
• attendibile (affidabile), cioè dare risultati coerenti. Si controlla con il metodo test-retest (ripetere la prova a distanza di tempo), con il metodo delle due metà (split-half) o con il coefficiente alfa di Cronbach, proposto da Lee Cronbach nel 1951, che misura la coerenza interna degli item.

L’osservazione

L’osservazione sistematica usa griglie e schede con categorie definite in anticipo, per registrare comportamenti in classe: interventi, domande, tempi di attenzione. Per ridurre la soggettività si usano più osservatori e si calcola il loro accordo.

Cosa ti chiedono all’orale (strumenti)

Che differenza c’è tra validità e attendibilità di uno strumento? La validità riguarda la corrispondenza tra ciò che lo strumento misura e ciò che dovrebbe misurare. L’attendibilità riguarda la coerenza e la stabilità dei risultati: uno strumento attendibile dà risultati simili se ripetuto in condizioni simili. Uno strumento può essere attendibile ma non valido; non può essere valido senza essere attendibile.

Che cos’è una scala Likert? È uno strumento per misurare atteggiamenti, proposto da Rensis Likert nel 1932. È formato da una serie di affermazioni su cui il soggetto indica il proprio grado di accordo, di solito su cinque livelli. Il punteggio complessivo deriva dalla somma delle risposte, dopo aver invertito quelle formulate in senso negativo.

Statistica di base

Statistica descrittiva

La statistica descrittiva riassume i dati. Le misure di tendenza centrale sono:

• la media, cioè la somma dei valori divisa per il loro numero;
• la mediana, il valore centrale quando i dati sono ordinati;
• la moda, il valore più frequente.

Le misure di dispersione dicono quanto i dati si allontanano dal centro: il campo di variazione (differenza tra massimo e minimo), la varianza e la deviazione standard, che è la radice quadrata della varianza ed è la misura più usata. Due classi possono avere la stessa media ma una dispersione molto diversa: in una tutti hanno risultati simili, nell’altra ci sono alunni bravissimi e alunni in grande difficoltà.

La distribuzione normale

Molte variabili si distribuiscono secondo una curva a campana, la distribuzione normale. Circa il 68% dei valori cade entro una deviazione standard dalla media, circa il 95% entro due. Su questa proprietà si basano i punteggi standardizzati, come i punti z, che esprimono la posizione di un individuo rispetto al gruppo.

Statistica inferenziale

La statistica inferenziale serve a trarre conclusioni sulla popolazione a partire dal campione. Il ragionamento parte dall’ipotesi nulla: non c’è differenza tra i gruppi. Si calcola la probabilità di ottenere i dati osservati, o dati più estremi, se l’ipotesi nulla fosse vera. Se questa probabilità (il valore p) è molto bassa, per convenzione sotto il 5%, si rifiuta l’ipotesi nulla e si parla di risultato statisticamente significativo.

I test più comuni sono:

• il test t di Student, per confrontare le medie di due gruppi;
• il chi quadrato, per variabili categoriali (per esempio, la relazione tra genere e scelta dell’indirizzo scolastico);
• la correlazione di Pearson, per misurare la relazione lineare tra due variabili, con valori tra -1 e +1.

Significatività e dimensione dell’effetto

Attenzione a un errore comune. “Statisticamente significativo” non vuol dire “importante”. Con campioni molto grandi anche una differenza minuscola risulta significativa. Per questo si calcola anche la dimensione dell’effetto (effect size), per esempio con la d di Cohen, che esprime la differenza tra le medie in unità di deviazione standard. È questa misura che ti dice se un intervento fa una differenza pratica.

Cosa ti chiedono all’orale (statistica)

Che differenza c’è tra media, mediana e moda? La media è la somma dei valori divisa per il loro numero; la mediana è il valore che divide a metà i dati ordinati; la moda è il valore più frequente. La media è sensibile ai valori estremi, la mediana no: se in una classe un alunno ha un punteggio bassissimo, la media scende, la mediana cambia poco.

Che cosa significa che un risultato è statisticamente significativo? Significa che, se non ci fosse alcuna differenza reale tra i gruppi, sarebbe molto improbabile osservare una differenza grande come quella trovata: per convenzione, una probabilità inferiore al 5%. Non significa che l’effetto sia grande o importante. Per valutarlo serve la dimensione dell’effetto, come la d di Cohen.

La docimologia: valutare gli apprendimenti

Il problema del voto

La docimologia è la scienza della valutazione degli esami e degli apprendimenti. Il termine fu proposto negli anni Venti del Novecento dallo psicologo francese Henri Piéron. Le prime ricerche docimologiche mostrarono un fatto clamoroso: lo stesso compito, corretto da insegnanti diversi, riceveva voti molto diversi, e anche lo stesso insegnante, a distanza di tempo, dava voti diversi allo stesso elaborato.

Gli errori di valutazione

I manuali elencano alcuni effetti che distorcono il giudizio dell’insegnante. Impara i principali.

• L’effetto alone: una caratteristica dell’alunno (la calligrafia, il comportamento, la simpatia) influenza la valutazione della prestazione.
• L’effetto di contrasto: un compito corretto dopo uno molto buono sembra peggiore, e viceversa.
• L’effetto di stereotipia: l’insegnante conferma un giudizio già formato sull’alunno.
• L’effetto di ordine o di stanchezza: i compiti corretti per ultimi ricevono valutazioni diverse.
• Gli effetti delle aspettative, di cui l’effetto Pigmalione è un esempio.

Per ridurre questi effetti si usano criteri e griglie di correzione esplicite, prove strutturate, la correzione anonima quando possibile, la correzione da parte di più docenti.

Valutazione formativa e sommativa

Michael Scriven, nel 1967, ha distinto tra valutazione formativa, che accompagna il processo di apprendimento e serve a migliorarlo, e valutazione sommativa, che misura il risultato finale. Alla prima si aggiunge spesso la valutazione diagnostica iniziale, che individua i prerequisiti.

Benjamin Bloom, oltre a coordinare la nota tassonomia degli obiettivi educativi (1956), che ordina gli obiettivi cognitivi dalla conoscenza alla valutazione, ha proposto il mastery learning, l’apprendimento per la padronanza: se si dà a ciascuno il tempo e il sostegno necessari, con verifiche formative e attività di recupero, quasi tutti gli alunni possono raggiungere gli obiettivi.

Valutazione per criteri e per norme

Una distinzione che all’esame torna spesso: la valutazione normativa confronta l’alunno con il gruppo (sei nel primo quarto della classe); la valutazione criteriale confronta l’alunno con un obiettivo definito (sai risolvere equazioni di primo grado). La scuola tende oggi verso la seconda.

Cosa ti chiedono all’orale (docimologia)

Che cos’è l’effetto alone? È un errore di valutazione per cui una caratteristica dell’alunno, come l’ordine, la calligrafia, il comportamento o la simpatia, influenza il giudizio su una prestazione che con quella caratteristica non ha a che fare. Per ridurlo si usano criteri di correzione espliciti, prove strutturate e, quando possibile, la correzione anonima.

Che differenza c’è tra valutazione formativa e sommativa? Nella distinzione di Scriven del 1967, la valutazione formativa avviene durante il processo di apprendimento e serve a dare informazioni utili a correggere e migliorare l’insegnamento e lo studio. La sommativa avviene alla fine di un percorso e certifica il risultato raggiunto. La prima guarda al processo, la seconda al prodotto.

Le indagini nazionali e internazionali

OCSE-PISA

Il PISA (Programme for International Student Assessment) è un’indagine promossa dall’OCSE dal 2000, ogni tre anni, sugli studenti di 15 anni. Non misura la conoscenza dei programmi scolastici, ma la literacy, cioè la capacità di usare conoscenze e abilità in lettura, matematica e scienze per affrontare problemi della vita reale. Ogni ciclo approfondisce uno dei tre ambiti. Insieme alle prove, PISA raccoglie questionari sugli studenti e sulle scuole, che permettono di studiare il rapporto tra risultati e condizioni socioeconomiche.

IEA: TIMSS e PIRLS

L’IEA (International Association for the Evaluation of Educational Achievement) conduce indagini più legate ai curricoli scolastici. Il TIMSS riguarda matematica e scienze nel quarto e nell’ottavo anno di scolarità; il PIRLS la lettura nel quarto anno.

INVALSI

In Italia l’INVALSI (Istituto nazionale per la valutazione del sistema educativo di istruzione e di formazione) conduce le prove standardizzate nazionali in italiano, matematica e inglese in alcune classi della primaria e della secondaria. Le prove servono a valutare il sistema scolastico, non i singoli alunni, e i risultati vengono restituiti alle scuole perché possano confrontarsi con dati di riferimento. INVALSI coordina anche la partecipazione italiana alle indagini internazionali.

Come leggerle

Le indagini su larga scala sono uno strumento potente ma vanno lette con attenzione. Le classifiche tra paesi attirano l’attenzione dei giornali, ma il loro valore maggiore sta nelle analisi interne: differenze tra territori, tra tipi di scuola, tra gruppi sociali, e l’andamento nel tempo. In Italia, per esempio, i dati mostrano da anni differenze territoriali forti nei risultati.

Cosa ti chiedono all’orale (indagini)

Che cosa misura PISA? L’indagine dell’OCSE, condotta dal 2000 ogni tre anni sugli studenti di 15 anni, misura la literacy in lettura, matematica e scienze: non la conoscenza dei programmi, ma la capacità di usare conoscenze e competenze per affrontare situazioni reali. Raccoglie anche questionari di contesto che permettono di studiare il rapporto tra risultati, scuole e condizioni socioeconomiche.

A che cosa servono le prove INVALSI? A valutare il sistema scolastico italiano attraverso prove standardizzate in italiano, matematica e inglese in alcune classi. Non servono a dare un voto ai singoli alunni, ma a fornire dati confrontabili sulle scuole e sui territori, restituiti alle scuole per il miglioramento. INVALSI coordina anche le indagini internazionali in Italia.

Ricerca qualitativa e ricerca-azione

La ricerca qualitativa

La ricerca qualitativa studia i fenomeni educativi nel loro contesto naturale, cercando di comprendere i significati che i partecipanti attribuiscono alle esperienze. Non mira a misurare ma a descrivere e interpretare. I suoi strumenti principali sono:

• l’osservazione partecipante, in cui il ricercatore vive per un periodo nell’ambiente studiato, per esempio in una classe;
• l’intervista, strutturata, semistrutturata o libera;
• il focus group, una discussione guidata in piccolo gruppo;
• l’analisi di documenti e materiali prodotti dagli alunni.

Un approccio molto citato è la grounded theory, proposta da Barney Glaser e Anselm Strauss nel 1967: la teoria non si verifica sui dati, ma si costruisce a partire da essi, attraverso un processo di codifica e confronto continuo.

La qualità di una ricerca qualitativa non si misura con validità e attendibilità statistiche, ma con criteri come la credibilità, la trasparenza delle procedure, la triangolazione (confrontare fonti, metodi o ricercatori diversi), la ricchezza della descrizione.

La ricerca-azione

La ricerca-azione, proposta dallo psicologo Kurt Lewin negli anni Quaranta, unisce ricerca e intervento. I partecipanti, per esempio gli insegnanti di una scuola, sono anche ricercatori: individuano un problema della loro pratica, progettano un cambiamento, lo realizzano, ne osservano gli effetti e riflettono, in un ciclo che si ripete. L’obiettivo non è produrre conoscenze generalizzabili, ma migliorare una situazione concreta e far crescere la professionalità di chi vi partecipa.

Metodi misti

Oggi molte ricerche educative usano metodi misti: per esempio, un quasi-esperimento per misurare l’effetto di un metodo, accompagnato da interviste agli insegnanti e agli alunni per capire come e perché ha funzionato o no. La scelta del metodo dipende dalla domanda, non da una preferenza ideologica.

Cosa ti chiedono all’orale (qualitativa e ricerca-azione)

Che cos’è la ricerca-azione? È un approccio, proposto da Kurt Lewin negli anni Quaranta, in cui ricerca e intervento si uniscono. I partecipanti, come gli insegnanti di una scuola, individuano un problema della loro pratica, progettano e realizzano un cambiamento, ne osservano gli effetti e riflettono, in un ciclo ripetuto. Mira a migliorare una situazione concreta e a sviluppare la professionalità, più che a produrre conoscenze generalizzabili.

Che cos’è la triangolazione nella ricerca qualitativa? È il confronto tra fonti, metodi, ricercatori o teorie diversi per verificare un’interpretazione. Se interviste, osservazioni e documenti convergono, l’interpretazione è più credibile. È uno dei criteri con cui si valuta la qualità di una ricerca qualitativa, al posto delle misure statistiche di validità e attendibilità.

Progettare una ricerca: un esempio completo

All’esame ti può capitare la domanda: “Progetta una ricerca su…”. Vediamo un esempio completo, che puoi adattare a qualunque tema.

Il problema e l’ipotesi

Un gruppo di insegnanti di scuola primaria si chiede se il lavoro in piccoli gruppi cooperativi migliori la capacità di risolvere problemi di matematica rispetto alla lezione frontale con esercizi individuali. La domanda è precisa: riguarda una popolazione (alunni di quarta primaria), un intervento (apprendimento cooperativo), un risultato (soluzione di problemi).

L’ipotesi diventa: “Gli alunni di quarta primaria che per dodici settimane lavorano sui problemi di matematica in gruppi cooperativi ottengono, in una prova finale di problem solving, punteggi più alti degli alunni che lavorano con lezione frontale ed esercizi individuali”.

Il disegno

Non si possono rimescolare gli alunni tra le classi, quindi il disegno sarà quasi-sperimentale: alcune classi sperimentali e alcune di controllo, con un pre-test e un post-test. Per ridurre il rischio che il risultato dipenda dagli insegnanti, si possono scegliere più classi per ciascun gruppo e, se possibile, far lavorare gli stessi insegnanti in entrambe le condizioni con classi diverse.

Il campione

Si scelgono, per esempio, otto classi quarte di quattro scuole con caratteristiche simili, quattro sperimentali e quattro di controllo, assegnando le classi ai gruppi a sorte. Attenzione: assegnare a sorte le classi non equivale a randomizzare gli alunni, ma riduce il rischio che i gruppi siano scelti in base a preferenze degli insegnanti.

Gli strumenti

Servono una prova di problem solving, con problemi di difficoltà graduata e criteri di correzione precisi, usata in due forme equivalenti per pre-test e post-test; un questionario sulla motivazione verso la matematica, con una scala Likert; una griglia di osservazione per verificare che il lavoro cooperativo sia stato davvero realizzato come previsto. Quest’ultimo punto è decisivo: se l’intervento non è stato applicato in modo fedele, i risultati non dicono nulla sul metodo.

L’analisi e l’interpretazione

Si confrontano i miglioramenti tra pre-test e post-test nei due gruppi, con un test statistico adeguato, e si calcola la dimensione dell’effetto. Si controllano le possibili minacce: le classi erano equivalenti all’inizio? Qualcuno ha abbandonato? Ci sono stati eventi particolari in una scuola? Infine si discutono i limiti: il campione è piccolo, le scuole sono di una sola area, la durata è breve. Una buona ricerca dichiara sempre i suoi limiti.

Cosa ti chiedono all’orale (progettazione)

Perché è importante verificare la fedeltà dell’intervento? Perché se il metodo sperimentale non è stato applicato davvero, o è stato applicato in modo diverso nelle diverse classi, i risultati non permettono di dire nulla sulla sua efficacia. Per questo si usano griglie di osservazione, diari degli insegnanti o registrazioni che documentano come l’intervento è stato realizzato.

Perché una ricerca deve dichiarare i suoi limiti? Perché ogni ricerca ha vincoli di campione, durata, strumenti e contesto che limitano la validità interna o esterna dei risultati. Dichiararli permette al lettore di valutare quanto le conclusioni siano solide e generalizzabili e indica le direzioni per ricerche future.

Errori comuni nel leggere i dati

Confondere correlazione e causa

L’errore più frequente, nei giornali e anche negli articoli scientifici, è passare da un’associazione a una causa. Gli studenti che fanno più compiti a casa hanno risultati migliori: forse i compiti aiutano, o forse gli studenti già più motivati fanno più compiti. Senza un disegno che controlli le variabili, non si può decidere.

Il paradosso di Simpson

Un caso istruttivo è il paradosso di Simpson: una relazione che appare in tutti i sottogruppi può rovesciarsi quando i dati vengono aggregati, o viceversa. Una scuola può avere percentuali di promossi più alte di un’altra in ogni indirizzo, e più basse nel totale, se ha più iscritti negli indirizzi più selettivi. Prima di confrontare medie complessive, guarda come sono composti i gruppi.

La regressione verso la media

Le scuole o gli alunni che in un anno ottengono risultati molto bassi tendono, l’anno dopo, a ottenere risultati un po’ migliori anche senza alcun intervento, per effetto del caso. Se un programma di recupero viene applicato proprio ai peggiori, il miglioramento successivo può sembrare merito del programma, ed è in parte un effetto statistico. È la stessa minaccia alla validità interna che hai visto con Campbell e Stanley.

Scegliere i dati che fanno comodo

Infine, attenzione alla selezione dei risultati: citare solo gli studi che confermano una tesi, o solo le variabili che hanno dato risultati significativi. È uno dei motivi per cui oggi si chiede di registrare in anticipo le ipotesi e il piano di analisi delle ricerche, e per cui le meta-analisi cercano anche gli studi non pubblicati, che spesso sono quelli con risultati nulli.

Cosa ti chiedono all’orale (lettura dei dati)

Che cos’è il paradosso di Simpson? È il fenomeno per cui una relazione osservata all’interno di tutti i sottogruppi può scomparire o invertirsi quando i dati vengono aggregati, a causa della diversa composizione dei gruppi. Per esempio, una scuola può avere risultati migliori in ogni indirizzo e peggiori nel totale se ha più studenti negli indirizzi più difficili. Mostra che le medie complessive vanno sempre lette con attenzione.

Come può la regressione verso la media ingannare nella valutazione di un intervento? Se un intervento viene applicato ai soggetti con i risultati peggiori, questi tendono comunque a migliorare la volta successiva, perché parte del loro risultato basso era dovuta al caso. Il miglioramento può quindi essere attribuito all’intervento senza che lo meriti. Un gruppo di controllo con caratteristiche simili permette di separare i due effetti.

Ricerca basata sulle evidenze ed etica

Evidence-based education

Negli ultimi decenni si è diffusa l’idea di una scuola basata sulle evidenze: le scelte didattiche dovrebbero fondarsi sui risultati della ricerca, come in medicina. Uno strumento chiave sono le meta-analisi, che combinano statisticamente i risultati di molti studi sullo stesso tema. Il caso più noto è Visible Learning di John Hattie (2009), una sintesi di oltre ottocento meta-analisi sui fattori che influenzano l’apprendimento, ordinati per dimensione dell’effetto. Il libro ha avuto un’enorme diffusione tra gli insegnanti ed è stato anche criticato per i problemi del confrontare effetti calcolati in studi molto diversi.

L’etica della ricerca

La ricerca educativa coinvolge spesso minori, e per questo richiede regole etiche precise.

• Il consenso informato: i partecipanti, e per i minori i genitori, devono essere informati sugli scopi e sulle procedure e accettare liberamente.
• La riservatezza: i dati personali vanno protetti, resi anonimi quando possibile, trattati secondo la normativa sulla protezione dei dati.
• Il non danno: la ricerca non deve danneggiare i partecipanti. Negare a un gruppo di controllo un intervento ritenuto utile pone problemi etici, che si risolvono spesso offrendo l’intervento al gruppo di controllo alla fine della ricerca.
• La restituzione: i risultati vanno comunicati alla scuola e ai partecipanti.

Cosa ti chiedono all’orale (evidenze ed etica)

Che cos’è una meta-analisi? È una tecnica statistica che combina i risultati di molti studi sullo stesso problema, calcolando una dimensione media dell’effetto. Permette di superare i limiti dei singoli studi, spesso piccoli e contraddittori. Visible Learning di Hattie, del 2009, è una sintesi di centinaia di meta-analisi sui fattori dell’apprendimento, molto diffusa ma anche criticata per la difficoltà di confrontare effetti di studi eterogenei.

Quali regole etiche valgono per la ricerca con i minori? Il consenso informato dei genitori e, per quanto possibile, l’assenso dei ragazzi; la protezione e l’anonimato dei dati personali; il principio di non arrecare danno, che per esempio porta a offrire l’intervento anche al gruppo di controllo alla fine della ricerca; e la restituzione dei risultati alla scuola.

Fonti e approfondimenti

Metodologia

• Donald T. Campbell, Julian C. Stanley, Experimental and Quasi-Experimental Designs for Research, Rand McNally, 1963.
• Roberto Trinchero, Manuale di ricerca educativa, FrancoAngeli.
• Cristina Coggi, Paola Ricchiardi, Progettare la ricerca empirica in educazione, Carocci.

Valutazione

• Aldo Visalberghi, Misurazione e valutazione nel processo educativo, Edizioni di Comunità, 1955.
• John Hattie, Visible Learning, Routledge, 2009.
• Robert Rosenthal, Lenore Jacobson, Pygmalion in the Classroom, 1968.

Per i temi dell’apprendimento delle lingue e della valutazione linguistica vedi anche gli appunti di Linguistica applicata. Gli altri esami sono nell’indice degli esami.

← Torna all’indice degli esami