Eseguire la valutazione

Sulla base della pianificazione della valutazione, che avrà illustrato in un concetto di valutazione e/o in una tabella di valutazione, può ora procedere alla raccolta e alla valutazione dei dati.

Sviluppo e sperimentazione degli strumenti di rilevamento

Prima di sviluppare nuovi strumenti di rilevamento specifici per il suo progetto come questionari o guide per le interviste (attività che comporta un notevole dispendio di risorse) vale la pena verificare se è possibile impiegare ed eventualmente adattare strumenti già utilizzati in altri progetti. Se è possibile e pertinente per il genere di domande della valutazione, si consiglia di impiegare strumenti di rilevamento convalidati, vale a dire strumenti la cui idoneità è stata dimostrata scientificamente. Prima dell’uso è opportuno sottoporre al vaglio di figure chiave nel campo della ricerca (committenti, esperti) gli strumenti di rilevamento sviluppati autonomamente.

Prima di procedere al rilevamento dei dati è consigliabile far testare i nuovi strumenti (questionari, guide per le interviste, schemi di osservazione, schemi per l’analisi di documenti) ad alcuni rappresentanti del gruppo da intervistare (test preliminare). Questi test permettono di chiarire eventuali dubbi circa la comprensibilità e lo svolgimento della raccolta dati e forniscono indicazioni importanti riguardo ai costi e alla tempistica. I risultati dei test preliminari consentono di apportare eventuali migliorie agli strumenti.

Esecuzione del rilevamento dati

Lo svolgimento e la tempistica della raccolta dati si orientano in linea di principio alla metodologia scelta e allo svolgimento globale del progetto.

È opportuno formulare per iscritto istruzioni chiare e precise per i singoli rilevamenti. Questo è particolarmente importante se più persone sono state incaricate di rilevare i dati al fine di evitare distorsioni dovute all’applicazione di procedure differenti. D’altro canto la formulazione per iscritto aiuta a definire nel dettaglio e a documentare in modo trasparente il processo di rilevamento dei dati. Per il rilevamento di dati qualitativo in genere si instaura un contatto scritto o personale con le persone di riferimento prima dell’effettivo rilevamento dei dati per informarle riguardo agli obiettivi e allo scopo della raccolta dati, per motivarle a partecipare e per ottenere il loro consenso. In genere si garantisce anche l’anonimato dei dati e se possibile anche la possibilità di consultare i risultati (in casi specifici si possono stabilire accordi diversi).

Valutazione dei dati

In seguito al rilevamento dei dati tramite interviste, questionari o osservazioni si procede all’elaborazione, alla strutturazione e all’analisi dei dati rilevati. A seconda del metodo impiegato i dati sono riassunti, conteggiati, calcolati, interpretati, rappresentati in modo chiaro e discussi. Per queste attività sono richieste competenze metodologiche specifiche.

Valutazioni quantitative

Prima di procedere alla valutazione vera e propria i dati numerici sono riportati in tabelle – nel caso di questionari nelle colonne sono indicate le possibili risposte, per ogni riga un nuovo questionario. Programmi informatici come Excel, R-Project o SPSS facilitano la valutazione e la rappresentazione dei dati numerici.

I metodi statistici usati per rappresentare i dati sotto forma di grafici, semplici tabelle e singoli indicatori rientrano nella categoria della statistica descrittiva. La statistica descrittiva si basa su misurazioni quantitative o sullo spoglio di dichiarazioni o osservazioni. Le tabelle di frequenza, le ripartizioni percentuali o i valori medi vengono descritti per esteso, mettendo in evidenza i risultati di nota.

Ma le valutazioni quantitative non si limitano alla statistica descrittiva. Con l’ausilio di test e analisi statistiche si analizzano le relazioni tra le singole variabili indipendenti (età, sesso, intensità dell’intervento, …) e le variabili dipendenti (parametri dell’efficacia come p.es. gli sviluppi strutturali, i cambiamenti di atteggiamento o comportamento). L’impiego di test statistici richiede elevate competenze metodologiche di ricerca e una solida esperienza nel ramo e di conseguenza non è un metodo indicato per le autovalutazioni.

Valutazioni qualitative

Le valutazioni qualitative raccolgono dati provenienti da testi, immagini o video (documenti, verbali di interviste, ecc.) in risposta a determinate domande ed esaminano tali dati. Di solito le interviste vengono registrate su nastro o video e successivamente verbalizzate. Nell’ambito di valutazioni semplici si può rinunciare a trascrivere parola per parola le interviste e ad analizzare il contenuto delle trascrizioni. In questi casi è sufficiente redigere un buon verbale contenente le dichiarazioni essenziali (che può essere fornito al soggetto intervistato per una verifica o per ottenere la sua validazione) per ottenere le informazioni principali necessarie per la valutazione.

I dati raccolti vengono strutturati e sintetizzati per ricavare le risposte alle domande di valutazione.

I metodi di valutazione qualitativa che vanno oltre una semplice analisi del contenuto, che interpretano sistematicamente le trascrizioni integrali delle interviste e le analizzano in termini interpretativi ovvero di senso, richiedono specifiche competenze metodologiche e una solida esperienza nel ramo, motivo per cui di norma anche questi metodi interpretativi non sono indicati per le autovalutazioni. Ormai sono disponibili programmi informatici validi anche per le valutazioni qualitative. Questi facilitano la codificazione, categorizzazione e valutazione di dati verbali o grafici (p.es. Atlas-ti, MAXQDA, HyperRESEARCH, nVivo).

Interpretazione dei dati

Ai fini dell’interpretazione i dati verbali, le tabelle, i grafici e le immagini non vengono semplicemente descritti. I risultati vengono considerati nel contesto globale del progetto e in un contesto più ampio (esperienze maturate con altri progetti, risultati di vari studi, teorie) e quindi sottoposti ad una valutazione e riflessione.

Nel metodo quantitativo occorre distinguere chiaramente tra interpretazione dei dati e valutazione dai dati, mentre nella metodologia qualitativa la valutazione e l’interpretazione sono interconnesse in un processo di ricerca ciclico.

Sia il metodo quantitativo sia quello qualitativo tentano di suddividere gli aspetti, i gruppi target, i setting, ecc. in tipologie. Queste tipologie possono essere impiegate in un secondo momento per sviluppare misure specifiche di intervento per i diversi tipi.

Riferimenti bibliografici

Flick, U. (2007). Designing qualitative research. London: Sage.
Petrie, A. & Sabin, C. (2005). Medical statistics at a glance. 2nd edition. Malden: Blackwell Publishing.
Siegel, Sidney & Castellan, N. John (1988). Nonparametric statistics for the behavioral sciences. New York: McGraw-Hill.

Che cosa può dissuadervi dal considerare questi aspetti

Spesso si tende a rilevare i dati facilmente accessibili senza prima stabilire se sono pertinenti alle domande della valutazione.
Non dispone delle conoscenze metodologiche di ricerca per una valutazione professionale dei dati.

Argomenti a favore

Un’accurata analisi dei dati fornisce una base solida per rispondere alle domande della valutazione e per ottenere ulteriori informazioni sul contesto specifico.
Interpretazioni fondate, che si basano su dati rilevati ed elaborati in modo chiaro e trasparente accrescono la credibilità. La maggiore credibilità favorisce la disponibilità a proseguire il progetto e il consenso da parte dei detentori del potere decisionale.

Cosa fare concretamente

Rifletta bene a priori riguardo a come deve avvenire la valutazione. Chi la deve eseguire, quando e in che modo? Se non è un esperto nel campo della valutazione richieda l’aiuto di un esperto competente in materia.

Domande di riflession

Le persone incaricate di eseguire il rilevamento di dati dispongono di sufficienti competenze specifiche? Sono state fornite istruzioni e direttive chiare riguardo allo svolgimento della valutazione?
I destinatari dell'intervista sono in chiaro su obiettivo e scopo della valutazione e, laddove possibile, è stato loro garantito l'anonimato?