Pianificare la valutazione

Scopo della valutazione

Innanzitutto occorre chiedersi perché è necessario eseguire una valutazione, chi nutre quali interessi nella valutazione e quale uso si intende fare dei risultati della valutazione. Una valutazione può avere diversi scopi. Serve ad esempio a:

fornire una base decisionale per il prosieguo del progetto
fornire una legittimazione per l’uso di fondi pubblici
fornire dei criteri per l’ulteriore sviluppo del progetto così come per correggere le strategie e le misure

La pianificazione della valutazione deve avvenire già nella fase di concezione di un progetto. Se si inizia a pensare alla valutazione solo verso la conclusione del progetto è spesso troppo tardi: a quel punto non è stata effettuata la raccolta dei dati pertinenti, mancano i fondi per la valutazione e/o non si è usufruito della possibilità di trarre insegnamenti importanti dalla valutazione durante la fase di implementazione.

Se si volesse eseguire una valutazione di ampio respiro e/o affidare la valutazione ad un istituto di valutazione esterno, è opportuno allestire preliminarmente un concetto di valutazione (v. modello Concetto di valutazione). Nel concetto di valutazione occorre trattare i seguenti aspetti:

Oggetto della valutazione

Dopo aver definito lo scopo e gli interessi di una valutazione occorre delimitare l’oggetto di ricerca. Quali aspetti del progetto devono essere sottoposti a valutazione, quali aspetti sono centrali e quali aspetti possono invece essere ignorati?

Forme di valutazione

Le valutazioni si possono distinguere in due categorie principali: la valutazione sommativa valuta l’efficacia globale di un progetto al termine dello stesso, mentre la valutazione formativa viene eseguita durante l’implementazione del progetto e si pone come obiettivo la costante ottimizzazione dei processi e dei risultati. Spesso si applica una forma mista di valutazione che combina elementi formativi e sommativi.

	Valutazione formativa	Valutazione sommativa
Autovalutazione	Processo di apprendimento sistematico eseguito autonomamente dal team di progetto.	Autovalutazione conclusiva al termine del progetto
Valutazione interna effettuata da terzi	Il processo di apprendimento è affiancato da valutatori provenienti dalla propria organizzazione	Valutazione conclusiva del progetto effettuata da valutatori provenienti dalla propria organizzazione
Valutazione esterna	Il processo di apprendimento è affiancato da un istituto di valutazione esterno	Valutazione conclusiva del progetto effettuata da un istituto di valutazione esterno

I vantaggi delle autovalutazioni sono la presenza di conoscenze interne al progetto, l’orientamento alla prassi come pure l’elevata disponibilità all’apprendimento e l’elevato grado di responsabilità per i risultati del team di progetto. Le autovalutazioni sono effettuate perlopiù sotto forma di valutazione formativa e servono al consolidamento di una cultura dell’apprendimento. Tra gli svantaggi si annoverano la mancanza di distanza dall’oggetto di valutazione o la carenza di competenze metodologiche. Le autovalutazioni rischiano inoltre di rafforzare la cosiddetta “cecità aziendale”. Il punto di vista esterno nelle valutazioni effettuate da terzi consente una verifica indipendente e inoltre i valutatori esterni dispongono in genere di competenze metodologiche certificate. Le valutazioni esterne vantano un’elevata credibilità e spesso sono usate per ottenere una legittimazione riguardo all’impiego delle risorse. Uno svantaggio della valutazione esterna può essere l’elevato costo. Nella forma mista (valutazioni ibride, valutazioni partecipative) si combinano i vantaggi dell’autovalutazione interna e della valutazione esterna, e le conoscenze degli insider sono arricchite da una fresca ventata d’aria esterna.

Domande per la valutazione

In funzione dello scopo della valutazione e degli obiettivi del progetto si formulano le domande di valutazione, idealmente in collaborazione con gli attori principali del progetto. Se la formulazione degli obiettivi del progetto o delle domande di valutazione fosse ancora vaga è opportuno definire degli indicatori che consentono di concretizzare gli obiettivi del progetto e la formulazione delle domande: in base a quali criteri si può appurare se un determinato obiettivo del progetto è stato raggiunto e cosa bisogna tenere in particolare considerazione per fornire, con cognizione di causa, delle risposte adeguate alle domande di valutazione?

Metodo di valutazione

In base agli obiettivi del progetto, delle domande di valutazione e degli indicatori si può decidere quali informazioni si intende rilevare, con quale metodo di rilevamento, dove e da chi si vogliono ottenere. Allo stesso tempo occorre definire anche il metodo di analisi e valutazione dei dati. La tabella di valutazione serve a definire i metodi di valutazione, le responsabilità e la tempistica per gli obiettivi di progetto, gli indicatori e le domande di valutazione. In alcuni casi le domande di valutazione fanno riferimento a singole fasi del progetto e la risposta viene fornita entro un certo termine (pietra miliare), mentre altre domande riguardano la durata complessiva del progetto.

Questioni organizzative

Successivamente occorre stabilire il quadro temporale e finanziario della valutazione e definire le responsabilità. Se si decide di affidare un mandato di valutazione a una società esterna occorre definire quali sono le competenze metodologiche, tematiche o linguistiche necessarie per la valutazione e quali istituti di valutazione si prestano per assumere l’incarico di valutazione. Per la valutazione occorre preventivare un importo pari al 10-15% del budget complessivo del progetto. L’OMS (1998) raccomanda di destinare almeno il 10% del budget di un progetto alla voce valutazione.

Divulgazione e valorizzazione dei risultati

Da ultimo occorre definire quali sono i risultati attesi dalla valutazione e come si intende divulgarli. Sono auspicati rapporti di valutazione intermedi e rapporti conclusivi? In quali lingue? Devono essere allestiti rapporti di sintesi e presentazioni? I risultati devono essere divulgati anche in modo scientifico? Chi altri deve poter trarre profitto dai risultati della valutazione e quali possibilità vi sono di elaborare e divulgare i risultati in modo attraente (p.es. linee guida, poster, film, workshop, ...)?

Riferimenti bibliografici

WHO (1998). Health promotion evaluation. Recommendations to policy-makers. Report of the WHO European Working Group on Health Promotion Evaluation. Copenhagen: Regional office for Europe.
Bezzi C., Cannavò L. & Palumbo M. (2010). Costruire e usare indicatori nella ricerca sociale e nella valutazione. Milano: Franco Angeli.
Leone L. & Prezza, M. (1999). Costruire e valutare i progetti nel sociale: manuale operativo per chi lavora in campo sanitario, sociale, educativo e culturale. Milano: Franco Angeli.

Che cosa può dissuadervi dal considerare questi aspetti

Vuole iniziare a realizzare le misure il più in fretta possibile e affronterà il tema della valutazione solo alla fine del progetto.
Ritiene che l’elaborazione di un concetto di valutazione sia una perdita di tempo perché sa già approssimativamente come dovrà essere strutturata la valutazione.

Argomenti a favore

Un concetto di valutazione aiuta a definire tempestivamente le questioni relative alle risorse umane, all’organizzazione e agli aspetti finanziari e quindi a preventivare le risorse necessarie.
Le riflessioni relative alla valutazione annotate per iscritto nella tabella di valutazione e/o in un concetto di valutazione forniscono un orientamento e consentono di essere sempre aggiornati sulla situazione.

Cosa fare concretamente

Se vi sono interessi divergenti e inconciliabili occorre redigere una lista delle priorità. La valutazione non può esaminare tutti gli aspetti possibili.
Per pianificare la valutazione si consiglia di usare i modelli disponibili per la tabella di valutazione e per il concetto di valutazione.

Domande di riflession

Gli aspetti più importanti inerenti la valutazione sono stati registrati nella tabella di valutazione e/o nel concetto di valutazione?
Ha previsto risorse sufficienti per la valutazione (ca. 10% del budget del progetto)?