Innanzitutto occorre chiedersi perché è necessario eseguire una valutazione, chi nutre quali interessi nella valutazione e quale uso si intende fare dei risultati della valutazione. Una valutazione può avere diversi scopi. Serve ad esempio a:
La pianificazione della valutazione deve avvenire già nella fase di concezione di un progetto. Se si inizia a pensare alla valutazione solo verso la conclusione del progetto è spesso troppo tardi: a quel punto non è stata effettuata la raccolta dei dati pertinenti, mancano i fondi per la valutazione e/o non si è usufruito della possibilità di trarre insegnamenti importanti dalla valutazione durante la fase di implementazione.
Se si volesse eseguire una valutazione di ampio respiro e/o affidare la valutazione ad un istituto di valutazione esterno, è opportuno allestire preliminarmente un concetto di valutazione (v. modello Concetto di valutazione). Nel concetto di valutazione occorre trattare i seguenti aspetti:
Dopo aver definito lo scopo e gli interessi di una valutazione occorre delimitare l’oggetto di ricerca. Quali aspetti del progetto devono essere sottoposti a valutazione, quali aspetti sono centrali e quali aspetti possono invece essere ignorati?
Le valutazioni si possono distinguere in due categorie principali: la valutazione sommativa valuta l’efficacia globale di un progetto al termine dello stesso, mentre la valutazione formativa viene eseguita durante l’implementazione del progetto e si pone come obiettivo la costante ottimizzazione dei processi e dei risultati. Spesso si applica una forma mista di valutazione che combina elementi formativi e sommativi.
|
|
Valutazione formativa |
Valutazione sommativa |
|
Autovalutazione |
Processo di apprendimento sistematico eseguito autonomamente dal team di progetto. |
Autovalutazione conclusiva al termine del progetto |
|
Valutazione interna effettuata da terzi |
Il processo di apprendimento è affiancato da valutatori provenienti dalla propria organizzazione |
Valutazione conclusiva del progetto effettuata da valutatori provenienti dalla propria organizzazione |
|
Valutazione esterna |
Il processo di apprendimento è affiancato da un istituto di valutazione esterno |
Valutazione conclusiva del progetto effettuata da un istituto di valutazione esterno |
I vantaggi delle autovalutazioni sono la presenza di conoscenze interne al progetto, l’orientamento alla prassi come pure l’elevata disponibilità all’apprendimento e l’elevato grado di responsabilità per i risultati del team di progetto. Le autovalutazioni sono effettuate perlopiù sotto forma di valutazione formativa e servono al consolidamento di una cultura dell’apprendimento. Tra gli svantaggi si annoverano la mancanza di distanza dall’oggetto di valutazione o la carenza di competenze metodologiche. Le autovalutazioni rischiano inoltre di rafforzare la cosiddetta “cecità aziendale”. Il punto di vista esterno nelle valutazioni effettuate da terzi consente una verifica indipendente e inoltre i valutatori esterni dispongono in genere di competenze metodologiche certificate. Le valutazioni esterne vantano un’elevata credibilità e spesso sono usate per ottenere una legittimazione riguardo all’impiego delle risorse. Uno svantaggio della valutazione esterna può essere l’elevato costo. Nella forma mista (valutazioni ibride, valutazioni partecipative) si combinano i vantaggi dell’autovalutazione interna e della valutazione esterna, e le conoscenze degli insider sono arricchite da una fresca ventata d’aria esterna.
In funzione dello scopo della valutazione e degli obiettivi del progetto si formulano le domande di valutazione, idealmente in collaborazione con gli attori principali del progetto. Se la formulazione degli obiettivi del progetto o delle domande di valutazione fosse ancora vaga è opportuno definire degli indicatori che consentono di concretizzare gli obiettivi del progetto e la formulazione delle domande: in base a quali criteri si può appurare se un determinato obiettivo del progetto è stato raggiunto e cosa bisogna tenere in particolare considerazione per fornire, con cognizione di causa, delle risposte adeguate alle domande di valutazione?
In base agli obiettivi del progetto, delle domande di valutazione e degli indicatori si può decidere quali informazioni si intende rilevare, con quale metodo di rilevamento, dove e da chi si vogliono ottenere. Allo stesso tempo occorre definire anche il metodo di analisi e valutazione dei dati. La tabella di valutazione serve a definire i metodi di valutazione, le responsabilità e la tempistica per gli obiettivi di progetto, gli indicatori e le domande di valutazione. In alcuni casi le domande di valutazione fanno riferimento a singole fasi del progetto e la risposta viene fornita entro un certo termine (pietra miliare), mentre altre domande riguardano la durata complessiva del progetto.
Successivamente occorre stabilire il quadro temporale e finanziario della valutazione e definire le responsabilità. Se si decide di affidare un mandato di valutazione a una società esterna occorre definire quali sono le competenze metodologiche, tematiche o linguistiche necessarie per la valutazione e quali istituti di valutazione si prestano per assumere l’incarico di valutazione. Per la valutazione occorre preventivare un importo pari al 10-15% del budget complessivo del progetto. L’OMS (1998) raccomanda di destinare almeno il 10% del budget di un progetto alla voce valutazione.
Da ultimo occorre definire quali sono i risultati attesi dalla valutazione e come si intende divulgarli. Sono auspicati rapporti di valutazione intermedi e rapporti conclusivi? In quali lingue? Devono essere allestiti rapporti di sintesi e presentazioni? I risultati devono essere divulgati anche in modo scientifico? Chi altri deve poter trarre profitto dai risultati della valutazione e quali possibilità vi sono di elaborare e divulgare i risultati in modo attraente (p.es. linee guida, poster, film, workshop, ...)?