Die erste Frage ist stets, weshalb überhaupt eine Evaluation durchgeführt werden soll, wer welche Interessen an der Evaluation hat und wozu die Ergebnisse verwendet werden sollen.
Eine Evaluation kann verschiedene Zwecke verfolgen und dient zum Beispiel:
Die Planung der Evaluation erfolgt bereits in der Konzeptionsphase eines Projektes. Wird erst gegen Ende eines Projektes an die Evaluation gedacht, so ist es in der Regel zu spät: man hat versäumt, wichtige Daten zu erheben, die Ressourcen für die Evaluation fehlen und/oder man hat die Chance vertan, aus der Evaluation bereits während der Implementierung zu lernen.
Bei grösseren Evaluationsvorhaben und wenn es darum geht, Evaluationen an externe Evaluationsinstitute in Auftrag zu geben, empfiehlt es sich, dazu ein eigenes Evaluationskonzept zu schreiben (vgl. auch Vorlage Evaluationskonzept). Dabei sind nachfolgende Aspekte zu behandeln:
Nachdem der Zweck und die Interessen einer Evaluation geklärt sind, geht es darum, den Gegenstandsbereich abzugrenzen. Welche Aspekte eines Projekts sollen beurteilt werden, worauf soll fokussiert und was bewusst ausser acht gelassen werden?.
Evaluationsvorhaben lassen sich prinzipiell danach unterscheiden, ob sie ein gesamtes Projekt abschliessend in seiner Wirkung beurteilen (summative Evaluation) oder ob sie begleitend durchgeführt der laufenden Optimierung der Prozesse und Ergebnisse dienen sollen (formative Evaluation). Häufig werden formative und summative Elemente kombiniert, es kommen also Mischformen zur Anwendung.
|
|
Formative Evaluation |
Summative Evaluation |
|
Selbstevaluation |
Durch das Projektteam eigenständig durchgeführter systematischer Lernprozess. |
Abschliessende Eigenbeurteilung des Projektes |
|
Interne Fremdevaluation |
Begleitung des Lernprozesses durch Evaluator/-innen aus der eigenen Organisation |
Abschliessende Beurteilung des Projektes durch Evaluator/-innen aus der eigenen Organisation |
|
Externe Fremdevaluation |
Begleitung des Lernprozesses durch ein externes Evaluationsinstitut |
Abschliessende Beurteilung des Projektes durch ein externes Evaluationsinstitut |
Vorteile von Selbstevaluationen sind etwa das Vorhandensein von projektinternem Wissen, die Praxisrelevanz und die erhöhte Lernbereitschaft und Verantwortung für die Ergebnisse der Beteiligten. Selbstevaluationen werden oft formativ genutzt und dienen dazu, eine Lernkultur zu etablieren. Nachteile können die mangelnde Distanz zum Untersuchungsgegenstand oder fehlende Methodenkompetenzen sein. Selbstevaluationen bergen zudem das Risiko, dass Betriebsblindheiten verstärkt werden. In Fremdevaluationen erlaubt der Blick von aussen eine unabhängige Überprüfung und externe Evaluator/-innen verfügen in der Regel über ausgewiesene Methodenkompetenzen. Externe Evaluationen haben eine hohe Glaubwürdigkeit und werden oft für die Legitimation der Mittelverwendung eingesetzt. Ein Nachteil können hohe anfallende externe Kosten sein. In Mischformen (hybride Evaluationen, patizipative Evaluationen) können die Vorteile der internen Selbst- und externen Fremdbeurteilung kombiniert und das Insiderwissen mit einem frischen externen Blick befruchtet werden.
Gestützt auf den Evaluationszweck und die Projektziele werden die Evaluationsfragen formuliert und zwar am besten gemeinsam mit den wichtigsten Projektakteuren. Sind die Projektziele oder die Evaluationsfragen noch vage formuliert, so werden Indikatoren festgelegt, welche die Projektziele und Fragestellungen konkretisieren: Woran wird man erkennen können, ob ein bestimmtes Projektziel erreicht ist und worauf wird man konkret achten müssen, um die Evaluationsfragen fundiert beantworten zu können?
Auf der Grundlage der Projektziele, der Evaluationsfragen und der Indikatoren kann entschieden werden, mit welchen Erhebungsmethoden welche Informationen bei wem bzw. wo erhoben werden sollen. Gleichzeitig muss auch die Methodik der Datenauswertung definiert werden.
Die Evaluationstabelle dient dazu, für die Projektziele, Indikatoren und Evaluationsfragen die entsprechenden Evaluationsmethoden, Verantwortlichkeiten und Zeitpunkte zu definieren. Gewisse Evaluationsfragen können sich auf einzelne Projektphasen beziehen und sind bis zu einem bestimmten Meilenstein beantwortet, andere wiederum umfassen die gesamte Projektdauer.
Schliesslich geht es darum, den zeitlichen und finanziellen Rahmen der Evaluation zu klären und Zuständigkeiten festzulegen. Falls ein Evaluationsauftrag extern vergeben werden soll, wird geklärt, welche methodischen, thematischen oder sprachlichen Kompetenzen für die Evaluation benötigt werden und welche Evaluationsinstitute geeignet wären, einen entsprechenden Auftrag zu übernehmen.
Rechnen Sie mit 10-15% des Projektbudgets für die Evaluation. Die WHO (1998) empfiehlt, dass mind. 10% des Projektbudgets für Evaluation reserviert werden soll.
Schliesslich geht es darum zu klären, welche Evaluationsergebnisse erwartet werden und wie diese verbreitet werden sollen. Werden Zwischen- und Schlussberichte zur Evaluation gewünscht? In welchen Sprachen? Inwiefern sollen Zusammenfassungen und Präsentationen erstellt werden und sollen die Ergebnisse allenfalls wissenschaftlich publiziert werden? Wer soll auch noch von den Evaluationsergebnissen profitieren können und welche Möglichkeiten gäbe es, die Ergebnisse attraktiv aufzuarbeiten und zu vermitteln (z.B. in Form von Guidelines, Postern, Filmen, Workshops,…).