Evaluation planen

Zweck der Evaluation

Die erste Frage ist stets, weshalb überhaupt eine Evaluation durchgeführt werden soll, wer welche Interessen an der Evaluation hat und wozu die Ergebnisse verwendet werden sollen.

Eine Evaluation kann verschiedene Zwecke verfolgen und dient zum Beispiel:

dem Schaffen von Entscheidungsgrundlagen über die Weiterführung eines Projektes
der Legitimation über die Verwendung öffentlicher Gelder
der Weiterentwicklung eines Projektes oder Interventionsansatzes bzw. der Verbesserung von Strategien und Massnahmen

Die Planung der Evaluation erfolgt bereits in der Konzeptionsphase eines Projektes. Wird erst gegen Ende eines Projektes an die Evaluation gedacht, so ist es in der Regel zu spät: man hat versäumt, wichtige Daten zu erheben, die Ressourcen für die Evaluation fehlen und/oder man hat die Chance vertan, aus der Evaluation bereits während der Implementierung zu lernen.

Bei grösseren Evaluationsvorhaben und wenn es darum geht, Evaluationen an externe Evaluationsinstitute in Auftrag zu geben, empfiehlt es sich, dazu ein eigenes Evaluationskonzept zu schreiben (vgl. auch Vorlage Evaluationskonzept). Dabei sind nachfolgende Aspekte zu behandeln:

Evaluationsgegenstand

Nachdem der Zweck und die Interessen einer Evaluation geklärt sind, geht es darum, den Gegenstandsbereich abzugrenzen. Welche Aspekte eines Projekts sollen beurteilt werden, worauf soll fokussiert und was bewusst ausser acht gelassen werden?.

Evaluationsformen

Evaluationsvorhaben lassen sich prinzipiell danach unterscheiden, ob sie ein gesamtes Projekt abschliessend in seiner Wirkung beurteilen (summative Evaluation) oder ob sie begleitend durchgeführt der laufenden Optimierung der Prozesse und Ergebnisse dienen sollen (formative Evaluation). Häufig werden formative und summative Elemente kombiniert, es kommen also Mischformen zur Anwendung.

	Formative Evaluation	Summative Evaluation
Selbstevaluation	Durch das Projektteam eigenständig durchgeführter systematischer Lernprozess.	Abschliessende Eigenbeurteilung des Projektes
Interne Fremdevaluation	Begleitung des Lernprozesses durch Evaluator/-innen aus der eigenen Organisation	Abschliessende Beurteilung des Projektes durch Evaluator/-innen aus der eigenen Organisation
Externe Fremdevaluation	Begleitung des Lernprozesses durch ein externes Evaluationsinstitut	Abschliessende Beurteilung des Projektes durch ein externes Evaluationsinstitut

Vorteile von Selbstevaluationen sind etwa das Vorhandensein von projektinternem Wissen, die Praxisrelevanz und die erhöhte Lernbereitschaft und Verantwortung für die Ergebnisse der Beteiligten. Selbstevaluationen werden oft formativ genutzt und dienen dazu, eine Lernkultur zu etablieren. Nachteile können die mangelnde Distanz zum Untersuchungsgegenstand oder fehlende Methodenkompetenzen sein. Selbstevaluationen bergen zudem das Risiko, dass Betriebsblindheiten verstärkt werden. In Fremdevaluationen erlaubt der Blick von aussen eine unabhängige Überprüfung und externe Evaluator/-innen verfügen in der Regel über ausgewiesene Methodenkompetenzen. Externe Evaluationen haben eine hohe Glaubwürdigkeit und werden oft für die Legitimation der Mittelverwendung eingesetzt. Ein Nachteil können hohe anfallende externe Kosten sein. In Mischformen (hybride Evaluationen, patizipative Evaluationen) können die Vorteile der internen Selbst- und externen Fremdbeurteilung kombiniert und das Insiderwissen mit einem frischen externen Blick befruchtet werden.

Evaluationsfragen

Gestützt auf den Evaluationszweck und die Projektziele werden die Evaluationsfragen formuliert und zwar am besten gemeinsam mit den wichtigsten Projektakteuren. Sind die Projektziele oder die Evaluationsfragen noch vage formuliert, so werden Indikatoren festgelegt, welche die Projektziele und Fragestellungen konkretisieren: Woran wird man erkennen können, ob ein bestimmtes Projektziel erreicht ist und worauf wird man konkret achten müssen, um die Evaluationsfragen fundiert beantworten zu können?

Evaluationsmethodik

Auf der Grundlage der Projektziele, der Evaluationsfragen und der Indikatoren kann entschieden werden, mit welchen Erhebungsmethoden welche Informationen bei wem bzw. wo erhoben werden sollen. Gleichzeitig muss auch die Methodik der Datenauswertung definiert werden.

Die Evaluationstabelle dient dazu, für die Projektziele, Indikatoren und Evaluationsfragen die entsprechenden Evaluationsmethoden, Verantwortlichkeiten und Zeitpunkte zu definieren. Gewisse Evaluationsfragen können sich auf einzelne Projektphasen beziehen und sind bis zu einem bestimmten Meilenstein beantwortet, andere wiederum umfassen die gesamte Projektdauer.

Organisatorische Fragen

Schliesslich geht es darum, den zeitlichen und finanziellen Rahmen der Evaluation zu klären und Zuständigkeiten festzulegen. Falls ein Evaluationsauftrag extern vergeben werden soll, wird geklärt, welche methodischen, thematischen oder sprachlichen Kompetenzen für die Evaluation benötigt werden und welche Evaluationsinstitute geeignet wären, einen entsprechenden Auftrag zu übernehmen.

Rechnen Sie mit 10-15% des Projektbudgets für die Evaluation. Die WHO (1998) empfiehlt, dass mind. 10% des Projektbudgets für Evaluation reserviert werden soll.

Verbreitung und Valorisierung der Ergebnisse

Schliesslich geht es darum zu klären, welche Evaluationsergebnisse erwartet werden und wie diese verbreitet werden sollen. Werden Zwischen- und Schlussberichte zur Evaluation gewünscht? In welchen Sprachen? Inwiefern sollen Zusammenfassungen und Präsentationen erstellt werden und sollen die Ergebnisse allenfalls wissenschaftlich publiziert werden? Wer soll auch noch von den Evaluationsergebnissen profitieren können und welche Möglichkeiten gäbe es, die Ergebnisse attraktiv aufzuarbeiten und zu vermitteln (z.B. in Form von Guidelines, Postern, Filmen, Workshops,…).

Literaturhinweise

Bundesamt für Gesundheit (Ed.). (1997). Leitfaden für die Planung von Projekt- und Programmevaluation. Bern: BAG.
WHO (1998). Health promotion evaluation. Recommendations to policy-makers. Report of the WHO European Working Group on Health Promotion Evaluation. Copenhagen: Regional office for Europe.
Meier, C. (1997). Leitfaden für die Selbstevaluation in der Projektarbeit mit einem Beispiel aus der Suchtprävention. Lausanne: SFA.

Was Sie daran hindern könnte, diese Aspekte zu berücksichtigen

Sie möchten rasch mit der Umsetzung der Massnahmen beginnen und werden sich erst am Ende des Projektes mit der Evaluation auseinandersetzen.
Sie halten ein Evaluationskonzept für überflüssig, da Sie ungefähr wissen, wie die Evaluation aussehen soll.

Was Sie gewinnen können

Ein Evaluationskonzept hilft personelle, organisatorische und finanzielle Fragen frühzeitig zu klären und entsprechende Ressourcen ein zu planen.
Schriftlich festgehaltene Überlegungen zur Evaluation in der Evaluationstabelle und/oder einem Evaluationskonzept geben Orientierung und dienen dazu, den Überblick zu wahren.

Was Sie konkret tun können

Besprechen Sie den Zweck der Evaluation mit den Auftraggebenden und den potentiellen Nutzenden. Missverständnisse und unterschiedliche Erwartungen können in dieser Phase des Projekts noch problemlos diskutiert und allenfalls geklärt bzw. geändert werden.
Gibt es unterschiedliche Interessen, die nicht vereinbar sind, machen Sie eine Prioritätenliste: nicht alle möglichen Fragen können in einer Evaluation untersucht werden.
Nutzen Sie für die Planung der Evaluation die Vorlagen für die Evaluationstabelle sowie das Evaluationskonzept.

Reflexionsfragen

Sind die wichtigsten Aspekte zur Evaluation in der Evaluationstabelle und/oder einem Evaluationskonzept festgehalten?
Haben Sie ausreichend Ressourcen für die Evaluation eingeplant (ca. 10% des Projektbudgets)?