Evaluation vorbereiten

Evaluation ist eine Kernkomponente von Entwicklungszyklen in Interventionen der Gesundheitsförderung und Prävention (vgl. z.B. den Public Health Action Cycle - PHAC) und damit auch des Qualitätssystems quint-essenz. Im Projektkontext versteht man unter Evaluation die systematische Sammlung und Analyse von Informationen über verschiedene Aspekte eines Projektes/einer Intervention und deren kritische Beurteilung. Dabei können unterschiedliche Aspekte fokussiert werden, wie z.B. die Planung, die Umsetzung, die Zielerreichung, Wirksamkeit, Wirtschaftlichkeit, etc. Evaluation grenzt sich von anderen Bewertungsverfahren wie z.B. dem Controlling oder einem Qualitätsassessment dadurch ab, dass die Datenerhebung und –auswertung auf der Grundlage von wissenschaftlichen Forschungsmethoden und im Kontext wissenschaftlichen Wissens erfolgt.

Aus welcher Perspektive wird evaluiert?

Evaluationen können danach unterschieden werden, aus welcher zeitlichen und inhaltlichen Perspektive sie erfolgen. Die folgende Unterscheidung hat sich etabliert:

Planungsevaluationen (ex-ante): Planungsevaluationen werden in der Phase der Projekt- oder Programmentwicklung durchgeführt, noch vor der Umsetzung von Massnahmen. Sie untersuchen die Rahmenbedingungen und prüfen, ob die erwarteten Ergebnisse des Projekts mit den vorhandenen personellen, organisatorischen und finanziellen Mitteln sowie den geplanten Massnahmen überhaupt erreicht werden können.

Prozessevaluationen (on-going): Prozessevaluationen konzentrieren sich auf die Umsetzung der Massnahmen und den Verlauf des Projekts und finden meist während der Implementierungsphase statt, seltener erst am Ende eines Projekts. Prozessevaluationen ermöglichen eine zeitnahe Beratung und somit frühzeitige Korrekturmöglichkeiten, sie werden deshalb auch formative Evaluationen genannt. Diese Evaluationsform setzt allerdings eine Bereitschaft der Projektleitung zu einer regelmässigen Auseinandersetzung mit der eigenen Arbeit voraus: Eine Prozessevaluation kann der Optimierung der Arbeitsprozesse und der Steuerung des Projekts dienen und liefert wichtige Informationen zur Gesamtbeurteilung eines Projektes.

Wirkungsevaluationen (ex-post): Wirkungsevaluationen fassen die Ergebnisse eines Projekts zusammen und bewerten die Wirkungen der durchgeführten Massnahmen. Sie werden deswegen auch summative Evaluationen, Bilanz- oder Ergebnisevaluationen genannt. Dieser Evaluationstyp wird tendenziell gegen Ende des Projekts durchgeführt, nach Abschluss der Interventionen. Mit einer Ergebnisevaluation wird gegenüber den verschiedenen Beteiligten und Betroffenen Rechenschaft über den Projekterfolg abgelegt.

Verortung von Evaluation in den Projektphasen

Evaluation wird immer mehr zur Beurteilung der Wirksamkeit von Gesundheitsförderungs- und Präventionsprojekten gefordert, was aufgrund der Komplexität des Feldes, der Langfristigkeit der Wirkungen und der vielfältigen externen Einflussfaktoren allerdings eine grosse Herausforderung darstellt. Der Nachweis von Wirkungen auf Basis eindeutiger Ursache-Wirkungsbeziehungen ist in sozialen Kontexten schwierig bzw. in der Regel nicht leistbar. Vielmehr geht es darum, möglichst plausible Hinweise auf Wirkungen und Wirkungszusammenhänge auf verschiedensten Ebenen zu finden.

Evaluation der Projektqualität

Soll in einer Evaluation gezielt die Qualität eines Projektes beurteilt werden, so bieten sich die Qualitätskriterien von quint-essenz als Referenz an. Die 24 Kriterien mit den entsprechenden Indikatoren, welche zum Zeitpunkt der Beurteilung relevant sind, werden einzeln reflektiert und spezifische Stärken und Verbesserungspotenziale hervorgehoben. Anschliessend können Qualitätsziele und -massnahmen formuliert werden, mit welchen die Projektqualität verbessert werden kann. Eine derartige Qualitätsevaluation kann in allen Projektphasen erfolgen, ist aber gegen Ende der Konzeption besonders empfehlenswert, damit wichtige Korrekturen vor Beginn der Implementierung noch vorgenommen werden können.

Evaluationsstandards und -prinzipien

Verschiedene nationale Evaluationsgesellschaften haben Standards, Leitlinien und Prinzipien für Evaluationen ausgearbeitet. Die Berücksichtigung dieser Standards hilft mit, Fehler und Enttäuschungen in Evaluationen zu vermeiden.

Literaturhinweise

  • Ackermann, G.; Pfyl, R. (2010). Vom Umgang der Evaluation mit Komplexität. LeGes – Gesetzgebung & Evaluation 2010/1. 73-83
  • Kromrey, Helmut (2001). Evaluation – ein vielschichtiges Konzept. Begriff und Methodik von Evaluierung und Evaluationsforschung. Empfehlungen für die Praxis. In: Sozialwissenschaften und Berufspraxis (SUB) 24 (2), S. 105–131.
  • Ruckstuhl, B., Somaini, B., & Twisselmann, W. (1997). Förderung der Qualität in Gesundheitsprojekten: der Public Health Action Cycle als Arbeitsinstrument (PHAC). Zürich: Institut für Sozial- und Präventivmedizin.
  • Abel,T.; Bruhin, E. (2003). Health Literacy / Wissensbasierte Gesundheitskompetenz. In: Bundeszentrale für gesundheitliche Aufklärung (Hrsg.). Leitbegriffe der Gesundheitsförderung, S. 128-131. Schwabenheim: Sabo.
  • Kolip, P., Ackermann, G., Ruckstuhl, B. & Studer, H. (2012). Gesundheitsförderung mit System. quint-essenz – Qualitätsentwicklung in Projekten der Gesundheitsförderung und Prävention. Bern: Huber
  • Stockmann, R. (Hrsg) (2006). Evaluationsforschung. Grundlagen und ausgewählte Forschungsfelder. 3. Auflage. Münster: Waxmann.
  • WHO-Europe (2001). Evaluation in health promotion. Principles and perspectives. WHO regional publications. European series, No 92.
  • Widmer, Th. & De Rocchi, Th. (2012) Evaluation. Grundwissen, Ansätze und Anwendungen. Zürich: Rüegger.

Was Sie daran hindern könnte, diese Aspekte zu berücksichtigen

  • Sie halten Evaluationen für überflüssig und/oder zu aufwändig.
  • Sie haben keine oder zu wenig Ressourcen für die Evaluation eingeplant.
  • Ihnen fehlt die fachliche Kompetenz zur Planung und Durchführung von Evaluationsmassnahmen.

Was Sie gewinnen können

  • Evaluationsergebnisse helfen Ihnen, Ihr Projekt fundiert weiter zu entwickeln und zu steuern
  • Eine professionelle Aussenperspektive ist wertvoll, um blinde Flecken aufzudecken
  • Positive Evaluationsergebnisse können die Legitimation Ihrer Interventionen massgeblich stützen.

Was Sie konkret tun können

Gibt es unterschiedliche Interessen, die nicht vereinbar sind, machen Sie eine Prioritätenliste. Nicht alle möglichen Fragen können in einer Evaluation untersucht werden.

Erstellen Sie mit Hilfe der quint-essenz Vorlage ein Evaluationskonzept, in welchem die wichtigsten Fragen geklärt und dokumentiert werden. Das Evaluationskonzept ist Grundlage für Offertanfragen bei Evaluationsinstituten oder Fachleuten für Evaluationen.

Sind Sie mit der Konzeption der Evaluation überfordert, so greifen Sie auf externe Unterstützung zurück (vgl. das Beratungsangebot auf www.quint-essenz.ch).

Reflexionsfragen

  • Ist Evaluation in der Konzeption Ihres Projekts und bei der Budgetierung ausreichend berücksichtigt?
  • Haben Sie geklärt, aus welcher Perspektive die Evaluation durchgeführt werden soll? Wann und mit welchem Fokus soll sie eingesetzt werden?
  • Wurde bestimmt, wer für die (Selbst-)Evaluation verantwortlich ist?