Evaluation durchführen

Auf der Basis der Evaluationsplanung, welche in einem Evaluationskonzept und/oder in der Evaluationstabelle konkretisiert sein kann, kann nun die Datenerhebung und Datenauswertung erfolgen.

Entwicklung und Testen von Erhebungsinstrumenten

Bevor Erhebungsinstrumente wie Fragebogen oder Interviewleitfäden selbst entwickelt werden (was einen erheblichen Aufwand an Ressourcen erfordert), sollte geklärt werden, ob Erhebungsinstrumente aus anderen Projekten für das eigene Projekt übernommen und bei Bedarf angepasst werden können. Sofern möglich und der Fragestellung angemessen, sollen validierte Erhebungsinstrumente verwendet werden, also Instrumente, welche in wissenschaftlichen Überprüfungen ihre Tauglichkeit bewiesen haben.

Es ist empfehlenswert, Erhebungsinstrumente vor ihrer Verwendung Schlüsselpersonen aus dem Untersuchungsfeld (Auftraggeber, Expert/-innen) zur Begutachtung vorzulegen.

Vor der Datenerhebung sollten neu erarbeitete Instrumente (Fragebogen, Interviewleitfaden, Beobachtungsraster, Raster zu Dokumentenanalysen) bei Vertreter/-innen der zu befragenden Akteure getestet werden (Pretest). So können allfällige Unklarheiten bezüglich Verständlichkeit und Ablauf geklärt werden. Ausserdem werden dabei Anhaltspunkte über Aufwand und Zeitbedarf gewonnen. Die Instrumente können aufgrund der Erfahrungen im Pretest noch angepasst werden.

Durchführung der Datenerhebungen

Der Ablauf und die Zeitpunkte der Datenerhebungen richten sich grundsätzlich nach der gewählten Methodik und nach Projektverlauf. Für die einzelnen Datenerhebungen sind klare, schriftlich festgelegte Anweisungen zu formulieren. Dies ist einerseits wichtig, wenn mehrere Personen Daten erheben, damit möglichst wenige Verzerrungen aufgrund individuell unterschiedlicher Vorgehensweisen entstehen. Andererseits wird durch die Verschriftlichung der Prozess der Datenerhebung im Detail geklärt und transparent dokumentiert. Bei qualitativen Verfahren findet in der Regel vorgängig zu den Datenerhebungen eine schriftliche oder persönliche Kontaktaufnahme mit den Auskunftspersonen und Interviewpartnern statt, um diese über Ziel und Zweck der Datenerhebung zu informieren, sie zum Mitmachen motivieren und ihr Einverständnis zu erhalten. Den Auskunftspersonen wird in der Regel eine anonymisierte Datenverwendung und nach Möglichkeit die Einsichtnahme in die Ergebnisse zugesichert (in bestimmten Fällen kann dies anders vereinbart werden).

Datenauswertungen

Nachdem die Daten z.B. mittels Interviews, Fragebogen oder Beobachtungen erhoben sind, müssen diese aufbereitet, strukturiert und ausgewertet werden. Die Daten werden je nach gewählter Methodik zusammengefasst, ausgezählt, berechnet, interpretiert und in übersichtlicher Weise dargestellt und diskutiert. Dazu braucht es entsprechende forschungsmethodische Kompetenzen.

Quantitative Auswertungen

Numerische Daten werden zur Vorbereitung der Auswertung zunächst in entsprechenden Tabellen zusammengefasst – bei Fragebogenauswertungen enthalten die Spalten die Antwortmöglichkeiten, jede Zeile einen neuen Fragebogen. Computerprogramme wie Excel, R-Project oder SPSS erleichtern die Auswertung und Darstellung numerischer Daten.

Statistische Methoden zur Darstellung von Daten in Form von Grafiken, einfachen Tabellen und einzelnen Kennwerten werden als deskriptive oder beschreibende Statistik bezeichnet. Die deskriptive Statistik setzt quantitative Messungen oder aber Auszählungen von Aussagen oder Beobachtungen voraus. Häufigkeitstabellen, prozentuale Verteilungen oder Mittelwerte werden ergänzend in Worten beschrieben und auffällige Ergebnisse hervorgehoben.

Quantitative Auswertungen erschöpfen sich aber nicht in einer beschreibenden Statistik. Mittels statistischer Tests und Analysen werden Zusammenhänge zwischen einzelnen unabhängigen Variablen (Alter, Geschlecht, Interventionsintensität,…) und abhängigen Variablen (Wirkungsparameter wie z.B. strukturelle Entwicklungen, Einstellungs- oder Verhaltensänderungen) untersucht. Die Anwendung statistischer Tests erfordert hohe forschungsmethodische Kompetenzen und Erfahrungen und ist deshalb für Selbstevaluationen in der Regel ungeeignet.

Qualitative Auswertungen

Bei qualitativen Auswertungen geht es hauptsächlich darum, Text-, Bild- oder Filmdaten (Dokumente, Interviewprotokolle usw.) auf bestimmte Fragestellungen hin zu erzeugen und zu untersuchen . Interviews werden üblicherweise auf Tonband oder Video aufgezeichnet und anschliessend protokolliert. In vielen Evaluationen kann darauf verzichtet werden, die Interviews wort-wörtlich abzutippen (zu transkribieren) und diese Transkripte anschliessend inhaltsanalytisch auszuwerten. Gute Protokolle mit den wesentlichen Aussagen, die den Interviewpartnern zum Gegenlesen bzw. konsensuellen Validieren gegeben werden können, reichen in einem solchen Fall aus, um die wesentlichen Inhalte für weitere Auswertungen handhabbar zu machen.

Die vorliegenden Daten werden strukturiert und zusammengefasst, um auf diese Weise Antworten auf die Evaluationsfragestellungen herauszuarbeiten.

Qualitative Auswertungsmethoden, die über eine solche einfache Inhaltsanalyse hinausgehen und wörtlich transkribierte Interviews systematisch kodieren und interpretativ resp. sinnverstehend analysieren, erfordern spezifische forschungsmethodische Kompetenzen und Erfahrungen, weshalb auch solche interpretative Verfahren für Selbstevaluationen meist ungeeignet sind. Auch für qualitative Auswertungen existieren mittlerweile gute Computerprogramme, die das Kodieren, Kategorisieren und Auswerten verbaler oder visueller Daten erleichtern (z.B. Atlas-ti, MAXQDA, HyperRESEARCH, nVivo).

Interpretation der Daten

Bei der Interpretation werden verbale Daten, Tabellen oder Grafiken und Bilder nicht nur beschrieben, sondern sie werden in den Kontext des Gesamtprojekts sowie in einen übergeordneten Rahmen (Erfahrungen anderer Projekte, Studienergebnisse, Theorien) gestellt und auf diese Weise beurteilt und kommentiert.

Die Interpretation der Daten ist bei quantiativen Verfahren von der Auswertung deutlich zu trennen. Bei qualitativen Verfahren sind Auswertung und Interpretation in einem zyklischen Forschungsprozess miteinander verknüpft. Sowohl bei quantitativen aber insbesondere auch bei qualitativen Verfahren wird versucht, untersuchte Aspekte, Zielgruppen, Settings, etc. zu typisieren. Diese Typologien können später dazu genutzt werden, spezifische Interventionsansätze für die unterschiedlichen Typen zu entwickeln.

Literaturhinweise

• Mayring, Ph. (2002). Einführung in die qualitative Sozialforschung. Weinheim: Beltz.
• Flick, U. (2006). Qualitative Evaluationsforschung. Konzepte, Methoden, Umsetzungen. Reinbek: Rowohlt.
• Müller-Benedict, V. (2001). Grundkurs Statistik in den Sozialwissenschaften. 5. Auflage. Wiesbaden: VS-Verlag.
• Siegel, Sydney (2001). Nichtparametrische statistische Methoden. 5. Auflage. Eschborn: Klotz.

Was Sie daran hindern könnte, diese Aspekte zu berücksichtigen

• Oft werden diejenigen Daten erhoben, die leicht zugänglich sind, ohne vorher zu klären, ob sie für die Beantwortung der Evaluationsfragen relevant sind.
• Es fehlt das forschungsmethodische Know-how, die erhobenen Daten fachgerecht auszuwerten.

Was Sie gewinnen können

• Eine sorgfältige Datenauswertung bildet eine solide Grundlage die Beantwortung der Evaluationsfragen und das Gewinnen weiterer Erkenntnisse über den untersuchten Sachverhalt
• Gut begründete Interpretationen aufgrund klar erhobener und verarbeiteter Daten erhöhen Ihre Glaubwürdigkeit. Dies kann für die Weiterführung und Akzeptanz des Projekts von Seiten der Entscheidungsträger wichtig sein.

Was Sie konkret tun können

Überlegen Sie sich im Voraus gut, wie die erhobenen Daten ausgewertet werden sollen. Wer soll dies tun, wann und auf welche Art und Weise? Holen Sie sich fachliche Unterstützung für die Auswertung der Daten, falls Sie darin nicht geübt sind.

Reflexionsfragen

• Verfügen diejenigen Personen, welche die Datenerhebungen durchführen, über ausreichende entsprechende Kompetenzen und bestehen klare Anweisungen und Richtlinien für die Durchführung der Erhebungen?
• Sind die zu Befragenden über Ziel und Zweck der Evaluation aufgeklärt worden und ist die Anonymität (wo möglich) gewährleistet?