Evaluationsmethoden

Sind die Evaluationsfragen bestimmt, so geht es darum, die Forschungsmethoden zu definieren, um zu den gewünschten Antworten zu kommen.

In den Sozialwissenschaften haben sich einerseits quantitativ und andererseits qualitativ orientierte Forschungsansätze etabliert, die sich hinsichtlich Erkenntnisinteresse und Methodik unterscheiden. Wie es die Begriffe andeuten, ist ein quantitativ orientiertes Forschungsdesign darauf ausgelegt, Phänomene in ihrer Quantität, also mengenmässig zu erfassen, ein qualitativ orientiertes Design fragt nach differenzierten Meinungen, Perspektiven, Hintergründen. Obwohl dies oft suggeriert wird, lassen sich die einzelnen Erhebungsmethoden und die entsprechenden Erhebungsinstrumente nicht eindeutig diesen beiden Kategorien zuordnen. Die meisten Erhebungsinstrumente können sowohl quantitativ als auch qualitativ genutzt werden, je nach Grad ihrer Offenheit. So kann ein Fragebogen neben quantitativen, geschlossenen Fragen auch offene Fragen enthalten, die qualitativ ausgewertet werden können. In Interviews ist es andererseits auch möglich, quantitative Elemente zu integrieren, z.B. wenn Interviewte nach Einschätzungen auf einer Skala von 1-10 gefragt werden, die dann numerisch ausgewertet werden können.

Quantitative Verfahren

In quantitativen Verfahren werden zählbare Eigenschaften gemessen bzw. Sachverhalte numerisch abgebildet. Ergebnisse werden mittels statistischen Zusammenhängen und Berechnungen ermittelt. Standardisierte Fragebögen oder Beobachtungen basieren auf bereits bekanntem Vorwissen und zielen auf ganz bestimmte Aspekte ab, die sie breit untersuchen, überprüfen, resp. zu welchen sie Einschätzungen einholen möchten.

Quantitative Verfahren fokussieren auf vorgegebene Fragen und sind dadurch in ihrem Blickwinkel eingeschränkt. Neue Aspekte, die in den ausformulierten Antwortkategorien nicht vorkommen, bleiben deshalb oft unberücksichtigt.

Qualitative Verfahren

Zur vertieften Untersuchung von Phänomenen, die komplex sind oder zu denen es noch wenig Vorwissen gibt, ist eine qualitative Herangehensweise besonders ergiebig. Offene Interviews oder Beobachtungen können wesentliche Aspekte erfassen, die bei einem stark standardisierten Vorgehen und namentlich mit geschlossenen Fragen verborgen bleiben. Für qualitative Methoden werden in Abgrenzung zu den klassischen Gütekriterien quantitativer Forschung eigene Gütekriterien proklamiert, so z.B. intersubjektive Nachvollziehbarkeit, Gegenstandsangemessenheit, wissenschaftliche Fundierung, Reflexivität oder Kontextbezogenheit (Steinke 1999, Studer 2011).

Qualitative Verfahren werden oft eingesetzt, wenn der Forschungsgegenstand relativ neu ist oder um das Forschungsgebiet bzw. die Fragestellung zu erkunden und Hypothesen zu entwickeln. Quantitative Verfahren werden eher dazu genutzt, Aussagen über die Häufigkeit oder Verteilung bestimmter Phänomen zu machen oder bestehende Hypothesen zu testen. Oft werden qualitative und quantitative Methoden kombiniert.

Wird ein bestimmter Gegenstand gleichzeitig aus verschiedenen methodischen Perspektiven beleuchtet, mit mehreren z.B. qualitativen und quantitativen Methoden untersucht, spricht man von Methoden-Triangulation (Flick 2004). Die Auswahl der verwendeten Methoden richtet sich nach dem Untersuchungszweck, dem Untersuchungsgegenstand sowie nach den Fragestellungen. Zudem spielen auch die zu befragenden Personen, die zur Verfügung stehenden Ressourcen sowie das vorhandene methodische Know-how eine wichtige Rolle.

Evaluationsmethoden/-Instrumente

Es gibt eine Menge von Methoden und dazugehörigen Instrumenten, die in Evaluationen genutzt werden können. Welches die jeweils beste Methode ist, hängt von der Fragestellung, aber auch vom Umfeld, der Zielgruppe, den finanziellen und personellen Ressourcen und weiteren Aspekten ab. Es gibt also keine Rezepte, welche Methoden und Instrumente für welche Fragestellungen die richtigen sind. Es gibt aber gleichwohl Orientierungshilfen, die bei der Wahl nützlich sein können. In der folgenden Übersicht werden ein paar solche Orientierungen gegeben:

Evaluationsmethoden Instrumente	Bemerkungen
Dokumentenanalysen	Für einzelne Fragestellungen oder Aspekte kann auf bestehende Dokumente (Berichte, Konzepte, Bildmaterial, Videos,...) zurückgegriffen werden, so dass dafür keine zusätzlichen Datenerhebungen notwendig sind.
Schriftliche Befragungen (Papierversion) Fragebogen	Die schriftliche Befragung ist die gebräuchlichste Erhebungsmethode, wenn Informationen von mittleren oder grösseren Bevölkerungsgruppen erhoben werden sollen, um einen statistisch repräsentativen Überblick über die Antworten dieser Gruppen zu erhalten. Fragebogen können sowohl geschlossene Fragen (mit vorgegebenen Antwortkategorien) als auch offene Fragen enthalten.
Online-Befragungen Online-Fragebogen	Online-Befragungen haben gegenüber anderen schriftlichen Befragungen den Vorteil, dass eine nachträgliche elektronische Datenerfassung entfällt, was viel Zeit spart. Nicht alle Personen oder Personengruppen sind allerdings über diesen Weg erreichbar.
Telefonische Befragungen Fragebogen	Befragungen werden immer häufiger aber auch telefonisch durchgeführt. Telefonische Befragungen sind im Vergleich zu schriftlichen Befragungen vor allem bei grösseren Bevölkerungsgruppen sehr zeitaufwändig, bei kleineren Gruppen aber eine effiziente Alternative. Telefonische Befragungen haben gegenüber schriftlichen Befragungen den Vorteil, dass bei Unklarheiten oder zur Vertiefung nachgefragt werden kann.
Telefonische Interviews Interviewleitfaden	Neben quantitativ ausgerichteten Befragungen können auch qualitative Interviews telefonisch durchgeführt werden, um bestimmte Fragestellungen zu vertiefen. Telefonische Interviews sparen im Vergleich zu persönlichen Interviews Reisezeit und Reisekosten.
Persönliche Interviews Interviewleitfaden	Persönliche Interviews schaffen in der Regel eine grössere Vertrautheit als telefonische Interviews und sie erlauben zusätzliche Einblicke in den Kontext der Befragten, insofern die Interviews im Feld durchgeführt werden.
Gruppenbefragungen Interviewleitfaden	Gruppenbefragungen haben gegenüber Einzelinterviews den Vorteil, dass neue Aspekte auftauchen und gemeinsam bearbeitet werden können. Gruppeninterviews eignen sich deshalb insbesondere, wenn Konsens in Beurteilungen erarbeitet werden soll.   Allerdings können die Perspektiven der Einzelpersonen nicht in gleichem Masse vertieft und unabhängig von den anderen Teilnehmenden untersucht werden.
Beobachtungen Beobachtungsraster	Beobachtungen werden eingesetzt, um das Geschehen vor Ort aus erster Hand beurteilen zu können, also ohne dass dies durch die Befragten bereits gefiltert ist. Auch Unterschwelliges, Unbewusstes, nicht Explizites kann auf diese Weise erfasst werden.    Allerdings können nur Aspekte beurteilt werden, die einer Beobachtung direkt zugänglich sind, nicht also zum Beispiel Einstellungen von Personen.
Messungen Messinstrumente	Bestimmte Aspekte können mit entsprechenden Instrumenten objektiv gemessen werden, so z.B. Körpergrösse und Gewicht, um den Body Mass Index von Personen zu berechnen und über die Zeit zu verfolgen oder die Zeit, um festzustellen, wie lange man braucht, um bestimmte Arbeiten auszuführen. Messinstrumente wären in diesen Fällen Waage, Messband und Uhr.
Tests Testanordnungen und entsprechende Hilfsmittel	Obwohl noch weniger häufig verwendet, können Tests vielseitig in Evaluationen genutzt werden, um Interventionsansätze oder Produkte zu beurteilen (z.B. Pretests bei Plakatekampagnen, Testkäufe von Alkohol oder Rauchwaren durch Minderjährige, Usability-Tests bei Webseiten,…).

Neben diesen weit verbreiteten Erhebungsmethoden gibt es eine ganze Reihe weiterer Methoden, die auch für Evaluationen genutzt werden können, deren Potenzial aber bei weitem noch nicht ausgeschöpft ist. Interessante Methoden sind z.B. Story-telling, Strukturaufstellungen (Teams, Organisationen, Settings), Spiele, Experimente, Autofotographie und Videoarbeit, repertory grid, etc.

Literaturhinweise

• Mayring, Ph. (2002). Einführung in die qualitative Sozialforschung. Weinheim: Beltz.
• Flick, U. (2006). Qualitative Evaluationsforschung. Konzepte, Methoden, Umsetzungen. Reinbek: Rowohlt.
• Müller-Benedict, V. (2001). Grundkurs Statistik in den Sozialwissenschaften. 5. Auflage. Wiesbaden: VS-Verlag.
• Flick, U. (2004). Triangulation. Eine Einführung. Wiesbaden: VS Verlag.
• Studer, H. (2011). Rekonstruktive Forschungspraxis - Ansätze zu einer gegenstandsbegründeten Methodologie. Dissertation 2007. Saarbrücken: Südwestdeutscher Verlag für Hochschulschriften.
• Porst, Rolf (2000). Question Wording – Zur Formulierung von Fragebogen-Fragen. ZUMA How-to-Reihe, Nr. 2.
• Steinke, I. (1999). Kriterien qualitativer Forschung. Ansätze zur Bewertung qualitativ-empirischer Sozialforschung. Weinheim: Juventa

Was Sie daran hindern könnte, diese Aspekte zu berücksichtigen

• Ihnen fehlt die fachliche Kompetenz zur Wahl geeigneter Evaluationsmethoden und -instrumente
• Sie haben zu wenig Ressourcen für die Suche nach oder Entwicklung und Übersetzung von Erhebungsinstrumenten eingeplant

Was Sie gewinnen können

Eine begründetet Wahl der Evaluationsmethodik und -instrumente bietet Gewähr, dass die erhobenen Daten tatsächlich die gewünschten Informationen liefern, bzw. zur Beantwortung Ihrer Evaluationsfragen geeignet sind. Gleichzeitig kann verhindert werden, dass zu viele Daten erhoben werden, die dann später gar nicht ausgewertet werden (können).

Was Sie konkret tun können

Überprüfen Sie, nachdem Sie die Evaluationsfragen definiert haben, welche Daten bereits vorliegen, die zur Beantwortung der Fragen hinzugezogen werden können. Suchen Sie Methoden und Verfahren, die mit möglichst geringem Aufwand einen möglichst grossen Erkenntnisgewinn versprechen. Lassen Sie sich bei der Bestimmung der Evaluationsmethoden und bei der Entwicklung von Evaluationsinstrumenten von erfahrenen Evaluationsfachleuten beraten.

Reflexionsfragen

• Erscheint ein eher quantitativer oder ein eher qualitativer Forschungsansatz geeignet, um eine Beurteilung des Projektes in gewünschtem Sinne zu ermöglichen?
• Sind die gewählten Methoden angemessen, um die Erreichung der Projektziele zu beurteilen und um die Evaluationsfragen zu beantworten?