Susanne Giel: Theoriebasierte Evaluation
Rezensiert von Prof. Dr. Edgar Baumgartner, 27.05.2014

Susanne Giel: Theoriebasierte Evaluation. Konzepte und methodische Umsetzungen.
Waxmann Verlag
(Münster/New York/München/Berlin) 2013.
306 Seiten.
ISBN 978-3-8309-2855-3.
D: 34,90 EUR,
A: 35,90 EUR,
CH: 46,90 sFr.
Reihe: Internationale Hochschulschriften - 584.
Thema
Die Dissertation von Susanne Giel greift ein methodologisches Thema der Evaluationsforschung auf. Mit der theoriebasierten Evaluation steht ein Evaluationsansatz im Zentrum, der als aktuell, vielversprechend und weiterführend gilt und den die Autorin auch als Alternative zu klassischen, vielfach an experimentellen Designs orientierten Zugängen einführt. Die übergeordnete, einleitend benannte Frage des Buches lautet, wie Evaluationen gegenstandsangemessen, realistisch umsetzbar, nützlich und gegenüber Beteiligten und Betroffenen fair sein können und genaue Ergebnisse sichern. Die theoriebasierte Evaluation als mögliche Antwort hierauf umfasst verschiedene Zugänge, deren Klammer die zentrale Stellung der Programmtheorie für die Durchführung von Evaluationen bildet. Die Autorin zeigt auf rund 300 Seiten verschiedene Konzepte und Aspekte der methodischen Umsetzung einer theoriebasierten Evaluation auf und diskutiert diese anhand des Beispiels der Evaluation einer internetbasierten Lernumgebung.
Aufbau und Inhalt
Die Monographie gliedert sich in insgesamt sieben Kapitel.
Die Einleitung, die mit „Suche nach alternativen Wegen“ überschrieben ist, führt in Thema, Fragestellung und Aufbau des Buches ein und macht deutlich, dass es in der aktuellen Literatur an einer umfassenden und systematischen Darstellung verschiedener, als „theoriebasiert“ zu bezeichnender Zugänge sowie an Umsetzungsbeispielen fehlt.
In Kapitel zwei werden Begriff und Geschichte der Evaluation skizziert und Gegenstände, Vorgehensweisen und Bewertungskriterien als weitere Teilthemen aufgenommen. Die Ausführungen zeigen die Variation von Evaluationen und insbesondere die Spannungsfelder auf, in denen sich diese zwischen Politik, Praxis und Wissenschaft angesiedelte Tätigkeit bewegt. Die Autorin nimmt die Eingrenzung auf Programmevaluation als Gegenstand des Buches vor und führt in die Evaluation einer internetbasierten Lernumgebung im Fach Soziologie an der Freien Universität Berlin ein, das für die weiteren Teile des Buches jeweils als Fallbeispiel dient.
Klassische Konzepte zur Durchführung von Evaluationen sind Thema von Kapitel 3. Die Autorin greift deren vier auf und zählt zu den wichtigsten klassischen Konzepten die zielorientierte Evaluation von Ralph W. Tyler (1), experimentelle und quasi-experimentelle Evaluationen nach Donald T. Campbell (2), die nutzungsfokussierte Evaluation von Michael Q. Patton (3) sowie die „Evaluation der vierten Generation“ nach Egon G. Guba und Yvonna S. Lincoln (4). Diese Ansätze werden im Umfang von 7 bis 10 Seiten je entlang von drei Dimensionen – Grundzüge, Rolle der Evaluatorinnen und Evaluatoren sowie kritische Würdigung – vorgestellt. Die mögliche Anwendung dieser Konzepte am Praxisbeispiel schliesst das Kapitel ab.
Die Umsetzung von theoriebasierten Evaluationen ist Gegenstand des vierten Kapitels. Die Darstellung beginnt mit einer historischen und begrifflichen Verortung theoriebasierter Evaluationen und diskutiert dann die in Kapitel 2 eingeführten klassischen Konzepte unter dem Blickwinkel einer theoriebasierten Evaluation, wobei der Ansatz von Michael Q. Patton nicht einbezogen wird. Es werden unterschiedliche Verständnisse von Theorie sowie Verfahren, um zugrundeliegende Annahmen eines Programms (Programmtheorie) zu explizieren, vorgestellt. Im Einzelnen wird auf Zugänge von Huey-tsyh Chen (Integrationskonzept), Carol H. Weiss (Prozess der Programmtheorieentwicklung) sowie Ray Pawson und Nick Tilley (Zyklische Programmtheorieentwicklung) eingegangen. Abschliessend werden mögliche Programmtheorien am Beispiel der internetbasierten Lernumgebung skizziert.
Kapitel fünf ist der methodischen Umsetzung einer theoriebasierten Evaluation gewidmet. Die Autorin wählt den Weg, fünf methodische Zugänge im Hinblick auf ihre potenzielle Nutzung, je bezogen auf den Ansatz theoriebasierter Evaluation und das Praxisbeispiel, vorzustellen. Die fünf methodischen Zugänge sind: Naturalistische Forschung und Symbolischer Interaktionismus (1), Aktionsforschung (2), Dokumentarische Methode der Interpretation (3), Grounded-Theory-Methodologie (4) und standardisiert verfahrende Forschung (5). Diese Ansätze gelten aus Sicht der Autorin als aussichtsreich, der Herausforderung, die Programmtheorie zu erschliessen und diese an der Programmrealität zu überprüfen, begegnen zu können.
Das sechste Kapitel widmet sich der Frage nach der Kombination der in Kapitel fünf vorgestellten methodischen Zugänge. Mögliche Integrationsstrategien werden in Bezug zur Verfasstheit von Programmen sowie Funktionen von Evaluationen gesetzt. Deren Einsatzmöglichkeiten diskutiert die Autorin am Beispiel der Evaluation zur internetbasierten Lernumgebung.
Die wichtigsten Erkenntnisse des Buches sowie ein Fazit im Hinblick auf die Ausgangsfragestellung bilden das abschliessende siebte Kapitel.
Diskussion
Den Kern einer theoriebasierten Evaluation macht die Auseinandersetzung mit der einem Programm zugrundeliegenden Theorie aus. Dass es sich hierbei um ein lohnenswertes Vorhaben handelt, vermag das Buch durchaus zu verdeutlichen, und zwar – wie die Autorin hervorstreicht – zum Nutzen sowohl für die zu evaluierende Praxis wie auch für die Evaluationspraxis selbst. Die Einlösung eines solchen Anspruchs ist aber anforderungsreich, denn eine Umsetzung der theoriebasierten Evaluation erfordert insbesondere, die zugrundeliegende Programmtheorie herauszuarbeiten und diese an der konkreten Programmrealität zu überprüfen. Wie dies gelingen kann, diskutiert die Autorin auf Basis von theoretischen Konzepten und Zugängen wie auch durchgängig möglichst konkret auf ein Praxisbeispiel bezogen. Diese Kombination von systematisch-theoretischer Darstellung und Umsetzungsperspektive vermag zu überzeugen und macht das Buch zu einem wichtigen evaluationsmethodologischen Diskussionsbeitrag im deutschsprachigen Raum. Dennoch gilt es auch einige ausgewählte Anmerkungen zu Schwächen bzw. Grenzen der Abhandlung anzubringen.
Ein erster Punkt betrifft die Begrifflichkeiten: Im Buch werden verschiedene methodische Zugänge und Konzepte thematisiert. Deren Beschreibung wird jeweils mit unterschiedlichen Begrifflichkeiten eingeführt; es ist zugleich von Designs, Forschungskonzepten, Forschungsstrategien, Methoden oder Verfahren die Rede. Zum einen hätte man sich hier mehr Klarheit bei der Verwendung dieser Termini gewünscht. Zum anderen spiegelt die Begriffsvielfalt auch wider, dass z.B. „Aktionsforschung“, „dokumentarische Methode“ oder „standardisiert verfahrende Forschung“ tatsächlich auf unterschiedlichen Ebenen angesiedelte methodische Zugänge darstellen. Umso mehr wäre es zweckmässig gewesen, die Auswahl dieser methodischen Zugänge (in Kapitel 5) besser und ausführlicher zu begründen. Ein Kritikpunkt, der sich auch auf die „klassischen“ Konzepte (Kapitel 2) zur Durchführung von Evaluationen beziehen lässt, denn auch deren Zusammenstellung ist kaum begründet (S. 55) und hätte auch anders ausfallen können.
Im Buch wird an verschiedenen Stellen (z.B. S. 155) darauf verwiesen, dass es erst eine geringe Präsenz der theoriebasierten Evaluation in der Praxis und daher kaum dokumentierte Beispiele gibt. Dieser Einschätzung vermag man sich jedoch nur bedingt anzuschliessen. So ist beispielsweise zu konstatieren, dass in den letzten Jahren vermehrt Evaluationsstudien gemäss Ansatz der „realistic evaluation“ (Ray Pawson und Nick Tilley), der aus Sicht der Autorin im europäischen Kontext der theoriebasierten Evaluation zum Durchbruch verholfen hat (S. 103), umgesetzt wurden. Im Hinblick auf die Frage nach der Umsetzung einer theoriebasierten Evaluation wäre der Einbezug dieser projektbezogenen Erfahrungen – z.B. bezüglich Anwendung der Begriffe „Kontext“ oder „Mechanismus“ gemäss einer „realistic evaluation“ – durchaus fruchtbar und weiterführend gewesen.
Die Autorin verknüpft die theoriebasierte Evaluation mit einem Gewinn für die jeweils evaluierte Praxis wie auch für eine gegenstandsangemessene und verschiedene Evaluationsstandards einlösende Evaluationspraxis. Diese Einschätzung ist durchaus nachvollziehbar, damit ist jedoch die Funktionalität von theoretischem Wissen im Zusammenhang mit Evaluationen nicht abschliessend erfasst. Denn Theorien dienen der Integration und Systematisierung von Erkenntnissen aus Evaluationen und erlauben so ein Transfer aus der Evaluationsforschung in die (sozialwissenschaftliche) Theoriebildung. Es stellt gerade eine Stärke der theoriebasierten Evaluation dar, dieser z.B. von Lipsey (1997) eingebrachten Anregung, Erkenntnisse aus Evaluationen auch für die Theorieentwicklung nutzbar zu machen, gerecht werden zu können. Diese Funktion erfährt im Buch durchaus Erwähnung (S. 118) und unter den Vorzeichen einer am Forschungsparadigma orientierten Evaluation auch eine Diskussion (S. 255-257), doch die sich daraus ergebenden, auch neuen Umsetzungsfragen und methodologischen Herausforderungen erhalten in den Ausführungen keine vertiefte Erörterung.
Fazit
Das Buch widmet sich mit der theoriebasierten Evaluation einem aktuellen und wichtigen evaluationsmethodologischen Thema. Es bietet einen breiten Überblick über Hintergründe, Grundlagen und verschiedene Konzepte dieses Ansatzes. Durch die systematische und breite Darstellung der Thematik ist ein wertvoller Beitrag für den deutschsprachigen Evaluationsdiskurs gelungen. Mit der Fokussierung auf die Umsetzung einer theoriebasierten Evaluation, aufgezeigt und diskutiert an einem konkreten Praxisbeispiel, bietet die Monographie für die Evaluationspraxis viele wertvolle Anregungen und Hinweise.
Literatur
Lipsey, Mark W. (1997). What Can You Build with Thousands of Bricks? Musings on the Cumulation of Knowledge in Program Evaluation. In: Rog, Debra J. & Fournier, Deborah (Hrsg.). Progress and Future Directions in Evaluation: Perspectives on Theory, Practice, and Method. American Evaluation Association. New Directions for Evaluation Series, 76, 7-23
Rezension von
Prof. Dr. Edgar Baumgartner
Fachhochschule Nordwestschweiz, Hochschule für Soziale Arbeit
Mailformular
Es gibt 3 Rezensionen von Edgar Baumgartner.