Anna von Werthern: Theoriebasierte Evaluation

Rezensiert von Prof. Dr. Wolfgang Beywl, 27.04.2020

Anna von Werthern: Theoriebasierte Evaluation. Entwicklung und Anwendung eines Verfahrensmodells zur Programmtheoriekonstruktion. Springer Fachmedien Wiesbaden GmbH (Wiesbaden) 2019. 436 Seiten. ISBN 978-3-658-27578-5. D: 54,99 EUR, A: 56,53 EUR, CH: 61,00 sFr.

Weitere Informationen bei DNB KVK GVK.

Thema

Evaluationen beschreiben und bewerten materielle und immaterielle Gegenstände aller Art. Der Gegenstandstypus „Programm“ – ein Fachbegriff der Evaluationswissenschaft – spielt dabei eine herausragende Rolle. Angesprochen damit sind zielgerichtete Konzepte und dadurch ausgerichtete Handlungsbündel (Methoden oder Interventionen) in Bereichen wie Soziale Arbeit oder Bildung. In diesen Feldern dominieren Programme, „die in einem hohen Maß auf zwischenmenschlicher Interaktion und Kommunikation fußen“ (S. 17). Programmen liegen Vorstellungen zugrunde, wie deren verschiedene Elemente – darunter oft prominent: Interaktion, Kommunikation, Intervention, professionelles Handeln usw. – so aufeinander abgestimmt funktionieren, dass die angestrebten Ziele erreicht werden. Programme sollen so konzipiert sein, dass die Stabilisierungen oder Veränderungen bei den Zielgruppen bzw. in der sozialen Realität mit großer Wahrscheinlichkeit und in großem Ausmaß auftreten. Solche Vorstellungen können stärker formalisiert, d.h. verschriftlicht und begründet sowie visualisiert werden.

Relativ einfach und unaufwändig kann dies mithilfe von Ablaufschemata oder „Logischen Modellen“ geschehen. Anspruchsvoller sind „Programmtheorien“. Diese beschreiben nicht nur das Ineinandergreifen der verschiedenen Elemente. Sie geben darüber hinaus „theoretisch“ gesättigte Begründungen dafür an, weshalb erwartet werden kann, dass bestimmte Interventionen – gegebenenfalls über mehrere Zwischenstufen und über verschiedene Pfade – zu den gewünschten Resultaten führen. Die Zielsetzung der vorliegenden Monographie ist zu klären, wie man auf systematischem Weg zu anspruchsvollen Programmtheorien kommen kann. Es geht darum, hierfür ein grundsätzlich wieder anwendbares „Verfahrensmodell“ zu entwickeln und an einem Fallbeispiel dessen Verwendbarkeit zu überprüfen.

Autorin und Entstehungshintergrund

Anna von Werthern, die Autorin, hat diese Dissertationsschrift im Rahmen ihrer Mitarbeit in der hochschuldidaktischen Einrichtung PROFiL der Ludwigs-Maximilian-Universität München verfasst. Das Anwendungsbeispiel bezieht sich auf das Angebot TutorPlus. Dieses richtet sich zum einen an Lehrende, die studentische Tutorinnen und Tutoren betreuen, zum anderen auch direkt an letztgenannte.

Aufbau

Das Buch umfasst neben der Einleitung fünf große Teile mit insgesamt 27 Kapiteln. Von den ca. 390 Textseiten entfallen ca. 320 auf die Literaturaufarbeitung, ca. 30 auf die Anwendung des entwickelten Verfahrensmodells auf das Fallbeispiel und 20 Seiten auf Reflexion und Perspektiven für Praxis und Forschung. Das Literaturverzeichnis enthält ca. 360 ausgewertete Quellen.

Inhalt

Die Einleitung stellt verschiedene Definitionsansätze für Programm und Programmevaluation vor und verortet sie in der Evaluationsdisziplin. Die Arbeit fokussiert auf theoriebasierte Evaluation, „welche die impliziten Annahmen über die Wirkweisen von Programmen offenlegt und expliziert“ (S. 9). Als auszuleuchtende „Magic Box“ wird bezeichnet, dass selten nachvollziehbar ist, wie Programmtheorien erstellt worden sind, und dass es hierfür an systematischen Vorgehensweisen mangelt.

Teil I „Evaluation at a glance“ skizziert unter anderem die Entstehungsgeschichte der Evaluationswissenschaft. Erklärt werden Bedeutungsherkunft und -inhalt des Begriffes „Evaluation“. Programmevaluation wird als zentrales Handlungsfeld identifiziert. Unterschieden werden verschiedene Zwecksetzungen und gesellschaftliche Funktionen der Evaluation. Unter anderem werden philosophische Grundlagen der Evaluation angesprochen. Als deren Kern wird die Suche nach Kausalität bezeichnet, „das Überprüfen von Wirksamkeit […] also Ursache und Wirkung miteinander in ein Verhältnis zu setzen“ (S. 81). Aktuelle Diskussionsstränge in der Evaluationstheorie, darunter unter anderem „Komplexität“ und „Evolution“ werden aufgearbeitet. Das Kapitel 10 bietet einen aktuellen Überblick zur Klassifikation relevanter Evaluationsansätze. Die theoriebasierte Evaluation wird als vielversprechenden Ansatz gesehen, Brücken zu schlagen, zwischen Evaluation als praxisorientierter Profession und den Ansprüchen der Sozialwissenschaften, aus denen sie sich im Verlauf ihrer bald 100-jährigen Geschichte ausdifferenziert hat.

Teil II „Theoriebasierte Evaluation“ stellt verschiedene Zugänge vor, wie dieser zentrale Begriff vielfältig in der Literatur definiert wird. Die Autorin resümiert: „Die theoriebasierte Evaluation basiert auf Theorie(n). Damit sind (meist) implizite Annahmen zur genauen Wirkweise eines bestimmten Programms in einem spezifischen Anwendungskontext gemeint, die auf Perspektiven unterschiedlicher Stakeholder, auf empirische Daten oder auch auf (sozial-) wissenschaftliche Erkenntnisse gestützt sein können“. (S. 137). Nach einer breiten und intensiven Auseinandersetzung mit verschiedenen Spielarten theoriebasierter Evaluation konstatiert die Autorin einerseits die große Relevanz belastbarer Programmtheorien. Zum anderen listet sie gravierende Begrenzungen, definitorische Lücken, konzeptionelle Widersprüche und fehlerhafte Programmtheorien auf.

Teil III „Die Programmtheorie: das Herzstück der theoriebasierten Evaluation“ beschäftigt sich nochmals mit Definitionen und Schlüsselelementen von Programmtheorien. So sind „Mechanismen grundlegende Entitäten, Prozesse oder Strukturen, die in spezifischen Kontexten wirken, um bedeutsame Outcomes zu generieren“ (S. 223). Unterschieden werden zwei zentrale Theoriearten: „Während die Theory of Action erklärt, wie Programme angelegt sind, um die intendierten Mechanismen und damit die intendierten Veränderungen zu aktivieren, bezieht sich die Theory of Change auf die zentralen Mechanismen, die Veränderungen hervorrufen.“ (S. 229) Das mit „Fishing for mechanisms“ überschriebene Kapitel 19 geht der Frage nach, welche Hinweise sich in ca. zehn analysierten relevanten Evaluationsansätzen finden, wie eine Programmtheorie erarbeitet wird, und welche typischen Herausforderungen und Fehlerquellen damit einhergehen.

Teil IV „Opening the Magic Box“ beschreibt die Entwicklung und Anwendung eines von der Autorin vorgeschlagenen Verfahrensmodells zur Konstruktion von Programmtheorien. Auf eine wissenschaftstheoretische Reflexion (Kapitel 22) folgt ein Plädoyer für die Ergänzung von deduktiven und induktiven Vorgehen durch die Abduktion (nach Jo Reichertz): „Während mittels der induktiven Herangehensweise die Programmtheorie(n) unterschiedlicher Stakeholder (re-)konstruiert werden können, bieten sozialwissenschaftliche etablierte Theorien deduktiv abgeleitete Erklärungsansätze für die Wirksamkeit eines Programms. Die Abduktion wiederum kann als Erklärung für das kreative Moment herangezogen werden, vermittels dem sich datengestützte Erkenntnisse und theoretische Herleitungen in Kombination mit dem Wissen der Evaluator*innen zu einer Programmtheorie zusammenfügen lassen.“ (S. 308) Zur Veranschaulichung werden verschiedene Vorgehensweisen, zum Beispiel das Gedankenexperiment und das process-tracing vorgestellt. Im Kapitel 24 werden die erarbeiteten Instrumentarien auf die Fallstudie TutorPlus angewendet, zu dem eine theoriebasierte Programmevaluation konzipiert wurde. Es wird dargestellt, wie eine Programmtheorie über mehrere Zyklen für diesen Evaluationsgegenstand angereichert wurde. Im Kapitel 25 werden Entwicklung und Anwendung des Verfahrensmodells reflektiert. Einerseits wird der Zuwachs an Informationen und Erkenntnissen gewürdigt. Andererseits werden zahlreiche Begrenzungen angesprochen. Dies gilt insbesondere für die Übertragbarkeit des Modells und den hohen Aufwand gegenüber dem realisierten Nutzen. Dieser falle für Evaluationen mit dem Zweck der Rechenschaftslegung ungünstig aus, während er sich für auf Erkenntnisgewinn und Entwicklung im Sinne von Verbesserung gerichtete Evaluationen günstiger darstelle.

Teil V richtet sich auf „Perspektiven in Praxis und Forschung“. Die Autorin äußert als Hoffnung: Wenn in Zukunft solide Verfahrensmodelle zu Erarbeitung von Programmtheorien zur Verfügung stehen, könnte dies ein mit vertretbarem Aufwand erreichbarer Gewinn für den Wert von Evaluationsergebnissen sein.

Diskussion

Die oben unter „Thema“ genannte Zielsetzung des Buches ist hoch relevant für Soziale Arbeit, Gesundheitswesen und Bildung. Hier gibt es hochgradig kommunikative und interaktive Programme, die sich in ständig verändernden Kontexten bewegen. Die Autorin leistet eine umfassende, sich überwiegend auf neuere Literatur beziehende Aufarbeitung des Forschungsstandes. Die Anzahl und auch die Breite der einbezogenen Ansätze aus der Evaluationstheorie und weit darüber hinaus sind beeindruckend.

Ohne Zweifel bietet das Buch gerade für diejenigen, die sich mit Theorie und Methodologie der Evaluation vertieft beschäftigen, viele interessante Zugänge. Diese Zielgruppe dürfte bisweilen klare eigene Positionierungen der Autorin zu den vielen referierten Definitionsangeboten vermissen.

Für die als Zielgruppe ebenfalls ausgewiesenen Evaluationspraktikerinnen und -praktiker stellt die vielfach schleifenartige detaillierte Aufarbeitung zahlreicher Ansätze wohl eine Überbeanspruchung dar. Die Versprechen der oft kreativen und neugierig machenden Kapitelüberschriften werden für diese Lesegruppe meist nicht eingelöst. Die Überfülle an Verästelungen in verschiedenste Wissenschaftsgebiete dürfte allzu schnell zu Verlorenheit im Text führen.

Fazit

Ein wertvoller Fundus für die Weiterentwicklung der Evaluationstheorie – eher kein Muster, wie man die Evaluationspraxis und vielleicht sogar die in den Praxisfeldern Agierenden für eine engagierte Mitarbeit bei der Erstellung von Programmtheorien gewinnen könnte.

Rezension von
Prof. Dr. Wolfgang Beywl
Evaluationswissenschaftler, Seniorprofessor, Fachhochschule Nordwestschweiz, Pädagogische Hochschule, Institut Weiterbildung und Beratung. Professur für Bildungsmanagement und Schulentwicklung – wissenschaftlicher Leiter Univation– Institut für Evaluation, Köln.
Website
Mailformular

Es gibt 25 Rezensionen von Wolfgang Beywl.