Edgar Treischl, Tobias Wolbring: Wirkungsevaluation
Rezensiert von Henning van den Brink, 04.12.2020
Edgar Treischl, Tobias Wolbring: Wirkungsevaluation. Grundlagen, Standards, Beispiele.
Beltz Juventa
(Weinheim und Basel) 2020.
128 Seiten.
ISBN 978-3-7799-3924-5.
D: 16,95 EUR,
A: 17,50 EUR,
CH: 19,10 sFr.
Reihe: Standards standardisierter und nichtstandardisierter Sozialforschung.
Thema
Evaluation ist in der Sozialen Arbeit immer noch ein Reizwort, auch wenn zunehmend mehr Träger ihre Bemühungen in punkto Evidenzbasierung und Qualitätsmanagement verstärken. Dabei stoßen insbesondere die Versuche, Prävention- und Interventionsmaßnahmen in Arbeitsfeldern der Sozialen Arbeit auf ihre Wirkung hin zu untersuchen, nicht selten auf Unverständnis, Skepsis, Ablehnung und Widerstand. Nichtsdestotrotz liegen inzwischen vielfach erprobte Verfahren vor, die fundierte Hinweise auf erzielte Wirkungen liefern können. Dies ist Ausgangspunkt des Buches von Edgar Treischl und Tobias Wolbring, die beide an der Friedrich-Alexander-Universität Erlangen-Nürnberg im Bereich der Empirischen Wirtschaftssoziologie tätig sind.
Aufbau
Das Buch ist in drei Teile untergliedert. Im ersten Teil legen die Autoren das begriffliche Fundament für die beiden folgenden Teile. Im zweiten Teil wenden sie sich zunächst dem Problem kausaler Inferenz bei Evaluationsvorhaben zu, für das sie drei Lösungsansätze präsentieren:
- Evaluationsdesigns, die statistische Verfahren wie Regressionsanalyse und Matching einsetzen,
- Evaluationsdesigns, die auf Längsschnittdaten basieren,
- Evaluationsdesigns, die die Durchführung von Feldexperimenten umfassen.
Anhand von drei Anwendungsbeispielen illustrieren die Autoren die typischen Chancen und Grenzen, die mit den jeweiligen Designs verbunden sind.
Inhalt
Trotz der steigenden Bedeutung von Wirkungsfragen und -antworten, der interdisziplinären Debatte darüber und der methodischen Ausdifferenzierung in der Forschung zu Ursache-Wirkung-Relationen thematisieren viele Lehrbücher die Wirkungsevaluation eher am Rande. Diese Randständigkeit gilt es aus Sicht des Autorenduos auch deshalb zu überwinden, weil gerade Kausalanalysen – mehr noch als andere Evaluationsvorhaben – „einer klaren theoretischen Anleitung, einer gewissenhaften Planung des Untersuchungsdesigns und einer sorgfältigen Umsetzung mit Blick auf mögliche Abweichungen vom ursprünglichen Plan [bedürfen]“ (S. 8). Hauptanliegen von Treischl und Wolbring ist es, die Kluft zwischen diesen beiden Entwicklungen wenn nicht zu überbrücken, so doch zumindest zu verringern. Dabei liegt ihr Verdienst vor allem darin, die Stärken und Schwächen von Forschungsdesigns, die in der Wirkungsevaluation inzwischen eine gewisse Prominenz erlangt haben, aufzuzeigen. Dafür haben sie in Teil III des Buches drei praktische Anwendungsbeispiele herangezogen. Im ersten Anwendungsbeispiel wird der Frage nachgegangen, wie man die Wirkung der Klassengröße auf die Leistungen und den Lernerfolg der Schüler*innen anhand von Querschnittsdaten erfassen kann. Die Frage, wie man mit Hilfe von Längsschnittdaten messen kann, welche Auswirkungen die Einführung des Mindestlohns auf den Arbeitsmarkt hat, wird im zweiten Anwendungsbeispiel behandelt. Schließlich findet im dritten Anwendungsbeispiel eine Auseinandersetzung über die Vorzüge und Limitationen von feldexperimentellen Designs statt. Dies geschieht mit Bezug auf die Einführung einer Lebensmittelampel, die auf der Verpackung Aufschluss darüber gibt, ob es sich um ein gesundes oder ungesundes Nahrungsmittel handelt. Die Frage nach den Wirkungen der Lebensmittelampel auf das Konsumverhalten und das Körpergewicht der Bevölkerung steht dabei im Mittelpunkt.
Studierende werden nicht explizit als Zielgruppe des Buches genannt. Teil I könnte man aber durchaus gut in der Lehre einsetzen, werden dort doch die gängigen Lehrinhalte zu Evaluation behandelt, allerdings schon ergänzt um viele wichtige Details, die häufig nicht mehr den Weg in eine Lehrveranstaltung finden. Teil II und Teil III setzen jedoch schon ein gesteigertes Interesse an Evaluationsfragen voraus. Hier tauchen auch einige jener mathematischen Formeln und Begrifflichkeiten auf, die nicht wenige angehende Sozial(arbeits)wissenschaftler*innen vor einer intensiveren Beschäftigung mit dem quantitativen Instrumentarium der empirischen Sozialforschung über die Pflichtseminare hinaus abschrecken.
Diskussion
Da die beiden Autoren in der empirischen Wirtschaftssoziologie beheimatet sind, verwundert es nicht, dass hier Evaluationen etwas eindimensional nur in ihrer quantitativen Methodenausrichtung thematisiert werden. Den Vorteilen quantitativer Evaluationsdesigns bezüglich der Darstellbarkeit und der Analyse großer Datenmengen oder Probandenzahlen steht aber der Nachteil gegenüber, dass man mit ihnen zwar Wirkungseffekte und Signifikanzen berechnen, aber in der Regel keine belastbaren Aussagen über die dahinterliegenden Wirkungsmechanismen treffen kann. Dafür und auch für die Identifikation nicht-intendierter Wirkungen sind qualitative Herangehensweisen besser geeignet. Die Lösung für diese grundsätzliche Problematik bei quantitativ ausgerichteten Wirkungsevaluationen sehen Treischl und Wolbring in einer elaborierten Programmtheorie, in Detailkenntnissen über den Evaluationsgegenstand und -kontext sowie in der Formulierung präziser Wirkungsannahmen und Kausalhypothesen (S. 122). Sie plädieren weiterhin für „maßgeschneiderte Evaluationen“ (S. 13), für die – neben methodischer Kompetenz und Erfahrung – auch ein gewisses „Maß an Pragmatismus bei der praktischen Durchführung“ (S. 8) erforderlich sei, um letztendlich „das Instrument der Evaluation nicht überzustrapazieren“ (S. 13).
Fazit
„Evaluationen sind kein Selbstzweck“ (S. 158). Damit Evaluationen die in sie gesetzten Erwartungen und Hoffnungen nicht enttäuschen, sondern die gewünschten Entwicklungsimpulse für die Praxis freisetzen können und dabei nicht als strukturkonservierendes Feigenblatt im Rahmen neoliberaler Managementstrategien instrumentalisiert werden, liegt eine erste Aufgabe darin, die „in diesem Buch formulierten Mindestanforderungen, methodischen Leitlinien und praktischen Empfehlungen“ (S. 16) bei der Konzeption und Umsetzung von Evaluationsvorhaben zu berücksichtigen. Damit diese Mindestanforderungen, Leitlinien und Empfehlungen auch Eingang in die Evaluationspraxis finden, ergänzen die Autoren ihren Text um zahlreiche Abbildungen und Textboxen, die es den Leser*innen – zusammen mit den Anwendungsbeispielen und der kleinteiligen Untergliederung der einzelnen Kapitel – erleichtern, dem im Laufe des Buches steigenden Komplexitätsgrad ihrer Ausführungen zu folgen.
Wie wichtig es ist, die in ihrem Buch dargestellten methodischen Fallstricke bei der Durchführung von Wirkungsevaluationen zu kennen und zu beachten, bringen Treischl und Wolbring folgendermaßen auf den Punkt: „Denn praktische Folgerungen aus falschen oder verzerrten Kausalschlüssen abzuleiten, kann mitunter schädlicher sein als gänzlich darauf zu verzichten, den Status Quo mittels Wirkungsevaluation kritisch zu hinterfragen“ (S. 157). Damit wollen sie jedoch nicht den eingangs erwähnten Abwehrreaktionen der Praxis Vorschub leisten, sondern leiten daraus vielmehr die Notwendigkeit ab, die wissenschaftlichen Standards für Evaluationen kontinuierlich weiter voranzutreiben. Dazu gehört auch – und damit schließen Treischl und Wolbring ihr Werk –, dass nicht nur Maßnahmen in der Praxis, sondern auch deren Evaluationen selbst wieder zum Gegenstand von Meta-Evaluationen und „im Hinblick auf ihre Kosten, ihren Ertrag und potentielle Verbesserungsmöglichkeiten (selbst)kritisch hinterfragt werden“ (S. 158).
Rezension von
Henning van den Brink
Professor für Soziale Arbeit an der IU - Internationale Hochschule
Mailformular
Es gibt 7 Rezensionen von Henning van den Brink.
