Wirkungsanalyse

Sebastian Ottmann

veröffentlicht am 14.08.2025

Englisch: impact analysis

Im Rahmen einer Wirkungsanalyse werden Wirkungen und Wirksamkeit von Angeboten in der Sozialen Arbeit datenbasiert erfasst, d.h. empirisch plausibilisiert oder nachgewiesen.

Überblick

1 Zusammenfassung

Wirkungsanalysen in den Feldern der Sozialen Arbeit können unterschiedliche Fragestellungen in den Blick nehmen (Ottmann und König, 2023 S. 99 ff.). Wirkungsanalysen beziehen sich dabei auf konkrete Angebote oder Dienstleistungen eines Leistungserbringers und auf den Nachweis deren Wirkungen und Wirksamkeit. Allgemeingültige Aussagen über die Wirksamkeit von Angeboten in der Sozialen Arbeit, die über einzelne konkrete Angebote hinaus gehen, werden im Rahmen der Wirkungsforschung insgesamt in den Blick genommen.

Neben der Frage nach dem Nachweis von Wirkung und Wirksamkeit können im Rahmen einer Wirkungsanalyse auch die zugrunde liegenden Wirkmechanismen analysiert und Effizienzanalysen durchgeführt werden. In Anlehnung an den differenzierten Umgang mit dem Begriff der Wirkung empfiehlt sich ein stufenweises Vorgehen im Rahmen der Wirkungsanalyse. Der sog. Wirkungsradar (Ottmann und König 2018, 2023, S. 162 ff.) bietet dazu ein praxisgängiges Methodenpaket.

Nach der Entwicklung eines Wirkmodells werden die folgenden Schritte zur Wirkungsanalyse und empirischen Erhebung vorgeschlagen:

Wirkungsorientiertes Monitoring, um Effekte bei der Zielgruppe der Angebote zu identifizieren
Wirkungsplausibilisierung oder empirischer Wirkungsnachweis mit Vergleichsgruppen
Analyse der Wirkmechanismen
Effizienzanalyse, u.a. auf der Basis des Social Return on Investment

Bei den ersten beiden Analyseschritten wird die Frage beantwortet, ob und, wenn ja, welche Effekte und Wirkungen mit dem Angebot erzielt werden können. Die Analyse von Wirkmechanismen klärt die Frage, wie die gefundenen Wirkungen zustande kommen. Bei der Effizienzanalyse werden die gefundenen Wirkungen monetarisiert.

2 Wirkungsorientiertes Monitoring und Wirkungsplausibilisierung

Im Rahmen eines Monitorings erfolgt eine Datenerhebung zu mehreren Erhebungszeitpunkten mit demselben Erhebungsinstrument (EvalWiki 2015). Entstammen die zu prüfenden Wirkannahmen und Outcomes einem zuvor erstellten Wirkmodell, kann man von einem wirkungsorientierten Monitoring sprechen (Ottmann 2022). Die Erhebung zu mehreren Messzeitpunkten, idealerweise zu Beginn und am Ende einer Maßnahme, ist nötig, um Veränderungen bzw. Stabilisierungen bei der Zielgruppe des Angebotes valide zu erfassen, die Grundlage für einen Wirkungsnachweis sind. Daher sollte immer eine Erhebung zu Beginn, also wenn ein:e Nutzer:in das Angebot beginnt, sowie bei Beendigung erfolgen. Hat das Angebot kein festes Ende, können z.B. jährliche Erhebungen durchgeführt werden.

Die Daten für ein Monitoring können sowohl aus Selbsteinschätzungen der Nutzer:innen als auch aus Fremdeinschätzungen einer informierten Fachkraft, jeweils auf der Basis eines standardisierten Fragebogens, stammen. Wirkungsorientiertes Monitoring kann damit Effekte eines Angebots belastbar identifizieren.

In einem nächsten Schritt kann eine Wirkungsplausibilisierung (Balzer 2012; Balzer und Beywl 2015) durchgeführt werden. Diese Methode kommt immer dann zum Einsatz, wenn keine Kontroll- oder Vergleichsgruppe (siehe nächsten Abschnitt) gebildet werden kann. Bei der Definition von Wirkung wird ein kausaler Mechanismus adressiert, d.h. Veränderungen müssen zwingend ursächlich durch das Angebot zustande gekommen sein. Eine Wirkungsplausibilisierung kann dazu belastbare Einschätzungen treffen, welche Veränderungen durch das Angebot selbst ausgelöst wurden und welche durch andere Einflussfaktoren zustande gekommen sind. Basis einer Wirkungsplausibilisierung können sowohl tiefergehende quantitative Analysen als auch die Interpretation der Effekte durch Fachkräften und Nutzer:innen der Angebote sein (Ottmann, Helten und König 2024). Wird eine Wirkungsplausibilisierung erfolgreich durchgeführt, kann von plausibilisierten Wirkungen gesprochen werden.

3 Wirkungsnachweis: experimentelle und quasi-experimentelle Designs

Um einen Wirkungsnachweis empirisch valide im strengeren Sinne erbringen zu können, muss eine Kontroll- oder Vergleichsgruppe betrachtet werden. Dies bedeutet, dass neben den Nutzer:innen des Angebotes auch Personen befragt werden, die ähnliche Problemlagen haben, aber selbst nicht am Angebot teilnehmen. Im Rahmen eines experimentellen Designs wird die Kontrollgruppe durch eine zufällige Zuweisung der Teilnehmenden zu Maßnahmen- und Kontrollgruppe gebildet (Treischl und Wolbring 2020, S. 94 ff.). Bei sog. quasi-experimentellen Designs wird eine bestehende Gruppe an Personen, die nicht am Angebot teilnehmen, als Vergleichsgruppe herangezogen, die der Maßnahmengruppen in zentralen Merkmalen (z.B. Demografie, Problemlage) ähnlich ist. Um dies sicherzustellen, stehen verschiedene quasi-experimentelle Designs und Methoden (Henry 2015) zur Verfügung.

In den Feldern der Sozialen Arbeit ist es häufig nicht möglich, solche experimentellen oder quasi-experimentellen Designs umzusetzen. Eine zufällige Zuweisung zur Maßnahmen- und Kontrollgruppe ist aus ethischen Gründen häufig nicht möglich, da hierdurch eine bestimmte soziale Dienstleistung Personen vorenthalten wird. Um dies zu vermeiden, können sog. Wartekontrollgruppen gebildet werden, die eine Intervention zu einem späteren Zeitpunkt erhalten. Die Bildung einer Vergleichsgruppe kann aber häufig auch aus anderen Gründen scheitern, etwa am fehlenden Zugang zu diesem Personenkreis. In diesen Fällen stellt die Wirkungsplausibilisierung eine sinnvolle Alternative dar, die in den Feldern der Sozialen Arbeit gut umsetzbar ist.

4 Wirkmechanismen analysieren

Konnten Wirkungen in den Angeboten nachgewiesen bzw. plausibilisiert werden, können in einem nächsten Schritt Wirkmechanismen analysiert werden. Hierbei wird der Frage nachgegangen, wie die Wirkungen zustande gekommen sind. Neben tiefergehenden statistischen Analysen, wie etwa Mediations- und Moderationsanalyse oder Strukturgleichungsmodelle, wird hier vor allem mit qualitativen Forschungsmethoden gearbeitet. Häufig werden Interviews oder Fokusgruppen mit Fachkräften, Nutzer:innen und anderen Vertreter:innen von relevanten Gruppen durchgeführt, um einen tieferen Einblick in die Entstehung der Wirkungen und Effekte zu erhalten. Weiterhin können in diesem Bereich auch theoriebasierte Evaluationsansätze wie die Realistic Evaluation (Haunberger und Baumgartner 2017), die Kontributionsanalyse (Doessegger 2015) oder das Process Tracing (Nullmeier 2021) zum Einsatz kommen.

5 Effizienzanalysen: Social Return on Investment (SROI)

In einem letzten Schritt können die plausibilisierten oder nachgewiesenen Wirkungen im Rahmen einer Effizienzanalyse monetarisiert werden. Häufig wird dazu der Social Return on Investment (Schober und Then 2015) eingesetzt, der bestimmte Wirkungen z.B. durch die Berechnung von Alternativkosten monetarisiert und ihnen dann die finanziellen Aufwendungen für die Erbringung des Angebots gegenübergestellt. Im Idealfall ergibt sich daraus ein positiver SROI, d.h. die monetarisierten Wirkungen überwiegen die finanziellen Mittel, die für die Durchführung des Angebotes benötigt werden. Häufig eingesetzt wird dieser Ansatz bei präventiven Angeboten. Allerdings muss immer sichergestellt werden, dass die Monetarisierung der Wirkungen nachvollziehbar, realistisch und transparent erfolgt.

6 Wirkungsindikatoren

Für eine Wirkungsanalyse stehen bisher keine einheitlich vorgegebenen Indikatoren innerhalb der Arbeitsfelder der Sozialen Arbeit zur Verfügung, die in der Analyse berücksichtigt werden können. Deshalb empfiehlt es sich vor der Durchführung einer Wirkungsanalyse ein Wirkmodell zu entwickeln, das festlegt, welche Wirkungen im Rahmen der Analysen in den Blick genommen werden sollen.

In den letzten Jahren wurden verschiedene Skalen für bestimmte Konstrukte entwickelt, z.B. zur Erfassung von Lebensqualität etwa die Personal Outcome Scale oder auch Skalen zur Erfassung weiterer psychischer Merkmale, die im Rahmen von Wirkungsanalysen verwendet werden können. Ein Verzeichnis über solche Skalen ist bei ZIS der GESIS (https://zis.gesis.org) zu finden.

Innerhalb der Sozialen Arbeit werden aber häufig auch leicht zählbare Indikatoren herangezogen, wie beispielsweise die Übergangsquote von einer Werkstatt für Menschen mit Behinderung auf den allgemeinen Arbeitsmarkt. Allerdings empfiehlt es sich, eine Wirkungsanalyse nicht alleine auf solchen einfachen Indikatoren aufzubauen, sondern zusätzlich weitere fachliche, etwa pädagogische Konstrukte mit zu erheben, die sich auf die Vermittlung von Wissen, das Erlernen von Fähigkeiten oder den Erwerb von Kompetenzen beziehen. Um solche Konstrukte empirisch erheben zu können, werden die oben genannten Skalen benötigt, die gegebenenfalls im Rahmen einer Wirkungsanalyse auch selbst entwickelt werden müssen. Man spricht hierbei von der Operationalisierung von Indikatoren, wenn ein Konstrukt in Unterdimensionen unterteilt und Aussagen oder Fragen entwickelt werden, die diese Unterdimensionen abbilden, um das Konstrukt dann Rahmen einer Befragung insgesamt beurteilen zu können.

7 Quellenangaben

Balzer, Lars, 2012. Der Wirkungsbegriff in der Evaluation – eine besondere Herausforderung. In: Gerhard Niedermair, Hrsg. Evaluation als Herausforderung der Berufsbildung und Personalentwicklung. Linz: Trauner, S. 125–141. ISBN 978-3-85499-963-8

Balzer, Lars und Wolfgang Beywl, 2015. evaluiert: Planungsbuch für Evaluationen im Bildungsbereich. Bern: hep verlag ag. ISBN 978-3-0355-0339-5 [Rezension bei socialnet]

Doessegger, Alain, 2015. TBE and Contribution Analysis – Eine Betrachtung der theoriebasierten Evaluation mit Fokus auf den Ansatz der Contribution Analysis [online]. [Zugriff am: 15.05.2025]. doi:10.13140/RG.2.1.1499.5685

EvalWiki, 2015. Monitoring. In: Eval-Wiki: Glossar der Evaluation [online]. 21.02.2015 [Zugriff am: 15.05.2025]. Verfügbar unter: https://eval-wiki.org/w_glossar/index.php?title=Monitoring&oldid=1363

Haunberger, Sigrid und Edgar Baumgartner, 2017. Wirkungsevaluationen in der Sozialen Arbeit mittels Realistic Evaluation: empirische Anwendungen und methodische Herausforderungen. In: Zeitschrift für Evaluation. 16(1), S. 121–145. ISSN 1619-5515

Henry, Gary T., 2015. Comparison Group Designs. In: Kathryn E. Newcomer, Harry P. Hatry und Joseph S. Wholey, Hrsg. Handbook of Practical Program Evaluation. 4. Auflage. New Jersey: Jossey-Bass, S. 137–157. ISBN 978-1-118-89360-9

Nullmeier, Frank, 2021. Kausale Mechanismen und Process Tracing: Perspektiven der qualitativen Politikforschung. Frankfurt: Campus Verlag. ISBN 978-3-593-51207-5

Ottmann, Sebastian, 2022. Wirkungsorientiertes Monitoring in der Sozialen Arbeit implementieren. Blog Soziale Wirkung [online]. Hersbruck: Sebastian Ottmann, 09.05.2022 [Zugriff am: 09.05.2025]. Verfügbar unter: https://blog.soziale-wirkung.de/2022/08/05/wirkungsorientiertes-monitoring-soziale-arbeit/

Ottmann, Sebastian und Joachim König, 2018. Was wirkt wie? – Konzeptionelle Überlegungen zur Messung und Analyse von Wirkungen in der Sozialen Arbeit. Der Wirkungsradar des Instituts für Praxisforschung und Evaluation der Evangelischen Hochschule Nürnberg. In: Forschung, Entwicklung, Transfer – Nürnberger Hochschulschriften [online]. 29 [Zugriff am: 15.05.2025]. doi:10.17883/fet-schriften029

Ottmann, Sebastian und Joachim König, 2023. Wirkungsorientierung in der Sozialen Arbeit: Eine Einführung für Studium und Praxis (Grundwissen Soziale Arbeit). Band 45. Stuttgart: Kohlhammer Verlag. ISBN 978-3-17-035204-9

Ottmann, Sebastian, Anne-Katrin Helten und Joachim König, 2024. Messen oder Plausibilisieren? Methoden der Wirkungsanalyse in der Sozialen Arbeit. In: Soziale Arbeit [online]. 73(1), S. 9–16 [Zugriff am: 29.07.2025]. ISSN 0490-1606. doi:10.5771/0490-1606-2024-1-9

Schober, Christian und Volker Then, Hrsg., 2015. Praxishandbuch Social Return on Investment: Wirkung sozialer Investitionen messen. Stuttgart: Schäffer-Poeschel Verlag. ISBN 978-3-7910-3396-9

Treischl, Edgar und Tobias Wolbring, 2020. Wirkungsevaluation: Grundlagen, Standards, Beispiele (Standards standardisierter und nichtstandardisierter Sozialforschung). Weinheim: Beltz Juventa. ISBN 978-3-7799-3924-5 [Rezension bei socialnet]

Verfasst von
Sebastian Ottmann
M.A.
Evangelische Hochschule Nürnberg
Leitung Kompetenzzentrum Wirkungsorientierung in der Sozialen Arbeit
Wiss. Mitarbeiter am Institut für Praxisforschung und Evaluation

Website
Mailformular

Es gibt 6 Lexikonartikel von Sebastian Ottmann.

Zitiervorschlag anzeigen

Urheberrecht
Dieser Lexikonartikel ist, wie alle anderen Inhalte bei socialnet, urheberrechtlich geschützt. Falls Sie Interesse an einer Nutzung haben, treffen Sie bitte vorher eine Vereinbarung mit uns. Gerne steht Ihnen die Redaktion des Lexikons für weitere Fragen und Absprachen zur Verfügung.