Gary R. Anderson, Stephen A. Kapp: Agency-based Program Evaluation
Rezensiert von Prof. Dr. Wolfgang Beywl, 03.05.2011

Gary R. Anderson, Stephen A. Kapp: Agency-based Program Evaluation. Lessons From Practice. SAGE Publications, Ltd (London) 2010. 384 Seiten. ISBN 978-1-4129-3984-3. 43,52 EUR.
Thema
Das Buch behandelt Evaluationen, die in, für oder durch Organisationen (agencies) durchgeführt werden, welche soziale Dienstleistungen erstellen. Die professionspolitische Perspektive Sozialer Arbeit soll mit der Wissensbasis der Programmevaluation (PE) verbunden werden. Agency-bezogene (dieser Anglizismus wird nachfolgend mangels einer griffigen deutschsprachigen Übersetzung benutzt) Evaluation kann als organisationsinterne oder -externe Rolle angelegt sein. Das hier behandelte Buch richtet sich an Studierende und Fachkräfte der Sozialen Arbeit sowie an Programmevaluierende im Feld sozialer Dienste, speziell an solche, für welche die Evaluationsaufgabe eine neue Aufgabe darstellt. Lehrenden steht eine Webseite mit Zusatzmaterial zur Verfügung.
Autoren und Entstehungshintergrund
Die Autoren betreiben Evaluation, Ausbildung und Forschung in der Sozialen Arbeit mit Arbeitsschwerpunkt Kinder-, Jugend- und Familienhilfe. Gary Anderson leitet die School of Social Work an der Michigan State University. Stephen Kapp führt seit zwanzig Jahren agency-bezogene PE durch.
Aufbau
Das Buch enthält ein Vorwort von Irwin Epstein, Professor für angewandte Sozialarbeitsforschung am Hunter College in New York, eine Einleitung, 13 Hauptkapitel, ein kurzes Addendum (betreffend Rolle von Familien als Evaluierende) sowie einen Sach- und einen Personenindex. Der Aufbau folgt zum einen der Schrittfolge der Evaluationsplanung (Kontextanalyse in Kapitel 5, Programmbeschreibung in Kapitel 7 und 8, Untersuchungsdesigns in den Kapiteln 9 und 10, Erhebungsinstrumente zur Kundenzufriedenheit in Kapitel 12, Verbreitung von Evaluationsergebnissen in Kapitel 13). Zum anderen sind einige Kapitel für ethische und interkulturelle Fragen reserviert. Auf der frei zugänglichen Website http://www.uk.sagepub.com/kapp/study finden sich sämtliche Internet-Links aus dem Buch.
Die meisten Kapitel bestehen aus folgenden Teilen:
- Startcartoon, der eine zentrale im Kapitel behandelte Spannung visualisiert
- Ausführungen zum jeweiligen Thema
- zusammenfassender Schlussteil mit folgenden Reflexionsanregungen: drei bis vier Thesen zu "großen Ideen", Fragen für die Diskussion, Anregungen für Übungsaktivitäten
- Hinweise auf Quellen und Literatur
Neben einigen Grafiken gibt es zwei Arten von Textboxen:
- "Checking Vitals" mit zusammenfassenden Merksätzen zu Unterabschnitten
- Fallbeispiele, maximal eine Seite lang
Inhalt
Die Einleitung nennt als Ziel, PE für Strategie, Wirksamkeit und Rechenschaftslegung sozialer Dienstleistungsorganisationen nutzbar zu machen. Das Buch stellt Evaluationen größerer Programme und Systeme in den Mittelpunkt und klammert fokussierte Selbstevaluationen (etwa im Sinne von www.selbstevaluation.de) aus. Es beansprucht Praxisnähe und will Werkzeuge bereitstellen, um soziale Dienste datenbasiert zu verbessern.
Kapitel 1 skizziert den "bei weitem nicht ausgeschöpften Nutzen" der PE für eine ethisch verpflichtete Soziale Arbeit. Ein Grund für den geringen Entwicklungsstand der Evaluation in diesem Feld sei, dass empirische Untersuchungsmethoden (speziell für die Evaluation) in der Lehre minimal vermittelt würden.
Kapitel 2 schildert die Schrittfolge der PE und fordert, dass die beiden Prozesse Programmplanung und -umsetzung mit PE integriert werden.
Kapitel 3 arbeitet heraus, wie sich die spezifischen ethischen Anforderungen der Sozialen Arbeit mit PE verbinden lassen. Beide seien dazu verpflichtet, Interessen und Bedarfe der Klientinnen und Klienten zu berücksichtigen und zu schützen. Kurze Falldarstellungen veranschaulichen Herausforderungen und Dilemmata für Evaluierende in verschiedenen Konstellationen (gegenüber Kolleginnen und Kollegen, Zielgruppenmitgliedern, der Dienstleistungsorganisation sowie der Öffentlichkeit). Zur Herstellung von Rollenklarheit werden Hinweise gegeben und Checklisten angeboten.
Kapitel 4 vertieft das Ethik-Thema für agency-bezogene Evaluation, u. a. bezüglich "Schutz der individuellen Rechte" und "informierter Konsens". Die organisationalen Settings der Agencies müssten sorgfältig einbezogen werden.
Kapitel 5 behandelt den sozialen und politischen Kontext der PE und wägt Vor- und Nachteile der internen versus der externen Evaluationsrolle ab. Herausforderungen dabei seien Zeit, Perspektive, Teamarbeit, Ungenauigkeiten und Ambiguitäten. Kurze Fallbeispiele regen zur Reflexion an.
Kapitel 6 unterstreicht die Bedeutung kultureller Kompetenz für die PE sozialer Dienste. Es wird gezeigt, wie Evaluationen responsiv und sensitiv angelegt werden können. Dies wird verdichtet zu zwölf Verhaltensanweisungen, z. B. "identifiziere jegliche speziellen Verwundbarkeiten, genauso wie Stärken, in Bezug auf die Kulturen der Menschen, die im Programm arbeiten und von ihm angesprochen werden, und bringe diesen Anerkennung entgegen".
Kapitel 7 leitet zur systematischen Beschreibung von Programmen der Sozialen Arbeit an. Zentral dafür seien Logische Modelle (LM), "um eine gemeinsame Vision zu entwickeln." Es wird aufgezeigt, wie die richtigen Partner gefunden werden können, um ein LM zu konstruieren, und wie von ihnen relevante Informationen erfragt werden. In Tabellenform werden mehrere LM vorgestellt, z. B. eines für ein Schulsozialprogramm oder eines für ein Kriminalitäts-Präventionsprogramm. Anhand alternativer Varianten von LM wird zudem diskutiert, wie die verschiedenen Perspektiven der Beteiligten und Betroffenen die Programmbeschreibungen beeinflussen.
Kapitel 8 behandelt das empirische Handwerk der Programmbeschreibung. Zunächst sollten vorhandene administrative Daten, Fallakten und vorliegende Bewertungsprotokolle z. B. aus Mitarbeitendengesprächen ausgewertet werden. Mit diesen seien oft die meisten der erforderlichen Daten in der Organisation bereits vorhanden und müssten nur noch systematisch ausgewertet werden. Das Vorgehen hierfür wird detailliert dargestellt.
Kapitel 9 betont, dass die Evaluationsplanung von vornherein so angelegt sein muss, dass sie die Nutzung der herausgearbeiteten Informationen unterstützt. Um organisationales Lernen auszulösen sei essenziell, schon beim Erheben der Daten deren Nutzung vorzubereiten. In jedem Fall sei zu klären, welche "Geschichte" die Organisation mit Evaluationen verbindet, wie Mitarbeitende und Leitungskräfte sie betrachten und wie "Empirie" in der organisationalen Kultur bewertet wird. Die Pflege der Kontakte mit den vorgesehenen Nutzenden sei eine Kernkompetenz von Evaluierenden. Solche personalen und sozialen Kompetenzen brächten gerade Sozialarbeitende als Ressource mit, um Evaluationen in sozialen Dienstleistungsorganisationen einzuführen. Relevante Stakeholder sollten in den Evaluationsprozess eingebunden werden, z. B. indem sie Evaluationsaufgaben übernehmen.
Kapitel 10 behandelt verschiedene Methoden und Designs, insbesondere zufallskontrollierte Experimente. So wünschenswert diese seien, so selten seien sie realisierbar, sowohl aus ethischen Gründen als auch deshalb, weil die Stichprobenumfänge in der Sozialen Arbeit meist gering seien. Gültige Aufschlüsse über Wirkungsmechanismen seien selten zu gewinnen (vgl. die "zwölf Bedrohungen der internen Validität").
Kapitel 11 thematisiert qualitative Erhebungspläne, die eine große Nähe zu den Methoden der Sozialen Arbeit aufwiesen. Ein grober Überblick über verschiedene Erhebungsmethoden wird durch Verweise auf Standardliteratur ergänzt. Typische Aufgaben werden erläutert, z. B. Interviews, Fokusgruppen oder Auswertungen (illustriert durch je ein Fallbeispiel).
Kapitel 12 zur Kundenzufriedenheit fällt mit 60 Seiten Umfang aus dem Rahmen: Begründet wird dies damit, dass die Bedeutung der Zufriedenheit der Zielgruppen Sozialer Arbeit oft unterschätzt wird. Dabei sei der Zusammenhang mit der Zielerreichung in Bezug auf Wissen, Können und Verhalten der Klientinnen und Klienten gut belegt. Zufriedenheit zu erheben sei daher Pflicht in der PE. Die Zufriedenheitsdaten könnten verzerrt werden, wenn sie durch die dienstleistenden Sozialarbeitenden selbst erhoben werden. Alternativen dazu werden aufgezeigt. Erhebungstechnik und Berichterstattung zum Thema Zufriedenheit werden ebenso erörtert. Das Kapitel erhält einen eigenen Anhang mit 15 überwiegend standardisierten Erhebungsinstrumenten für verschiedene Aspekte der Kundenzufriedenheit (z. B. für das Fallmanagement oder für Beratungs- bzw. Therapiesitzungen). Jedes dieser Instrumente ist kurz beschrieben, komplett abgedruckt und ergänzt um psychometrische Referenzmaße sowie Quellen.
Kapitel 13 erörtert die Verbreitung der Evaluationsergebnisse. Es müsse jeweils ein passender sprachlicher und inhaltlicher Rahmen für die Adressierten gesetzt werden. Oft seien mündliche und interaktive Formen der Ergebnisvermittlung erfolgreicher als schriftliche.
Webseite für Lehrende
Wer das Buch in eigenen Lehrveranstaltungen einsetzt, erhält wie bei Sage-Lehrbüchern üblich, ein Exemplar kostenlos und Zugang zu dieser passwortgeschützten Webseite. Das Online verfügbare Material ist umfangreich und erleichtert die Planung und Realisation einer Lehrveranstaltung erheblich: Für die 13 Kapitel gibt es je eine Powerpoint-Präsentation mit ca. einem Dutzend nach eigenen Vorstellungen anpassbarer Folien, welche durch das Kapitel führen und zentrale Begriffe und Konzepte erläutern. Hinzu kommt je eine mehrseitige Word-Datei mit einer kapitelspezifischen Sammlung von Testaufgaben inklusive Lösungen bzw. Lösungsvorschlägen: Multiple-Choice-Fragen (die nur teilweise überzeugen), Richtig/Falsch-Fragen, kurze offene Fragen ("Beschreiben Sie drei Herausforderungen die sich ergeben, wenn man Evaluierende aus Hochschulen beauftragt.") sowie Fragen, die durch einen längeren Aufsatz beantwortet werden müssen.
Diskussion
Die Stärke des Buches liegt darin, Überlegungen zu Professionalität und Ethik aus Evaluation und Sozialer Arbeit miteinander zu verbinden sowie Möglichkeiten für Synergien aufzuzeigen. Die Begründung dafür überzeugt, nämlich dass in Tätigkeitsfeldern der Sozialen Arbeit kulturelle und soziale Spannungen sowie Differenzen ausgeprägt und Fragen betreffend Inklusion und Exklusion stets präsent sind. Agency-bezogene Evaluation erfordert daher adaptive Herangehensweisen und reflexive Haltungen. Große Teile des Buches sind ethischen Aspekten gewidmet, unterlegt mit zahlreichen Checklisten, Reflexionsanstößen und passenden Fallbeispielen.
Dem Anspruch, praktikable Evaluationen in der Sozialen Arbeit zur fördern, wird das Buch gerecht. Die Autoren raten realistischerweise zu deskriptiven Untersuchungsdesigns, die dem jeweiligen Feld angemessen sind. Sie verdeutlichen überzeugend das Potential von Logischen Modellen. Sie warnen vor rein innerakademisch motivierten Fragestellungen sowie eleganten, aber deplatzierten Zufallsexperimenten. Überrascht hat mich der große Stellenwert, der den Zufriedenheitsmessungen zugeschrieben wird. Die Begründung dafür finde ich erwägenswert, jedoch fehlen mir Beschreibungen konkreter Nutzungsverläufe von Zufriedenheitsbefragungen (gerade dieses Kapitel enthält keine Fallbeispiele).
Der Anspruch, das Spezifische der agency-bezogenen Evaluation herauszuarbeiten, wird nur zum Teil eingelöst: Überzeugend setzen die Autoren das – von ihnen als "Mantra" bezeichnete – Prinzip um, die relevanten Stakeholder in allen Phasen der organisationsbezogenen Evaluation zu beteiligen, bis hin zur Frage, wie die Ressourcen von Familien für Evaluationen genutzt werden können. Es wird Wert gelegt auf Voraussicht und Vorsorge, z. B. beim Datenschutz oder bezüglich (eventuell berechtigter) evaluationsbezogener Ängste der Beteiligten. Während für Hochschulen oder Evaluationsbüros in der externen Evaluationsrolle klare Anforderungen formuliert werden, bleibt die interne Evaluationsrolle recht diffus: Zwar wird auf Risiken und Fallstricke hingewiesen, doch es fehlen konkrete Hinweise, wie die interne Evaluation in sozialen Dienstleistungsorganisationen eingeführt und im Organisationsaufbau positioniert werden soll. Das "based" im Titel des Buches verspricht insofern zu viel und wurde daher von mir durch eine "related" (-bezogen) ersetzt.
Didaktisch bietet das Buch Wege, die Novizinnen und Novizen ihre ersten Schritte in der Evaluation Sozialer Arbeit erleichtern dürften: Textabschnitte sind kurz gehalten. Die Autoren setzen (manchmal in zu hohem Masse) auf Wiederholungen und Zusammenfassungen. Ihre Sprache ist nüchtern und es wird auf unnötige Fachtermini verzichtet. Für die Bearbeitung der teils anspruchsvollen Diskussionsfragen und oft dilemmahaften Fallbeispiele kann auf die Webseite für Lehrende zurück gegriffen werden (womit sich das Buch auch für einen Weiterbildungskurs für diese Zielgruppe eignet). Das Buch ist als Grundlagentext für einen einsemestrigen Kurs "Evaluation in der Sozialen Arbeit" angelegt und auch dafür passend. Die Lernenden gewinnen ein Basisverständnis davon, wie Evaluationen im Kontext Sozialer Arbeit, insbesondere bezogen auf Dienstleistungsorganisationen, angelegt sein sollen und welche ethischen Herausforderungen sich stellen. Um zu lernen, wie Evaluationen vollständig geplant werden, müssen weitere Lehrtexte heran gezogen werden.
Fazit
Das Buch profitiert von der Tiefe und Breite der praktischen Erfahrung seiner Autoren mit Evaluationen im Bereich sozialer Dienstleistungsorganisationen. Es trägt dazu bei, Wissens- und Könnenslücken zu schließen, die in Bezug auf organisations- und professionsbezogene Evaluation in der Sozialen Arbeit bestehen.
Rezension von
Prof. Dr. Wolfgang Beywl
Evaluationswissenschaftler, Seniorprofessor,
Fachhochschule Nordwestschweiz, Pädagogische Hochschule, Institut Weiterbildung und Beratung. Professur für Bildungsmanagement und Schulentwicklung – wissenschaftlicher Leiter Univation– Institut für Evaluation, Köln.
Website
Mailformular
Es gibt 24 Rezensionen von Wolfgang Beywl.