Liz Hoggarth, Hilary Comfort: A Practical Guide to Outcome Evaluation
Rezensiert von Prof. Dr. Wolfgang Beywl, 04.06.2010
Liz Hoggarth, Hilary Comfort: A Practical Guide to Outcome Evaluation.
Jessica Kingsley Publishers
(London N1 9JB) 2010.
244 Seiten.
ISBN 978-1-84905-037-1.
Preis: 24.99 Pound (Listenpreis).
Thema
Die Publikation versteht sich als Handbuch für Fachkräfte, die im Bereich personenbezogener Dienstleistungen arbeiten, wie zum Beispiel Bildung und Erziehung – auch frühe Förderung, Kulturvermittlung und Sportpädagogik –, Jugend- und Sozialarbeit, Pflege, psychische Gesundheit. Es will überzeugen, dass systematisches Planen, Erfassen und Bewerten von Resultaten nicht nur wichtiger ist im Wettbewerb der Anbietenden sondern befriedigend für die eigene Arbeit und in erster Linie nützlich für die Zielgruppen.
Autorinnen
Liz Hoggarth ist Forscherin und Hochschullehrerin an der De Montfort University, Leicester U.K. mit einem Schwerpunkt "young people at risk" (ibs. Jugendkriminalität im Zusammenhang mit Schusswaffen und Messern). Hilary Comfort ist in der Weiterbildung u.a. zur Jugend- und Gemeinwesenarbeit tätig und arbeitet an der De Montfort University und an der Open University, UK.
Entstehungshintergrund
In Großbritannien gibt es einen Paradigmenwechsel von der outputorientierten Steuerung mittels Kennzahlen (z. B. Fachleistungsstunden oder Teilnahmezahlen) zu den Outcomes: Verbesserungen und Vorteile, welche die Zielgruppen von sozialen und Bildungsprogrammen erhalten. Die Autorinnen haben in einem Birminghamer Modellprojekt Fachkräfte in outcome-orientierter Evaluation begleitet und ausgebildet. Daraus resultierten Kursangebote und Materialien für das national tätige Zentrum für Freiwilligenarbeit (www.bvsc.org) und dieses Buch.
Aufbau
Elf Kapitel zur Outcome-Evaluation lassen sich drei Hauptteilen zuordnen:
- Relevanz angesichts veränderter Förderpolitiken (Kap. 1 u. 2)
- Elemente und Vorgehen (Kap. 3–9)
- Diskussion und Reflexion von Stärken und Risiken (Kap. 10–11)
Inhalt
Kap. 1 behandelt die (rhetorische) Frage, warum man als Fachkraft selbst evaluieren soll. Die Zeiten, Evaluation als schmückendes Extra zu betrachten oder sich ihr wortreich zu entziehen, seien passé: Öffentliche Geldgeber wie private Sponsoren würden nachfragen, wie gut Programme arbeiten und ob ihr Geld optimal eingesetzt ist. Es gehe um Verbesserung von Projekten und darum, Zukunftsoptionen systematisch zu klären. Nach Jahren des Kennzahlen-Sammelns und mancher Pseudoevaluation würden die "Outcomes" ins Zentrum gerückt. Darunter werden "die Veränderungen oder Vorteile für Individuen, Familien, Gemeinschaften oder Organisationen, seien es Veränderungen im Wissen, in Einstellungen, in den praktischen Fertigkeiten, im Verhalten, in der Gesundheit oder der Lebensqualität, oder in Bezug auf Bewältigungsfähigkeiten" verstanden. So setze die frühe Förderung auf fünf Schlüssel-Outcomes: Sei gesund, suche nach Sicherheit, habe Spaß und leiste, mache einen positiven Beitrag und erreiche ökonomische Sicherheit.
Kap. 2 verdeutlicht, wie sich in Großbritannien die Rahmenbedingungen verändert haben. Immer mehr werde projektförmig organisiert und über Leistungsvereinbarungen gesteuert; der Wettbewerb zwischen Anbietenden nehme zu. Besonders die Geldgebenden, die Leistungsvereinbarungen vorbereiten, seien gefordert, diese an Outcomes auszurichten. Empfohlen wird, Evaluationen in alles einzubauen, was in einem Projekt getan wird.
Kap. 3 definiert Outcomes und stellt "Outcome-Modelle" (auch logische Modelle; Programmbaum usw. genannt) vor. Als Merkhilfe könne dienen, dass Outcomes eine Antwort geben auf die "So what? question" (zu Deutsch: „Auf was läuft das alles hinaus? Was ist der Unterschied, den das alles macht?“). Wichtig sei, Outcomes sprachlich einfach und allgemein verständlich zu formulieren. Auch andere Bestandteile logischer Modelle wie Inputs, Outputs oder Aktivitäten werden definiert. Folgende kurze Checkliste hilft, Outcomes zu identifizieren:
- Was ist adressiert (z. B. die Veränderung)?
- Wer will/wird profitieren (Individuen, Gruppen …)?
- Welche Richtung hat die Veränderung (Vermehrung oder Verringerung)?
- Wie stark wird die Veränderung ausfallen, in welcher Zeitperiode?
Es werden vier Niveaus von Resultaten unterschieden:
- Reaktionen/Zufriedenheit (gehört überwiegend noch zu den Outputs)
- Lern- und Entwicklungsresultate
- Verhaltensänderungen
- Auswirkungen auf andere (z. B. die Kinder der Zielgruppe; also Multiplikatoreneffekte).
Kap. 4 gibt mit neun Leitfragen einen Überblick über die Evaluationsplanung, Hinweise für das praktische Vorgehen und die Evaluationslogistik (Ressourcen, Personalkapazitäten, zeitliche Meilensteine, Zugang zu Datengebenden, Kooperation). Eine objektive im Sinne einer neutralen Haltung der Evaluierenden sei zentral. Dies bedeute verzerrungsfrei zu arbeiten oder zumindest Verzerrungen offen zu legen.
Kap. 5 beschäftigt sich mit der Ethik von Evaluation. Es werden Anforderungen formuliert wie informiertes Einverständnis der Datengebenden, freiwillige Beteiligung, Anonymität und Vertraulichkeit. Die Dynamik von Machtkonstellationen wird erörtert. Zentral sei Gleichbehandlung: "Es ist eine Frage von Gerechtigkeit, jeden Evaluationsschritt so zu tun, dass die eingesetzten Methoden nicht dazu führen, dass bestimmte Zielgruppen übersehen oder davon ausgeschlossen werden, ihre Perspektiven einzubringen. Denn wenn dies passiert, kann Evaluation Ungleichbehandlungen der evaluierten Dienstleistungen sogar verstärken" (S. 96). Wie dem vorgebeugt werden kann wird an Datenerhebungen bei behinderten Kindern demonstriert.
Kap. 6 behandelt die Themen Evaluationsfragestellungen, qualitative und quantitative Daten sowie Indikatoren und Messgrößen, wobei die hohen Anforderungen und Unsicherheiten herausgearbeitet werden. Empfohlen wird, solche Indikatoren zu wählen, die
- leicht verstanden und kommuniziert werden können;
- den zu erfassenden Outcomes möglichst nahe kommen;
- zuverlässig erhoben und effizient zusammengestellt werden können.
Die Autorinnen diskutieren Vor- und Nachteile "harter Indikatoren" (oft Kennzahlen auf der Ebene der Outputs oder auf der Ebene der langfristigen Outcomes) sowie "weicher Indikatoren". Ihre kritische Haltung zu "Zufriedenheitsmaßen" zeigen sie deutlich: "Zufriedenheit ist selten ein echter Outcome: die Leute mögen eine Aktivität wertschätzen ohne dass sie davon einen wirklichen Gewinn haben" (S. 128).
Kap. 7 enthält informative Tipps für die Entwicklung von Erhebungsinstrumenten.
Kap. 8 thematisiert bestehende Befragungsinventare, Diagnose- und Einschätzungsinstrumente. Partizipative Instrumente, welche die Zielgruppen in den Evaluationsprozess einbeziehen, seien oft angeraten. Auch sei es häufig wünschenswert, Datenerhebung und Intervention zu verbinden: "Es ist oft möglich, Programmaktivitäten so anzupassen, dass die Evaluation in ein Projekt oder Programm eingebettet werden kann und es nicht als eine Art Appendix erscheint" (S. 163).
Kap. 9 behandelt praxisnah die Auswertung von Daten und die Präsentation von Ergebnissen (Strichlisten, Tabellenkalkulationen sowie aufwändigere Verfahren für qualitative oder quantitative Daten).
Kap. 10 wägt Vor- und Nachteile des Fokus auf Outcomes sorgsam ab. So werden neun Argumente gegen Outcome-Evaluation diskutiert: Sie behindere Innovation; verleite zum Tunnelblick (Fachkräfte schauen ausschließlich auf das, was als Outcome definiert ist); Resultate würden "aufgeblasen" um gut zu da zu stehen; es würden leicht messbare statt wirklich relevanter und realistischer Outcomes herangezogen; sie benachteilige Interessen von Minoritäten oder des freiwilligen gegenüber dem professionellen Sektor; sie führe zu Zentralisierung und Benachteiligung dezentraler Ansätze; sie blende Fragen der Machtverteilung aus und vernachlässige Partizipation der Zielgruppen; sie betone rationale Planungs- und Entscheidungsprozesse gegenüber Intuition und Gefühl über; sie führe zu einer Übervereinfachung.
Im abschließenden Kap. 11 betonen die Autorinnen, wie wichtig und unverzichtbar die Outcome-Evaluation ist.
Der Anhang enthält nützliche Checklisten: Wie kündigt man Zielgruppen und Kooperationspartnern eine Evaluation an? Wie sieht ein Formular für das informierte Einverständnis aus? Was sind die Hauptschritte eines Evaluationsplans? Was sind Hauptgliederungspunkte und Unterkapitel für einen Evaluationsbericht? Hinzu kommen eine Übersicht zu Webseiten mit Outcome- und Evaluationsressourcen, ein Glossar sowie ein Stichwortverzeichnis.
Diskussion
Das Buch hat mich in mehrfacher Hinsicht überrascht: Es vermittelt, wie selbstverständlich die Outcome- und Evaluationsorientierung in einem anderen, dem britischen, sozial- und jugendpolitischen Kontext ist. Dies führt offensichtlich zu einem beeindruckenden Evaluations-Know-how bei sozialen und Bildungs-Organisationen, die Projekte umsetzen, die mittels Leistungsvereinbarungen gesteuert werden. Das Buch will innovations- und lernfreudige Fachkräfte von der Basis (auch Leitungskräfte) darauf vorbereiten, Outcome-Evaluation selbständig, für das eigene Programm und die eigene Organisation durchzuführen. Die Autorinnen betonen, dass das Buch dafür alleine nicht hinreiche: Sie bieten Kurse an, lehren an ihren Hochschulen Evaluation und fordern, in den Projekten Evaluationskompetenz aufzubauen. Hierfür ist dieses Buch bahnbrechend: Es enthält überschlägig zwanzig bis dreißig kurze Beispielbeschreibungen aus verschiedensten Arbeitsfeldern von Sozialpolitik oder Kinder- und Jugendhilfe und macht greifbar was es heißt, Outcome-Evaluation umzusetzen. Die Autorinnen schöpfen aus reichen Erfahrungen in verschiedensten Hilfebereichen, darunter schwierige wie Eindämmung von Gang-Kriminalität oder Programme für behinderte Kinder. Das Selbstlernen der Lesenden wird auch durch Reflexionsübungen unterstützt, sowie durch hilfreiche Metaphern, wie beispielsweise die Geschichte die zeigt, dass beim Kauf eines Wintermantels ähnliches zu beachten ist wie beim Schließen von Leistungsvereinbarungen.
Das Buch privilegiert Lesende, die über narrative und auditive Kanäle lernen. Visualisierungen sind rar. Trotz der vielen Fallbeispiele und einer Sprachführung eng an der fachlichen Praxis, frei von sozialwissenschaftlichem Jargon, wird die Komplexität der Aufgabe erhalten. Das Herausfordernde der Outcome-Evaluation wird nicht verniedlicht. Das Buch macht Mut zu beginnen. Eine Stärke sind die ethischen Reflexionen und der (selbst-)kritische Blick auf die Nachteile, die eine unsachgemäße Outcome-Evaluation auslösen kann. Beeindruckt hat mich der Ton, in dem dieses Buch geschrieben ist: respektvoll, umsichtig, bescheiden, selbstkritisch, dabei ganz entschieden Partei nehmend für Outcome-Evaluation aus einer sichtbar tiefen Überzeugung, dass es für die Jugend- und Bildungspolitik, für die Zielgruppen und für die Fachkräfte überaus nützlich und befriedigend ist, diesen Weg zu gehen.
Fazit
Die positive Überraschung des Jahres: ein systematisches, für die Fachkräfte in der sozialen Jugend- und Bildungsarbeit geschriebenes Buch, welches methodisch gekonnt und ethisch reflektiert in die zunehmend wichtige Aufgabe der Outcome-Evaluation einführt.
Rezension von
Prof. Dr. Wolfgang Beywl
Evaluationswissenschaftler, Seniorprofessor,
Fachhochschule Nordwestschweiz, Pädagogische Hochschule, Institut Weiterbildung und Beratung. Professur für Bildungsmanagement und Schulentwicklung – wissenschaftlicher Leiter Univation– Institut für Evaluation, Köln.
Website
Mailformular
Es gibt 24 Rezensionen von Wolfgang Beywl.
Zitiervorschlag
Wolfgang Beywl. Rezension vom 04.06.2010 zu:
Liz Hoggarth, Hilary Comfort: A Practical Guide to Outcome Evaluation. Jessica Kingsley Publishers
(London N1 9JB) 2010.
ISBN 978-1-84905-037-1.
Preis: 24.99 Pound (Listenpreis).
In: socialnet Rezensionen, ISSN 2190-9245, https://www.socialnet.de/rezensionen/9296.php, Datum des Zugriffs 15.01.2025.
Urheberrecht
Diese Rezension ist, wie alle anderen Inhalte bei socialnet, urheberrechtlich geschützt.
Falls Sie Interesse an einer Nutzung haben, treffen Sie bitte vorher eine Vereinbarung mit uns.
Gerne steht Ihnen die Redaktion der Rezensionen
für weitere Fragen und Absprachen zur Verfügung.