Schahrzad Farrokhzad, Susanne Mäder: Nutzenorientierte Evaluation
Rezensiert von Thomazine von Witzleben, 23.01.2015
Schahrzad Farrokhzad, Susanne Mäder: Nutzenorientierte Evaluation. Ein Leitfaden für die Arbeitsfelder Integration, Vielfalt und Toleranz. Waxmann Verlag (Münster, New York) 2014. 141 Seiten. ISBN 978-3-8309-3065-5. D: 24,90 EUR, A: 25,60 EUR, CH: 35,50 sFr.
Thema
In diesem Buch werden nutzenorientierte Strategien und Methoden für die Durchführung von Evaluationen vorgestellt, insbesondere für Evaluationen in den Themenfeldern Integration, Vielfalt und Toleranz. Die evaluationstheoretischen Ausführungen und Evaluationspraktiken werden am Beispiel konkreter Evaluationsinstrumente veranschaulicht. Der Text richtet sich an Projektverantwortliche, die Evaluationen selbst durchführen oder externe Evaluationen beauftragen wollen. Auch für Studierende und Evaluierende mit Interesse an einem nutzenorientierten Evaluationsansatz hält der Band praxisnahe Informationen bereit.
Autorinnen
Dr. Schahrzad Farrokhzad, Diplom-Pädagogin, ist Professorin für Interkulturelle Bildung in sozialen Organisationen an der Fachhochschule Köln. Ihre Arbeitsschwerpunkte umfassen Interkulturelle Bildung und Organisationsentwicklung, Diversity Management, Migration und Geschlechterverhältnisse, Evaluation und empirische Sozialforschung, Rassismusforschung und Antidiskriminierungsarbeit, Jugendarbeit und Familienbildung. Neben Forschung und Lehre ist sie als interkulturelle Trainerin und Beraterin für soziale Organisationen tätig. Von 2008 bis 2013 war sie als wissenschaftliche Mitarbeiterin bei Univation, Institut für Evaluation von Dr. Beywl & Associates, in Köln tätig und betreute dort vor allem Evaluations- und Forschungsprojekte zu den Themen Migration, Integration und Gender. Daneben evaluierte sie Bundesprogramme zur Stärkung von Vielfalt und Teilhabe und zum Abbau von Rassismus und Rechtsextremismus. Sie ist unter anderem in der Deutschen Gesellschaft für Erziehungswissenschaft (DGfE), der Deutschen Gesellschaft für Soziale Arbeit (DGSA) und der Gesellschaft für Evaluation (DeGEval) engagiert und ist Mitglied des wissenschaftlichen Beirats der Zeitschrift ‚Migration und Soziale Arbeit‘.
Susanne Mäder, Diplom-Pädagogin, ist wissenschaftliche Mitarbeiterin und Gesellschafterin des genannten Instituts Univation in Köln. Sie führt seit 2000 Evaluationsprojekte in verschiedenen Arbeitsfeldern durch, insbesondere im Bereich Bildung, Arbeitsmarkt und Soziales. Sie war mehrere Jahre Lehrbeauftragte für Evaluation an der Universität Köln und leitet seit 2004 den Kurs ‚Gruppenmethoden in der Evaluation‘ im Studiengang Diploma of Advanced Studies in Evaluation an der Universität Bern. Ihr methodischer Schwerpunkt liegt insbesondere im Bereich der qualitativen Evaluations- und Steuerungsmethoden wie Gruppendiskussionen und Workshops. Hierzu promoviert sie zum Thema Gruppendiskussionen als Methode in der Programmevaluation. Derzeit ist sie eine der Sprecherinnen des Nachwuchsnetzwerks der Gesellschaft für Evaluation (DeGEval).
Entstehungshintergrund
Primär richten sich die Autorinnen an Programm- und Projektverantwortliche, die sich mit der Integration von Menschen mit Migrationshintergrund und ihrem Anspruch eines konstruktiven Umgangs mit Vielfalt und dem Abbau von Fremdenfeindlichkeit und Diskriminierung beschäftigen. Sie halten ihre Evaluationskonzepte und Evaluationsstrategien für speziell geeignet, die Verantwortlichen bei der Beurteilung des Erfolgs ihrer herausfordernden Programme und Projekte zu unterstützen. Die dabei vorgestellten Konzepte und Instrumente werden jeweils mit praxisnahen Beispielen aus eigenen Evaluationen und wissenschaftlichen Begleitungen der Autorinnen in den genannten Themenfeldern angereichert. Ein Großteil der vorgestellten Evaluationskonzepte und -materialien sind von Wolfgang Beywl und seinen Mitarbeitenden – zu denen auch die beiden Autorinnen zählen – am Institut für Evaluation Dr. Beywl & Associates in Köln (Univation) entwickelt oder aktualisiert und in der Evaluationspraxis erprobt worden. Ziel der Autorinnen ist es, interessierte Anwendende von dieser Praxiserfahrung für ihre eigene Arbeit profitieren zu lassen.
Inhalt
Das Buch gliedert sich in fünf Kapitel:
In Kapitel 1 wird zunächst das grundlegende Konzept der nutzenorientierten Evaluation entwickelt. Diese Evaluationsform sei unabdingbar für eine erfolgreiche Umsetzung von Programmen und Projekten speziell in Arbeitsfeldern wie Integration, Vielfalt und Toleranz, die es mit einer großen Heterogenität der Zielgruppen und besonderen Rahmenbedingungen zu tun haben. Dazu werden für eine Erfolgsmessung die einzelnen Interventionsprozesse und deren schrittweise Erfassung und Bewertung in einer ersten Übersicht dargelegt. Um eine objektivitätsorientierte Qualitätssicherung der Evaluation auf jeder Evaluationsstufe, also von der Planungsphase bis hin zur Ergebnispräsentation sicherzustellen, beziehen sich die Autorinnen dabei eng auf die ‚Standards für Evaluation‘ der Gesellschaft für Evaluation (DeGEval).
Kapitel 2 widmet sich dem zentralen Prozess der Planung einer solchen Evaluation. Dabei geht es um Entscheidungen, die bereits im Vorfeld der Planung einer Evaluation getroffen werden müssen. Diese betreffen die genaue Definition des Gegenstands der Evaluation, die mit der jeweiligen Evaluation verfolgten Zwecke, die Abgrenzung der Beteiligten und Betroffenen dieser Evaluation und schließlich die Eingrenzung der Fragestellungen, die durch die Evaluation zu beantworten sind. Im Zentrum steht dabei die nutzenfokussierte Evaluation. Sie bedeutet eine konsequente Ausrichtung der Evaluation an den Nutzungsinteressen der Auftraggebenden und weiterer wichtiger Stakeholder und der Verwertbarkeit der Evaluationsergebnisse für deren Praxis. Diese nutzenfokussierte Vorgehensweise orientiert sich an einem von Michael Patton entwickelten Ansatz, der von Wolfgang Beywl seit 2006 transformiert und aktualisiert wurde. Um die zentralen Elemente eines Programms in ihrer Wirklogik (also im Zusammenhang von Bedingungen, Aktivitäten und erwartbaren Resultaten einer Evaluation) zu beschreiben, wird von den beiden Autorinnen der vom Institut Univation entwickelte ‚Programmbaum‘ als bewährtes Instrument für die nutzenorientierte Evaluation von Programmen und Projekten ins Zentrum gestellt. Dieser Programmbaum als ‚Landmarke wirkungsorientierter Evaluation‘ soll insbesondere die qualifizierte Unterscheidung unterschiedlich herausfordernder Evaluationsniveaus ermöglichen und mit dieser analytischen Trennung eine bessere Planung des jeweiligen Evaluationsvorhabens vorbereiten. Zur Eingrenzung der relevanten Fragestellungen, die die Evaluation beantworten soll, orientieren sich die Autorinnen an einer dort entwickelten Checkliste ‚Evaluationsfragestellungen‘. Diese Orientierung solle in enger Abstimmung mit den Elementen des ‚Programmbaums‘ erfolgen, um die innere Logik der angebotenen Instrumente verstehbar zu machen, ihre Brauchbarkeit für die anstehenden Aufgaben beurteilen zu können und die jeweilige Anforderungen an die Verwendung dieser Instrumente einschätzbar zu machen. Die erkenntnisleitenden Fragestellungen für die Gestaltung des Evaluationsdesigns sollten jedenfalls sicherstellen, dass die anstehenden Evaluationsaufgaben fokussiert, offen und realistisch, deutlich formuliert und empirisch beantwortbar angegangen werden sowie realisierbar und nützlich sind. Nur dann könnten sie die Grundlage für eine wirksame und damit im Endeffekt auch nutzbare Evaluation bieten.
In Kapitel 3 werden die Methoden der Informationsgewinnung, Instrumente der Datenerhebung und Datenauswertungsverfahren sowie die Legitimität von Schlussfolgerungen als Basis für die Abgabe von Bewertungen und Empfehlungen diskutiert und mögliche Vorgehensweisen durch konkrete Beispiele aus der Praxis veranschaulicht. Die in der Evaluation genutzten Methoden zur Gewinnung und Erhebung von Daten wie Beobachtung, Befragung und Dokumentenanalyse sollen sich dabei an den methodischen Anforderungen der empirischen Sozialforschung orientieren. Bei der Wahl geeigneter Erhebungsmethoden gelte es pragmatisch vorzugehen, die situativen Programmbedingungen zu berücksichtigen und die Erhebungsverfahren möglichst ressourcenschonend einzusetzen. Zur Auswertung der Datenerhebung wird lediglich auf die gängigen in der Evaluation angewandten Verfahren für qualitative und quantitative Daten kurz eingegangen, ansonsten wird auf die entsprechende Literatur verwiesen. Schlussfolgerungen und Bewertungen in Evaluationen, die ja eigentlich zum Standardrepertoire von Evaluationen gehören, werden nur relativ knapp dargestellt. Als Bewertungsmaßstab könnten etwa vorab formulierte Programmziele mit Erfolgswerten oder Merkmale der Zielgruppe dienen. Konkrete Empfehlungen dagegen seien nach Meinung der Autorinnen mit Vorsicht einzusetzen und sollten eher wenig verbindlich formuliert werden.
Kapitel 4 widmet sich verschiedenen Möglichkeiten der Berichterstattung und der Präsentation von Evaluationsergebnissen immer mit dem Ziel, die Ergebnisse für die Auftraggebenden möglichst nutzbar zu machen. Zielgerichtetes Schreiben von Evaluationsberichten und die mündliche Präsentation von Berichtsergebnissen könnten dabei oftmals parallel eingesetzt werden. Wichtig bei der Erstellung eines Evaluationsberichtes seien insbesondere der Zweck des Berichts, die Interessen der Adressaten sowie der Berichtszeitpunkt. Dabei soll der Bericht dokumentieren, dass die Evaluation systematisch geplant, mit soliden Instrumenten durchgeführt und die Objekte der Evaluation nach ausgewiesenen Maßstäben bewertet wurden. Zudem sei es wichtig, die verschiedenen Adressierten möglichst konkret zu bestimmen und den Bericht idealerweise zeitnah dann vorzulegen, wenn die Informationen von den Nutzenden benötigt werden.
Im abschließenden Kapitel 5 dieses Leitfadens findet sich in einem knapp 50-seitigen Anhang eine umfassende Aufstellung der im Text diskutierten Hilfsmittel sowie eine Zusammenstellung der diskutierten Begriffe aus dem Evaluationsglossar von Beywl/Niestroj und eine vollständige Liste der Evaluationsstandards der DeGEval. Dies verschafft den Rezipienten einen zusammenfassenden Überblick aller Hilfsmittel, die von den Autorinnen im Rahmen ihrer Evaluationspraxis als besonders bewährt hervorgehoben wurden.
Diskussion
Dem Anspruch nutzenorientierte Programmevaluationen herauszuarbeiten wird das Buch gerecht und der Titel des Buches verspricht hier nicht zu viel. Ein zunehmender Trend, die Evaluation von Programmen und Projekten zur Pflicht zu machen wird zu Recht konstatiert, wobei dieser Trend nicht nur in Deutschland, sondern auch in der Schweiz zu beobachten ist.
Die Stärke des Buches liegt besonders in der engagiert vertretenen Fokussierung auf eine eigene langjährige Evaluationspraxis von Programmen und auf die methodisch stimmige Präsentation der dabei gewonnenen Erkenntnisse. Die dort entwickelten Konzepte, Techniken und Hilfsmittel möchte man in Form eines praktischen Leitfadens breit publik machen.
Das Buch kann dabei über weite Strecken als Grundlagentext zur Vermittlung von Kompetenzen gelten, mit denen Programmevaluationen erfolgreich geplant, durchgeführt und praktisch genutzt werden können. Dies auch dann, wenn die Projektverantwortlichen ohne großes Vorwissen selbst eine solche Evaluation durchführen wollen, denn im Leitfaden findet sich hierzu eine breite Palette praktisch umsetzbarer Hinweise. Es ist allerdings zu bezweifeln, ob auch Selbstevaluationen (entsprechend der Checkliste im Abschnitt 5.2.2), für die systematisches Evaluations-Vorwissen der Projektverantwortlichen eher selten vorausgesetzt werden kann, allein mit den Hilfsmitteln dieses Leitfadens in allen Fällen gelingen könnten. Hier wäre es wünschenswert, die vorliegenden Handreichungen, Auswertungsstrategien und Methoden noch vertiefter darzustellen und dabei auch auf die eventuell gegebene Notwendigkeit einer Unterstützung durch Fachpersonen zu verweisen.
Didaktisch bietet das Buch vielseitige Wegleitungen für startende Evaluationspraktiker, um ihnen ihre ersten Schritte zu erleichtern, aber auch den bereits Erfahreneren kann der Leitfaden als informatives Nachschlagewerk dienen. Dass die verwendete Sprache insgesamt eher nüchtern und formal gehalten ist und die Verwendung von Fachtermini auf das notwendige Ausmaß begrenzt wird, ist jedenfalls angemessen, da die Autorinnen mit ihrem Anspruch, einen Leitfaden zu formulieren, auch in ihrer Darstellungsmethodik eine eher anwenderorientierte Form gewählt haben.
Fazit
Das Buch profitiert von der Breite der praktischen Erfahrungen seiner Autorinnen mit Evaluationen im Bereich Integration und angrenzender Gebiete während ihrer langjährigen und teilweise gemeinsamen Tätigkeit beim Institut für Evaluation Univation, wo sie neben der praktischen Evaluation auch forschend und weiterbildend tätig waren und teilweise noch sind. Somit trägt das Buch auch dazu bei, Wissens- und Erfahrungslücken in dem politisch zunehmend wichtigen Bereich der Programmevaluation nicht nur in praktischer Anwendungsperspektive, sondern auch systematisch forschungsorientiert zu schließen und gleichzeitig Evaluationspraktiker und Neueinsteiger handbuchmäßig in Grundüberlegungen und Problemanalysen bei der Überprüfung der Wirkung von Programmen einzuführen. Damit lassen sich mit diesem Leitfaden nicht nur Programmevaluationen nutzbringend gestalten und zugleich wissenschaftlich legitimieren, sondern auch der praktischen Evaluationsarbeit wird ein ausgewiesenes Instrument an die Hand gegeben. Bleibt nur zu wünschen, dass von diesem Angebot auch rege Gebrauch gemacht wird.
Rezension von
Thomazine von Witzleben
Selbständige Evaluatorin für Gleichstellungsfragen und die Evaluation von staatlichen Gesetzen und Maßnahmen
Mailformular
Es gibt 1 Rezension von Thomazine von Witzleben.
Zitiervorschlag
Thomazine von Witzleben. Rezension vom 23.01.2015 zu:
Schahrzad Farrokhzad, Susanne Mäder: Nutzenorientierte Evaluation. Ein Leitfaden für die Arbeitsfelder Integration, Vielfalt und Toleranz. Waxmann Verlag
(Münster, New York) 2014.
ISBN 978-3-8309-3065-5.
In: socialnet Rezensionen, ISSN 2190-9245, https://www.socialnet.de/rezensionen/17659.php, Datum des Zugriffs 04.10.2023.
Urheberrecht
Diese Rezension ist, wie alle anderen Inhalte bei socialnet, urheberrechtlich geschützt.
Falls Sie Interesse an einer Nutzung haben, treffen Sie bitte vorher eine Vereinbarung mit uns.
Gerne steht Ihnen die Redaktion der Rezensionen
für weitere Fragen und Absprachen zur Verfügung.