Reinhard Stockmann (Hrsg.): Handbuch zur Evaluation. Eine praktische Handlungsanleitung
Rezensiert von Prof. em Hanne Bestvater, 24.09.2007
Reinhard Stockmann (Hrsg.): Handbuch zur Evaluation. Eine praktische Handlungsanleitung.
Waxmann Verlag
(Münster/New York/München/Berlin) 2007.
367 Seiten.
ISBN 978-3-8309-1766-3.
29,90 EUR.
Reihe: Sozialwissenschaftliche Evaluationsforschung - Band 6.
Zielsetzung und Überblick
Ziel dieses dritten Werks einer Reihe zu Evaluation ist es, praktische Hilfen zu geben für Auftraggebende sowie Evaluatoren und Evaluatorinnen. Gliederung und Übersicht schaffende Einführungen zu Beginn jeden Kapitels führen die Lesenden an die verschiedenen Themen der Evaluation heran. Zum einen werden theoretische und methodische Fragen bearbeitet wie Definitionen und Abgrenzungen, Messen und Interpretieren, Datenerhebungsmethoden und Reporting. Zum anderen geht es ganz praktisch um das Projektmanagement einer Evaluation oder um den Umgang mit regelmässig auftretenden Widerständen von Stakeholdern sowie die kommunikativen Fähigkeiten, die Evaluierende für einen professionellen Umgang damit benötigen.
Aufbau
Die Reihenfolge der Kapitel entspricht der Ablauflogik einer Evaluation: Auf die Entscheidung ob und wozu eine Evaluation folgt die organisatorische Planungsphase und die Entwicklung des Designs. Ein weiteres Kapitel behandelt die kommunikativen Herausforderungen. Zu diesem Zeitpunkt im "Lebensverlauf" einer Evaluation ist ein guter Kontakt mit den Auftraggebenden oft entscheidend für späteres effizientes, störungsarmes Arbeiten. Erst danach kann begonnen werden mit Datenerhebung, -management, -auswertung und Reporting.
Inhalte
Begonnen wird mit Evaluationstheorie, und zwar metaphorisch: Die Schifffahrt der Titanic - ein Projekt, und Projekte ähneln Programmen - bietet Analogien um zu erklären wozu Evaluation nützlich sein kann (Kap 1 Einleitung und Prolog).
Kap. 2 und 3 führen auf gut 80 Seiten in die Theorie der Evaluation ein und leisten Abgrenzungen zu anderen Ansätzen der Steuerung von Programmen und Organisationen: Controlling, Balanced Scorecard, Benchmarking, Audit. Stockmann bewertet die heutige Vielfalt der Evaluationsansätze - von Egon Guba/ Yvonna Lincoln über Ralph W. Tyler, Robert Stake, Michael Scriven, bis Michael Patton und David Fettermann - als Chance "...um für eine spezifische Evaluationsaufgabe eine passende Kombination aus zu wählen." und kritisiert diejenigen, die sich nicht der Mühe unterziehen, ihre Auswahl rational und wissenschaftlich begründet vorzunehmen, sondern ...ihren theoretisch- methodologischen Vorlieben folgen, oder denen der Auftraggeber." (S.50). Vorinformierte Lesende denen die Übertragung auf ihren eigenen Handlungs- und Verantwortungsbereich leicht fällt, finden viele Anregungen und Entscheidungshilfen, wann sie welche Vorgehensweise oder welche Methode einsetzen könnten (S. 98 Vergleichstabelle Evaluation und konkurrierende/komplementäre Ansätze). Hinweise auf durchgeführte Evaluation die die theoretischen Phänomene in praktischen Politikfeldern verorten werden nicht gegeben. Solche konkreteren Fallbeispiele würden den Transfer auf das jeweilige Arbeitsfeld der Lesenden erleichtern.
Kapitel 4 schildert den Ablauf einer Evaluationsplanung, nützlich sowohl für Auftraggebende wie Auftragnehmende von Evaluationen, die Lancierung von und Beteiligung an Ausschreibungen. An einem gut nachvollziehbaren Beispiel aus der Arbeitsmarktpolitik werden die Planungsschritte eines Evaluations-Projektmanagements beschrieben. Das Schema "Zuordnung der Indikatoren zu den jeweiligen Untersuchungsdimensionen" (S. 115) verdeutlicht, dass eine systematische, streng an der untersuchungsleitenden Fragestellung orientierte Vorbreitung (am besten entlang des Leitfadens von S. 56) unerlässlich ist, um relevante Erkenntnisse zu erhalten und die Datenerhebungen systematisch zu planen. Der Abschnitt zur Angebotserstellung (ab S. 118) informiert präzise darüber, wie ein Evaluationsangebot kalkuliert und erstellt wird und weist auf Herausforderungen und Fallstricke hin. Derart detailreiche Angebote bedeuten bereits eine erhebliche Investition, welche die Anbieter vorfinanzieren oder ggf. auf die Gesamtheit aller anderen Aufträge umlegen müssen. Auftraggebende sensibilisiert dieses Kapitel für die kostenintensiven Leistungen, die sie mit einer Ausschreibung auslösen.
Im Kapitel 5 über Evaluationspläne im Unterschied zu Forschungsdesigns diskutiert Wolfgang Meyer u. a., ab wann sich eine interne Evaluationsabteilung für eine Organisation lohnt. Es sollte bedacht werden, dass diese Abteilung auslastet werden muss.
Evaluationen sollen einen möglichst hohen Nutzen erzeugen, was im sozialen Kontext der Evaluation geschieht. Die von Tasso Brand zusammengestellten Qualifikationsanforderungen für Evaluierende (Kap. 6) umfassen daher neben fachlichen und methodischen auch kontextbezogene Kompetenzen wie Praxisfeldwissen sowie Sozial- und Selbstkompetenzen, z. B. Verhandlungsfähigkeit. Besonders lohnenswert ist der Exkurs "Typische Kritikpunkte an Evaluationen ..." (S. 180), der zum konstruktiven Umgang mit häufigen Einwänden ermutigt.
Für Evaluationspraktiker sehr nützlich ist Kapitel 7 von Wolfgang Meyer zum "Messen". Dieser vielfach Widerstände auslösende Kernprozess der Evaluation wird wie folgt umschrieben: " Messen ist ein sozialer Prozess, der mit der Verständigung über die zu messenden Merkmale beginnt, ... und schliesslich in Auseinandersetzungen über die Ergebnisinterpretation ... mündet." (S.196). Dabei behandelt Meyer empirische Methoden nicht generisch, wie in vielen anderen Evaluationslehrbüchern, sondern spezifiziert sie für die Evaluation. Er liefert auch Munition zum beliebten Totschlagargument, dass man Äpfel nicht mit Birnen vergleichen könne.
Kapitel 8 und 9 widmen sich neben einem "knappen, praxisorientierten Überblick über gängigste Verfahren und Grundlagen der sozialwissenschaftlichen Datenerhebung" (Befragung, Beobachtung, Nicht-reaktive Verfahren) der strukturierten Datenerfassung, den Auswertungsmethoden, und Möglichkeiten und Grenzen bei knappen Ressourcen.
Das Schlusskapitel 10 behandelt das Reporting mit seinen vielfältigen Anforderungen an mündliche und schriftliche Informationsvermittlung: Zwischenworkshops, vorläufiger Endbericht, Abschlussworkshop, Endbericht mit Management Response. Auch hier finden sich konkrete Hilfen bis hin zu Regeln über Informationsmengen und Schriftgrösse auf Folien.
Diskussion
Das Buch schließt eine Lücke im bisherigen deutschsprachigen Buchangebot zur Evaluation. Als Handbuch soll es eine geordnete Zusammenstellung von Wissen bieten und als Nachschlagewerk dienen, was der Index erleichtert. Bereits gut ausgebildete externe oder interne Evaluationsfachpersonen, die selbständig arbeiten (wollen) und evaluationskundige Auftraggebende finden weiter Führendes und Vertiefendes. Für Neueinsteigende oder Vorhaben der Selbstevaluation ist es recht anspruchsvoll, z. B. im Themenfeld Datenerhebung und Datenauswertung; wozu es niedrigschwellige Alternativen gibt (Leitfäden oder Programmpakete wie Graftstat). Visualisierungen könnten hier abhelfen.
Fazit
Insgesamt ist das Buch ein wichtiger Beitrag, um die Ausbildung in Evaluation auf eine solide Grundlage zu stellen.
Rezension von
Prof. em Hanne Bestvater
selbständige Beraterin zu Wissenschaftsmanagement/Third Space an Hochschulen; zuletzt Leiterin Zentrum Ausbildung an der Interkantonalen Hochschule für Heilpädagogik, Zürich
Mailformular
Es gibt 10 Rezensionen von Hanne Bestvater.
Zitiervorschlag
Hanne Bestvater. Rezension vom 24.09.2007 zu:
Reinhard Stockmann (Hrsg.): Handbuch zur Evaluation. Eine praktische Handlungsanleitung. Waxmann Verlag
(Münster/New York/München/Berlin) 2007.
ISBN 978-3-8309-1766-3.
Reihe: Sozialwissenschaftliche Evaluationsforschung - Band 6.
In: socialnet Rezensionen, ISSN 2190-9245, https://www.socialnet.de/rezensionen/4971.php, Datum des Zugriffs 11.11.2024.
Urheberrecht
Diese Rezension ist, wie alle anderen Inhalte bei socialnet, urheberrechtlich geschützt.
Falls Sie Interesse an einer Nutzung haben, treffen Sie bitte vorher eine Vereinbarung mit uns.
Gerne steht Ihnen die Redaktion der Rezensionen
für weitere Fragen und Absprachen zur Verfügung.