Reinhard Stockmann: Handbuch zur Evaluation
Rezensiert von Prof. Dr. Joachim König, 30.11.2022
Reinhard Stockmann: Handbuch zur Evaluation : Eine praktische Handlungsanleitung.
Waxmann Verlag
(Münster, New York) 2022.
518 Seiten.
ISBN 978-3-8309-4602-1.
59,90 EUR.
Reihe: Sozialwissenschaftliche Evaluationsforschung - 16.
Thema und Bedeutung des Buches
16 Jahre nach seiner ersten Auflage geht dieses in Deutschland inzwischen meist verkaufte Handbuch zur Evaluation in die zweite, sehr gründlich überarbeitete Auflage. Auf gut 450 Seiten (plus 50 Seiten äußerst informativer Verzeichnisse) werden alle wichtigen Grund- und Detailkenntnisse gut aufbereitet vermittelt. Als ein kompetentes Nachschlagewerk und Lehr- und Arbeitsbuch dient es damit auch denjenigen, die gerade dabei sind, in dieses inzwischen sozialwissenschaftlich durchaus komplexe und elaborierte Thema einzusteigen. Vor allem aber finden Lehrende und sich Weiterbildende, Akteure und Stakeholder im Evaluationsgeschäft alle wichtigen Informationen zu Methoden, Strategien, Konzepten und Kriterien bei der Planung, Durchführung und Verwertung von Evaluationen und ihren Befunden: Beteiligte, Betroffene, Entscheidungsträger und politisch Verantwortliche profitieren von diesem Handbuch also ebenso wie Studierende und auch diejenigen, die sich wissenschaftlich mit diesem ständig wachsenden und sich ausdifferenzierenden Feld der Sozialwissenschaften auseinandersetzen. Dass die Autor:innen neben der Überarbeitung der Kapitel einen Abschnitt zum Monitoring vor dem Hintergrund der steigenden Bedeutung einer soliden Datenkompetenz der Akteure ergänzt haben und in einem weiteren Kapitel auch dem Blick in den gesellschaftlichen und politischen Kontext von Evaluation Aufmerksamkeit geschenkt wurde, ist angesichts ihrer Rolle bei der Bewältigung aktueller Krisen sinnvoll und zeigt einmal mehr die Breite der Perspektive auf Evaluation, die mit diesem Buch verbunden ist.
Herausgeber und Autor:innen
Beim Herausgeber und den Autor:innen des Bandes handelt es sich um ein eingespieltes, siebenköpfiges Team rund um das Centrum für Evaluation (CEval) und die inzwischen etablierten Studiengänge zur Evaluation an der Universität des Saarlandes – mit langjährigen Erfahrungen im Bereich der Evaluation, sowohl mit Blick auf die Durchführung von Projekten als auch auf die mit Evaluation verbundene Lehre, Fort- und Weiterbildung und auch die wissenschaftlichen Diskurse dazu in der scientific community. Reinhold Stockmann als Gründer und Direktor des CEval sowie Herausgeber der Zeitschrift für Evaluation teilt sich die Autorenschaft mit Vera Hennefeld, der Leiterin des Bereiches Bildung & Kultur am CEval, mit Wolfgang Meyer, Professor für Soziologie an der Universität des Saarlandes und Leiter zweier Studiengänge zur Evaluation, mit Stefan Silvestrini, dem Geschäftsführer des CEval und Leiter des Bereichs Entwicklungszusammenarbeit am Institut, mit Laszlo Szentmarjay als Projektmanager am CEval und wissenschaftlicher Mitarbeiter an der Universität des Saarlandes, mit Janis Wicke, Soziologe und Evaluator am CEval und mit Niklas Zierke, wissenschaftlicher Mitarbeiter und Dozent in zwei Studiengängen zur Evaluation an der Universität des Saarlandes. Alle sieben stehen damit für eine insgesamt gut verständliche, gleichzeitig praxisnahe und nutzerfreundliche, jederzeit aber auch differenzierte und vertiefende Darstellung dessen, was Evaluation inzwischen ausmacht.
Aufbau
Das vorliegende Buch gliedert sich in zehn Kapitel, die übersichtlich, gut nachvollziehbar und praxisnah gestaltet und aufgebaut sind. Miteinander betrachtet ergeben sie zudem eine schlüssige Argumentationslinie, die der Ablauflogik eines Evaluationsprozesses folgt, alle zentralen Themen im Verlauf eines solchen Prozesses berücksichtigt und auch die Zusammenhänge zwischen den einzelnen Perspektiven und Aspekten gut aufzeigt. Genau dieser Gesamtzusammenhang wird auch gleich zu Beginn in der den zehn Kapiteln vorangestellten Einleitung deutlich, die nicht nur zum Lesen motiviert, sondern auch den vielfältigen Nutzen des in diesem Handbuch bereit gestellten Wissens an schönen Beispielen, Geschichten und Bildern deutlich macht.
Inhalt
Im Einführungskapitel von Reinhold Stockmann werden zunächst die möglichen Ziele und Nutzen von Evaluation eingeführt und die wichtigsten, in der Praxis üblichen Ansätze zur Umsetzung dargestellt, bevor zwei zentrale Differenzierungen vorgenommen werden: Interne wird von externer Evaluation unterschieden und die verschiedenen Bedeutungen von ziel- und wirkungsorientierten Verfahren werden erklärt, bevor schließlich die zentralen Standards zur Beurteilung von Evaluationsprozessen erläutert werden.
Das sinnvollerweise neu in die zweite Auflage aufgenommene Kapitel zum Monitoring von Wolfgang Meyer & Niklas Zierke enthält neben Grundlegendem zum Konzept, zu den Arten und den Ablauflogiken von Monitoring vor allem einen für Praktiker:innen absolut hilfreichen ‚Werkzeugkoffer‘, der Datenquellen und Instrumente auf organisationaler, kommunaler, regionaler, nationaler und auch transnationaler Ebene darstellt und mit Blick auf deren jeweiligen Einsatz differenziert diskutiert. Das Kapitel überzeugt vor allem auch dadurch, dass der Nutzen eines systematisch aufgebauten Monitorings im Zuge eines Evaluationsprozesses deutlich wird.
Reinhold Stockmann knüpft dann gut nachvollziehbar an sein erstes Kapitel an und differenziert die große Palette konkurrierender und komplementärer Ansätze von Evaluation weiter aus: Vor allem die beiden großen Bereiche des Controlling und des Benchmarking werden erklärt und im Hinblick auf ihre Anwendung und Reichweite miteinander verglichen. Dass es dabei vor allem um deren Einsatz im Rahmen des Qualitätsmanagements und der Programmsteuerung geht, zeigt, wie wichtig es den Autoren ist, die praktische Verwertbarkeit der Verfahren immer wieder deutlich zu machen.
Im Kapitel von Stefan Silvestrini zu Ablauf und Organisation von Evaluationsprojekten wird seine eigene, langjährige und breite Praxiserfahrung gut deutlich: Alle Überlegungen zur Planung und Vorbereitung, zur Erstellung von Angeboten vor dem Hintergrund von Ausschreibungen sowie zur praktischen Umsetzung und zum damit verbundenen Projektmanagement sind nicht nur klar und verständlich im Aufbau, sondern auch stets verbunden mit vielen praktischen Hinweisen und Beispielen, von denen einfach zu profitieren ist.
Alle diejenigen, die bereits langjährige (Berufs-)Erfahrung mit beauftragter Evaluation gesammelt haben, wissen um die besondere Bedeutung des nun folgenden, ebenfalls neu aufgenommenen Kapitels von Reinhold Stockmann zum sozialen und politischen Kontext von Evaluation. Vor allem die Unterscheidung zwischen Evaluator:innen und Stakeholder:innen auf den verschiedenen Ebenen spielt dabei eine besondere Rolle und wird in diesem Kapitel differenziert thematisiert. Kritik an Befunden, Beeinflussungsversuche, aber auch die hohen Kompetenzanforderungen und Erwartungen an den Nutzen von Evaluationsergebnissen spielen dabei eine zentrale, häufig spielentscheidende Rolle. Hilfreich erscheint auch, dass diese Konfliktlinien und Dilemmata vor dem Hintergrund der gängigen Nützlichkeitsstandards von Evaluation diskutiert und eingeordnet werden.
Einen argumentativen Übergang bietet dann das Kapitel von Wolfgang Meyer & Niklas Zierke zu den unterschiedlichen Arten von Designs einer Evaluation. Bevor diese (experimentelle und quasi-experimentelle, beobachtende, deskriptive und korrelative Designs) nämlich beschrieben, erklärt und unterschieden werden, machen die Autoren die Bedeutung einer differenzierten Stakeholderanalyse sowie die Perspektiven, Gefahren und Grenzen der Möglichkeiten deutlich, unterschiedliche Anspruchsgruppen an der Entwicklung eines Designs zu beteiligen.
Ein kompaktes aber anwendungsfreundlich aufbereitetes Kapitel von Wolfgang Meyer widmet sich nun den Fragen rund um die Messung von Indikatoren, die im Zuge einer Evaluation als relevant erachtet werden. Die Fragen nach der Konstruktion geeigneter Skalen, nach der Bildung von Indizes und nach deren Interpretierbarkeit spielen dabei die zentrale Rolle.
Auf 60 Seiten stellt Wolfgang Meyer dann alle relevanten Formen der Datenerhebung und Informationsbeschaffung vor. Neben den gängigen Befragungsmethoden werden auch verschiedene Beobachtungsmethoden differenziert aufbereitet und können jederzeit in eigene Projekte hinein adaptiert und verwendet werden – was wiederum die Benutzerfreundlichkeit des Buches schön zum Ausdruck bringt.
Dem Datenmanagement und der Datenauswertung widmet sich dann das Kapitel von Niklas Zierke. Er beschreibt gut nachvollziehbar und mit erläuternden Beispielen versehen den Weg von den nun vorliegenden Daten hin zu interpretier- und verwertbaren Ergebnissen einer Evaluation. Sowohl mit Blick auf die Aufbereitung als auch auf die Analyse der Daten wird dabei sinnvollerweise zwischen den quantitativen und den qualitativen Verfahren unterschieden, die dazu jeweils zur Verfügung stehen.
Das abschließende Kapitel von Laszlo Szentmarjay, Janis Wicke & Vera Hennefeld stellt die unterschiedlichen mündlichen und schriftlichen Verfahren der Berichtlegung übersichtlich dar, diskutiert aber auch die wesentlichen Anforderungen an ein Reporting und seine Rolle innerhalb des Gesamtzusammenhangs eines Evaluationsprozesses.
Diskussion
Angesichts der riesigen Menge an Wissen, Fakten, Informationen und Befunden, die dieses Buch zur Verfügung stellt, besteht seine Qualität vor allem darin, immer wieder Zusammenhänge deutlich zu machen, den roten Faden der Verlaufslogik einer Evaluation und ihres Kontextes gut aufzuzeigen und vor allem die vielen, in den einzelnen Kapiteln dargestellten Details anhand von gut aufbereiteten Zusammenfassungen, Checklisten, Anwendungsbeispielen, Praxisleitfäden und auch grafischen Visualisierungen auf eine äußerst benutzerfreundliche Weise zu präsentieren. Für Anfänger:innen im Evaluationsgeschäft, für diejenigen, die einen ersten Einstieg in die Materie suchen, könnte allerdings gerade diese Fülle der Überlegungen und die Komplexität und Vielschichtigkeit der Differenzierungen ein gewisse abschreckende Überforderung darstellen. Da wäre dann eher eine zunächst einfachere und kompaktere Darstellung zu empfehlen.
Das von Stockmann u.a. vorgelegte Handbuch kann mit dieser zweiten Auflage seine zentrale Stellung im deutschsprachigen Buchangebot zur Evaluation mit Fug und Recht behaupten. Als Handbuch im klassischen Sinne bietet es eine sinnvoll geordnete Zusammenstellung von Wissen und Kompetenzen als Nachschlagewerk für ausgewiesene Expert:innen – was auch der differenzierte Index erleichtert. Auch Auftraggeber:innen finden Weiterführendes und Vertiefendes. Darüber hinaus ist das Werk aber auch für Studierende in höheren Semestern und für interessierte Fachkräfte ein zwar anspruchsvolles, aber dank seiner Benutzerfreundlichkeit stets gut handhabbares Kompendium zum Einstieg in den Gegenstand und zur Weiterentwicklung des eigenen Wissens und der fachlichen Kompetenzen. Insgesamt kann das Buch gerade auch vor dem Hintergrund seiner Erweiterung um die beiden Abschnitte zum Monitoring und zum Kontext sowie den politischen Rahmenbedingungen von Evaluation als wichtiger Beitrag zur fundierten Ausbildung in Evaluation und gleichzeitig auch zur Weiterentwicklung des Konzepts in den Sozialwissenschaften empfohlen werden. Insofern geht die Bedeutung und Reichweite des Buches weit über die in seinem Titel verwendete Bezeichnung als ‚praktische Handlungsanleitung‘ hinaus.
Fazit
Das Handbuch stellt alle wichtigen Grund- und Detailkenntnisse zur Evaluation gut aufbereitet zusammen. Die Struktur dieses kompetenten Nachschlagewerks erlaubt, es auch als und Lehr- und Arbeitsbuch zu verwenden. Zum inzwischen sozialwissenschaftlich komplexen Thema Evaluation finden Lehrende und sich Weiterbildende, Akteure und Stakeholder alle wichtigen Informationen zu Methoden, Strategien, Konzepten und Kriterien bei der Planung, Durchführung und Verwertung von Evaluationen und ihren Befunden. So profitieren von diesem empfehlenswerten Handbuch ebenso Studierende wie auch alle anderen, die sich intensiv mit diesem ständig wachsenden und sich ausdifferenzierenden Feld der Sozialwissenschaften auseinandersetzen wollen.
Rezension von
Prof. Dr. Joachim König
Evangelische Hochschule Nürnberg
Allgemeine Pädagogik & Empirische Sozialforschung
Leiter des Instituts für Praxisforschung und Evaluation
Website
Mailformular
Es gibt 26 Rezensionen von Joachim König.
