Reinhard Stockmann, Wolfgang Meyer (Hrsg.): Die Zukunft der Evaluation
Rezensiert von Barbara Flatters, 09.08.2019
Reinhard Stockmann, Wolfgang Meyer (Hrsg.): Die Zukunft der Evaluation. Trends, Herausforderungen, Perspektiven.
Waxmann Verlag
(Münster, New York) 2017.
257 Seiten.
ISBN 978-3-8309-3708-1.
D: 34,90 EUR,
A: 35,90 EUR.
Reihe: Sozialwissenschaftliche Evaluationsforschung - Band 13.
Thema
Der vorliegende Sammelband umfasst zwölf Beiträge, die aus verschiedenen Perspektiven jeweils die Bedeutung von Evaluation beleuchten, darauf basierend Trends identifizieren und die zukünftige Entwicklung des Stellenwerts von Evaluation abschätzen. Die Beiträge werden in der Einleitung unterteilt in solche, die sich auf die Institutionalisierung von Evaluation in der Gesellschaft, auf die Institutionalisierung der Evaluation im Wissenschaftssystem und auf die Institutionalisierung von Evaluation als eigenständige Profession beziehen.
Herausgeber, Autorinnen und Autoren
Reinhard Stockmann ist Professor für Soziologie an der Universität des Saarlandes und einer der Leiter des Masterstudiengangs Evaluation. Wolfgang Meyer ist Privatdozent an der Universität des Saarlandes. Die beiden Herausgeber sind Leiter bzw. stellvertretender Leiter des Centrum für Evaluation in Saarbrücken (CEval) sowie Gründungsmitglieder der Gesellschaft für Evaluation (DeGEval).
Beide Herausgeber haben auch eigene Beiträge im Sammelband verfasst, insgesamt sind sieben der 15 Autorinnen und Autoren derzeitige oder ehemalige Mitarbeitende des CEval.
Entstehungshintergrund
2012 feierte das CEval sein zehnjähriges Bestehen mit der Konferenz „Die Zukunft der Evaluation in modernen Gesellschaften“. Beiträge zu dieser Konferenz wurden 2016 im englischsprachigen Band „The Future of Evaluation – Global Trends, New Challenges, Shared Perspectives“ im Palgrave Macmillan-Verlag veröffentlicht. Die Jahrestagung der DeGEval 2017 trug – anlässlich deren 20-jährigen Bestehens – den Titel „Evaluation (in) der Zukunft“. Dies war für die Herausgeber der Anlass, das deutschsprachige Buch „Die Zukunft der Evaluation – Trends, Herausforderungen, Perspektiven“ herauszubringen.
Die englische Ausgabe umfasst 22 Beiträge (exklusive Einleitung und Schluss der Herausgeber), die deutsche Neuauflage zwölf, von denen elf eine Übersetzung der englischen Fassung sind, und ein Artikel zusätzlich verfasst wurde.
Aufbau
Das Inhaltsverzeichnis des hier rezensierten Buchs strukturiert die einzelnen Beiträge nicht. Allerdings ordnen die Herausgeber sowohl in der Einleitung als auch im Schlusskapitel die Beiträge den folgenden Themenfeldern zu, für die sie in Einleitung und Schluss unterschiedliche Überschriften finden:
- „Die Institutionalisierung von Evaluation in der Gesellschaft“ bzw. „Zukunft der Evaluation in der Gesellschaft“
- „Die Institutionalisierung von Evaluation im Wissenschaftssystem“ bzw. „Herausforderungen für Forschung und Lehre“
- „Die Institutionalisierung von Evaluation als eigenständige Profession“ bzw. „Theorie und Methoden der Evaluation“
In den einzelnen Beiträgen dieses Sammelbandes haben die Autorinnen und Autoren jeweils „auf Grundlage vergangener Entwicklungstendenzen einen Blick in die Zukunft gewagt und verschiedene Möglichkeiten einer Weiterentwicklung der Evaluation zur Diskussion gestellt“ (S. 10). Themenfelder, die beleuchtet werden, sind u.a. Evaluationsnetzwerke, Fort- und Weiterbildung in der Evaluation, sowie Evaluation von nachhaltiger Entwicklung. Zudem werden auch Charakteristika von Evaluation und die daraus entstehenden Abwägungen (Wissenschaftlichkeit vs. Praxisnähe, Partizipation und Bewertung) sowie methodologische Herausforderungen angesprochen.
Ausgewählte Inhalte
Eine zusammenfassende Darstellung der Inhalte ist aufgrund der sich stark unterscheidenden Themenschwerpunkte der einzelnen Beiträge nicht möglich. Daher wird im Folgenden jeweils ein Beitrag aus den drei oben genannten Themenfelder genauer dargestellt. Dabei hat die Rezensentin die Beiträge ausgesucht, die ihre Gedanken am stärksten angeregt haben.
Peter Dahler-Larsen beginnt seinen Beitrag „Die sich verändernde Rolle der Evaluation in einer sich verändernden Gesellschaft“ mit einer Definition von Evaluation. Dabei nennt er vier Komponenten, die Definitionen von Evaluation „typischerweise“ umfassen:
- systematische Untersuchung,
- Kriterien,
- Evaluationsgegenstände (z.B. Programme) und
- ein intendierter Zweck (z.B. Rechenschaftslegung oder Lernen).
Er ist der Meinung, dass Definitionen von Evaluationen immer auch (zumindest implizit) auf eine Begründung verweisen, weshalb Evaluation relevant ist. Diese Relevanz ließe sich im Kontext moderner demokratischer Gesellschaften besonders gut begründen. In einer demokratischen Gesellschaft, die „aus ihren Fehlern lernen will“, lohne es sich „systematisches Wissen über einen Evaluationsgegenstand unter Bezugnahme auf Kriterien zu generieren, die in einer gegebenen Situation demokratisch und/oder ethisch relevant erscheinen“ (S. 22).
Ausgehend von der These, dass Evaluation „zentral für eine moderne, demokratische Gesellschaft“ ist, diskutiert Dahler-Larsen in seinem Beitrag fünf Themen, die „wichtig für Evaluation und Gesellschaft“ sind und „wahrscheinlich umstritten“ bleiben (S. 21).
Durch Popularisierung – so Dahler-Larsen – „wird Evaluation eine weit verbreitete und als selbstverständlich betrachtete Tätigkeit“ (S. 24). Unter Systematisierung versteht Dahler-Larsen, dass Evaluation stärker in Organisationsabläufe integriert wird. So werde Evaluation „geplant, koordiniert und oftmals obligatorisch in größerem Rahmen sowie zeit- und raumübergreifend“ durchgeführt (S. 25). Dahler-Larsen beobachtet, dass Evaluationen zunehmend eine Outcome-Orientierung aufwiesen. Dabei bezieht er den Begriff des Outcomes zwar auf „den durch die Intervention bewirkten Unterschied“, sagt aber zugleich, dass nur der Begriff „Effekt“ auf eine Kausalitätsbeziehung zwischen Intervention und Outcome verweist. Dahler-Larsen beschreibt als viertes Diskussionsthema die Beziehungen zwischen Forschung und Evaluation im Wandel. Ursprünglich habe sich die Evaluation aus der akademischen Welt entwickelt, sich dann aber als eigenständiges und unterscheidbares Arbeitsfeld verstanden und mit anderen „Praxisfeldern“ wie der Organisationsentwicklung zusammengearbeitet. In der jüngeren Vergangenheit würden aber die Beziehungen zur Wissenschaft „wiederbelebt“. Das letzte Diskussionsthema sind Nutzungsmuster im Wandel. Dahler-Larsen meint, es sei „fast schon eine klassische Beobachtung, dass Evaluation oftmals ungenutzt bleibt“ (S. 30). Zudem erachtet Dahler-Larsen das Problem der „Nichtnutzung“ als „womöglich überholt“ (S. 32). Dies begründet er damit, dass zunehmend Prozessnutzen von Evaluation in den Fokus rücke und auch intendiert werde.
Im Fazit stellt Dahler-Larsen klar, dass es trotz der geschilderten Herausforderungen keinen Grund zum Pessimismus gibt und er davon ausgeht, dass die Evaluations-Community aus Auseinandersetzungen mit den genannten Diskussionsthemen gestärkt hervorgehen wird.
Verena Friedrich stellt in ihrem Beitrag „Evaluationsstudiengänge an europäischen Hochschulen: Merkmale und Herausforderungen“ zunächst die verschiedenen akademischen Hintergründe von Evaluierenden dar. Der Anteil derer, die an evaluationsspezifischen Aus- oder Weiterbildungsprogrammen teilgenommen haben, sei bisher eher gering. Häufig seien solche Fortbildungsprogramme keine Studiengänge im eigentlichen Sinne sondern müssten als Zusatzausbildung eigenfinanziert werden, was die Nachfrage instabil mache und das Angebot gefährde. Ein solches Angebot sei aber für „die Professionalisierung des gesamten Feldes“ (S. 112) von Bedeutung. Im Folgenden präsentiert Friedrich die Ergebnisse einer 2016 durchgeführten Umfrage unter Personen, die für Evaluationsstudiengänge verantwortlich sind. Einen Evaluationsstudiengang definiert sie als: „ein Programm, das aus mehreren Kursen, Seminaren usw. besteht und darauf ausgerichtet ist, evaluationsspezifisches Wissen zu vermitteln“ (S. 112). Diese Umfrage wird seit 2006 alle zwei Jahre vom Zentrum für universitäre Weiterbildung der Universität Bern durchgeführt, dessen Mitarbeiterin Friedrich ist, und umfasst beispielsweise Fragen nach Absolventenzahlen, Kosten, zu erreichenden ECTS-Punkten und Lernzielen.
Im abschließenden Diskussionskapitel stellt die Autorin fest, dass die Anzahl der erfassten Evaluationsstudiengänge gering ist. Zudem unterstreicht Friedrich die Bedeutung einer praxisbezogenen Ausbildung, denn „die praktischen Erfahrungen sind in der Evaluation von großer Bedeutung, nicht nur, um das Gelernte umsetzen zu können, sondern auch um die ‚politischen‘ Dimensionen der Evaluation und die Bedeutung der Beziehungen zwischen den Stakeholdern erfahren zu können“ (S. 120). Die verschiedenen disziplinären Hintergründe Evaluierender erschweren laut Friedrich, dass sich ein gemeinsames Verständnis von Evaluation, sowie deren Konzepten und Vorgehensweisen entwickle. Sie sieht evaluationsspezifische Aus- und Weiterbildung als zentral für eine Fortentwicklung in diesem Bereich. Schließlich ist ein spannender Diskussionspunkt die „wechselseitige Beeinflussung […] zwischen der evaluationsspezifischen Aus- und Weiterbildung an den Hochschulen auf der einen und der Professionalisierung im Feld auf der anderen Seite.“ Eine stetige Nachfrage nach Evaluationsstudienprogrammen könne nur entstehen, wenn „Evaluation in der Gesellschaft als Ressource wertgeschätzt und für die Lösung relevanter Probleme in Anspruch genommen wird“ (S. 121).
Brad Astbury erläutert in seinem Artikel „Von der Evaluationstheorie zum Testen von Evaluationstheorien?“ „inwieweit die systematische Untersuchung von Evaluationen einen bedeutenden Weg zur Optimierung der Wissensbasis für die zukünftige Evaluationspraxis darstellt“ (S. 224). In jüngerer Vergangenheit würden mit zunehmender Häufigkeit neue Evaluationstheorien und Ansätze veröffentlicht, so Astbury. Er ist der Meinung, Innovation ist gut und richtig, kritisiert aber, dass es an Belegen für das Zutreffen von Evaluationstheorien mangelt, sowie an Forschung über die verschiedenen Ansätze, die z.B. Auskunft darüber geben könnte, welche Ansätze sich in welchen Situationen eignen.
Astbury kritisiert zudem, dass verschiedene Konzepte unter dem Überbegriff der Evaluationstheorie zusammengefasst und häufig vermischt würden. Er selbst unterscheidet dagegen zwischen „Paradigmen“, „Klassifikationen“ und „Ansätzen“ und beschreibt im Folgenden, wie man die Forschung über Evaluationstheorie gestalten kann, wobei er – so der Autor selbst – primär auf Evaluationsansätze eingeht.
Abschließend hebt Astbury hervor, dass die Forschung über Evaluationsansätze auch aus einem professionellen Selbstverständnis heraus notwendig ist: „Wir reden zwar viel über die Notwendigkeit evidenzbasierter Programme, aber wenig über die Notwendigkeit evidenzbasierter Evaluation. Irgendwie birgt dies eine gewisse Ironie“ (S. 240).
Diskussion
Im vorliegenden Sammelband werden viele interessante Themen behandelt. Die Unterteilung der Beiträge in die drei Themenfelder, die die Herausgeber in Einleitung und Schlussfolgerungen vornehmen, ist allerdings irritierend. So ähneln sich beispielsweise die Beiträge „Evaluation zwischen Wissenschaft und Praxis“ und „Partizipation und Bewertung: Weiterbestehende methodologische Herausforderungen“ in Bezug auf die leitenden Fragestellungen sehr, sind aber unterschiedlichen Bereichen zugeordnet.
Die verschiedenen Beiträge beziehen sich auf unterschiedliche geographische Räume: Mal beziehen sie sich auf keine bestimmten Länder (oder alle), oder auf den globalen Süden, mal beziehen sie sich auf Nordamerika (wobei nicht deutlich wird, ob damit tatsächlich alle Länder dieser Region oder nur die USA gemeint sind). Den Beiträgen ist dabei gemein, dass sie nicht begründen, warum ein bestimmter geographischer Fokus gewählt wurde. Beispielweise bezieht sich der Beitrag von Friedrich ausschließlich auf Studiengänge an europäischen Hochschulen, der von Rodríguez-Bilella und Lucero dagegen stellt die Entwicklung von Evaluationsgesellschaften weltweit dar. Grundsätzlich ist es aber spannend, dass in diesem Sammelband verschiedene auch internationale Perspektiven ihren Raum finden.
Ein breites Spektrum an Gegenständen wird in diesem Buch behandelt. Wichtige Themen, die man in einem Sammelband zur Zukunft der Evaluation suchen würde, werden allerdings nicht behandelt oder nur am Rande gestreift. Beispielsweise fehlt ein Beitrag dazu, welche Rolle Evaluation in Zeiten von zunehmendem Populismus und „fake news“ spielen kann oder auch dazu, welche technischen Entwicklungen (etwas vereinfachtes Bereitstellen von Monitoringdaten, der Umgang mit „Biga Data“, innovative Erhebungsmethoden unter Nutzung von Social Media etc.) sich die Evaluation zu Nutze machen bzw. welche Risiken dies bergen könnte. Weitere Punkte, die in einem Buch zur Zukunft der Evaluation hätten angesprochen werden können, sind die Vermittlung von Evaluationsergebnissen, die Beachtung von Gender-Themen sowie die zunehmende Forderung auch im NGO-Bereich nach „Wirkungsorientierung“.
Der vorliegende Sammelband wirkt formell nicht wie ein Gesamtwerk, etwa betreffs des Umgangs mit gendersensibler Sprache oder der Formatierung längerer Zitate. Zudem findet sich an verschiedenen Stellen im Sammelband ein unpräziser Sprachgebrauch. Dies wird an folgendem Beispiel deutlich: Einerseits schreibt Dahler-Larsen, dass es keinen Grund zum Pessimismus gebe, meint aber gleichzeitig: „Wenn Evaluation sich selbst ernst nimmt, besteht eine bescheidene Hoffnung, dass sie zukünftig auf realistischen mit Fakten untermauerten Zusagen gegründet ist. Doch selbst eine solch bescheidene Hoffnung kann sich ohne ein gewisses Maß an Sorge und Spannung angesichts der aktuellen Popularisierungs- und Systematisierungstendenzen der Evaluation nicht erfüllen“ (S. 30). Ein anderer Autor schreibt „der Mangel an kritischer Diskussion […] [ist] nicht leicht zu erklären und ich werde dies auch nicht versuchen“ nur um in demselben Absatz zwei mögliche Erklärungen zu präsentieren (S. 99). Teils sehr komplizierte Sätze lassen eine wörtliche Übersetzung vermuten, beispielsweise: „Die Akzeptanz der Möglichkeit, dass wir heutzutage mit der Notwendigkeit mehrerer fundamentaler Änderungen konfrontiert werden, führt auch zu einigen fundamentalen Fragen bezüglich der Rolle der Evaluation“ (S. 106). Positiv ist, dass auf die Herausforderungen der Übersetzung bereits im Vorwort hingewiesen wird.
Es ist kritisch anzumerken, dass häufig empirische Belege für die dargestellten Sachverhalte nicht präsentiert werden. Dies gilt nicht nur für die „Zukunftsperspektiven“, die selbstverständlich unscharf bleiben müssen, sondern trifft auch für den darstellenden Teil zu. Nur selten wird expliziert, dass es sich teilweise um persönliche Meinungen der Autorinnen und Autoren handelt. Beispielsweise stellen Stockmann und Meyer die These auf, dass diejenigen Studienfächer ohne „materielle Verwertungsinteressen“ gestrichen werden und belegen dies lediglich anhand eines aktuellen Beispiels mit Verweis auf einen als „Meinung“ gekennzeichneten Zeitungsartikel (S. 155). Im Beitrag zu Partizipation und Bewertung schreiben die Verfassenden: „Abgesehen von einigen sehr spezifischen Anwendungen von Evaluationen teilen vermutlich alle Evaluatoren die Meinung, dass der Nutzen von Evaluationen und ihren Ergebnissen sowohl von ihrer wissenschaftlichen Forschungsqualität […] als auch von der angemessenen Einbindung aller Beteiligten in den Prozess abhängt“ (S. 177-178). An dieser Stelle hätte man auf die umfassende Forschungsliteratur zur Frage, welche Charakteristika von Evaluationen mit deren Nutzung zusammenhängen, eingehen können. Auch die Standards für Evaluation der Gesellschaft für Evaluation (DeGEval), in denen die genannten Aspekte aufgegriffen werden, wären eine geeignetere Quelle als die vermutete Meinung aller Evaluatorinnen und Evaluatoren gewesen.
Ein ähnliches Beispiel ist der folgende Abschnitt aus dem Beitrag zur Evaluation nachhaltiger Entwicklung: „Der dominante amerikanische Lebensstil ist dagegen für die meisten Amerikaner über jeden Zweifel erhaben“ (S. 79). Diese Aussage treffen die Autoren ohne einen Beleg dafür zu liefern und nutzen sie als Erklärung für einen Umgang mit nachhaltiger Entwicklung der sich zwischen den USA und Europa unterscheide. Eine solche These sollte – wenn sie empirisch nicht überprüft wird – auch als Vermutung dargestellt werden. Positiv bleibt in diesem Fall anzumerken, dass die Autoren zu Beginn ihres Beitrags erwähnen, dass teilweise persönliche Einschätzungen präsentiert werden (S. 72).
Das Kapitel der Schlussfolgerungen des Sammelbands der Herausgeber entfernt sich teilweise von den einzelnen Beiträgen. Dies wird insbesondere in den letzten Sätzen deutlich: „Die hier beitragenden Autorinnen und Autoren sind durchaus skeptisch bezüglich der Chancen, dass in absehbarer Zukunft hier Fortschritte erzielt werden können“ (S. 257). Zwar findet sich diese Skepsis bei manchen Autorinnen und Autoren, allerdings äußern sich manche auch optimistisch. Beispielsweise schreiben Christine Nolte und Sandra Schopper: E-Learning und Blended Learning können „einen bedeutenden Beitrag zur Professionalisierung der Evaluationsausbildung und somit der Evaluation im Allgemeinen darstellen“ (S. 139). Auch Christoph Emanuel Müller meint abschließend: „Es ist jedoch davon auszugehen, dass die Evaluations- und Methodenforschung weiter Fortschritte im Bereich der Wirkungsevaluation erzielen wird und dass diese – zumindest partiell – auch von der Evaluationspraxis aufgegriffen werden. Insgesamt ist folglich eine Verbesserung der Qualität von Wirkungsevaluationen in der Zukunft zu erwarten“ (S. 220). Trotzdem bietet die Zusammenfassung der verschiedenen Beiträge einen guten Überblick über die Themen des Buchs. Insbesondere die „Synopse“ in Tabellenform (S. 254-255) ist ein beherzter Versuch einer prägnanten Zusammenfassung der Inhalte.
Fazit
Die grundlegende Idee dieses Sammelbandes ist es, basierend auf bisherigen Erfahrungen aus verschiedenen Perspektiven zukünftige Entwicklungen abzuleiten und verschiedene Optionen einer Weiterentwicklung der Evaluation zur Diskussion zu stellen. Diesen „Blick in die Zukunft“ zu wagen, ist mutig.
Der Sammelband – als Ergebnis dieser Herangehensweise – weist aber verschiedene Schwächen auf:
- Die Auswahl der Beiträge, also der Perspektiven, die auf die „Zukunft der Evaluation“ eingenommen werden, wirkt willkürlich. Die Zuordnung zu den verschiedenen Themenblöcken (bzw. die Unterscheidung der Themenblöcke zwei und drei) ist teilweise nicht nachvollziehbar. Selten ist der lokale Bezug begründet und vereinzelt ist er nicht benannt. Zudem werden wichtige Diskussionspunkte nicht angesprochen. Insgesamt fehlt dem Buch ein „roter Faden“.
- Insbesondere diejenigen Beiträge, die für diesen Sammelband übersetzt wurden, sind wenig lesefreundlich geschrieben: Häufig sind Sachverhalte und Zusammenhänge sehr kompliziert dargestellt und in Schachtelsätzen formuliert. Darüber hinaus weisen mehrere Beiträge sprachliche Mängel auf. Beides stört den Lesefluss.
- Die Beschreibung bisheriger Entwicklungen in den verschiedenen Themenfeldern ist häufig nicht empirisch belegt. Gleichzeitig ist nur vereinzelt transparent, dass persönliche Ansichten oder Erfahrungen der Autorinnen und Autoren präsentiert werden.
Trotz dieser Kritikpunkte gelingt es dem Sammelband die Vielfalt der Themen aufzuzeigen, die derzeit in Zusammenhang mit der Evaluation diskutiert werden können und sollten. Auch der Versuch, ganz grundsätzliche gesellschaftliche Entwicklungen aufzuzeigen und in Zusammenhang mit Evaluation zu bringen, ist positiv hervorzuheben, ebenso wie die Internationalität der im Sammelband zusammengefassten Perspektiven.
Insbesondere das Schlusskapitel (Wolfgang Meyer und Reinhard Stockmann: Schlussfolgerungen: Gemeinsame Perspektiven für die Institutionalisierung von Evaluation?) kann der oder dem Schnelllesenden als spannender Gedankenanstoß dienen. Selektives Lesen lohnt sich darüber hinaus nach Meinung der Rezensentin insbesondere bei folgenden Beiträgen:
- Peter Dahler-Larsen: Die sich verändernde Rolle der Evaluation in einer sich verändernden Gesellschaft
- André Martinuzzi und Wolfgang Meyer: Evaluation nachhaltiger Entwicklung in einer globalen Gesellschaft
- Verena Friedrich: Evaluationsstudiengänge an europäischen Hochschulen: Merkmale und Herausforderungen
- Brad Astbury: Von der Evaluationstheorie zum Testen von Evaluationstheorien?
Rezension von
Barbara Flatters
M.A. Politikwissenschaft, Wissenschaftliche Mitarbeiterin bei Univation – Institut für Evaluation – Dr. Beywl & Associates GmbH
Website
Mailformular
Es gibt 1 Rezension von Barbara Flatters.
Zitiervorschlag
Barbara Flatters. Rezension vom 09.08.2019 zu:
Reinhard Stockmann, Wolfgang Meyer (Hrsg.): Die Zukunft der Evaluation. Trends, Herausforderungen, Perspektiven. Waxmann Verlag
(Münster, New York) 2017.
ISBN 978-3-8309-3708-1.
Reihe: Sozialwissenschaftliche Evaluationsforschung - Band 13.
In: socialnet Rezensionen, ISSN 2190-9245, https://www.socialnet.de/rezensionen/24266.php, Datum des Zugriffs 18.01.2025.
Urheberrecht
Diese Rezension ist, wie alle anderen Inhalte bei socialnet, urheberrechtlich geschützt.
Falls Sie Interesse an einer Nutzung haben, treffen Sie bitte vorher eine Vereinbarung mit uns.
Gerne steht Ihnen die Redaktion der Rezensionen
für weitere Fragen und Absprachen zur Verfügung.