Thomas Widmer, Thomas De Rocchi: Evaluation. Grundlagen, Ansätze und Anwendungen
Rezensiert von Katharina Klockgether, 12.09.2012
Thomas Widmer, Thomas De Rocchi: Evaluation. Grundlagen, Ansätze und Anwendungen.
Edition Rüegger (vormals Rüegger Verlag)
(Zürich) 2012.
188 Seiten.
ISBN 978-3-7253-0980-1.
16,50 EUR.
CH: 22,00 sFr.
Reihe Kompaktwissen CH ; Bd. 16.
Thema
Evaluation findet sich immer häufiger im allgemeinen Sprachgebrauch wieder. Sie bekommt in vielen Arbeitsbereichen vermehrt praktische Relevanz. Wie Evaluation von anderen Vorgehensweisen abzugrenzen ist und was bei ihrer Anwendung zu beachten ist, bleibt vielen, die damit konfrontiert werden, häufig unklar. Der vorliegende Band aus der Sachbuchreihe Kompaktwissen CH gibt einen Einblick in Geschichte, Theorie und Praxis der Evaluation mit Schwerpunkt auf ihrer Anwendung in der schweizerischen Politik.
Autoren
PD Dr. Thomas Widmer ist Gastprofessor für Schweizer Politik und Leiter des Forschungsbereichs „Policy-Analyse & Evaluation“ an der Universität Zürich. 1998 bis 2008 war er Mitglied des Vorstandes der Schweizerischen Evaluationsgesellschaft (SEVAL) und seit 2008 gehört er dem Ethics Committee der American Evaluation Association (AEA) an. Er ist Mitherausgeber des ebenfalls auf socialnet rezensierten Werks „Evaluation. Ein systematisches Handbuch“ und war beteiligt an der Übersetzung und Erweiterung des „Handbuchs der Evaluationsstandards“.
Thomas De Rocchi ist Doktorand mit dem Forschungsschwerpunkt Wahl-und Kampagnenforschung am Institut für Politikwissenschaften der Universität Zürich. 2009 bis 2011 arbeitete er dort als Assistent am Lehrstuhl für Schweizer Politik, bevor er für ein Jahr wissenschaftlicher Mitarbeiter der Sektion Europarat und OSZE am Eidgenössischen Departement für auswärtige Angelegenheiten (EDA) war.
Entstehungshintergrund
Das Buch ist in der Reihe Kompaktwissen CH veröffentlicht worden. Die Reihe soll nach Angaben des Verlags dazu beitragen, dass spezifisch schweizerische Themen für Laien verständlich und zusammenfassend dargestellt werden.
Aufbau und Überblick
Neben einer kurzen Einleitung und einer abschließenden Diskussion gliedert sich das 188 Seiten umfassende Taschenbuch in sechs weitere Kapitel.
In Grundbegriffe der Evaluation wird von den Autoren eine Arbeitsdefinition des Begriffs „Evaluation“ und eine ausführliche Abgrenzung zu benachbarten Ansätzen vorgenommen. Es wird mit einer Abgrenzung zu alltäglichen Bewertungen begonnen und über verschiedene Verwaltungsinstrumente schließlich auf verwandte Verfahren, die u. a. in der schweizerischen Gesetzgebung eine Rolle spielen, eingegangen. Außerdem werden Gegenstand, Funktion, Wirkungsdimensionen, Ort und der Abstand von Evaluation und Gegenstand als typenbildende Merkmale behandelt. Mögliche in der Praxis problematische Aspekte werden dabei angesprochen.
Im Kapitel Entwicklung der Evaluation folgt ein kurzer Überblick über die zeitliche Entwicklung der Inhalte von Evaluationen sowie über die Entstehung des heutigen Evaluationsverständnisses vom Messen bis hin zum Verhandeln. Ergänzt wird dies durch eine detaillierte Darstellung des Einflusses von politischen Rahmenbedingungen auf die Evaluationspraxis.
Einen der umfangreichsten Teile des Buches stellen die Theorien, Konzepte und Modelle dar. Hier unterteilen die Autoren in Effektivitäts-Modelle, Ökonomische Modelle und Akteursorientierte Modelle, je nach Herangehensweise und Fokus der Evaluation. Zu Beginn dient ein Baumdiagramm als erste Orientierungshilfe in der Vielzahl der Modelle. Das Kapitel zeigt die große Bandbreite der unterschiedlichen Ansätze mit ihren Vor- und Nachteilen.
Das anschließende eher kurz gehaltene Kapitel Methoden beschreibt zuerst sozialwissenschaftliche Erhebungsmethoden im Allgemeinen und geht dann auf evaluationsspezifische Instrumente ein.
Das sechste Kapitel Evaluationsprozess – Schritt für Schritt expliziert auf zehn Seiten die von den Evaluierenden bei einer Planung und Durchführung zu beachtenden Punkte und greift dabei die Perspektive möglicher Auftraggebender auf. Im Kapitel Evaluation im Kontext wird die institutionalisierte Evaluationspraxis in der Schweiz begutachtet, bevor die Nutzung von Evaluation und ihre Qualitätsstandards kritisch beleuchtet werden.
Exemplarisch: Kapitel 7: Evaluation im Kontext
Es soll im Folgenden exemplarisch auf die Inhalte des Kapitels 7, Evaluation im Kontext, eingegangen werden.
7.1 Institutionelle Einbettung der Evaluationsfunktion
Widmer und De Rocchi geben einen Einblick in die historische Entwicklung der Evaluation in der schweizerischen Politik und ihren Institutionen: 1987 wurde die „Arbeitsgruppe Gesetzesevaluation“ (AGEVAL) gebildet, die nach einer Analyse der Evaluationspraxis Maßnahmenvorschläge für den Schweizer Bund erarbeitete. Im gleichen Jahr startete das Nationale Forschungsprogramm „Wirksamkeit staatlicher Maßnahmen“, in dessen Rahmen diverse Evaluationen durchgeführt wurden. Die Durchführung dieses Forschungsprojekts stellte sogar eins der Legislaturziele zwischen 1987 und 1991 dar. 1996 wurde schließlich die Schweizerische Evaluationsgesellschaft (www.SEVAL.de) gegründet. Als es 1999 zu einer Überarbeitung der Bundesverfassung kam, wurde Artikel 170 BV zur Überprüfung der Wirksamkeit von Maßnahmen des Bundes (gegen den Willen der Regierung) verabschiedet, was die erste Verpflichtung zu Evaluation auf Verfassungsebene weltweit darstellte. Der Artikel umfasste allerdings keine zeitlichen Vorgaben und richtete sich an das Parlament. Im Parlament war vorerst keine Umsetzung zu beobachten, während die Verwaltung ein Gremium bildete, auf deren Vorschlag 2004 der Auftrag an die Ämter, „eine Amtsstrategie zu verfassen, Maßnahmen zur Verstärkung der Wirksamkeitsüberprüfung (besser) zu planen sowie die dazu notwendigen Ressourcen zur Verfügung zu stellen“ (S. 123) gegeben wurde. Darüber hinaus wurde eine Empfehlung zur Anwendung des „Leitfadens für Wirksamkeitsüberprüfungen beim Bund“ von der Generalsekretärenkonferenz veröffentlicht.
Neben der Verankerung in der Bundesverfassung bestehen einige Evaluationsklauseln in verschiedenen schweizerischen Gesetzen. Die Mehrheit ist auf einen bestimmten Sachbereich beschränkt und als retrospektive Evaluation angedacht.
Beispielhaft wird die Einbettung der Evaluation am Bundesamt für Sozialversicherungen (Evaluation zentral organisiert), am Bundesamt für Landwirtschaft (Evaluation dezentral organisiert) und der Direktion für Entwicklungszusammenarbeit (Mischform) veranschaulicht.
7.2 Evaluationspraxis in der Schweiz
Eine Studie der AGEVAL erstellte einen Überblick einiger zwischen 1978 und 1989 in der Schweiz durchgeführter Evaluationen auf Bundesebene. Es zeigt sich, dass ein großer Teil im Politikfeld „Wirtschaft“ durchgeführt wurde. Diese und weitere Studien weisen darauf hin, dass die Außenpolitik (ausgenommen der Entwicklungszusammenarbeit) hingegen bis im Jahr 2000 nur sehr wenig berücksichtigt wurde. Mögliche Erklärung dieser Sachlage und eine Darstellung der Verteilung der Evaluationstätigkeiten der verschiedenen Bundesorgane folgen. Die stärkste Aktivität ist hier bei den Bundesämtern zu verzeichnen.
Zu Evaluationsaktivitäten auf kantonaler Ebene liegen nur wenige systematische Daten vor. Allerdings ist Evaluation ist in zehn von 26 Kantonen in der Verfassung verankert. Zwei Studien zeigen auf, dass sich ein großer Teil der Evaluationen zwischen 2003 und 2008 mit Bildungs- und Umweltfragen beschäftigte.
Zu Evaluationsaktivitäten von Gemeinden liegen keine systematischen Daten vor.
7.3 Evaluationsnutzung
Verschiedene Forschende wie Carol H. Weiss und Michael Q. Patton haben Theorien zur Nutzung von Evaluation aufgestellt. Widmer stellt zusammenfassend fünf Typen von Nutzung dar: instrumentelle, konzeptionelle, interaktive, legitimierende und taktische.
Karen E. Kirkhart kritisiert in ihrer „Theory of Influence“, dass der Begriff der „Nutzung“ zu eng eingegrenzt und zu wertend sei und fordert, stattdessen den Begriff „Einfluss“ zu bevorzugen. Ein weiterer zentraler Punkt des Themenfelds Evaluationsnutzung stellt das aus der Medizin entstandene Konzept des „Evidence-based Policy Making“ dar. Es verwendet als Instrument „Systematic Reviews“, welche Studien mit vergleichbaren Interventionen sammeln, um mit Hilfe der aggregierten Daten möglichst allgemeingültige Aussagen zu bestimmten politischen Themenfeldern zu machen. Der Schwerpunkt der Legitimation von Aktivitäten in demokratischen Staaten hat sich laut Fritz W. Scharpf hinzu einer outputorientierten Legitimation bewegt, was evidenzbasierte Aussagen zu Programmen, Projekten etc. erforderlich macht. In der plebiszitär geprägten Demokratie der Schweiz funktioniert die Legitimation durch „Evidence-based Policy Making“ nach Aussagen von Widmer nur eingeschränkt. Evidenzbasierte Daten (gewonnen durch Evaluationen) werden an das Volk und an das Parlament transportiert und sollen Einfluss auf ihre Entscheidungen nehmen. Außerdem gelangen sie zu Mitarbeitenden der Regierung und der Verwaltung, wo sie Einfluss auf deren Handlungen nehmen sollen. Der Einfluss der Evidenz auf den Staat besteht in der Schweiz insbesondere mittelbar und nur unter bestimmten Bedingungen über das Wirken der staatlichen Verwaltung.
7.4 Qualität der Evaluation
In einer Evaluationsstudie kann in erster Ordnung die Qualität von Programmen etc., in zweiter Ordnung die Qualität einer Evaluation und in dritter Ordnung die Qualität einer Meta-Evaluation eingeschätzt werden. Um eine hohe Qualität von Evaluationen zu gewährleisten, wurden im Jahr 2000, basierend auf den US-amerikanischen „Program Evaluations Standards“ (1. Aufl. 1981), die „SEVAL-Standards“ erstellt. Die darin enthaltenen vier übergeordneten Eigenschaften einer guten Evaluation mit insgesamt 27 Einzelstandards sind als Maximalansprüche zu verstehen. Allgemein dienen Evaluationsstandards dazu, ein gemeinsames Verständnis von qualitativ hochwertiger Evaluation in der Evaluationsgemeinschaft zu erreichen. Darüber hinaus fungieren sie als Orientierung für die Planung einer Evaluation, als Bewertungsgrundlage für bereits durchgeführte Evaluationen sowie als didaktisches Material in der Aus- und Weiterbildung von Evaluationsfachleuten. Trotz dieser offensichtlichen Nutzungsmöglichkeiten der Standards ist zu beobachten, dass in der Praxis häufig nicht nach ihnen gehandelt wird. Einschränkend muss gesagt werden, dass die Standards in vielen spezifischen Fällen Adaptionen bedürfen und nicht unreflektiert übertragen werden können.
Diskussion
Insgesamt eignet sich das Buch aufgrund seines sehr anschaulichen Stils als Einstieg für Laien, die sich mit Evaluationsvorgängen konfrontiert sehen oder ein allgemeines Interesse am Thema haben. An vielen Stellen wird kurz und prägnant von allgemeinen Aspekten von Evaluationen aus „Insider-Sicht“ berichtet.
Besonderheiten, die das Buch von anderen abhebt, sind hingegen Inhalte zu politischen Rahmenbedingungen und die schweizerische Sichtweise auf die landesinterne Evaluationspraxis. Ausschnitte wie
- Kapitel 2.3 Grundbegriffe/ Verhältnis zu verwandten Ansätzen
- Kapitel 3.3 Entwicklung der Evaluation/ Politische Rahmenbedingungen
- Kapitel 7.1 und 7.2 Evaluation im Kontext/ Institutionelle Einbettung der Evaluationsfunktion und Evaluationspraxis in der Schweiz
bedienen eine spezifischere Zielgruppe als der Rest des Sachbuches und mögen daher dem ein oder anderen allgemein an Evaluation Interessierten zu sehr ins Detail gehen. Darüber hinaus fällt auf, dass an einigen Stellen Vorwissen vorausgesetzt wird (bspw. werden auf S. 71, Abb. 13 diverse Abkürzungen nicht erklärt), an anderen Stellen wird hingegen sehr Grundlegendes erklärt (bspw. wird auf S. 95 definiert, was eine Vollerhebung ist). Das Versprechen, das einführendes Werk sei für Laien durchgängig leicht verständlich, ist nicht vollständig haltbar.
Sehr positiv fallen die praxisnahen Beispiele, die zahlreichen klärenden Abbildungen und die kritische Beleuchtung vieler Aspekte auf (bspw. wird auf S. 89 ein Dilemma beschrieben, in das der oder die Evaluierende während einer demokratischen Evaluation geraten kann). Diese Veranschaulichungen vereinfachen das Verstehen und Nachvollziehen des Themas. Sehr hilfreich sind darüber hinaus die Fazits und Zusammenfassungen, die sich am Ende einiger Teilkapitel befinden. Dienlich wäre, jedes Kapitel mit solchen Gedächtnis- und Orientierungshilfen abzuschließen. Zusätzlich könnte, insbesondere bei einem Einsteigerwerk wie diesem, neben einem Sachregister ein Glossar von Nutzen sein, in dem die wichtigsten Begriffe nachgeschlagen werden können.
Fazit
Das in der schweizerischen Sachbuchreihe „Kompaktwissen“ erschienene Werk zum Thema Evaluation ist ein für ein schweizerisches, der Verwaltung oder Politik nahes Publikum sehr aufschlussreiches und informatives Buch in handlichem Format. Für ein breiteres Laienpublikum ist insbesondere die prägnante und strukturierte Aufbereitung wichtiger Evaluationsthemen mit vielen (u. a. kritisch beleuchteten) Beispielen aus der Anwendung hilfreich. Die Ausführungen der spezifisch schweizerischen und insbesondere politischen Rahmenbedingungen erscheinen für eine erste Heranführung an das Thema Evaluation recht detailliert.
Rezension von
Katharina Klockgether
Wissenschaftliche Mitarbeiterin und Gesellschafterin bei Univation - Institut für Evaluation - Dr. Beywl & Associates GmbH, Redakteurin des Portals www.selbstevaluation.de, Veranstalterin des Evaluationsstammtisches im Rheinland
Website
Mailformular
Es gibt 4 Rezensionen von Katharina Klockgether.
