Fritz Sager, Susanne Hadorn et al.: Politikevaluation

Rezensiert von Prof. Dr. Wolfgang Beywl, 12.08.2022

Fritz Sager, Susanne Hadorn, Andreas Balthasar, Céline Mavrot: Politikevaluation. Eine Einführung. Springer VS (Wiesbaden) 2021. 268 Seiten. ISBN 978-3-658-32489-6. D: 27,72 EUR, A: 29,10 EUR, CH: 33,00 sFr.
Reihe: Lehrbuch.

Weitere Informationen bei DNB KVK GVK.
Inhaltsverzeichnis bei der DNB.

Kaufen beim socialnet Buchversand

Thema

Wie können politische Programme, Maßnahmen oder Interventionen und wie kann das diese tragende Institutionengefüge systematisch, mit auf die Untersuchungsfragestellungen passgenau erhobenen Daten und basierend auf ausgewiesenen Kriterien bewertet werden? Sei es, um Rechenschaft über die eingesetzten Mittel abzulegen oder gezielt Optimierungen vorzunehmen. Was kann wissenschaftliche Evaluation mit ihren Modellen, Werkzeugen und Untersuchungsanlagen dazu beitragen?

Verfassende und Entstehungshintergrund

Prof. Andreas Balthasar führt seit über 30 Jahren Evaluationen durch, in der von ihm zwischen 1991 und 2014 geleiteten Firma Interface. Er war acht Jahre Präsident der Schweizerischen Evaluationsgesellschaft (SEVAL). Heute lehrt er Evaluation an der Universität Luzern.

Fritz Sager verfügt über eine 20jährigeEvaluationserfahrung. Er ist seit 2009 Professor am KPM Kompetenzzentrum Public Management der Universität Bern. Dort hat er zahlreiche wissenschaftliche Evaluationen durchgeführt und Forschungsprojekte u.a. zur Evaluation öffentlicher Politiken geleitet.

Mit ihm zusammen haben Céline Mavrot und Susanne Hadorn am KPM Studien und Evaluationen durchgeführt. Hervorzuheben ist die mehrjährige vergleichende landesweite Evaluation kantonaler Tabakpräventionsprogramme. Diese ist durch ein „illustratives Anwendungsbeispiel“ im Buch vertreten. Das Team blickt auf eine langjährige Publikationstätigkeit in unterschiedlichen Konstellationen zurück. Die Autoren und Autorinnen arbeiten in der Schweiz, einem seit über 20 Jahren international fruchtbaren Umfeld für Theorie und Praxis politikwissenschaftlicher Evaluation. Das Buch ist auch Zeugnis dafür.

Ziel

Die Verfassenden wollen – erstmals für den deutschsprachigen Raum – ein spezifisch auf die Evaluation öffentlicher Politiken zugeschnittenes Lehrbuch „mit didaktischem Anspruch“ bereitstellen. Es richtet sich sowohl an tertiär Studierende als auch an Beteiligte aus Politik, Verwaltung, Verbänden und andere Adressierte, sei es, dass sie Evaluationen in Auftrag geben, durchführen oder sachkundig nutzen wollen.

Aufbau

Das Buch umfasst zwölf Kapitel, jeweils mit Bibliographie und meist mit einem „illustrativen Fallbeispiel“. Die Kapitel können drei Hauptteilen zugeordnet werden:

1. Die Kap. 1–4 spannen begriffliche und theoretische Rahmen auf und skizieren den Entstehungsprozess und die Ausdifferenzierung der (Politik-)Evaluation als Wissenschaft, Disziplin und Dienstleistung.
2. Kap. 5 bis Kap. 10 vermitteln Handlungswissen für Planung und Durchführung von Evaluationen.
3. Kap. 11 und 12 schauen aus einer Meta-Perspektive auf die Evaluation, bezüglich zum einen auf deren Qualität, zum anderen auf deren Relevanz für das politische System.

Inhalt

In Kap. 1 wird einleitend folgende Arbeitsdefinition gegeben: „Politikevaluation bezeichnet die wissenschaftliche und empirisch gestützte Beurteilung der Konzeption, des Vollzugs und der Wirksamkeit öffentlicher Politik, seien dies Massnahmen, Programme oder Projekte.“ (S. 2), und zwar auf Basis „transparenter Kriterien“ (S. 11). Sie beinhalte immer eine Wertung und sei auf eine „konkrete Nutzung“ in politischen Entscheidungen (Abgrenzung zur Grundlagenforschung) angelegt. Sie beanspruche, hierfür sozialwissenschaftlich begründete „Wirkungsanalysen“ bereitzustellen, im Unterschied zu „Controlling“ oder „Monitoring“.

Kap. 2 bezeichnet als Daseinsgrund öffentlicher Politik (und in der Folge auch der Politikevaluation) „ein gesellschaftlich anerkanntes Problem“, was dazu legitimiert, das Verhalten von Zielgruppen zu beeinflussen. Gemäß dem vorgestellten generischen Wirkungsmodell sind stimmige Annahmen sowohl zur Verursachung des Problems als auch zur Funktionalität der zur dessen Beseitigung ergriffenen Interventionen erforderlich.

Kap. 3 skizziert die Entwicklung der Evaluationswissenschaft seit Mitte des 19. Jhdt. über vier Generationen. Die Institutionalisierung von Evaluation in den drei D-A-CH Ländern und Frankreich wird dargelegt. Als typische Evaluationszwecke werden Bilanzierung, Verbesserung, Wissensgenerierung und Taktik genannt.

Kap. 4 präsentiert elf Evaluationsansätze, gruppiert nach den in der Evaluationstheorie als Äste bezeichneten drei Hauptströmungen: Methoden, Nutzung, Wertung. In der mehrseitigen Tabelle 4.1 werden deren Stärken und Schwächen sowie Hauptanwendungsgebiete vergleichend gegenübergestellt.

Kap. 5 gliedert den Evaluationsgegenstand „linear“ in (Politik-) Konzept, Umsetzungsorganisation sowie die drei Resultatsarten Leistungen/​Output, Outcome bei den Zielgruppen und Impact auf gesellschaftlicher Ebene. Für die fünf Elemente werden parallel Kriterien, also Referenzen für die Bewertung ausgewiesen: Intra- und Interpolicy-Kohärenz für das Konzept-, Eignung und Nachhaltigkeit für das Umsetzungs- sowie leistungs- bzw. wirkungsbezogene Effizienz für die Resultats-Elemente. Das Anwendungsbeispiel zur Schweizer Tabakpräventionspolitik veranschaulicht dies. Den „institutionellen Politiken“ als Sonderfällen von Evaluationsgegenständen, z.B. „New Public Management“ oder „Gemeindefusionen“, wird ein eigenes Kapitel (7) gewidmet.

Kap. 6 zeigt auf, wie kausale Wirkungsketten modelliert werden können. Dem in Kap. 5 skizzierten linearen Modell wird die „realistische Evaluation“ gegenübergestellt. Diese betone, dass Wirk-„Mechanismen“ je nach politischem, sozialem usw. Kontext sehr unterschiedlich funktionieren. Demnach sei die Generalisierbarkeit von Evaluationsergebnissen prinzipiell eingeschränkt.

Kap. 8, „Evaluationsdesign“ überschrieben, nennt drei „Vergleichsebenen“, auf die die systematische Bewertung aufbauen kann: 1: Quervergleich von zwei oder mehr Untersuchungseinheiten; 2: Vorher-Nachher-Vergleich sowie 3: Soll-(Ziel-)Ist-Vergleich (vgl. auch Kap. 4.3.1 zur „zielbasierten Evaluation“); 2. und 3. bei derselben Untersuchungseinheit/Maßnahme. Die jeweiligen Stärken und Schwächen der drei Designs könnten durch deren Kombination kompensiert werden (als „konzeptionelle Triangulation“ bezeichnet.)

Kap.9 gibt einen knappen Überblick zu „Techniken der Datenerhebung und -Analyse“.

Kap. 10 „Nutzung von Evaluationsergebnissen“ klärt zunächst auf theoretischer Ebene die Schlüsselbegriffe „Nutzung“, „Nutzen“ sowie „Nützlichkeit“ und definiert den gegenüber „Verwendung“ von Evaluationsergebnissen breiteren Begriff „Einfluss“ auf Basis von Forschungsbefunden. Bei unbestreitbaren Tendenzen politisch symbolischer oder strategische Nutzung reduziere jedenfalls Evaluation durch bereitgestellte Evidenz „den Spielraum für ausschließlich ideologische Entscheide.“ (S. 222).

Kap. 11 führt die von (bi-) nationalen Evaluationsgesellschaften kodifizierten Qualitätsstandards für Evaluationen ein und erläutert deren vier Hauptdimensionen „Nützlichkeit“, „Durchführbarkeit“, „Fairness“ und „Genauigkeit“ am Beispiel der dezidiert auf Politikevaluation bezogenen Standards der fteval (Österreichische Plattform für Forschungs- und Technologiepolitikevaluierung). Meta-Evaluationen, also systematische Beschreibungen und Bewertungen von Evaluationen, sollten diese vier Kriteriendimensionen heranziehen. Die Evaluationsqualität sei u.a. gefährdet, wenn Auftraggebende Druck ausübten. Wie dem vorgebeugt werden kann und wie Beteiligte und Betroffene einbezogen werden können, ohne die Unabhängigkeit zu gefährden, wird dargelegt.

Das abschließende Kap. 12 arbeitet die Potenziale der Evaluation für den politischen Prozess heraus, mit einem besonderen Blick auf den positiven Beitrag zum (schweizerischen) direktdemokratischen Diskurs.

Diskussion

Gegenüber oft personalisierenden und polarisierenden massen- und sozial-medialen Vereinfachungen positioniert wird Politikevaluation hier als empirisches wissenschaftliches Verfahren positioniert. Sie reichert den demokratischen politischen Prozess durch Argumente und Daten an. Ihr Potenzial, zu Lösungen vertrackter Probleme beizutragen, wird – gemäß im Buch zitierten Untersuchungen – bislang nicht ausgeschöpft. Dabei verfügt Evaluation – anders als (auch angewandte) Forschung – über leistungsfähige theoretische und methodische Zugänge. Erstmals für den deutschsprachigen Raum wird hierzu ein Lehrbuch vorgelegt, das für Evaluationsinteressierte einen systematischen Zugang bietet.

Gegenüber politikwissenschaftlicher Grundlagenforschung grenzt sich das im Buch vertretene Evaluationsverständnis deutlich ab – etwa durch die Priorisierung von Nützlichkeit und das Bekenntnis zur Werturteilsgebundenheit. Anders als in einem selbstreferentiellen Wissenschaftsverständnis werden soziale Werte und Kriterien in Auseinandersetzung mit den Beteiligten und Betroffenen als substantielle Elemente in den wissenschaftlichen Prozess einbezogen.

Die Solidität des Buches zeigt sich in der breiten Nutzung relevanter Primär- und Sekundärliteratur – gerade auch zum Forschungswissen über Evaluation –, im Kenntlichmachen verwerteter Quellen sowie im Nachzeichnen tiefer historischer Wurzeln der Evaluationsdisziplin.

„Politikevaluation“ wird als eigenständiger Typus von Evaluationen konturiert, die ansonsten überwiegend als (oft ‚educational‘) „Programmevaluationen“ angelegt sind. Deutlich wird dies z.B. daran, dass sie sich aus dem Policy Cycle mit lediglich drei von sechs Phasen befasst: „nämlich mit dem Entscheid und dem zugehörigen Policy-Konzept, der Implementation, also der Art und Weise der Umsetzung des Policy-Konzepts, und der Wirkung, also dem Problemlösungsbeitrag der umgesetzten Policy.“ (S. 5). Die in Programmevaluationen vorgelagerte Bedarfs- und Zielklärung wird abgeblendet, da im politischen Prozess bereits erfolgt, bevor Politikevaluation einsetzt. Das Lehrbuch bietet somit weniger Orientierung für die Evaluation professionsfachlich angelegter Programme z.B. des Bildungs-, Sozial- oder Gesundheitswesens. Dass neben der substantiellen Politik, die ganz ähnlich evaluiert werden kann wie dies üblicherweise für Programme erfolgt, auch institutionelle Politiken evaluiert werden, ist eine Stärke und Besonderheit der Politikevaluation. Das Buch greift vielfach auf politikwissenschaftliche Theorien und Begrifflichkeiten zurück. Diese erläutert es und macht sie so auch für Lesende ohne diesen disziplinären Hintergrund zugänglich.

Weitere Stärken sind das differenzierte Inhaltsverzeichnis, die Veranschaulichung durch mehrere kurze Fallbeispiele, Konkrete Anleitungen für die Evaluationspraxis in den grau hinterlegten „Kästen“ – etwa zur Formulierung von Evaluationsfragestellungen (Kap. 3.4), Bewertungskriterien (Kap. 5.8.), Erstellung einer Evaluations-Ausschreibung mit Checkliste zur Erstellung eines Pflichtenhefts (6.4), wie mache ich ein „Wirkungsmodell“ (6.5) oder zur Nutzungsvorbereitung (Kap. 10.4).

Auf Seite XI ist – ungewöhnlich für eine Monografie – ausgewiesen, wer welche Kapitel verfasst hat. Diese Aufteilung mag auch manche Inkonsistenzen erklären.

Auf der konzeptionellen Ebene gibt es einige starke Aussagen, die mit Evaluationen im durch die Verfassenden selbst als prioritär bezeichneten nutzungsfokussierten Verständnis nur bedingt vereinbar sind, besonders in komplexen Politikfeldern mit sprunghaften, unvorhersehbaren Entwicklungen. Als wünschenswert werden nämlich bezeichnet: vertraglich festgelegte Fragestellungen, „die sich im Laufe des Mandats nicht ändern“; „kleinstmöglicher Einfluss [der Evaluation] auf den untersuchten Gegenstand“; „Reproduzierbarkeit der Ergebnisse“ als zentraler Qualitätsstandard „jeder Evaluation“.

Dadurch, dass „Effizienz“ für alle Resultatsarten als Zentralkriterium gesetzt wird, wird die finanzpolitische Seite – dem Ansatz des New Public Management geschuldet – gegenüber anderen Wertdimensionen etwa der Demokratieförderung, des sozialen Ausgleichs oder der ökologischen Verträglichkeit stark hervorgehoben.

Auf der terminologischen Ebene werden zentrale Begriffe gelegentlich ohne weitere Erklärung synonym verwendet, so „Evaluation“, „Forschung“, „Evaluationsforschung“, „Wirkungsforschung“; und auch: „Adressaten“ und „Zielgruppen“; „Evaluationsdesign“ und „Untersuchungsdesign“. Das Arbeiten mit einem Index könnte zur Erhöhung der begrifflichen Konsistenz beitragen.

Fazit

Wer sich auf dem Theorie- und Forschungshintergrund der Politikwissenschaft in die Evaluation einarbeiten will, ist mit diesem Lehrbuch bestens bedient. Es bietet sowohl konzeptionelles Wissen als auch evaluationspraktisches Know-How, und zwar didaktisch gekonnt aufbereitet durch langjährig mit Politikevaluation befasste Fachleute. Es sollte Basislektüre in anwendungsorientierten politikwissenschaftlichen Studiengängen sein. Verantwortliche im politischen System, die Evaluationen beauftragen bzw. nutzen, können sich gezielt über Vorgehen und Qualitätskriterien von Evaluation informieren. Darüber hinaus ist es ein Beitrag zur Stärkung einer demokratischen politischen Kultur: indem Politikevaluation empirisch abgestützte Befunde und auf transparenten Kriterien basierende Bewertungen für strittige Politikentscheidungen und als Orientierung für die Wählenden bereitstellt.

Rezension von
Prof. Dr. Wolfgang Beywl
Evaluationswissenschaftler, Seniorprofessor, Fachhochschule Nordwestschweiz, Pädagogische Hochschule, Institut Weiterbildung und Beratung. Professur für Bildungsmanagement und Schulentwicklung – wissenschaftlicher Leiter Univation– Institut für Evaluation, Köln.
Website
Mailformular

Es gibt 25 Rezensionen von Wolfgang Beywl.