Susanne Giel: Theoriebasierte Evaluation
Rezensiert von PD Dr.. Thomas Widmer, 30.08.2013
Susanne Giel: Theoriebasierte Evaluation. Konzepte und methodische Umsetzungen.
Waxmann Verlag
(Münster/New York/München/Berlin) 2013.
306 Seiten.
ISBN 978-383-09285-5-3.
D: 34,90 EUR,
A: 35,90 EUR,
CH: 46,90 sFr.
Reihe: Internationale Hochschulschriften - 584.
Thema
Das Thema der Evaluation hat sich in der sozialwissenschaftlichen Literatur, besonders auch in anwendungsorientierten Kontexten, fest etabliert. Vorliegende, hier zu besprechende Monographie nimmt sich einem spezifischen Evaluationsansatz an: der theoriebasierten Evaluation. Als theoriebasierte Evaluation wird hier in einem weiten Sinne eine Evaluation verstanden, die sich auf eine Programmtheorie zum Evaluationsgegenstand bezieht. Zentrale Zielsetzung bildet dabei die Umsetzbarkeit dieses Evaluationsansatzes in der Evaluationspraxis. Neben konzeptionell-methodischen Aspekten behandelt die gut 300 Seiten umfassende Dissertationsschrift die Umsetzung einer theoriebasierten Programmevaluation anhand des Beispiels der Evaluation einer internetbasierten Lernumgebung.
Aufbau und Inhalt
Nach einer Einleitung (S. 9-14), in der an die Thematik herangeführt und die Problemstellung dargelegt wird, umfasst das zweite Kapitel (S. 15-54) eine knapp gefasste Skizze von Evaluation, die neben definitorischen Grundlagen, deren Gegenstände und Fragestellungen sowie deren Vorgehen und Bewertungskriterien präsentiert. Zum Schluss des zweiten Kapitels wird das Praxisbeispiel, die Evaluation zu einer internetbasierten Lernumgebung im Fach Soziologie an der Freien Universität Berlin aus den Jahren 2002 bis 2004, vorgestellt, das in der Folge zum Schluss jeden Abschnitts beigezogen wird, um die Anwendung der Grundlagen zu illustrieren und auch kritisch zu prüfen.
Das dritte Kapitel (S. 55-100) stellt vier „[k]lassische Konzepte zur Durchführung von Evaluationen“ (S. 55) orientiert an zentralen Autoren vor:
- die zielorientierte Evaluation von Ralph W. Tyler
- die experimentelle und quasi-experimentelle Evaluation von Donald T. Campbell
- die nutzungsfokussierte Evaluation von Michael Q. Patton
- die „Evaluation der vierten Generation“ von Egon G. Guba und Yvonna S. Lincoln
Diese vier Ansätze (wohl weniger Durchführungskonzepte) werden zum Abschluss des Kapitels mit dem Praxisbeispiel konfrontiert.
Das vierte Kapitel (S. 101-156) geht sodann auf den theoriebasierten Zugang ein. Wiederum folgen nach grundlegenden Konzepten spezifische Vertiefungen. So werden drei der vier eingeführten „klassischen Konzepte“ aus der Perspektive der theoriebasierten Evaluation kritisch hinterfragt; der Ansatz von Patton fehlt hier. Weiter enthält dieses Kapitel vertiefende Ausführungen zu Programmtheorien, speziell zum Verständnis von Huey-tsyh Chen sowie Überlegungen zur Generierung von Programmtheorien bei Carol H. Weiss sowie Ray Pawson und Nick Tilley. Zudem wird die Rolle der Programmtheorie in Evaluationen im thematisiert. Abgeschlossen wird das Kapitel mit einem Abschnitt zu Programmtheorien zum Praxisbeispiel, also der internetbasierten Lernumgebung.
Das umfangreiche fünfte Kapitel (S. 157-240) befasst sich mit der Frage nach der methodischen Instrumentierung. Ausgewählte methodische Zugänge werden zuerst vorgestellt und dann hinsichtlich ihrer Verwendbarkeit in theoriebasierten Evaluationen im Allgemeinen und in der Evaluation der internetbasierten Lernumgebung im Besonderen geprüft. Dafür ausgewählt hat die Autorin die folgenden fünf Methoden:
- Naturalistische Forschung und Symbolischer Interaktionismus
- Aktionsforschung
- Dokumentarische Methode der Interpretation
- Grounded-Theory-Methodologie
- Standardisiert verfahrende Forschung
Das sechste Kapitel (S. 241-271) widmet sich sodann der methodischen Integration, also der Frage, wie die zuvor vorgestellten methodischen Zugänge in (theoriebasierten) Evaluationen und namentlich in der Evaluation zur internetbasierten Lernumgebung gemeinsam eingesetzt werden können.
Das abschliessende siebte Kapitel (S. 272-279) ist als zusammenfassendes Fazit ausgestaltet. Wesentliche Elemente des Buchs werden rekapituliert und um einige weiterführende und/oder übergreifende Gedanken ergänzt.
Wie bei wissenschaftlichen üblich umfasst die Publikation Verzeichnisse zu Inhalt, Literatur, Abbildungen und Tabellen.
Diskussion
Die Publikation unternimmt den begrüssenswerten Versuch, einen spezifischen Evaluationsansatz vertieft zu behandeln. Dafür wird die theoriebasierte Evaluation gewählt, ein Ansatz zu dem sich eine vertiefte Auseinandersetzung sicherlich lohnt. Die dafür gewählte Vorgehensweise – sich gleichermassen über die Literatur und über die Praxisanwendung der Thematik anzunähern – ist der Sache ausgesprochen angemessen. Die Publikation leistet damit einen bedeutsamen Beitrag zu einer Lücke in der deutschsprachigen Evaluationsliteratur. Die Publikation weist aber auch einige Schwachpunkte auf:
Fokus: Die Autorin begründet im begriffsklärenden Teil (S. 101-105) die Verwendung des Konzepts der „theoriebasierten“ Evaluation als „Terminus, der alle möglichen Varianten umfasst“ (S. 102). Im weiteren Text wird dann aber einem recht engen Verständnis des Begriffs gefolgt. Wenn Programmtheorien nicht als solche bezeichnet werden, sondern beispielsweise als Wirkungsmodelle, Programmlogiken, logische Modelle oder ähnlich, werden sie kaum rezipiert (S. 119-120), obwohl eine explizite Abgrenzung zu diesen Konzepten ausbleibt. So fehlen nicht nur bedeutsame ältere oder auch neuere Beiträge der angelsächsischen Literatur (wie Mohr 1995; Funnell/Rogers 2011), sondern auch explizite oder implizite Anwendungen des Konzeptes in der deutschsprachigen Literatur (eine persönlich geprägte Auswahl: bereits Widmer 1991: 68-92; Widmer/Bisang/Moser 2004: 30-39; Widmer/Hirschi 2007; Frey 2012). Gerade in der Schweiz gehören Wirkungsmodelle zum Standardrepertoire der Evaluation, wofür auf zahlreiche Beispiele verwiesen werden kann (wiederum sehr selektiv: Sager/Rüefli 2005; Frey 2010; Pellegrini et al. 2010; Balthasar et al. 2011; Frey/Widmer 2011; Balthasar 2012; vgl. Widmer/De Rocchi 2012: 60-75). Die Praxis der Anwendung von theoriebasierten Ansätzen (in einem weiten Sinne) wird meines Erachtens erheblich unterschätzt (S. 103-104; 155).
Binnendifferenzierung: Die Literatur zur Programmtheorie und verwandten Konzepten (siehe oben) hat inzwischen eine hohe interne Differenzierung erlebt. Dies betrifft etwa unterschiedliche Verständnisse von Programmtheorien im Kontext der verschiedenen Ansätze, aber auch die Elemente einer Programmtheorie. Wegweisend bei letzterem erscheint mir die Unterscheidung von „theory of change“ und „theory of action“, die massgeblich von Chen geprägt wurde (Chen 2005: 15-43; vgl. auch Funnell/Rogers 2011: 31-32). Diese Differenz wird in der Schrift gar nicht aufgegriffen, obwohl die Beiträge von Chen durchaus als zentrale Referenzpunkte beigezogen werden. Weiter wird die funktionale Stellung der Programmtheorie im Kontext einer Evaluation nicht systematisiert. Auch die präzise inhaltliche Fassung zentraler Fachtermini wie Theorie, Modell, Konzept, Design oder Ansatz hätte deutlicher erfolgen können.
Entscheidungen: Bei der Lektüre stellt sich immer wieder die Frage, aus welchen Gründen die Autorin bestimmte Entscheide getroffen hat, so zum Beispiel: Wieso wurden gerade diese vier Evaluationsansätze ausgewählt? Warum wurden aber lediglich drei davon kritisch geprüft? Warum wurden gerade diese fünf methodischen Zugänge gewählt? Warum wurden dabei teils spezifische Vorgehensweise, teils erkenntnistheoretische Grundpositionen als „Methoden“ gesetzt. Warum wurde nicht ein aktuelleres (und geeigneteres) Anwendungsbeispiel gewählt? Derartige Entscheide sollten (besser) begründet werden.
Formelles: Formal betrachtet kann die Publikation durchaus überzeugen. Das Buch ist gut lesbar, stellt eine interessante und abwechslungsreiche Lektüre dar. Es haben sich jedoch einige Fehler eingeschlichen, so zum Beispiel:
- die Program Evaluation Standards des Joint Committee sind nicht Evaluationsstandards der American Evaluation Association (AEA; S. 18, 20), die Standards der DeGEval umfassen nicht 30, sondern 25 Einzelstandards (S. 42);
- die European Evaluation Society (EES) wurde 1992 und die United Kingdom Evaluation Society (UKES) 1994 gegründet, nicht Ende der 1980er Jahre (S. 20);
- die Koautorin von Egon G. Guba heisst Yvonna S. und nicht Nicola Lincoln (S. 55), Jennifer Greene schreibt sich mit einem „e“ am Schluss (S. 86) ebenso wie das „Tyler rationale“ (S. 56); ein substanzieller Überblicksartikel wurde von Coryn (und nicht Croyn) und KoautorInnen verfasst (S. 155; vgl. Coryn et al. 2011);
- die Wirkung entspricht nicht M, sondern der Differenz in M (S. 64), ein O steht auch bei Cook/Campbell 1979 (p. 95) für „observation“ (S. 64), die „treatments“ für G1 und G3 müssen beim Solomon-Four-Group- Design (nicht „Salomon-Four-Design“; Solomon 1949) gleichzeitig erfolgen, ebenso M4, M5 und M6 gleichzeitig mit M2 (S. 67).
Fazit
Das zu besprechende Werk bietet eine gehaltvolle Exploration des Themas theoriebasierter Evaluation. Für die deutschsprachige Literatur stellt dies eine wichtige Ergänzung dar. Das Buch ist kein kochbuchartiges Lehrbuch, es stellt auch keine umfassende Abhandlung der Thematik dar. Die Publikation leistet aber einen gewichtigen Diskussionsbeitrag zum deutschsprachigen Evaluationsdiskurs, der seine Stärke namentlich in der Integration von konzeptionellen und praktischen Aspekten hat.
Literatur
- Balthasar, Andreas (2012): Fremd- und Selbstevaluation kombinieren: der ,Critical Friend Approach“ als Option. Zeitschrift für Evaluation 11(2): 173-198.
- Balthasar, Andreas/Furrer, Cornelia/Bürgi, Mirjam/Wight, Nora/Lauberau, Birgit/Horber-Papazian, Katia/Ehrler, Jan (2011): Evaluation der Nationalen Programme Alkohol und Tabak 2008-2012 sowie des Massnahmenpakets des Bundes zur Verminderung der Drogenprobleme 2006-2011. Schlussbericht zuhanden des Bundesamtes für Gesundheit. Luzern/Lausanne: Interface/IDHEAP.
- Chen, Huey-tsyh (2005): Practical program evaluation. Assessing and improving planning, implementation and effectiveness. Thousand Oaks: Sage.
- Cook, Thomas D./Campbell, Donald T. (1979): Quasi-experimentation. Design & analysis issues for field settings. Boston: Houghton Mifflin.
- Coryn, Chris/Noakes, Lindsay A./Westien, Carl D./Schröter, Daniela C. (2011): A systematic review of theory-driven evaluation practice from 1990 to 2009. American Journal of Evaluation 32(2): 199-226.
- Frey, Kathrin (2010): Revising road safety policy: The role of systematic evidence in Switzerland. Governance 23(4): 667-690.
- Frey, Kathrin (2012): Evidenzbasierte Politikformulierung in der Schweiz. Gesetzesrevisionen im Vergleich. Baden-Baden: Nomos.
- Frey, Kathrin/Widmer, Thomas (2011): Revising Swiss policies: The influence of efficiency analyses. American Journal of Evaluation 32(4): 494-517.
- Funnell, Sue C./Rogers, Patricia J. (2011): Purposeful program theory. Effective use of theories of change and logic models. San-Francisco: Jossey-Bass.
- Mohr, Lawrence B. (1995): Impact analysis for program evaluation. Thousand Oaks: Sage.
- Pellegrini, Sonia/Widmer, Thomas/Weaver, France/Fritschi, Tobias/Bennett, Jonathan (2010): KVG-Revision Spitalfinanzierung: Machbarkeits- und Konzeptstudie zur Evaluation. Schlussbericht im Auftrag des Bundesamtes für Gesundheit. Bern/Zürich: BFH/UZH.
- Sager, Fritz/Rüefli, Christian (2005): Die Evaluation öffentlicher Politiken mit föderalistischen Vollzugsarrangements. Eine konzeptionelle Erweiterung des Stufenmodells und eine praktische Anwendung. Schweizerische Zeitschrift für Politikwissenschaft 11(2): 101-129.
- Solomon, Richard L. (1949): An extension of control group design. Psychological Bulletin 46(2): 137-150.
- Widmer, Thomas (1991): Evaluation von Massnahmen zur Luftreinhaltepolitik in der Schweiz. Eine quasi-experimentelle Interventionsanalyse nach dem Ansatz Box/Tiao. Zürich: Rüegger.
- Widmer, Thomas/Bisang, Kurt/Moser, Christian (2004): TARMED. Vorbereitung einer Wirkungsanalyse über die Einführung sowie die Wirkungen von TARMED. Bern: Bundesamt für Gesundheit.
- Widmer, Thomas/De Rocchi, Thomas (2012): Evaluation: Grundlagen, Ansätze und Anwendungen. Zürich: Rüegger.
- Widmer, Thomas/Hirschi, Christian (2007): Fallstudien zur Evaluation von Massnahmen gegen Rechtsextremismus. Fallstudien zum Forschungsprojekt „Massnahmen gegen Rechtsextremismus: Auf der Suche nach den wirksamsten Massnahmen“ im Rahmen des NFP 40+ „Rechtsextremismus: Ursachen und Gegenmassnahmen“. Zürcher Politik- & Evaluationsstudien Nr. 6.
Rezension von
PD Dr.. Thomas Widmer
Website
Mailformular
Es gibt 1 Rezension von Thomas Widmer.
Zitiervorschlag
Thomas Widmer. Rezension vom 30.08.2013 zu:
Susanne Giel: Theoriebasierte Evaluation. Konzepte und methodische Umsetzungen. Waxmann Verlag
(Münster/New York/München/Berlin) 2013.
ISBN 978-383-09285-5-3.
Reihe: Internationale Hochschulschriften - 584.
In: socialnet Rezensionen, ISSN 2190-9245, https://www.socialnet.de/rezensionen/15169.php, Datum des Zugriffs 05.10.2023.
Urheberrecht
Diese Rezension ist, wie alle anderen Inhalte bei socialnet, urheberrechtlich geschützt.
Falls Sie Interesse an einer Nutzung haben, treffen Sie bitte vorher eine Vereinbarung mit uns.
Gerne steht Ihnen die Redaktion der Rezensionen
für weitere Fragen und Absprachen zur Verfügung.