Reinhard Stockmann (Hrsg.): Evaluationsforschung. Grundlagen und ausgewählte Forschungsfelder
Rezensiert von Prof. Dr. Edgar Baumgartner, 30.12.2007
Reinhard Stockmann (Hrsg.): Evaluationsforschung. Grundlagen und ausgewählte Forschungsfelder.
Waxmann Verlag
(Münster/New York/München/Berlin) 2006.
3. Auflage.
420 Seiten.
ISBN 978-3-8309-1734-2.
29,90 EUR.
Reihe: Sozialwissenschaftliche Evaluationsforschung - Band 1.
Thema
Bereits in der dritten Auflage (Erstauflage im Jahr 2000) erscheint dieser Sammelband zur Evaluationsforschung, der sich nach eigenen Angaben an Personen richtet, die sich mit Fragen der Evaluation, der Erfolgskontrolle, der wissenschaftlichen Begleitforschung, der Wirkungsanalyse oder des Qualitätsmanagements befassen. Er orientiert einführend über verschiedene Theorien, Methoden und aktuelle Diskussionen im Themenfeld der Evaluationsforschung und zeichnet zudem den Forschungsstand in insgesamt sieben Politikfeldern nach. Deutsch- und englischsprachige Beiträge, die auf die USA, Europa und den deutschsprachigen Raum Bezug nehmen, gewährleisten einen Zugang, der disziplinen- und länderübergreifend angelegt ist.
Die im Titel vorgenommene Verortung als "Evaluationsforschung" deutet bereits an, dass Vorgehensweisen im Vordergrund stehen, die sich an der sozialwissenschaftlichen Forschungsmethodik anlehnen und von allfälligen unmethodischen Bewertungen oder Reflexionen Abstand nehmen. Die Bezeichnung als "Lehrbuch" bezieht sich weniger auf die Vermittlung konkreter Handlungsempfehlungen, als vielmehr auf eine Einführung in Thematiken der Theorie und Praxis der Evaluationsforschung. Angesichts der ungebrochenen Beliebtheit, in unterschiedlichen staatlich finanzierten Feldern Evaluationen in Auftrag zu geben, und der dynamischen Entwicklung der Evaluationspraxis vermag dieses Buch verschiedene zentrale Begriffe und Konzepte wie auch Schwierigkeiten bei konkreten Evaluationsvorhaben in Erinnerung zu rufen.
Aufbau
Der Sammelband gliedert sich in zwei Hauptabschnitte.
- Im ersten Teil stehen Beiträge zum Stand der Evaluationsforschung in unterschiedlichen Ländern und Räumen - USA, Europa und Deutschland - sowie Fragen zur Qualität und zu zugrundeliegenden Theorien von Evaluationen im Vordergrund.
- Der zweite Teil des Buches orientiert über einzelne Politikfelder, die von der Arbeitsmarktpolitik bis zur Entwicklungspolitik reichen.
Teil 1 - Grundlagen der Evaluationsforschung
- Reinhard Stockmann umreisst mit seinem einleitenden Beitrag zur Evaluation in Deutschland den Themenbogen des Sammelbandes. Er listet vier grundlegende Funktionen - Erkenntnis-, Kontroll-, Dialog-/Lern- und Legitimierungsfunktion - der Evaluationsforschung auf und macht damit auf deren "speziellen Anwendungsbedingungen" aufmerksam. Die Evaluationsforschung charakterisiert eine grundsätzliche Dualität, da sie zugleich Teil der empirischen Sozialforschung und des "politischen Prozesses" ist. Zur zentralen Herausforderung wird damit eine verstärkte Professionalisierung, für die der Autor zahlreiche Massnahmen - auch auf Seiten von Auftraggebenden - anführt.
- Ungleich weiter entwickelt ist die Professionalisierung und Institutionalisierung der Evaluationsforschung in den USA, wie Donna M. Mertens mit ihrem Beitrag zeigen kann. Sie zeichnet historisch die Entwicklung von Berufsverbänden, Richtlinien und Standards und gesetzlicher Verankerung nach. Als eine aktuelle Herausforderung benennt sie eine Evaluationspraxis für mehr soziale Gerechtigkeit, wie sie im Rahmen eines "anti-discriminatory" oder "tranformative" Ansatz berücksichtigt werden. In einem weiteren Beitrag aus den USA knüpft Barbara Lee an die Thematik von Paradigmen an, indem sie die Auseinandersetzungen ("war") zwischen Positivisten, Konstruktivisten und dem transformativen Paradigma aufgreift. Unter dem Titel "Theories of Evaluation" werden auch in weiteren zentralen Theorieelementen - etwa zur Nutzung von Evaluationen - verschiedene Positionen dargestellt und diskutiert. Es resultiert so ein Überblick über unterschiedliche Vorgehensweisen in Evaluationsstudien. Die Basis sowie die Folgen von solchen evaluationsmethodischen Entscheidungen rückt Valerie J. Caracelli vom U.S. General Accounting Office ins Zentrum ihres Beitrages. Sie zeigt typische Fragestellungen, Evaluationsdesigns oder analytische Modelle ("analytical frameworks") auf und legt ein besonderes Augenmerk auf die Kombination von Methoden (Triangulation und Methodenmix).
Drei weitere Autoren aus Europa ergänzen die us-amerikanische Evaluationsdiskussion.
- Wie sich der Stand der Institutionalisierung in Europa präsentiert, darüber informiert Frans L. Leeuw in einem Vergleich von zwölf europäischen Ländern. Er greift zudem die Evaluationspraxis in der Europäischen Union auf und benennt abschliessend angesichts eines expandierenden Evaluationsgeschehens zentrale Herausforderungen.
- Thomas Widmer führt in die Thematik Qualität von Evaluationen ein, die angesichts unterschiedlicher Gegenstände, Settings oder Umfänge einer Evaluation nur mehrdimensional zu bestimmen ist. Er plädiert für die Anwendung der Evaluationsstandards des Joint Committee, die einst für den Bildungsbereich entstanden und heute bereichsübergreifend für verschiedene Anwendungen (z.B. für eine Meta-Evaluation, in der Aus- und Weiterbildung) geeignet scheinen.
- Im Beitrag von Evert Vedung wird (nochmals) die wissenschaftstheoretische Verortung von Evaluationen, fokussiert auf die Frage nach Unterschieden zwischen "evaluation research" und "fundamental research", thematisiert. Die Antwort sieht der Autor nicht in der Bewertungsproblematik, sondern bei der Nützlichkeit und der Nutzung von Evaluationen. Gegenüber einer "Grundlagenforschung" ist folglich in Evaluationen der Verwertungskontext zu berücksichtigen und ein Einsatz von verschiedenen Strategien zur Steigerung der Nutzung der Evaluationsergebnisse gefordert.
Teil 2 - Felder der Evaluationsforschung
Viele im ersten Teil eingeführte Grundlagen werden im zweiten Teil des Buches mit der Evaluationspraxis in verschiedenen Politikfeldern in Beziehung gesetzt. Schnell wird dabei deutlich, dass die Ausgestaltung von Evaluationen auch vom jeweiligen Gegenstand bzw. vom Politikbereich abhängig ist. Im Vergleich zeigen sich ganz unterschiedliche Praxen, methodische Probleme und Verwertungskontexte.
- Hellmut Wollmann leitet diesen zweiten Abschnitt mit einem Beitrag zur Verwaltungspolitik und -modernisierung ein. Es wird ein ambivalentes Bild präsentiert, denn Evaluationen haben sich zwar in Deutschland wie auch international als Teil der Verwaltungspolitik etablieren können. Zugleich mangelt es an (externen) systematischen Evaluationsstudien zu Wirkungen gerade auch neuer Steuerungsmodelle, was auf methodische Probleme wie auch ein mangelndes politisches Interesse an Transparenz über Wirkungen, Kosten und Nutzen zurückzuführen ist.
- Der Beitrag von Helmut Kromrey geht auf die Funktion der Evaluation von Studium und Lehre im System Hochschule ein. Angesichts der Interaktionsgebundenheit jeder Lehre plädiert er für einen relativen Qualitätsbegriff und problematisiert damit die gängige Praxis der Umfrageforschung in Lehrevaluationen.
- Auch Xaver Büeler verortet im Bereich der Schulen eine Tendenz, das zu evaluieren, was einfach zu messen ist. Sein Plädoyer gilt jedoch weniger der Einforderung von Wirkungsanalysen als vielmehr der Verankerung von Evaluationen als Instrument und Teil eines Qualitätsmanagements an Schulen.
- Evaluationen in der Forschungs- und Innovationspolitik widmet sich Stefan Kuhlmann. Angesichts divergierender Interessen in diesem Politikfeld und den Erfahrungen mit primär summativ ausgerichteten Leistungsbewertungen im anglo-amerikanischen (Hochschul-)Raum, plädiert der Autor für ein Evaluationsverständnis, das auf Verhandlungen in unterschiedlichen Arenen und letztlich auf Moderation zwischen verschiedenen Perspektiven setzt.
- Für den Bereich der Arbeitsmarktpolitik ergreifen Bettina Bangel, Christian Brinkmann und Axel Deeke Position für eine Untersuchung der Wirkungen unterschiedlicher arbeitsmarktlicher Massnahmen. Sie sehen die Rolle der Wirkungsforschung allerdings als Teil eines abgestuften Vorgehens, das insbesondere auch ein Monitoring vorsieht.
- Joseph Huber und Axel Müller listen eine ganze Reihe von Ansätzen zur Erfassung und Bewertung von Umweltmassnahmen auf und diskutieren deren Eignung als Evaluationsmethoden. Da der Blick hierbei auch für Umweltmassnahmen in Unternehmen geöffnet ist, kommen sie zu einer differenzierten Empfehlung: Für den Politikbereich stehen Wirkungs- und Prozessevaluationen im Vordergrund, während Audits oder Zertifizierungen (ISO) eine fortlaufende Bewertung und Anpassung der Umweltmassnahmen in einzelnen Unternehmen gewährleisten sollen.
- Es ist abschliessend der Herausgeber, der in der Evaluation staatlicher Entwicklungspolitik verschiedene Defizite in der Evaluationspraxis ausmacht. Reinhard Stockmann weist insbesondere auf den Mangel an Wirkungsanalysen in der Entwicklungspolitik hin und fordert zudem eine Orientierung am Kriterium der Nachhaltigkeit ein.
Dieser zweite Abschnitt führt deutlich vor Augen, dass allgemeine Theorien und Systematiken zur Evaluation in konkreten Politikfeldern schnell an Orientierungskraft verlieren. Die Herausforderungen verlagern sich auf konzeptionelle, theoretische und methodische Fragen, die sich aus dem Gegenstand ergeben und damit zunächst in einzelnen Disziplinen sinnvoll zu verhandeln sind. Bei allen Professionalisierungsversuchen der Evaluationsforschung, zu denen das Buch auch einen Beitrag leisten möchte, sind die disziplinäre Verortung der Evaluatoren und Evaluatorinnen und damit die geforderten Fachkenntnisse nicht zu vergessen.
Fazit
Der Sammelband stellt wichtige Grundlagen der Evaluationsforschung dar und orientiert über die Evaluationspraxis in mehreren Politikfeldern. Es ermöglicht damit thematisch einen breiten Einblick. Die Leserschaft wird in verschiedene zentrale Elemente - etwa Paradigmen (Lee), Settings (Widmer) oder Funktionen (Stockmann) - der Evaluationsforschung eingeführt und erhält auch Einblicke in die historische Entwicklung und den aktuellen Stand in unterschiedlichen Ländern. Für Fachleute gewährleistet die hohe fachliche Qualität der Beiträge eine vertiefte Auseinandersetzung mit einzelnen Themen. Für Evaluationsunkundige macht vor allem die thematische Vielfalt das Buch interessant, wenngleich eine Fülle von Begrifflichkeiten zu bearbeiten ist, Übergänge oder Verknüpfungen zwischen den Einzelbeiträgen weitgehend fehlen und diese kein einheitliches Evaluationsverständnis erkennen lassen. Der Sammelband kann für eine einführende wie auch vertiefte Auseinandersetzung mit der Evaluationsforschung empfohlen werden, auch wenn in der dritten Auflage keine Überarbeitungen oder Aktualisierungen vorgenommen wurden.
Rezension von
Prof. Dr. Edgar Baumgartner
Fachhochschule Nordwestschweiz, Hochschule für Soziale Arbeit
Mailformular
Es gibt 3 Rezensionen von Edgar Baumgartner.
Zitiervorschlag
Edgar Baumgartner. Rezension vom 30.12.2007 zu:
Reinhard Stockmann (Hrsg.): Evaluationsforschung. Grundlagen und ausgewählte Forschungsfelder. Waxmann Verlag
(Münster/New York/München/Berlin) 2006. 3. Auflage.
ISBN 978-3-8309-1734-2.
Reihe: Sozialwissenschaftliche Evaluationsforschung - Band 1.
In: socialnet Rezensionen, ISSN 2190-9245, https://www.socialnet.de/rezensionen/4644.php, Datum des Zugriffs 23.01.2025.
Urheberrecht
Diese Rezension ist, wie alle anderen Inhalte bei socialnet, urheberrechtlich geschützt.
Falls Sie Interesse an einer Nutzung haben, treffen Sie bitte vorher eine Vereinbarung mit uns.
Gerne steht Ihnen die Redaktion der Rezensionen
für weitere Fragen und Absprachen zur Verfügung.