Reinhard Stockmann, Wolfgang Meyer: Evaluation. Eine Einführung

Rezensiert von Dr. Maria Gutknecht-Gmeiner, 03.11.2010

Reinhard Stockmann, Wolfgang Meyer: Evaluation. Eine Einführung. Verlag Barbara Budrich GmbH (Opladen, Berlin, Toronto) 2010. 295 Seiten. ISBN 978-3-8252-8337-7. 19,90 EUR.
Reihe: UTB - 8337.

Weitere Informationen bei DNB KVK GVK.

Seit Erstellung der Rezension ist eine neuere Auflage mit der ISBN 978-3-8252-8553-1 erschienen, auf die sich unsere Bestellmöglichkeiten beziehen.

Kaufen beim socialnet Buchversand
Kaufen beim Verlag

Thema

Eine Einführung in eine wissenschaftliche Disziplin zu schreiben, ist eine diffizile Aufgabe. Sie erfordert nicht nur umfassende Kenntnisse der Materie – der wichtigsten Gegenstände, Zielsetzungen, Herangehensweisen und Methoden –, sondern auch eine Durchdringung der Disziplin, ihrer Grundlagen, ihrer Geschichte und Entwicklung, sowie der Abgrenzung zu anderen Disziplinen. Auch „Verästelungen“ und Variationen innerhalb der Disziplin müssen integriert werden, will man einen Gesamtüberblick geben. Kurz und bündig soll die Darstellung sein, ohne jedoch wichtige Fragestellungen und Inhalte zu verkürzen, auch für „Noviz/innen“ klar verständlich und dabei doch anspruchsvoll und der wissenschaftlichen Fachsprache verpflichtet.

Autoren

Die beiden Autoren der im Verlag Barbara Budrich erschienenen Einführung in die Evaluation gehören zu den ausgewiesenen Expert/innen der Evaluation bzw. der Evaluationsforschung (d.h. der Forschung über Evaluation) im deutschsprachigen Raum. Reinhard Stockmann und Wolfgang Meyer sind am Centrum für Evaluation (CEval) der Universität des Saarlandes tätig. Stockmann ist auch langjähriger Leiter des Centrums, das im Jahr 2004 den ersten Master-Studiengang zu Evaluation in Deutschland ins Leben gerufen hat und für die Herausgabe der Zeitschrift für Evaluation verantwortlich zeichnet. Reinhard Stockmann war darüber hinaus Gründungsmitglied der 1997 entstandenen Gesellschaft für Evaluation (DeGEval), die als ein wichtiger Motor für die Professionalisierung der Evaluation in Deutschland und Österreich gilt. Beide Autoren haben, z.T. auch gemeinsam, bereits mehrfach ähnliche Publikationen verantwortet. Dazu gehört allen voran der von Stockmann herausgegebene Sammelband „Evaluationsforschung. Grundlagen und ausgewählte Forschungsfelder“ aus dem Jahr 2000, der bereits zwei weitere Auflagen erlebt hat (Stockmann 2000/2004/2006a). Stockmann ist auch Herausgeber der Schriftenreihe „Sozialwissenschaftliche Evaluationsforschung“ des Waxmann Verlags. Es sind zwei Bände innerhalb dieser Reihe, die sehr ähnliche Themen aufbereiten wie die gegenständliche Einführung: Da ist zum einen Band 5 „Evaluation und Qualitätsentwicklung. Eine Grundlage für wirkungsorientiertes Qualitätsmanagement“ aus dem Jahr 2006 (Stockmann 2006b) zu nennen, zum anderen Band 6 „Handbuch zur Evaluation. Eine praktische Handlungsanleitung“ aus dem Jahr 2007 (Stockmann 2007). [1] Es handelt sich bei Stockmann und Meyer also um überaus produktive Autoren, was die kritische Bewertung des Einführungsbandes zur Herausforderung macht. Schließlich ist im Sinne prospektiver Leser/innen auch zu klären, worin sich der aktuelle Band nun von den anderen unterscheidet und welcher besondere Nutzen daraus gezogen werden kann.

Zielsetzungen und Zielgruppen

Wie beschreiben die beiden Autoren selbst den Zweck ihres neuesten Buches? Vor dem Hintergrund der in der Einleitung deutlich hervor gestrichenen gesellschaftlichen Bedeutung von Evaluation wollen Stockmann und Meyer „vertieft in das Thema einführen“ (S. 10) und „Leistungspotenziale verdeutlichen“ (ebenda). Evaluation als alltagssprachlicher Begriff ist klar von Evaluation als wissenschaftlicher Disziplin abzugrenzen. [2] Evaluation ist aber auch von anderen „gängige[n] Verfahren wie Gutachten, Prüfungen, Erfolgskontrollen oder jeder Art von Studien“ zu unterscheiden (S. 9) Ein wesentliches Ziel des Bandes ist es daher, zur Professionalisierung der Evaluation und insbesondere der in ihr Tätigen beizutragen. Stockmann spricht von den „vielfältigen Herausforderungen, denen sich die Evaluation zu stellen hat, der Illustration des komplexen Kompetenzprofils, welches mit dieser Tätigkeit verknüpft ist“ und fährt fort: „Evaluation ist mitnichten eine ‚Nebentätigkeit‘ für erfahrene Praktiker innerhalb einer Organisation oder für empirische Sozialforscher, die sich durch Auftragsforschung ein Zubrot verdienen möchten. Wenn die Evaluation ihren gesellschaftlichen Aufgaben gewachsen sein soll, so muss sie ernsthaft und professionell betrieben werden. Die entsprechenden Aufgaben und besonderen Anforderungsprofile deutlich zu machen sowie in den aktuellen Stand der Konzepte und Diskussionen einzuführen, ist letztlich die Hauptaufgabe dieses Buches.“ (S. 14) Zielgruppen sind laut Einbandtext „Studierende und Praktiker“.

Ausgehend von diesen spezifischen Zielsetzungen sowie den oben genannten allgemeinen Anforderungen an Einführungen in wissenschaftliche Disziplinen soll nun erst ein Überblick über den Band gegeben und dann einzelne Themen inhaltlich diskutiert werden. Dabei ist zu berücksichtigen, dass gerade die Evaluation als neue, aber sehr lebendige Disziplin zwar noch nicht auf einen allgemein anerkannten Kanon zurück greifen kann, sich in den letzten etwa 50 Jahren jedoch bereits ein derartig großes Corpus an Wissen, an reflektierten Erfahrungen, an Ansätzen und Modellen entwickelt hat, dass es kaum mehr vollständig überblickt werden kann. Erschwerend kommt hinzu, dass Evaluation als „Transdisziplin“ (vgl. Scriven 2008b) in den verschiedensten wissenschaftlichen Disziplinen zum Einsatz kommt.

Überblick über Inhalte und behandelte Themen

Der Band umfasst vier stärker theoretische und zwei eher praktisch angelegte Kapitel, letztere mit z.T. detaillierten Handlungsanleitungen. Stockmann umreißt zu Beginn (Kapitel 1) Rolle und Zwecke von Evaluation in der Gesellschaft und behandelt die geschichtliche Entwicklung und aktuelle Lage von Evaluation zuerst international und dann auf Deutschland bezogen. In einem zweiten Kapitel geht er zuerst auf das Spannungsfeld zwischen Politik und Wissenschaft ein und versucht Evaluation in diesem Spannungsfeld zu verorten, um dann die Grundlagen von Evaluation – Definitionen, Gegenstände, Ziele und Aufgaben, Kriterien, Evaluator/innen und methodische Ansätze – darzustellen.

Das dritte Kapitel, das Stockmann und Meyer gemeinsam verantworten, ist ein Parforce-Ritt durch verschiedene Systematisierungsversuche von Evaluationsansätzen. Als Antwort auf die drei angeführten, von Stockmann und Meyer kurz kritisierten und als nicht befriedigend beurteilten „Modelle“ namhafter US-amerikanischer Evaluationsforscher/innen schlagen die Autoren eine „Systematik nach Stockmann und Meyer: Das Funktionsmodell“ vor. Darin wird die in Kapitel 1 und 2 bereits unterbreitete Systematik von vier Evaluationszwecken wieder aufgenommen und als Zuordnungsraster für eine Systematik nach Personen (d.h. bekannten Evaluationsforscher/innen), Politikfeldern und Fachgebieten genutzt.

Die nächsten beiden Kapitel sind sehr der Praxis verbunden. So stellt Stockmann in Kapitel 4 den Evaluationsprozess von Anfang (Planungsphase) bis Ende (Verwertungsphase) dar. Dieses Kapitel hat einen starken Handbuchcharakter, es werden alle Evaluationsphasen beschrieben und durch konkrete Handlungsempfehlungen angereichert. Abschließend empfiehlt Stockmann einen am CEval entwickelten „partizipativen Evaluationsansatz“, der die wichtigsten Elemente und Vorgehensweisen der Programmevaluation integriert und gerade für interessierte Praktiker/innen mit wenig Evaluationserfahrung einen soliden Leitfaden für die praktische Umsetzung von Evaluation gibt. Eine das Branding rechtfertigende Besonderheit der gut beschriebenen Vorgangsweise erschließt sich jedoch nicht, es wird in diesem „Ansatz“ die in Evaluationskreisen übliche gute Praxis beschrieben.

In Kapitel 5 gibt Wolfgang Meyer einen guten Überblick über verschiedene Designs und Methoden und führt dann von der Vorbereitung und Planung der Datenerhebung über die Durchführung und die Analyse bis zu Dateninterpretation und Bewertung. Auch wenn qualitativen Untersuchungsdesigns im Vergleich zu experimentellen oder quasi-experimentellen Vorgangsweisen anfangs weniger Raum gegeben wird, besticht die Darstellung doch durch eine sehr ausgewogene und informative Behandlung von qualitativen und quantitativen Erhebungsverfahren, in der mögliche Störfaktoren und Erhebungsfehler der einzelnen Verfahren auch für Noviz/innen klar dargelegt werden.

Das letzte Kapitel beschäftigt sich mit dem „Evaluationsumfeld“ und schließt damit unmittelbar an die ersten beiden Kapitel an. Es werden die v.a. in den Unterkapiteln 1.4. und 2.3 dargelegten Überlegungen zur Einbettung von Evaluation in die Gesellschaft weiter ausgeführt. Insbesondere wird die Rolle von Organisationen angerissen, die als zentrale Akteurinnen moderner Gesellschaften auch für die Beauftragung, Durchführung und Nutzung von Evaluationen maßgeblich sind. Die kurze und im Rahmen dieser Publikation eher allgemein gehaltene Diskussion dieser wichtigen Aspekte ist begrüßenswert, eine detailliertere und noch stärker systematisch auf Konsequenzen für Theorie und Praxis der Evaluation bezogene Untersuchung dieser Thematik wäre für die Zukunft spannend und wünschenswert

Diskussion 1: Rolle und Geschichte der Evaluation

Die Einführung in die Evaluation beginnt mit einer Beschreibung der „Rolle der Evaluation in der Gesellschaft“. Stockmann greift damit ein wichtige übergeordnete Fragestellung auf, die auch als Leitthema in der Jahrestagung der Gesellschaft für Evaluation 2009 in Münster behandelt worden war. Evaluation wird von Stockmann als „Erfindung der Moderne“, „gesellschaftliche Notwendigkeit“ (S.16) und „Instrument demokratischer Regierungsführung“ (S. 18) bezeichnet, sie dient dazu, soziale Veränderungsprozesse datenbasiert und rational zu überprüfen und zu steuern. Daraus entwickelt Stockmann drei Evaluationszwecke: Steuerung, Legitimität und Aufklärung, wobei „Steuerung“ auf (Weiter-)Entwicklung abzielt, „Legitimität“ auf Kontrolle und „Aufklärung“ auf eine Verbesserung des Informationsstandes und die Ermöglichung demokratischer Teilhabe. Diese Dreiteilung wird jedoch im weiteren Verlauf des Buches- abgesehen von zwei kurzen Erwähnungen – nicht weiterverfolgt: in Kapitel 2 wird ein Karree von vier Evaluationszwecken als „Leitfunktionen“ für Programmevaluationen präsentiert, das dann auch in anderen Kapiteln (insbesondere Kapitel 3) aufgegriffen wird. Es kommt hier also zu einem teilweisen terminologischen Bruch in der vorgestellten Systematik.

Der geschichtliche Abriss zur Evaluation in den U.S.A., in Europa und in Deutschland stellt eine partielle Erweiterung und Aktualisierung des Sammelbandbeitrags dar, der auf das Jahr 2000 zurückgeht (Stockmann 2000b). Stockmann geht in seiner Diskussion der aktuellen Lage auf das übergeordnete Thema „Professionalisierung“ ein. Die Bedeutung von Evaluation für die Politikgestaltung hat in vielen Ländern zur Bildung von nationalen Evaluationsgesellschaften, zu einer Erweiterung des Angebots an evaluationsdurchführenden Einrichtungen und zur Entwicklung von Aus- und Weiterbildungsangeboten geführt. [3] Als problematisch wertet Stockmann, dass überwiegend „Kleinst- und Kleinunternehmen“ (S. 36) aus der Consultingbranche den Angebotsmarkt dominieren und dass Ergebnisse von Evaluationen zwar durch das Internet besser zugänglich sind, gerade brisante Befunde aber oft unter Verschluss gehalten werden. Die skizzierte Entwicklung in Deutschland folgt in großen Zügen den genannten internationalen Trends. Stockmann verweist auf die Gründung der DeGEval 1997, die Gründung der Zeitschrift für Evaluation als wissenschaftliches Medium 2002, die Verabschiedung der Standards für Evaluation 2004 (DeGEval 2004b) [4] sowie die Entwicklung von Aus- und Weiterbildungsangeboten als wichtige Meilensteinen der Professionalisierung.

Diskussion 2: Herausforderungen für die Evaluation

Die von Stockmann georteten aktuellen Herausforderungen werden schlüssig herausgearbeitet, orientieren sich aber z.T. etwas einseitig an der Perspektive universitärer Forschung und ihrer Ansprüche an Freiheit der Forschung, Selbstbestimmung, ausreichende Finanzierung und Definitionsmacht.

Die Abhängigkeit von Auftraggebern/Fördergebern, die thematischen, zeitlichen und finanziellen Einschränkungen angewandter Forschung, ein unübersichtlicher Angebotsmarkt, auf dem sich auch privatwirtschaftliche Unternehmungen drängen, generell geringe öffentlich bereitgestellte Ressourcen für nicht auftragsbezogene Forschung im Bereich Evaluation (z.B. über Evaluation selbst oder als Durchführung von Evaluationen) sowie mangelnde Nutzung von Evaluationen und deren Ergebnissen sind selbstverständlich Herausforderungen für die Disziplin. Ob ihnen dadurch begegnet werden kann, dass, wie Stockmann empfiehlt, große „unabhängige Institute mit Feldzugang“ (und entsprechender Marktstellung?) öffentlich finanziert werden, sei jedoch dahingestellt. Generell erwecken die Ausführungen an vielen Stellen den Eindruck einer intendierten Abschottung der Evaluation von vielem, was sie eigentlich ausmacht: So wird die „disziplinäre Segmentierung der Evaluationsforschung“ als eines der Haupthemmnisse der Entwicklung der Disziplin dargestellt. Die Forderung nach disziplin- (bzw. fach- und politikfeld-) übergreifender Forschung und Entwicklung zur Evaluation, um nach außen hin gemeinsame Ansätze und Standards zu entwickeln und als Disziplin wahrnehmbar zu werden und nach innen hin sich gegenseitig zu befruchten und Synergien zu heben, ist natürlich berechtigt. Jedoch stellt gerade die Pluralität an Disziplinen, aus denen sich die Evaluation speist und in denen sie zur Anwendung kommt, eine wichtige Quelle für Kreativität und Innovation dar, die es m.E. auch zu bewahren gilt.

Diskussion 3: Wer sind die Evaluator/innen?

Ähnliches gilt für die Ausgrenzung aller Arten von Evaluation, in denen Nicht-Wissenschafter/innen evaluierend tätig werden. Die Geringschätzung, die Stockmann der „Laienevaluation“ (S. 49) entgegenbringt, wird auch durch die Art der Darstellung offensichtlich: Es fehle „an nötigem Sachverstand“, die Verwendung von „Handbüchern im ‚Kochbuchstil‘“ suggeriere, dass „Evaluation von jedermann anwendbar sei“ (Stockmann & Meyer 2010, S. 49). „Fachliche Kompetenz wird dann durch soziale Empathie, objektivierende Verfahren zur Datengewinnung werden durch persönliche Erfahrungen und Betroffenheitsgeschichten ersetzt“ folgert Stockmann (Stockmann & Meyer 2010, S. 49f.).

Auch diese Ansicht wird von vielen Evaluationswissenschafter/innen und Evaluator/innen nicht geteilt, die gerade in der Aufhebung der Kluft zwischen Wissenschafter/innen als „Wissenden“ und Praktiker/innen als „Unwissenden“ (die bestenfalls als Beteiligte und Betroffene einbezogen werden) einen bedeutsamen Beitrag der Evaluation zur demokratischen Entwicklung unserer Gesellschaft sehen: Ohne den Anspruch an eine auf wissenschaftlichen Standards basierende Evaluation aufzugeben, können gerade in den Bereichen der Selbstevaluation, der internen Evaluation oder Peer Evaluation sowie eventuell in der Mitarbeit in externen Evaluationen auch „Lai/innen“ als Expert/innen in ihrem eigenen Feld zum Einsatz kommen – vorausgesetzt sie werden entsprechend geschult.

Das macht hauptberufliche Evaluator/innen nicht arbeitslos und entwertet auch nicht ihr „spezialisiertes Wissen, einschlägige Arbeitserfahrungen und über die Jahre angeeignetes Geschick“ (Stockmann & Meyer 2010, S. 50). Ganz im Gegenteil, sie werden gebraucht, um „nebenberufliche“ Evaluator/innen zu schulen, anzuleiten, mit speziellem Wissen zu versorgen und zu begleiten; Aufwändige, methodisch anspruchsvolle, arbeitsplatz- und institutionsübergreifende und v.a. auch externe Evaluationen bleiben professionellen Evaluator/innen ohnedies vorbehalten. Praktiker/innen aus professionellen Arbeitsfeldern in die Lage zu versetzen, ihre eigene Tätigkeit zu evaluieren sowie externe Evaluationen und deren Ergebnisse richtig einzuschätzen, ist nicht nur im Sinne des (alten) Postulats einer „reflexiven Praxis“ („reflective practitioner“, vgl. Schön 1983/2000) wünschenswert, sondern unterstützt die Praktiker/innen, mit den durch die Einführung von Evaluationen einhergehenden Anforderungen angemessen umzugehen. Über kurz oder lang steht daher zu erwarten, dass Evaluationskompetenz - jedenfalls in den von Evaluation stark betroffenen Tätigkeitsbereichen – Teil des professionellen Qualifikationsprofils wird (vgl. dazu z.B. die von Hense angeführten notwendigen Evaluationskompetenzen von Lehrer/innen, Hense & Mandl 2009). Das verträgt sich nur schlecht mit der von Stockmann postulierten Beschränkung von Evaluation auf hauptberufliche Evaluator/innen.

Diskussion 4: Wissenschaftlichkeit und Werte in der Evaluation

Der Titel des nächsten Kapitels „wissenschaftsbasierte Evaluation“ ist so zu verstehen, dass hier noch einmal eine Definition von „wissenschaftlich durchgeführten Evaluationen“ (S. 66) gegeben wird, um einer „Aufweichung des Evaluationsbegriffs“ und „nicht-wissenschaftsbasierten Evaluationen“ gegenzusteuern. Es wird hier also der Anspruch der Wissenschaftlichkeit von Evaluationen noch einmal klar herausgearbeitet.

Allerdings setzt Stockmann Evaluation nicht mit „Wissenschaft“, die er als Grundlagenforschung versteht, gleich und nimmt eine kurze, die wichtigsten Unterscheidungsmerkmale umfassende Abgrenzung vor. Zentrales Merkmal von Evaluation, in der sie sich von der Grundlagenforschung unterscheidet, ist (neben dem Anwendungsbezug, den sie mit der angewandten Forschung teilt) die Durchführung einer Bewertung des Evaluationsgegenstands. Dabei gerät Evaluation in die Sphäre der Politik. Stockmann geht der Frage nach, ob und wie weit Evaluation und Politik zu trennen sind, wenn es um Bewertungen geht. Er unterscheidet zwischen Entstehungszusammenhang einer Evaluation, Forschungszusammenhang und Verwertungszusammenhang. Die Wissenschaft, und damit auch die Evaluation, sind dabei nur für den Forschungsteil zuständig, die Bewertungsgrundlagen stammen aus dem Entstehungszusammenhang und sind somit politisch beeinflusst. Sie werden von den Evaluator/innen übernommen, die in der Evaluation eine instrumentelle Bewertung auf Basis der im Vorfeld definierten Kriterien vornehmen. Damit ist „das Fällen von Werturteilen im Forschungsprozess“ nicht „notwendig“ (Stockmann & Meyer 2010, S. 63) und Evaluation selbst kann „wertfrei“ bleiben.

Folgt man der Forschung über Bewertung in der Evaluation (und verzichtet man auf das Prädikat „wertfrei“), so positioniert Stockmann sein Verständnis von Evaluation damit als „wertedistanziert“ (s. Beywl et al. 2004, S. 65ff. bzw. Beywl 2006, 94ff.), da die Verantwortung für die Werteklärung nicht bei den Evaluator/innen liegt. Andere Formen des Umgangs mit Werten in der Evaluation, in der Evaluator/innen in die Klärung oder Bestimmung von Werten eingebunden bzw. für diese verantwortlich sind, werden nicht ausdifferenziert [5], wodurch der Eindruck eines allgemeingültigen Anspruchs der Position von Stockmann entsteht.

In wie weit sich die strikte Trennung von Wertedefinition und Evaluation in der Realität tatsächlich immer umsetzen lässt, ist jedoch auch für Stockmann nicht restlos geklärt. So räumt er an anderer Stelle ein, dass der Evaluatorin/ dem Evaluator im Evaluationsprozess oft eine entscheidende Rolle in der Entwicklung von Bewertungskriterien und -indikatoren zukommt (s. S 79). Auch bleibt offen, ob Evaluator/innen nicht auch bei diesem wertedistanzierten Verständnis von Evaluation gefordert sein können, sich mit den zugrundeliegenden Wertvorstellungen und daraus abgeleiteten Zielen von Maßnahmen kritisch auseinander zu setzen. Dies ist z.B. denkbar, wenn im Evaluationsprozess eine Relevanzprüfung (Kann auf Basis bestimmter Werte und Ziele ein bestimmter gesellschaftlicher Zustand positiv verändert werden? Wie verhalten sich Beteiligte und Betroffene gegenüber diesen Werten und Zielen?) oder eine professionelle ethische Stellungnahme (z.B. in Verbindung mit den Fairness- oder den Nützlichkeitsstandards) notwendig werden.

Diskussion 5: Definitionen und Evaluationszwecke

Die von Stockmann angeführte Definition von Evaluation fußt auf bekannten Definitionen US-amerikanischer Evaluationsforscher/innen. Die Aufschlüsselung der Dimensionen von Evaluation – Gegenstand („was“), Zweck („wozu“), Bewertungskriterien („anhand welcher Kriterien“), Durchführende/Evaluator/innen („von wem“) und methodische Designs („wie“) (Stockmann & Meyer 2010, S. 67 ff) – gibt ein recht umfassendes Bild von Evaluation. In der Darstellung der Gegenstände von Evaluation wird das Feld zuerst weit aufgemacht, dann erfolgt recht rasch eine Konzentration auf das „Programm“, d.h. eine projektförmig abgewickelte Maßnahme, als typischen Evaluationsgegenstand, was in Anbetracht der Bedeutung von „Programmevaluationen“ (program evaluation) in der Evaluation(sforschung) angemessen erscheint. Auch ein guter allgemeiner Überblick über die Art der Wirkung von Programmen, Brutto- und Nettoeffekte und beabsichtigte und nicht-beabsichtigte Wirkungen wird gegeben. Gerade die unbefangene Feststellung von sowohl intendierten als auch nicht-intendierten Effekten liegt Stockmann zu Recht am Herzen – er fordert sie für Evaluationen an mehreren Stellen im Buch.

Nicht ganz nachvollziehbar ist die in diesem Kapitel vorgenommene Definition von vier Leitfunktionen von Evaluation. Die „Vierteilung“ findet sich bereits in dem von Stockmann herausgegebenen Sammelband aus 2000 (Stockmann 2000a), in der aktuellen Version wurde lediglich die Funktion „Dialog/Lernen“ durch „Entwicklung“ ersetzt. Während „Erkenntnis“, „Entwicklung“ und „Kontrolle“ (z.T. mit anderen Begriffen, aber inhaltlich durchaus in gleicher Weise) von vielen Evaluationsforscher/innen als die drei grundlegenden Zwecke von Evaluation beschrieben werden (vgl. z.B. aus der deutschsprachigen Evaluationsforschung Kromrey 2001, 113ff. oder Kromrey 2004a, 235f.; aus der US-amerikanischen Evaluationsforschung Patton 1997, 64-80 [6]), findet sich die vierte Funktion, die Legimitation, sonst nicht. Sie ist auch m.E. nicht glücklich gewählt. Einerseits ist sie schwer abzugrenzen von der Kontrollfunktion und bleibt daher recht unbestimmt. Das erkennt man auch an den Versuchen von Stockmann, in weiterer Folge Evaluationsforscher/innen, Evaluationsansätze und Politikfelder den vier Leitfunktionen zuzuordnen: Die „Legitimationsecke“ des Karrees bleibt dabei vergleichsweise leer (vgl. Kapitel 3). Andererseits ist das Wort „Legitimation“ nicht wirklich gut geeignet, den Anspruch der Rechenschaftslegung auszudrücken. Während Rechenschaftslegung bedeutet, dass man sich vor anderen verantwortet, deren Urteil letztlich maßgeblich ist, hat Legimitation stark die Konnotation einer Absicherung, wahlweise ex-ante oder ex-post: Man lässt sich entweder von vornherein (von wem auch immer) mit den entsprechenden Befugnissen ausstatten (und ist dann auch nicht mehr rechenschaftspflichtig) oder nutzt nach bereits erfolgter Entscheidung bestimmte Verfahren (wie z.B. Evaluationen), um diese zu rechtfertigen. Ersteres ist ein monarchisches Prinzip, Zweiteres würde in den Nutzungsdefinitionen anderer Evaluationsforscher/innen, von denen Stockmann selbst weiter hinten einige anführt (S. 180), als „symbolische Nutzung“ („subterfuge“, „window dressing“ s. Weiss 1998, S. 22, zur „Legitimationsevaluation“ siehe auch Stamm 2003, 176) oder „Missbrauch“ (vgl. z.B. Patton 2008, 24f.) bezeichnet werden.

Diskussion 6: Forschungsparadigma

Die Fragestellung „Wie wird evaluiert?“ beantwortet Stockmann v.a. im Rahmen des positivistischen, deduktiv nomothetischen Forschungs- und Erkenntnisparadigmas. Die dem konstruktivistischen Forschungsparadigma zugrunde liegenden Annahmen werden in einem Absatz kurz umrissen. Stockmann weist darauf hin, dass „der ‚kalte Krieg der Paradigmen‘ nicht mehr mit harten Bandagen ausgetragen wird und in den letzten Jahren die Gemeinsamkeiten mehr betont werden als die Unterschiede“, um dann zu schließen, dass „die beiden Richtungen dennoch nicht miteinander vereinbar“ sind (S. 84).

Mag der Paradigmenstreit in Deutschland auch eingeschlafen sein oder einem Pragmatismus Platz gemacht haben, auch qualitative Ansätze (und meist spitzt es sich ja auf eine Methodenfrage zu) in einem „Methodenmix“ zuzulassen: in der US-amerikanischen Evaluationsforschung tobt die Auseinandersetzung als „Kausalkriege“ („raging causal wars“ Scriven 2008a, 11; vgl. auch Donaldson et al. 2008) weiter, entzündet an der Frage der experimentellen Designs (randomized controlled trials – RCTs), die das Institute of Education Sciences des U.S. Department of Education 2003 zum goldenen und alleinigen Standard für die Herstellung von Kausalzusammenhängen erhoben hat.

Stockmann bezieht in dieser Frage vorerst nicht explizit Stellung, lässt aber insgesamt erkennen, dass er ein positivistisches Forschungsverständnis bevorzugt: Andere Ansätze werden in einer Art und Weise dargestellt, die sie weniger der Wissenschaftlichkeit verpflichtet erscheinen lassen als die deduktiv-nomothetische Herangehensweise. Als Kritik an letzterer formuliert er einerseits die methodischen Probleme, die sich aus der Veränderung des Evaluationsgegenstands über die Zeit hinweg ergeben, andererseits die Definitionen von „Beteiligten sowie zentralen Umweltfaktoren“ als „‚Störvariablen‘“ (S. 87). Das inhärente Problem einer zu starken Vereinfachung und Reduktion der Forschungsfragen, die den Evaluationsgegenständen nicht gerecht wird und die externe Validität stark einschränkt, erkennt er zwar, bietet aber auch keinen konkreten Lösungsansatz: „Während die Grundlagenforschung mit Zielen wie Theorietest und -entwicklung das Komplexitätsproblem durch konsequente Vereinfachung der Untersuchungssituation zu lösen versucht – bis hin zur Konstruktion völlig realitätsferner Laborsituationen – um den Einfluss einzelner Wirkungsfaktoren zu isolieren, verbietet sich ein solches Vorgehen im Rahmen der anwendungsorientierten Forschung weitgehend.“ Als Antwort auf dieses Problem postuliert Stockmann unter Verweis auf Kromrey (2003, 97), dass eine „angemessene Beschreibung und Diagnose“ von „komplexe[n] Realitäten“ „immer auch nur komplex ausfallen“ kann. Wie die „angemessene Komplexität“ des Untersuchungsdesigns methodisch und praktisch (unter zeitlichen, personellen und finanziellen Restriktionen) zu bewerkstelligen ist, bleibt jedoch offen, auch das Kapitel 5 (Informationssammlung und -bewertung) gibt darauf keine Antworten.

Auch an anderer Stelle stellt Stockmann eine Kluft zwischen Ansprüchen und Wirklichkeit fest, ohne jedoch Anhaltspunkte zu liefern, wie diese geschlossen werden könnte: „Inwieweit wissenschaftlich-methodische Ansprüche hinsichtlich einer möglichst objektiven Erkenntnisgewinnung zugunsten der Generierung praktischen Handlungswissens reduziert werden dürfen, ist eine umstrittene Frage und kann nicht allgemeingültig sondern nur fallbezogen beantwortet werden. Klar ist jedoch, dass in der Praxis sehr häufig auf aus sozialwissenschaftlicher Sicht suboptimale Lösungen zurückgegriffen wird“. (S. 59)

Mit diesem positivistischen Verständnis von Forschung einher geht die wiederholte Forderung nach einer „wertfreien“ Evaluation (s. auch oben). Was „wertfrei“ genau bedeutet, wird nicht expliziert, ist aber im Zusammenhang mit der weiter oben postulierten Ausklammerung von Wertedefinitionen im Evaluationsprozess zu sehen. Dabei lässt Stockmann außer Acht, dass Menschen als soziale Wesen – und damit auch Wissenschaftler/innen und Evaluator/innen – per se nicht wertfrei denken und handeln können, die Forderung läuft daher ins Leere. Wer sich dieser Tatsache nicht bewusst ist oder sie absichtlich ignoriert, läuft Gefahr, die eigenen impliziten oder expliziten Werthaltungen für wahrer und richtiger als die anderer oder gar für allgemeingültig zu halten und persönliche Einstellungen dem gesamten Forschungs-/Evaluationsprozess unreflektiert zu Grunde zu legen. Auf die zusätzliche Schwierigkeit, unter den expliziten Werten die impliziten, handlungsleitenden Werthaltungen von Menschen (Beforschte wie Forscher/innen) zu eruieren, gehen einem qualitativen, konstruktivistischen Ansatz verpflichtete Forscher/innen wie Bohnsack ein (vgl. z.B. Bohnsack 2006, S.142 ff.). Die Wertediskussion in der Evaluation ist daher alles andere als trivial. In dieser Frage würde man sich von Stockmann eine differenziertere Betrachtungsweise wünschen.

Diskussion 7: Ein neuer Evaluationsansatz?

Das Kapitel schließt mit der Beschreibung des „CEval-Evaluationsansatzes nach Stockmann“, der, so Stockmann „auf der Basis der verschiedener theoretischer Ansätze umfassende (programm-)theoriegeleitete Evaluationen in prinzipiell allen Politikfeldern und Programmphasen ermöglicht“ (Stockmann & Meyer 2010, S. 11). Der Evaluationsansatz orientiert sich wie in der Evaluationspraxis üblich an einem Lebenszyklusmodell des zu untersuchenden Programms. (Eine wissenschaftliche Fundierung in der – nicht weiter belegten – „Lebensverlaufsforschung“ wirkt vor diesem Hintergrund etwas befremdlich, handelt es sich dabei doch um ein Modell, das seit vielen Jahrzehnten in der Abwicklung von Projekten verwendet wird und bereits so etwas wie verfahrenstechnisches Allgemeinwissen darstellt). Ob das dargestellte Vorgehensmodell tatsächlich als neuer, eigenständiger „Evaluationsansatz“ bezeichnet werden kann, ist fraglich, stellt es doch im Wesentlichen ein systematisches, stark an das CIPP-Modell angelehntes, mit einigen Details zu den einzelnen Elementen angereichertes allgemeines Schema dar, das Programmablauf und Evaluation verbindet. Als Folie und Leitfaden für eigene Evaluation erscheint es grundsätzlich gut geeignet, es ist ein Beispiel für das, was mittlerweile gute Praxis in der Evaluation ausmacht. Das Herausstreichen der Bedeutung organisationaler Komponenten sowie der Diffusion (andere Autor/innen machen hier eine nützliche Unterscheidung zwischen der intendierten „Dissemination“ und der nicht bewusst herbeigeführten „Diffusion“, vgl. z.B. Stamm 2003, 39, die sich auf umfangreiche Forschungsliteratur stützt) bereichert das Modell. Unklar bleibt jedoch, warum interne Wirkungsfelder innerhalb der durchführenden Organisation als eigenes Strukturelement in das Modell eingeführt werden: Zielakzeptanz, Personal und dessen Qualifikation, Strukturen, Infrastruktur und Ressourcen der mit der Programmumsetzung betrauten Organisation sind doch zuerst einmal als Inputs zu fassen, d.h. sie beeinflussen die Qualität der Durchführung und der Ergebnisse eines Programms. Die Erfassung von Verbesserungen in der durchführenden Organisation kann als zusätzliche Dimension im Rahmen einer umfassenden Wirkungsfeststellung erfolgen. Für gewöhnlich zielen Programme – und damit auch Evaluationen – jedoch vornehmlich auf die Wirkungen bei den Zielgruppen ab, Veränderungen in der durchführenden Institutionen sind dabei nur in Hinblick auf eine Verbesserung der Durchführungsqualität von Belang. Dieses Wirkungsfeld als fixes Strukturelement eines einen Anspruch auf Allgemeingültigkeit erhebenden Evaluationsansatzes (s.o.) zu definieren, erscheint daher nicht zweckmäßig. Auch sind Unschärfen in der Darstellung festzustellen, wenn der Begriff Nachhaltigkeit einerseits im Sinne der „nachhaltigen Entwicklung“ (sustainable development) verwendet wird, andererseits ein paar Absätze weiter ohne begriffliche Abgrenzung generell im Sinne eines Weiterwirkens von Programmen über das Programmende hinaus.

Diskussion 8: Evaluationsansätze und ihre theoretischen Grundlagen

Im dritten Kapitel unternehmen Meyer und Stockmann den ambitionierten Versuch, verschiedene Systematisierungsversuche von Evaluationsansätzen zu beschreiben und zu revidieren. Sie stützen sich dabei auf Literatur US-amerikanischer Herkunft. Behandelt werden

das „Generationenmodell“ von Guba und Lincoln (1989), in dem eine chronologische Abfolge von vier Evaluationsgenerationen beschrieben wird (und das auch in der deutschsprachigen Evaluationsliteratur bereits rezipiert wurde z.B. durch Stamm 2003, 89 ff., die damit die Nutzungsdiskussion in der Evaluation sehr gut herausarbeitet),
das „Baummodell“ nach Alkin und Christie (2004; Rezeption z.B. durch Balzer 2005, 23ff. der es für eine Beschreibung von Evaluationstheorien, -ansätzen und -modellen nutzt und insgesamt einen sehr umfassenden Überblick über verschiedene Klassifikationsversuche gibt), in dem die Evaluationsansätze als Äste eines Baumes, der in Rechenschaftslegung und Kontrolle (Accountability & Control) sowie Sozialforschung (Social Inquiry) wurzelt, dargestellt werden, sowie
ein „Nutzungsmodell“ basierend auf der Systematisierung von Fitzpatrick, Sanders und Worthen (2004), das sich an der Art der Nutzung von Evaluationen orientiert.

Ziel ist es, Vorgehensweisen und „Gemeinsamkeiten, aber auch gravierende Unterschiede“ in der theoretischen Fundierung von Vorgehensweisen sowie die verschiedenen „Entwicklungsrichtungen“ (S. 101) darzustellen, um den eigenen Ansatz verorten zu können. Stockmann und Meyer beschreiben die Klassifikationsversuche kurz und arbeiten dann Schwächen in der Klassifikation selbst, aber auch in der Zuordnung der einzelnen Ansätze bzw. deren Proponent/innen zu den Kategorien heraus. Auch beurteilen Sie die Nützlichkeit der Klassifikationen als Raster zur Verortung und Erklärung von Ansätzen. Dabei sind Trennschärfe, Klarheit und Widerspruchsfreiheit des Modells und die nachvollziehbare Zuordnung einzelner Ansätze wichtige Kriterien. Erwartungsgemäß stellt sich heraus, dass keine der drei Klassifikationen allumfassende und überschneidungsfreie Kategorien anbietet, die den Kategorien zugrundeliegenden Konzepte jedoch die verschiedenen Dimensionen und Aspekte von Evaluationen herausstreichen.

Eine Einordnung des eigenen Ansatzes erfolgt – anders als einleitend in Aussicht gestellt – nicht, stattdessen wird eine „Systematik nach Stockmann und Meyer: Das Funktionsmodell“ vorgestellt, die auf den vier in Kapitel 2 vorgestellten Leitfunktionen von Evaluation basiert. Abgesehen von der fragwürdigen Formulierung der Leitfunktion „Legitimität“ (s.o.), stellt dieses Modell einen nützlichen Raster sowohl für einen evaluationsforscherischen Vergleich der verschiedenen Evaluationsansätze als auch für die Anwendung in der Praxis dar, da – wie Stockmann und Meyer treffend darlegen – die „Themenstellungen“ (noch besser wäre es hier gleich von „Zwecken“ zu sprechen) verschiedene Herangehensweisen nahelegen, die sich dann in unterschiedlichen Evaluationskonzepten niederschlagen“ (S. 144). Eine eindeutige Abgrenzung der vier Kategorien sehen sie in ihrem Modell, das sie graphisch zweidimensional aufspannen, nicht als erforderlich, das Gleiche gilt m.E. auch für die andern genannten Verortungssysteme.

Bleibt die Frage nach dem Nutzen des Kapitels für Leser/innen, die einen ersten ergiebigen Eindruck von Evaluation bekommen möchten. Zweck, Rolle, Geschichte und Definition von Evaluation wurden ja bereits in den vorhergehenden Kapiteln behandelt; die doch eher allgemeine und z.T. recht verkürzte abstrakte „technische“ Beschreibung erlaubt es nicht, die einzelnen Evaluationsansätze wirklich kennen zu lernen, was auch nicht explizit Ziel der Darstellung ist. Stockmann und Meyer räumen ein, dass sie die Informationen zu den einzelnen Forscher/innen nicht aktualisiert haben. Auch fehlt der Modellansatz von Stufflebeam, der zwischen 22 bzw. 26 verschiedenen Evaluationsmodellen differenziert (Stufflebeam 2001 bzw. Stufflebeam & Shinkfield 2007; Beywl greift diese Kategorisierung z.B. in Beywl 2006 auf, s. auch Beywl et al. 2004).

Welchen Nutzen können Leser/innen aus diesem Kapitel ziehen? Vorrangig vertieft die Diskussion der Kategoriensystem das Bewusstsein für verschiedene Herangehensweisen an und Aspekte von Evaluation sowie deren Funktionen. Die Nennung verschiedener Ansätze sowie deren Proponent/innen regt darüber hinaus vielleicht auch an, die eine Autorin oder den anderen Autor zu lesen. Darüber hinaus stellt sich aber die Frage, ob derartige eher abrissartige „akademische“ Darstellungen in Einführungen am Platz sind, da ohne eine genaue Kenntnis der einzelnen Autor/innen der Mehrwert für Evaluationsneulinge vermutlich beschränkt bleibt.

Diskussion 9: Konsistenz, Terminologie und Sprache

Nicht ideal für eine Einführung sind gewisse Widersprüchlichkeiten und Inkonsistenzen zwischen den verschiedenen Kapiteln, die v.a. bei Evaluationsnoviz/innen zu Verwirrung führen können. Dies betrifft z.B. die nicht durchgängige Art der Definition von Evaluationszwecken (einmal werden drei genannt, dann wird mit vieren gearbeitet) oder auch die unterschiedlichen Positionen zur Einbeziehung von Personen aus der Praxis in die Datenerhebung, die von Stockmann strikt abgelehnt wird (s.o.), von Meyer in Kapitel 5 im Rahmen der Beschreibung des „Real-World„-Ansatzes (Stockmann & Meyer 2010, S. 203) als mögliche Verfahrensweise durchaus empfohlen wird. Auch schwankt die Darstellung in den Kapiteln eins bis vier immer wieder zwischen verschiedenen wichtigen Perspektiven, ohne dass Übergänge erklärt und thematisiert werden, was zu Unschärfen führt: Es handelt sich dabei um Betrachtungsweisen aus der Perspektive des Programms – das „Programm“ als Gegenstand von Evaluation wird dem englischen Begriff der Programmevaluation folgend ja auch in Kapitel 2 näher betrachtet –, der Politik bzw. des Politikfelds im Sinne übergeordneter politischer Strategien und Maßnahmen/bündel, der Öffentlichkeit (z.T. als Gegenspielerin der Politik) sowie der Organisation.

Weiters könnte die Genauigkeit in der Verwendung von Termini v.a. mit Hinblick auf die Zielgruppe des Bandes noch verbessert werden. Auch wenn die Praxis, verschiedene gängige Begriffe des Feldes auch in wissenschaftlichen Publikation synonym zu verwenden, als sinnvoll gelten kann, um für die Leser/innen eine möglichst hohe Anschlussfähigkeit zu gewährleisten (und stilistisch ständigen Wortwiederholungen zu entkommen), wären im Sinne einer präzisen und für alle klar verständlichen Darstellung ein paar erklärende Worte zur Verwendung von Begrifflichkeiten in der Einleitung hilfreich. Auch die möglichst unmissverständliche Definition von Termini ist m.E. ein wichtiges Element der Professionalisierung (vgl. z.B. die Bemühung von Univation in diesem Bereich: siehe Beywl & Niestroj 2009), gerade in einer Profession wie der Evaluation, in der verschiedene Disziplinen mit ihren jeweiligem Sprachgebrauch einfließen. Stockmann stellt begriffliche Definitionsversuche in der Einleitung in Aussicht, wenn er von einer „erneut[en]“, „sauberen Abgrenzung“ (Stockmann & Meyer 2009, S. 9) des Begriffes Evaluation spricht, dieses Vorhaben wird jedoch in Bezug auf die Terminologie in weiterer Folge nicht umgesetzt.

Sprache und Stil sind abgesehen von den begrifflichen Unschärfen klar, der Band ist auch für Noviz/innen und Praktiker/innen mit anderen Ursprungsdisziplinen gut lesbar; die Argumentationslinien sind meist durchgängig und gut nachzuvollziehen. Leider verzichten die Autoren auf jeglichen Versuch eines geschlechtergerechten Sprachgebrauchs, was die von Stockmann immer wieder postulierte hohe Bedeutung der Evaluation für die Modernisierung und Weiterentwicklung demokratischer Gesellschaften konterkariert. Immerhin sind 43% der individuellen Mitgliedern der DeGEval – Gesellschaft für Evaluation Frauen, es handelt sich also nicht um einen männlich dominierten Tätigkeitsbereich. Auch wenn sich in vielen wissenschaftlichen Disziplinen der geschlechtergerechte Sprachgebrauch erst langsam durchsetzt, war gerade die Evaluation – im Bewusstsein, wie sehr Sprache Denken und Handeln beeinflusst – in diesem Bereich traditionell Vorreiterin: „The evaluation language we choose and use, consciously or unconsciously, necessarily and inherently shapes perceptions, defines [reality] and affects mutual understanding“ (Patton 2000n, S. 15). Autor/innen können hier auf viele verschiedene und z.T. sehr kreative und innovative Beispiele zurückgreifen können, um Texte auf elegante und stilsichere Weise auch sprachlich an die inhaltlichen und gesellschaftlichen Ansprüche der Evaluation anzupassen.

Fazit

Die Einführung in die Evaluation von Stockmann und Meyer (2010) vermittelt Studierenden und Praktiker/innen ein grundlegendes Verständnis von Evaluation als wissenschaftsbasierter, empirischer Disziplin, deren zentrale Aufgabe – im Gegensatz zur Grundlagenforschung und anderen Formen der angewandten Forschung – in der Bewertung des Untersuchungsgegenstands besteht. Es wird die Bedeutung von Evaluation im Rahmen einer evidenzbasierten Politik gut herausgearbeitet und eine Systematik von vier Evaluationszwecken dargestellt, wobei die ersten drei Funktionen von Evaluation – Erkenntnis, Entwicklung und Kontrolle –, sich in ähnlicher Weise auch bei anderen namhaften Evaluationsforscher/innen finden. „Legitimation“ als vierter Evaluationszweck erscheint jedoch unglücklich gewählt, da er einerseits in der Bedeutung von „Rechenschaftslegung“ vom Begriff der „Kontrolle“ nicht trennscharf unterschieden werden kann, andererseits die sprachliche Konnotation einer symbolischen und missbräuchlichen Verwendung von Evaluation mitschwingt.

Die Autoren zeigen weiters in einem knappen Abriss die geschichtliche Entwicklung der Evaluation auf und geben einen Einblick in verschiedene Ansätze und Modelle v.a. aus der US-amerikanischen Evaluationsforschung, die jedoch insgesamt etwas abstrakt bleiben und in der inhaltlichen und sprachlichen Klarheit und Einprägsamkeit nicht an die Kapitel heranreichen, in denen die Autoren ihren eigenen Ansatz vertreten. Inhaltlich kann die mehrfache Erwähnung von Ansätzen, die von einem konstruktivistischen Wissenschaftsverständnis ausgehen und/oder zugrundeliegende Werte thematisieren, nicht darüber hinwegtäuschen, dass in diesem Einführungsband die Lanze für ein gemäßigt positivistisches, durch partizipative und qualitative Elemente angereichertes, „rational-wertfreies“ Vorgehen gebrochen wird. Damit verbunden ist eine Definition der „Wissenschaftlichkeit“ von Evaluation, die nur hauptberufliche Evaluator/innen mit einer nicht näher spezifizierten, jedenfalls aber stark sozialwissenschaftlich ausgerichteten, umfassenden und einschlägigen Ausbildung zulässt und damit etablierte Formen der Evaluation wie die Selbstevaluation per definitionem ausschließt. Der gegenständliche Band bezieht sich daher nur auf einen Ausschnitt der möglichen Formen und Varianten von Evaluation, die Autoren stellen dies jedoch nicht als Beschränkung dar, sondern als legitime und allgemeingültige Ausgrenzung von Evaluationspraktiken, die sich mit ihrem Verständnis von Evaluation nicht vereinen lassen.

Aufgrund dieser Einschränkung kann der Band von Stockmann und Meyer tatsächlich nur als erste Einführung empfohlen werden, die durch die Lektüre von Artikeln und Einführungsbänden von Evaluationsforscher/innen ergänzt werden sollte, die andere Ansätze vertreten, um ein umfassendes Bild der Vielfältigkeit der Disziplin zu erhalten. Auch fehlt in diesem Einführungsband – im Gegensatz zu dem bereits erwähnten, mehrfach aufgelegten Sammelband von Stockmann „Grundlagen der Evaluationsforschung“ (2000/2004/2006a) die Breite an Zugängen zu Evaluation aus den verschiedenen Disziplinen und Feldern, in denen Evaluation angewandt wird.

Für Evaluationsneulinge nützlich sind die zwei praxisorientierten Kapitel zum Evaluationsprozess sowie zu möglichen Designs und Methoden. Diese Einführung wird jedoch in praktischen Handreichungen zur Evaluation meist noch in umfassenderer Weise gegeben. So stellen die beiden Kapitel ja tatsächlich Kurzfassungen von Kapiteln aus dem „Handbuch zur Evaluation“ (Stockmann 2007) dar. Wer es genauer wissen will, sei daher auf dieses oder andere ähnliche Werke verwiesen. Insgesamt ist der Zusatznutzen des aktuellen Einführungsbandes für alle, die die früheren Werke der Autoren – insbesondere die „Grundlagen der Evaluationsforschung“ (2000/2004/2006a) und das „Handbuch“ (Stockmann 2007) – bereits kennen, gering, da er im Wesentlichen eine komprimierte und an manchen Stellen etwas aktualisierte Version der genannten Werke darstellt und nur Kapitel 3 und 6 neu hinzugekommen sind. Für Leser/innen ohne Vorkenntnisse, die sich einen ersten Einblick verschaffen wollen, kann der vorliegende Band – mit den oben genannten Einschränkungen – einen ersten umfassenden Einblick in die Evaluation geben.

Literatur

Alkin, Marvin C. & Christie, Christina A. (2004): An evaluation theory tree. In Alkin, Marvin C. (Hrsg.), Evaluation root: Tracing theorists‘ views and influences. Thousand Oaks: Sage, 12-66.
Balzer, Lars (2005). Wie werden Evaluationsprojekte erfolgreich? Ein integrierender theoretischer Ansatz und eine empirische Studie zum Evaluationsprozess. Landau: Verlag Empirische Pädagogik.
Beywl, Wolfgang; Speer, Sandra & Kehr, Jochen (2004). Wirkungsorientierte Evaluation im Rahmen der Armuts- und Reichtumsberichterstattung. Erstellt unter Mitarbeit von Susanne Mäder, Melanie Borgmann und Dagmar Schreier. Köln. Verfügbar unter: http://www.univation.org/download/Evaluation_der_Armuts-_und_Reichtumsberichterstattung.pdf [22.9.2010].
Beywl, Wolfgang (2006). Evaluationsmodelle und qualitative Methoden. In Flick, Uwe (Hrsg.), Qualitative Evaluationsforschung. Konzepte, Methoden, Umsetzungen. Reinbek bei Hamburg: Rowohlt, 92-116.
Beywl, Wolfgang, & Balzer, Lars (2008). Die Weichen richtig stellen. Weiterbildungsevaluation – zehn verbreitete Irrtümer und ihre Korrektur. In Weiterbildung – Zeitschrift für Grundlagen, Praxis und Trends 19(4), 8-11.
Beywl, Wolfgang & Niestroj, Melanie (2009). Das A-B-C der wirkungsorientierten Evaluation. Glossar Deutsch / Englisch der wirkungsorientierten Evaluation. 2., vollständig bearbeitete und ergänzte Auflage, Köln.
Bohnsack, Ralf (2006). Qualitative Evaluation und Handlungspraxis – Grundlagen dokumentarischer Evaluationsforschung. In Flick, Uwe (Hrsg.), Qualitative Evaluationsforschung. Konzepte, Methoden, Umsetzungen. Reinbek bei Hamburg: Rowohlt, 135-154.
Deutsche Gesellschaft für Evaluation (Hrsg.) (2004a/2008). Empfehlungen für die Aus- und Weiterbildung in der Evaluation. Anforderungsprofile an Evaluatorinnen und Evaluatoren. April 2004, Alfter. (DeGEval 2004a/2008)
Deutsche Gesellschaft für Evaluation (Hrsg.) (2004b). Standards für Evaluation. 3. Auflage Juni 2004, Alfter. (DeGEval 2004b)
Deutsche Gesellschaft für Evaluation (Hrsg.) (2004c). Empfehlungen zur Anwendung der Standards Evaluation im Handlungsfeld der Selbstevaluation. Dezember 2004, Alfter. (DeGEval 2004c)
Deutsche Gesellschaft für Evaluation (Hrsg.) (2007). Empfehlungen für Auftraggebende von Evaluationen. Eine Einstiegsbroschüre für den Bereich der Öffentlichen Verwaltung. (DeGEval 2007)
Donaldson, Stewart I.; Christie, Christina A. & Mark, Melvin M. (Hrsg.) (2008). What counts as credible evidence in applied research and evaluation practice? Thousand Oaks: Sage Publications.
Eval-Wiki: Glossar der Evaluation. Verfügbar unter: http://www.eval-wiki.org/glossar/Eval-Wiki:_Glossar_der_Evaluation [22.9.2010]
Fitzpatrick, Jody L.; Sanders, James R. & Worthen, Blaine R. (2004). Program evaluation. Alternative approaches and practical guidelines. Boston u.a.: Pearson.
Guba, Egon G. & Lincoln, Yvonna S. (1989). Fourth generation evaluation. Newbury Park; Sage Publications.
Hense, Jan U. & Mandl, Heinz (2009). Evaluations- und Selbstevaluationskompetenz von Lehrenden. In Olga Zlatkin-Troitschanskaia, Klaus Beck, Deltlef Sembill, Reinhold Nickolaus & Regina Mulder (Hrsg.), Lehrprofessionalität – Bedingungen, Genese, Wirkungen und Messung. Weinheim: Beltz, 129-140.
Kromrey, Helmut (2004a): Qualität und Evaluation im System Hochschule. In Stockmann, Reinhard (Hrsg.), Evaluationsforschung. Grundlagen und ausgewählte Forschungsfelder. 2. Auflage. Opladen: Leske + Budrich, 233-258.
Kromrey, Helmut (2004b): Evaluation oder Selbstevaluation? Dilemmata im peer-review-Konzept. In Merkens, Hans (Hrsg.), Evaluation in der Erziehungswissenschaft. Schriftenreihe der DGfE. Wiesbaden: Verlag für Sozialwissenschaften, 47-57.
Kromrey, Helmut (2003). Evaluation in Wissenschaft und Gesellschaft. In Zeitschrift für Evaluation, Jahrgang 2, Heft 1, 2003, 93-116.
Kromrey, Helmut (2001). Evaluation – ein vielschichtiges Konzept. Begriff und Methodik von Evaluierung und Evaluationsforschung. Empfehlungen für die Praxis. Sozialwissenschaften und Berufspraxis 24. Jahrgang, Heft 2, 105-131.
Patton, Michael Q. (1997). Utilization-Focused Evaluation. The New Century Text. 3rd edition, Thousand Oaks: Sage Publications.
Patton, Michael Q. (2000). Overview: language matters. New Directions for Evaluation, no.86, Summer 2000.
Patton, Michael Q. (2008): Utilization-Focused Evaluation. The New Century Text. 4th edition, Los Angeles: Sage Publications.
Schön, Donald A. (1983/2000). The Reflective Practitioner. How Professionals Think in Action. Aldershot: Ashgate Publishing Ltd.
Scriven, Michael (2008a): A Summative Evaluation of RCT Methodology & An Alternative Approach to Causal Research, In: Journal of MultiDiscinplinary Evaluation, Vol.5, No. 9, March 2008, 11-24.
Scriven, Michael (2008b): The Concept of a transdiscipline: and of evaluation as a transdiscipline. Journal of MultiDisciplinary Evaluation, Volume 5, Number 10, July 2008, 65-66.
Stamm, Margrit (2003). Evaluation und ihre Folgen für die Bildung. Eine unterschätzte pädagogische Herausforderung. Internationale Hochschulschriften 149. Münster: Waxmann.
Stockmann, Reinhard (Hrsg.) (2007). Handbuch zur Evaluation: Eine Praktische Handlungsanleitung. Sozialwissenschaftliche Evaluationsforschung Band 6. Münster: Waxmann.
Stockmann, Reinhard (Hrsg.) (2006b). Evaluation und Qualitätsentwicklung: Eine Grundlage für wirkungsorientiertes Qualitätsmanagement. Sozialwissenschaftliche Evaluationsforschung Band 5. Münster: Waxmann.
Stockmann, Reinhard (Hrsg.) (2006a). Evaluationsforschung. Grundlagen und ausgewählte Forschungsfelder. 3. Auflage. Sozialwissenschaftliche Evaluationsforschung Band 1. Münster: Waxmann.
Stockmann, Reinhard (Hrsg.) (2004). Evaluationsforschung. Grundlagen und ausgewählte Forschungsfelder. 2. Auflage. Opladen: Leske + Budrich.
Stockmann, Reinhard (Hrsg.) (2000). Evaluationsforschung. Grundlagen und ausgewählte Forschungsfelder. 1. Auflage. Opladen: Leske + Budrich.
Stufflebeam, Daniel L. & Shinkfield, Anthony J. (2007): Evaluation Theory, Models and Applications. San Francisco: Jossey-Bass.
Stufflebeam, Daniel L. (2001). Evaluation Models. In New Directions for Evaluation Number 89, Spring 2001.
Weiss, Carol H. (1998). Evaluation. Methods for Studying Programs and Policies. Upper Saddle River, NJ: Prentice Hall.

[1] Die dritte Auflage von „Evaluationsforschung“ aus dem Jahr 2006 (Stockmann 2006a) ist ebenfalls in dieser Schriftenreihe als Band 1 erschienen.

[2] Interessant zu beobachten ist die Entwicklung einer zunehmend exklusiven Haltung gegenüber alltagsweltlichen Deutungen des Begriffs „Evaluation“. Versucht Stockmann in dem ersten Band zur Evaluationsforschung aus dem Jahr 2000 (Stockmann 2000a) – ähnlich übrigens wie Kromrey in verschiedenen Veröffentlichungen aus dieser Zeit (vgl. Kromrey 2001, 105ff. und Kromrey 2004b, 47f.) – durch das Anknüpfen an ein alltägliches Verständnis von Evaluation diesen Begriff den Leser/innen näher zu bringen und erst danach eine Abgrenzung vorzunehmen, verwahrt er sich 2010 bereits von Anfang an scharf gegen Vereinnahmungen: „Der Begriff [Evaluation] wird nicht nur geradezu inflationär verwendet, sondern auch in vielen Kontexten, in denen er zumindest von seiner wissenschaftlichen Bedeutung her nichts zu suchen hat, denn nicht jede Form der Bewertung ist auch eine Evaluation“ (Stockmann & Meyer 2010, S. 9). Diese vehemente Abgrenzung gegen mögliche „Mogelpackungen“ (ebenda) zieht sich durch die ersten Kapiteln des Buches und ist aus meiner Sicht ein Indikator für den aktuellen Entwicklungsstand der Evaluation in Deutschland, wo nun nach einer Aufbruchsphase im Kontext der Ausbreitung von Evaluation Zugänge und Zugehörigkeiten zur Profession stärker thematisiert werden.

[3] Neue Foren einer sehr lebendigen, internationalen Auseinandersetzung mit wichtigen Themen der Profession wie die Diskussionsliste der American Evaluation Association „EVALTALK“ (http://bama.ua.edu/archives/evaltalk.html) fehlen. Letztere bietet einen unschätzbaren Fundus an wissenschaftlichen Hinweisen und praktischen Tipps und stellt ein wichtiges Medium der Professionalisierung dar, das in eine derartige Darstellung unbedingt Aufnahme finden sollte.

[4] Es fällt auf, dass die für die Professionalisierung ebenso bedeutsamen weiteren Empfehlungen und Standards der DeGEval bzw. deren Arbeitskreise wie z.B. die „Empfehlungen zur Anwendung der Standards im Handlungsfeld der Selbstevaluation“ (2004c), die „Empfehlungen für Aus- und Weiterbildung in der Evaluation. Anforderungsprofile für Evaluatorinnen und Evaluatoren“ (DeGEVal 2004a/2008) sowie die „Empfehlungen für Auftraggebende von Evaluationen. Eine Einstiegsbroschüre für den Bereich der Öffentlichen Verwaltung“ (DeGEval 2007) nicht erwähnt werden. Damit fehlen wichtige Hinweise für Noviz/innen, Praktiker/innen aus anderen Disziplinen (z.B. zur Einschätzung ihrer eigenen Kenntnisse und Fähigkeiten als Evalutor/innen oder zur Durchführung von Selbstevaluation) sowie in anderer Funktion an Evaluation Beteiligten (z.B. zur Beauftragung von Evaluationen).

[5] So differenzieren Beywl, Speer und Kehr (2004, S. 69ff.) zwischen Modellen, in denen Evaluator/innen Werthaltung der Stakeholder feststellen und verhandeln (werterelativistische Modelle), Werthaltungen einem „pragmatischen Prozess der methodisch vorbereiteten Prioritätensetzung zu[zu]führen“ (wertepriorisierende Modelle, Beywl et al. 2004, S. 71) oder selbst bestimmte Wertepositionen vertreten (wertepositionierte Modelle) (vgl. auch Beywl 2006, 94ff.).

[6] In der aktuellen Auflage der „Utilization-focused evaluation“ unterscheidet Patton sechs Evaluationszwecke (vgl. Patton 2008, 110-141).

Rezension von
Dr. Maria Gutknecht-Gmeiner
Website
Mailformular

Es gibt 2 Rezensionen von Maria Gutknecht-Gmeiner.

Lesen Sie weitere Rezensionen zum gleichen Titel: Rezension 4721

Besprochenes Werk kaufen
Sie fördern den Rezensionsdienst, wenn Sie diesen Titel – in Deutschland versandkostenfrei – über den socialnet Buchversand bestellen.

Zitiervorschlag
Maria Gutknecht-Gmeiner. Rezension vom 03.11.2010 zu: Reinhard Stockmann, Wolfgang Meyer: Evaluation. Eine Einführung. Verlag Barbara Budrich GmbH (Opladen, Berlin, Toronto) 2010. ISBN 978-3-8252-8337-7. Reihe: UTB - 8337. In: socialnet Rezensionen, ISSN 2190-9245, https://www.socialnet.de/rezensionen/9588.php, Datum des Zugriffs 12.09.2024.

Urheberrecht
Diese Rezension ist, wie alle anderen Inhalte bei socialnet, urheberrechtlich geschützt. Falls Sie Interesse an einer Nutzung haben, treffen Sie bitte vorher eine Vereinbarung mit uns. Gerne steht Ihnen die Redaktion der Rezensionen für weitere Fragen und Absprachen zur Verfügung.

socialnet Rezensionen durch Spenden unterstützen
Sie finden diese und andere Rezensionen für Ihre Arbeit hilfreich? Dann helfen Sie uns bitte mit einer Spende, die socialnet Rezensionen weiter auszubauen: Spenden Sie steuerlich absetzbar an unseren Partner Förderverein Fachinformation Sozialwesen e.V. mit dem Stichwort Rezensionen!

Zur Rezensionsübersicht