Ralf Bohnsack, Iris Nentwig-Gesemann (Hrsg.): Dokumentarische Evaluationsforschung
Rezensiert von Susanne Mäder, 24.06.2010
Ralf Bohnsack, Iris Nentwig-Gesemann (Hrsg.): Dokumentarische Evaluationsforschung. Theoretische Grundlagen und Beispiele aus der Praxis. Verlag Barbara Budrich GmbH (Opladen, Berlin, Toronto) 2010. 356 Seiten. ISBN 978-3-86649-292-9. D: 39,90 EUR, A: 37,10 EUR, CH: 61,00 sFr.
Thema
Die dokumentarische Evaluationsforschung wurzelt in der dokumentarischen Methode der Interpretation, wie sie in den 1920er Jahren von Karl Mannheim entworfen und in 1960er Jahren von der Ethnomethodologie, insbesondere von Harold Garfinkel, aufgegriffen worden ist. Sie wurde seitdem von Ralf Bohnsack und anderen Forschern/-innen weiterentwickelt. In der Evaluationsforschung erstmalig erprobt wurde die Dokumentarische Methode in einem Projekt zur Peer-Mediation in der Schule.
Herausgeberin und Herausgeber
Ralf Bohnsack, Diplom-Soziologe, ist Professor für qualitative Methoden an der Freien Universität Berlin und leitet den Arbeitbereich Qualitative Bildungsforschung am Fachbereich Erziehungswissenschaft und Psychologie. Er leitet das 2005 gegründete centrum für qualitative evaluations- und sozialforschung (ces).
Iris Nentwig-Gesemann, Diplom-Pädagogin, ist Professorin für Bildung im Kindesalter an der Alice-Salomon-Hochschule Berlin, Studiengang Erziehung und Bildung im Kindesalter. Sie ist Mitglied des ces und hat mehrere Evaluationsprojekte mit dem Ansatz der dokumentarischen Methode durchgeführt.
Aufbau
Die ersten beiden Artikel der Herausgeber führen in die methodologischen Grundlagen dokumentarischer Evaluationsforschung ein. Die nachfolgenden Beiträge beschreiben die Praxis dieses Ansatzes, wobei ausgewählte methodische und methodologische Prinzipien veranschaulicht und reflektiert werden. Der Aufbau des Buches repräsentiert, wie die Herausgeber selbst sagen, „das bisher erreichte Themenspektrum dokumentarischer Evaluationsforschung“ (S. 14). Dies umfasst im Wesentlichen drei Felder: Unterrichtsentwicklung und Professionalität in Schule und Vorschule (4 Artikel), Jugendarbeit, Jugendförderung und Jugendschutz (3 Artikel) sowie Organisations-, Betriebs- und Personalentwicklung (6 Artikel).
Inhalt
Nach Ralf Bohnsack konfrontiert uns die Evaluationsforschung mit grundlagentheoretischen Herausforderungen: einer notwendigen Klärung des Praxis-Begriffs, dem Problem der Standortgebundenheit der sozialwissenschaftlichen Analyse und einer erforderlichen weiteren Präzisierung des Wertebegriffs.
Hierfür betrachtet er insbesondere die Arbeiten des amerikanischen Evaluationsforschers Thomas A. Schwandt in theoretisch-epistemologischer Hinsicht und den Evaluationsansatz von Robert E. Stake in evaluationspraktischer Hinsicht als wegweisend. Beide Ansätze seien mit den Prämissen der praxeologischen Wissenssoziologie und der dokumentarischen Methode vereinbar.
In Anlehnung an Schwandt kritisiert Bohnsack, dass sich Evaluation derzeit darauf beschränkt, das theoretische Welt-Erkennen, also die Theorien der Akteure über ihre Praxis zu erheben, nicht die Praxis des Handelns selbst. Als Zugang zum „praktisch-moralischen Wissen“ (S. 29) stellt er den Forschungsansatz der dokumentarischen Methode vor. Mittels dieses Verfahrens sei das implizite Handlungswissen der Akteure herauszuarbeiten, das durch die Akteure selbst nicht expliziert werden kann. Auch könnten damit die Werthaltungen der beteiligten Akteure rekonstruiert werden.
Seiner Meinung nach verbleibt die amerikanische qualitative Evaluationsforschung, die dem interpretativen Paradigma verpflichtet ist, auf der Ebene von Common-Sense-Theorien. In Abgrenzung zu dieser relativistischen Perspektive, die die Konstruktionen der Akteure nebeneinander stelle, postuliert er die Notwendigkeit einer „relationistischen“ (S. 39) Perspektive. Hierbei werden die Common Sense-Theorien der Akteure in Relation zu ihrer Handlungspraxis gesetzt.
Iris Nentwig-Gesemann fokussiert in dem zweiten grundlagenorientierten Einführungsartikel zwei Aspekte: die methodische Anpassung des Gruppendiskussionsverfahrens an den Evaluationskontext sowie Perspektiven für die Sicherung der Qualität von Evaluationsforschung.
Sie führt aus, dass Gruppendiskussionen in der dokumentarischen Evaluationsforschung aus einem selbstläufigen und einem evaluativen Teil bestehen. Während mittels der narrativen Passagen das „implizite, atheoretische, handlungspraktische oder konjunktive Wissen“ (S. 65) erhoben wird, sollen die bewertenden Aussagen das „reflexive, theoretische oder auch kommunikative Wissen“ (S. 65) zugänglich machen. Zentrales Ziel ist die Gegenüberstellung beider Wissensebenen.
Im Anschluss erläutert Nentwig-Gesemann, wie die so gewonnenen Ergebnisse den intendierten Nutzenden in „moderierten Feedbackgesprächen“ (S. 69) vermittelt werden und was Inhalt und Potenziale solcher Gespräche sind. Bei den Feedbackgesprächen geht es zum einen insb. darum, die beteiligten Stakeholdergruppen mit dem kommunikativen Wissen sowie dem explizierten handlungspraktischen Wissen der jeweils anderen Akteursgruppen zu konfrontieren. Zum anderen wird ein Bewertungsprozess moderiert, in dessen Verlauf die Bewertungen der Evaluierenden, die aus einem Vergleich der Ergebnisse mit den Programmzielen resultieren, vorgestellt werden. Die Akteure werden aufgefordert, sich an der Bewertung zu beteiligen.
Der letzte Abschnitt widmet sich den Schnittstellen zwischen dokumentarischer Evaluations- und rekonstruktiver Qualitätsforschung. Nentwig-Gesemann tritt für einen Perspektivenwechsel in der Qualitätsdebatte, insb. im Feld der Sozialen Arbeit und Pädagogik ein. Anstatt zu fragen: „Leistet Pädagogik, was sie verspricht?“ solle die Frage lauten: „Wie bewirkt Pädagogik, was sie leistet?“ (S. 71). Im Vordergrund einer so verstandenen Qualitätsforschung solle vorrangig untersucht werden, wie Qualität praktiziert und von den Akteuren hergestellt wird. Vorab festgelegten Bewertungskriterien wird eine Absage erteilt, vielmehr wird Qualität als „performatives, kontextrelatives, dynamisches und perspektivisches Konstrukt“ (S. 72) betrachtet, das die Akteure untereinander immer wieder aushandeln müssen.
Der erste Praxisbeitrag im Abschnitt Unterrichtsentwicklung und Professionalität in Schule und Vorschule von Sven Brademann, Sylke Fritzsche, Kathrin Hirschmann und Nicolle Pfaff stellt dar, wie Konflikte zwischen beteiligten Akteuren in der Untersuchung aufgegriffen werden können. Am empirischen Material von zwei Gruppendiskussionen wird die Rekonstruktion unterschiedlicher Weiterbildungskulturen von Lehrenden in pädagogischen Einrichtungen veranschaulicht.
Ein weiteres Beispiel für den Einsatz der dokumentarischen Evaluationsforschung in der Lehrerfortbildung liefert der Artikel von Barbara Asbrand und Claudia Bergmüller. Anhand von Fallvergleichen zwischen Schulen, die einen Unterrichtsentwicklungsprozess abgebrochen bzw. beendet haben, arbeiten die Autoren Gelingens- und Misslingensbedingungen für den Erfolg des Projekts heraus. Sie fokussieren dabei das Fortbildungs- und Kooperationsverständnis von Lehrkräften.
Christiane Lähnemann nutzt die dokumentarische Methode zur Selbstevaluation der Freiarbeit in Schulklassen. In ihrem Artikel beschreibt sie, wie es ihr mit diesem Forschungsansatz gelingt, die nötige Distanz zur eigenen Praxis zu finden und „das Material an sich sprechen zu lassen.“ (S. 119). So könnten die eigenen Vergleichshorizonte mittels der komparativen Analyse durch die empirisch gewonnenen Bezugspunkte ersetzt werden.
Der nächste Praxisbeitrag von Dorothea Emmerl erarbeitet Empfehlungen zur Verbesserung der Kooperation zwischen Elementar- und Primarbereich, die auf der Rekonstruktion der Orientierungen von regionalen Dorf- und Stadtgruppen basieren, die in Gruppendiskussionen erhoben und analysiert wurden. Die Befunde werden zu Qualitätskriterien kommunikativer Kooperationskompetenz verallgemeinert.
Der erste Beitrag von Arnd-Michael Nohl und Heike Radvan im Buchteil zu Jugendarbeit, Jugendförderung und Jugendschutz untersucht mittels der dokumentarischen Methode, wie Mitarbeiter/-innen pädagogischer Einrichtungen in ihrer Arbeit Antisemitismus wahrnehmen und wie sie damit umgehen. Die Interviews werden als Experteninterviews verstanden, ihre Gestaltung und Auswertung wird mit Bezug zu Meuser und Nagel theoretisch erläutert und anhand des Forschungsbeispiels exemplarisch veranschaulicht. Auf Formen der Typenbildung, die sich an die grundlegenden Auswertungsschritte der formulierenden und reflektierenden Interpretation anschließen, wird kurz eingegangen.
Ute B. Schröder befasst sich in ihrem Praxisbeitrag mit zwei für die dokumentarische Evaluationsforschung zentralen Prinzipien: der Triangulation und der Responsivität. Sie stellt am Beispiel einer Evaluationsstudie zu Schülerfirmen zwei Formen von Triangulation vor: die Between-Method-Triangulation, bei der Ergebnisse einer Fragebogenerhebung mit Ergebnissen aus Gruppendiskussionen und Interviews in Beziehung gesetzt werden, und die Perspektiven-Triangulation, die die Perspektiven der jugendlichen Mitarbeiter/-innen der Schülerfirmen mit denen der Schulfirmenbegleiter/-innen vergleicht. Im zweiten Teil des Artikels untersucht sie auf der Basis von dokumentarisch ausgewerteten Feedbackgesprächen die Vermittlung von Evaluationsergebnissen.
Über eine multimethodisch angelegte Untersuchung mit quantitativen und qualitativen Zugängen, die die Beurteilungsspielräume von Prüfern/-innen der Einrichtungen der Freiwilligen Sozialen Selbstkontrolle zum Gegenstand hat, berichten Alexander Geimer und Achim Hackenberg. Eine Gegenüberstellung der unterschiedlich verlaufenden Beurteilungsprozesse in den Gruppendiskussionen sensibilisiert für die Bedeutung der eigenen Standortgebundenheit bei der Bewertung von Multimediaangeboten.
Anja Mensching befasst sich in ihrem Beitrag mit der Evaluation innerhalb von Organisationen, hier der Polizei, als spezieller Evaluationsform. Sie verbindet das Organisationskulturkonzept mit den Prämissen der dokumentarischen Evaluationsforschung. Analysiert werden die praktizierten organisationalen Hierarchiebeziehungen innerhalb der Polizei, wobei das methodische Prinzip der komparativen Analyse ausführlicher vorgestellt wird.
Für die Berücksichtigung des Umgangs mit sozialer Differenz in der Sozialen Arbeit als „metatheoretische Kategorie“ (S. 253) in der qualitativen dokumentarischen Evaluationsforschung plädiert Sonja Kubisch in ihrem Artikel. Auf der Basis ihrer Forschung in Einrichtungen der freien Wohlfahrtspflege arbeitet sie unterschiedliche Formen der Konstruktion sozialer Differenz heraus. Ergänzend zu den primären Evaluationsfragestellungen sollten handlungsleitende Orientierungen, die den Umgang mit sozialer Differenz prägen, Gegenstand dokumentarischer Evaluationsforschung sein.
Cornelia Behnke stellt in ihrem Beitrag zwei dokumentarisch analysierte Betriebsfallstudien vor. Es handelt sich um eine Sekundäranalyse von empirischem Material, das aus einem Projekt des Bundesinstituts für Berufliche Bildung (BIBB) über den Beitrag von Beratern/-innen für die Erkennung von betrieblichem Qualifikationsbedarf stammt. Sie analysiert insbesondere die Interaktionsdynamik zwischen den Beratern/-innen und den betrieblichen Akteuren.
Der Aufsatz von Eva Breitenbach und Petra Korte beschreibt eine Evaluationsstudie zu einer Personalentwicklungsmaßnahme für Führungskräfte im Auftrag einer Bundesbehörde. Anhand von Einzelinterviews werden verschiedene Führungsstile ermittelt. Offen angesprochen werden Spannungsfelder, die sich aus der „Kommunikation impliziten Wissens durch externe EvaluatorInnen“ (S. 288) ergeben können.
Juliane Lamprecht erörtert in ihrem Beitrag, wie die Imagination als ein Instrument genutzt werden kann, um Akteuren die eigene Perspektivität zu vergegenwärtigen. Sie fokussiert die Möglichkeit, mittels Fragen die eigenen Orientierungsrahmen bewusst werden zu lassen und die Bildung neuer anzustoßen. Auf der Basis einer Schulleistungsstudie entwickelt sie Ansatzpunkte für eine Methodik der Moderation.
Über eine dokumentarisch angelegte Studie zu Reformprozessen in bundesdeutschen Krankenhäusern informiert der Artikel von Werner Vogt. Im Zentrum stehen ärztliche Entscheidungsprozesse vor dem Hintergrund einer veränderten Krankenhausorganisation und –finanzierung. Ausführlich wird die teilnehmende Beobachtung in ihrer Planung, Durchführung und Auswertung als Methode der dokumentarischen Evaluationsforschung vorgestellt.
Diskussion
Das Buch bietet eine ausführliche Einführung in Theorie und Praxis der dokumentarischen Evaluationsforschung, durch die Darstellung der theoretischen und methodologischen Grundlagen wie auch einer Vielzahl praktischer Erfahrungen. Die Auseinandersetzung mit amerikanischen Evaluationsmodellen wie der responsiven, nutzungsorientierten oder konstruktivistischen Evaluation ordnet den Ansatz ein.
Für die methodologische Weiterentwicklung der Evaluationsdisziplin liefern die Arbeiten spannende Ansatzpunkte: Hervorzuheben ist die Auswertung von Feedbackgesprächen mittels der dokumentarischen Methode. Diese Erforschung der Ergebnisvermittlung, insb. der Reaktionen der Beteiligten und Betroffenen, kann dazu beitragen, die Herausforderungen bei der Vermittlung von Evaluationsergebnissen besser zu verstehen und die Nutzung der Befunde zu intensivieren. Die „Methodik der Moderation“ wird als wichtige Entwicklungsaufgabe skizziert.
Interessant ist die Weiterentwicklung des Gruppendiskussionsverfahrens: Es werden Hinweise zur Gesprächsleitung und Konzeption des zweiten bewertenden Teils der Gruppendiskussion gegeben, der im Forschungskontext bislang von nachrangiger Bedeutung war.
Die Autoren/-innen sprechen an, dass der Zeitaufwand für die eingesetzten rekonstruktiven Verfahren sehr hoch ist und „mit den bescheidenen finanziellen Ressourcen, wie sie in aller Regel bei der Förderung von Evaluationsforschung als Auftragsforschung zur Verfügung stehen, nicht zu leisten ist.“ (S. 54) Hieraus ergibt sich die Notwendigkeit, Abkürzungsstrategien oder wie Bohnsack es formuliert, „ökonomisierende Verfahrensweisen“ (S. 54) zu entwickeln, die nicht zu Lasten der Qualität gehen. Es fällt auf, dass in den meisten Praxisbeiträgen solche Abkürzungsstrategien bislang nicht thematisiert werden. Nicht selten handelt es sich um Dissertationen oder DFG-geförderte Projekte, die anderen zeitlichen und finanziellen Rahmenbedingungen unterliegen als typischerweise Evaluationen.
Was das Buch nicht leistet, ist die Integration der methodischen Innovationen in ein Evaluationsmodell, welches auch Aufgaben wie Auftragsklärung, Beschreibung des Evaluationsgegenstandes, Aushandlung von Fragestellungen und Bewertungskriterien etc. behandelt. Der Ansatz ist mehr ein Forschungs-, denn ein Evaluationsansatz, wie auch die Bezeichnung Evaluationsforschung nahe legt. Im Vordergrund steht die Explikation impliziter Wissensbestände und weniger die Bereitstellung adressatenbezogener Informationen für die Nutzenden. Der Verdienst des Ansatzes liegt darin, eine elaborierte Methodik zur Offenlegung von impliziten Perspektiven und Werten bei Akteuren zu liefern. Er kann damit zur Schließung einer methodischen Lücke in vielen Evaluationen beitragen.
Fazit
Die Publikation stellt einen neuen methodischen Zugang für Evaluationen vor, samt seiner theoretischen und methodologischen Grundlagen sowie Erfahrungen aus Evaluationsprojekten. Die Potenziale der Ansatzes, die insbesondere im Bereich der Evaluation von sozialen Dienstleistungen liegen, überzeugen. Gleichzeitig kann das der dokumentarischen Evaluationsforschung zugehörige Prinzip, die eigene Evaluationspraxis zu rekonstruieren, bereichende Erkenntnisse für die Bearbeitung zentraler Evaluationsaufgaben wie die Rückmeldung von Ergebnissen und die Moderation von Bewertungsprozessen liefern. Der Offenheit bei den Erhebungsverfahren (Gruppendiskussionsverfahren, teilnehmende Beobachtung, Interviews etc.) steht bei den Auswertungsverfahren eine weitgehende Beschränkung auf die dokumentarische Methode der Interpretation gegenüber. Zum einen wird es sicher erforderlich sein, die Verfahrensschritte des Ansatzes weiter an den Kontext der Evaluation als Auftragsleistung anzupassen. Zum anderen wird es interessant sein zu sehen, inwieweit sich der Ansatz vor dem Hintergrund pluraler Evaluationsgegenstände und –zwecke sowie unterschiedlicher Informationsbedarfe von Auftraggebenden methodisch öffnet und weiterentwickelt.
Rezension von
Susanne Mäder
Website
Mailformular
Es gibt 1 Rezension von Susanne Mäder.
Zitiervorschlag
Susanne Mäder. Rezension vom 24.06.2010 zu:
Ralf Bohnsack, Iris Nentwig-Gesemann (Hrsg.): Dokumentarische Evaluationsforschung. Theoretische Grundlagen und Beispiele aus der Praxis. Verlag Barbara Budrich GmbH
(Opladen, Berlin, Toronto) 2010.
ISBN 978-3-86649-292-9.
In: socialnet Rezensionen, ISSN 2190-9245, https://www.socialnet.de/rezensionen/9412.php, Datum des Zugriffs 07.12.2024.
Urheberrecht
Diese Rezension ist, wie alle anderen Inhalte bei socialnet, urheberrechtlich geschützt.
Falls Sie Interesse an einer Nutzung haben, treffen Sie bitte vorher eine Vereinbarung mit uns.
Gerne steht Ihnen die Redaktion der Rezensionen
für weitere Fragen und Absprachen zur Verfügung.