Carsten Quesel, Vera Husfeldt et al. (Hrsg.): Wirkungen und Wirksamkeit der externen Schulevaluation

Rezensiert von Dr. Lars Balzer, 24.10.2011

Carsten Quesel, Vera Husfeldt, Norbert Landwehr, Peter Steiner (Hrsg.): Wirkungen und Wirksamkeit der externen Schulevaluation. hep-verlag (Bern) 2011. 208 Seiten. ISBN 978-3-03905-723-8. 23,00 EUR.

Weitere Informationen bei DNB KVK GVK.

Kaufen beim socialnet Buchversand

Thema

Kaum ein Begriff im Bereich der Evaluation ist so schillernd und gleichzeitig mit so vielen Missverständnissen belegt wie der Begriff „Wirkung“. Man liest vieles, doch zu selten stößt man an den wissenschaftlichen Kern der Wirkungsproblematik: Wie lässt sich Wirkung mehrperspektivisch definieren? Welche theoretischen Wirkungsmodelle liegen solchen Definitionen zu Grunde? Wie kann man Wirkung empirisch prüfen und nachweisen?

Der vorliegende Band stellt sich dieser Problematik theoretisch und empirisch und hat u.a. zum Ziel, „Bausteine für die Entwicklung eines tauglichen Wirkungsmodells zur externen Schulevaluation zu liefern“ (S.10).

Herausgeber und Entstehungshintergrund

Unter der Herausgeberschaft der vier ProfessorInnen Carsten Quesel, Vera Husfeldt, Norbert Landwehr und Peter Steiner stellen verschiedene Autorinnen und Autoren ihre Beiträge vor, die 2010 auf einer Tagung der Arbeitsgemeinschaft Externe Evaluation von Schulen (ARGEV), der Pädagogischen Hochschule der Fachhochschule Nordwestschweiz und dem Forum Bildung gehalten wurden.

Aufbau und Inhalt

Im ersten Kapitel liefert Vera Husfeldt einen länderübergreifenden Überblick über empirische Forschungsergebnisse zum Thema Wirkung und Wirksamkeit externer Schulevaluation. Dabei bleibt sie nicht bei Studien zur Akzeptanz externer Evaluationen oder zu subjektiven Wirksamkeitseinschätzungen verschiedener Akteure stehen (als Typ 1 – Akzeptanzstudien bezeichnet), sondern beschreibt ebenso die selteneren Studien zu Maßnahmen, die aus externen Evaluation resultieren (Typ 2) sowie Schulleistungsstudien, die eine empirische Wirkungsüberprüfung im Sinne von Leistungsveränderungen bei betroffenen Schülerinnen und Schüler durch externe Schulevaluation vornehmen (Typ 3). Dabei erweist sich die Befundlage als sehr heterogen. Sowohl positive als auch negative Wirkungen externer Schulevaluation können berichtet werden. Die drei Studientypen werden daraufhin in einem globalen Wirkungsmodell externer Schulevaluationen verortet, dessen Möglichkeiten und potentiellen Erweiterungen aufgezeigt sowie die praktischen Beschränkungen diskutiert.

Im zweiten Kapitel formuliert Norbert Landwehr Thesen zur Wirkung und Wirksamkeit der externen Schulevaluation. Dabei geht er zunächst vom status quo eines externen Schulevaluationsverfahrens in der Schweiz aus, welches er als praktikabel, umfeldverträglich und in sich stimmig und diesbezüglich als erfolgreich und funktionierende Praxis bezeichnet. Fragen der Wirkung und Wirksamkeit werden allerdings erst in neuerer Zeit gestellt. Diesbezüglich plädiert er dafür, Wirksamkeit externer Schulevaluation hinsichtlich vier aufeinander bezogener Hauptfunktionen zu betrachten: Wissensgewinnung, Entwicklungsanstoss für die Schulentwicklung, Rechenschaftslegung/Kontrolle sowie Normendurchsetzung. Daraus leitet er zentrale Thesen externer Schulevaluation ab: Demnach gilt in der Praxis das Gewinnen datengestützten Qualitätswissens als grundlegende Funktion externer Schulevaluation, wobei aber selten fundamental neue Erkenntnisse gewonnen werden; vielmehr wird oftmals schon vorhandenes Wissen offizialisiert und bearbeitbar gemacht. Gemeinhin wird die Vermittlung/Auslösung von Entwicklungsimpulsen als Hauptfunktion externer Schulevaluation gesehen. Allerdings besteht zwischen der Qualität der externen Schulevaluation und ihrer Entwicklungswirksamkeit ein vermutlich nur indirekter Zusammenhang und Merkmale der Ergebnisverarbeitung in der Schule sollten entscheidend sein. Darüber hinaus kann interne Evaluation der externen bezüglich der Entwicklungsfunktion überlegen sein. Nach Meinung des Autors dürfte tatsächlich eher die Rechenschaftsfunktion für die externe Schulevaluation die bedeutsamste sein, und auf diesem Weg wiederum Ausgangspunkt für top-down angeordnete Entwicklungsmaßnahmen. Als unmittelbar einleuchtend sieht er darüber hinaus die Normendurchsetzungsfunktion an, in dem durch die Themensetzung externer Schulevaluation eben diese Themen als relevant und wichtig definiert werden und in den Fokus der Schule rücken, da deren Überprüfung angekündigt worden ist. Somit wird Evaluation zum Durchsetzungsinstrument höherer Instanzen. Beschreibungen von Voraussetzungen aufseiten der Evaluation und aufseiten der Schule für die Wirksamkeit der vier Hauptfunktionen runden das Kapitel ab.

Im dritten Kapitel setzt sich Norbert Matrizen mit externer Schulevaluation als Element des Systemmonitorings auseinander. Dabei soll sie systematisch in einen strategischen Kontext des Bildungsmonitorings eingebettet werden. Dies geschieht, in dem der Autor Bildungsmonitoring zunächst als systematische und dauerhafte Informationsbeschaffung und -verarbeitung eines Bildungssystems definiert und dessen Aufgaben beschreibt. Darin eingebettet ist externe Schulevaluation für den Autor Prozessevaluation, die der kriteriengestützten empirischen Erfassung und Rückmeldung innerer Elemente der Schule dient. Die Wirksamkeit einer solchermaßen beschriebenen externen Schulevaluation hängt in der Folge von verschiedenen Ebenen ab, die der Autor beispielhaft beschreibt und kritisch hinterfragt: Wie gut gelingt es, relevante Systemdaten mit Informationen zu Einzelschulen zu verknüpfen und für einzelne Schulen nutzbar zu machen? Lassen sich Informationen zu Einzelschulen sinnvoll verbinden und für Systemfragen nutzen? Wie gut sind verschiedene Informationen zu Einzelschulen aus unterschiedlichen Quellen mit Erkenntnissen der externen Schulevaluation verknüpfbar? Abschließend formuliert der Autor Forderungen an die externe Schulevaluation: Es ist notwendig, Funktionen und Ziele im Gesamtkonzept festzulegen und zu benennen. Darüber hinaus müssen empirisch fundierte Verfahren eingesetzt und Verwertungsinteressen der primären Adressaten berücksichtigt werden. Schlussendlich müssen systemische Kontextinformationen in die Analysearbeit einbezogen werden.

Im vierten Kapitel stellen Carsten Quesel und Frank D. Bauer die Frage, welche Regeln es in der Schweiz für die Verarbeitung von Ergebnissen externer Schulevaluationen gibt und wie sich diese in ein Modell der Educational Governance einordnen lassen. Ausgehend von einer Begriffsbestimmung von Educational Governance sowie der Beschreibung historischer und aktueller bildungspolitischer Rahmenbedingungen in der Schweiz wird die heterogene Praxis in einzelnen Kantonen beschrieben. Verallgemeinernd stellen die Autoren fest, dass externe Schulevaluationen in der Regel zunächst in Empfehlungen primär gerichtet an die Schulleitungen und nachgeordnet an die lokalen Schulbehörden münden. Nach einer mehrwöchigen bzw. -monatigen Verarbeitungszeit auf Seiten der Schulen werden von diesen Maßnahmen entwickelt, deren Planung von den kantonalen Schulbehörden überprüft wird. Daraufhin sind Monate bis Jahre für die Umsetzung der Maßnahmen vorgesehen. In diesem Zeitraum ist die Umsetzung oft schulintern zu evaluieren und darüber zu berichten. Eine Begleitung dieser Prozesse durch das Inspektorat ist möglich. Im Hinblick auf Educational Governance zeichnet sich das System in der Schweiz weniger durch eine stimulative Steuerung durch die Publikmachung von Evaluationsresultaten als vielmehr durch eine diskursive Steuerung aus, die eine aktive Rolle der Schulen beim Umgang mit Evaluationsresultaten und -empfehlungen sowie der Maßnahmenentwicklung und -umsetzung zulässt und einfordert. Gleichwohl sind Elemente der direktiven Steuerung erkennbar, da die kantonale Aufsicht im Bereich der Schulentwicklung Veto- und auch Interventionsrecht hat und innerhalb der Schule die Schulleitung gegenüber den Lehrkräften weisungsbefugt ist.

Im fünften Kapitel beschreiben Wolfgang Böttcher und Miriam Keune empirische Studien zur Wirkung und zum Nutzen der Schulinspektion (=externe Evaluation von Schulen) in Deutschland. Dabei werden insbesondere Fragen nach der Akzeptanz der Schulinspektion durch die Schulen sowie nach dem Nutzen für die Schul- und Unterrichtsentwicklung gestellt. Zusammengefasst halten die Autoren fest, dass sich die Schulinspektion noch nicht als Instrument der Schulentwicklung etabliert hat und dass auch keine aus Schulinspektionen konkret hervorgegangenen Maßnahmen nachgewiesen werden können. Inwieweit eine solche zumeist politisch getragene Forderung überhaupt realistisch zu sein scheint, ist darüber hinaus ebenfalls nicht klar. Eventuell ist anstelle dessen die Frage nach der Qualität der Schulinspektion als Diagnoseinstrument fairer. Auch hinsichtlich der Unterrichtsentwicklung sind wenige Effekte der Schulinspektion bestimmbar. Dafür kann eine weitgehende Akzeptanz der Schulinspektion konstatiert werden. Allerdings nicht, so vermuten die Autoren auch zukünftig, wegen einer hohen Wirksamkeit der Schulinspektion, sondern einfach deswegen, weil die Schulinspektion in der aktuellen Form keinem weh zu tun droht und auch keiner Interesse daran hat, daran etwas zu ändern.

Im sechsten Kapitel stellt Holger Gärtner eine quasi-experimentelle Feldstudie zur Wirkung von Schulinspektionen auf Schulentwicklung vor. Dies begegnet dem Defizit, dass aktuelle Forschungsergebnisse bisher wenig belastbare Erkenntnisse im Sinne eines wissenschaftlichen, kausalen Wirkungsnachweises liefern können, da Studien mit entsprechenden Designs zumeist fehlen. Zusammengefasst kommt die Studie zum Schluss, dass Schulinspektionen relativ wenig Einfluss auf die (auch nur geringen) Veränderungen von diversen schulrelevanten Qualitätsmerkmalen haben. Unklar bleibt, ob weniger Ergebnisse der Schulinspektion als vielmehr der Prozess als solcher Veränderungen zu unterstützen vermag.

Im siebten Kapitel geht Carsten Quesel der These nach, dass externe Schulevaluationen einer beschränkten institutionellen Rationalität unterliegen. Dies deswegen, da Interessen bestimmter Interessengruppen ebenso einen Bias im Prozess erzeugen wie die begrenzten Ressourcen an Zeit und Intelligenz. All dies hat Auswirkungen auf das, was nach der Evaluation schlussendlich politisch wahrgenommen und umgesetzt werden kann. Mit der Vorstellung von zwei Fallstudien aus England, die zum einen das ältere Steuerungsmodell des Payment by results und zum anderen das neuere des New Public Management beschreiben, wird auf resultierende unterschiedliche politische Wirksamkeitserwartungen und deren Konsequenzen auf die externe Schulevaluation aufmerksam gemacht. So wird der Wandel der Funktion der Schulinspektion weg von Kontrolle hin zur Entwicklungsunterstützung genannt. Damit sind nicht mehr nur Leistungen zu protokollieren, sondern Hilfestellungen und Weisungen zu liefern.

Peter Steiner schließt das Buch mir der Beschreibung der Arbeitsgemeinschaft Externe Evaluation von Schulen in der Schweiz ab.

Diskussion

Das Buch hält die Ziele ein, welche die Herausgebenden als relevant beschrieben haben: In der Tat werden Bausteine für die Entwicklung eines tauglichen Wirkungsmodells zur externen Schulevaluation geliefert, die sowohl theoretisch als auch empirisch untermauert werden. Dabei ist diese Formulierung gut und ehrlich gewählt: Nach der Lektüre des Buches kennt man nicht die Wahrheit über Wirkung externer Schulevaluation und man erhält auch kein fertiges Wirkmodell, aber man hat viel über relevante Dimensionen des Themas und deren Begründungen erfahren.

Dabei ist das Buch nicht trivial, bleibt streitbar und öffnet den Raum für weitere spannende Diskussionen und Fragestellungen:

• Liefert es Wasser auf die Mühlen der Gegner externer Schulevaluation, weil man über deren Wirkung schlussendlich doch nicht viel weiß und neben Akzeptanz recht wenig nachweisbar zu sein scheint?
• Wie wird die Verknüpfung und/oder Abgrenzung zu interner Schulevaluation verlaufen, zumal an dieser Schnittstelle unterschiedliche Player mit zumindest teilweise unterschiedlichen Interessen aufeinander treffen?
• Sind die definierten ursprünglichen Hauptfunktionen externer Schulevaluation nicht doch trivial und in ihrer Ausgestaltung zu „brav“?
• Ist ein Wechsel weg von der Entwicklungsfunktion hin zur Rechenschafts- und Steuerfunktion externer Schulevaluation, wie er im theoretischen Modell beschrieben wird, nicht gerade das, was viele Vertreterinnen und Vertreter des Fachs lieber nicht lesen wollen?
• Was folgt daraus für die zukünftige Praxis?

Wer das Buch mit Forschungsperspektive liest im Sinne einer Suche nach wissenschaftlich fundiertem Wirkungsnachweis wird einerseits erfreut sein, dass sich dieses Buch dieser Problematik stellt. Gleichwohl wird er oder sie feststellen müssen, dass ein wissenschaftlicher, vielleicht sogar noch kausaler Wirkungsnachweis schwer zu führen ist und wenig belastbare Forschungsergebnisse resultieren.

Insgesamt ist dies kein naives Werbebuch pro externe Schulevaluation, sondern eine kritische Analyse, welches Schwierigkeiten nennt und allzu große Erwartungen dämpft, dafür aber klare Vorstellungen zur Weiterarbeit formuliert.

Fazit

Als Gesamtfazit halte ich gerne fest, dass ich das Buch sehr gerne gelesen habe. Es geht das Thema „Wirkungen und Wirksamkeit der externen Schulevaluation“ auf interessante und vielfältige Weise sowohl theoretisch als auch empirisch mit unterschiedlichen Zugängen und Perspektiven an. Dabei bleibt es nicht trivial und liefert Thesen und Ausblicke, über die zu diskutieren sich für Wissenschaft und Praxis lohnen wird.

Rezension von
Dr. Lars Balzer
Leiter Fachstelle Evaluation Eidgenössisches Hochschulinstitut für Berufsbildung
Website
Mailformular

Es gibt 1 Rezension von Lars Balzer.