socialnet - Das Netz für die Sozialwirtschaft

Dörte Schott: Wie Informationen aus einer Programmevaluation das individuelle Handeln beeinflussen

Cover Dörte Schott: Wie Informationen aus einer Programmevaluation das individuelle Handeln beeinflussen. Zur Rolle adaptiver Prozesse für individuelle Veränderungen unter dem Einfluss einer Evaluation. Der Andere Verlag (Uelvesbüll) 2013. 213 Seiten. ISBN 978-3-86247-398-4. D: 65,90 EUR, A: 67,80 EUR, CH: 89,00 sFr.
Recherche bei DNB KVK GVK.

Besprochenes Werk kaufen
über socialnet Buchversand


Thema

In dem Buch geht es darum, wie Personen (in diesem Fall SchulleiterInnen und LehrerInnen) mit Evaluationsergebnissen umgehen: Passen sie ihr Handeln an, wenn die Evaluationsergebnisse nicht den gesetzten Zielen entsprechen (z.B. durch verstärkte Anstrengung), um das Ziel doch noch zu erreichen? Oder passen sie ihre Ziele an? Dörte Schott erforscht diese Frage unter Bezugnahme auf die psychologische Handlungstheorie, namentlich auf das Zwei-Prozess-Modell der Adaption von Brandtstädter.

Autorin

Dr. Dörte Schott ist Diplom Psychologin und seit 2005 als selbständige Gutachterin und Evaluatorin tätig; ihr Tätigkeitsgebiet umfasst die Evaluation von Programmen und Netzwerken, u.a. im Bildungsbereich, sowie die Evaluationsberatung und Organisationsentwicklung.

Entstehungshintergrund

Bei dem Buch handelt es sich um die vom Fachbereich Erziehungs- und Sozialwissenschaften der Universität Hildesheim angenommene Dissertation der Autorin. Dörte Schott ist für diese Arbeit im Jahr 2013 mit dem Nachwuchspreis der Gesellschaft für Evaluation (DeGEval) ausgezeichnet worden.

Aufbau und Inhalt

Der Aufbau der Arbeit folgt dem gängigen Muster wissenschaftlicher Arbeiten (Problemstellung, Aufarbeitung relevanter Theorien und bisheriger Forschung, Fragestellungen bzw. Hypothesen, Darstellung der Methoden, Ergebnisse, Diskussion und Ausblick).

In Kapitel 1 werden die Problemstellung und die Ziele der Arbeit dargelegt. Zuerst wird erklärt, dass die Nutzenorientierung ein wesentliches Merkmal von Evaluation ist, und dass die Nicht-Nutzung von Evaluationsergebnissen in den letzten Jahrzehnten immer wieder als Problem aufgegriffen wurde (unter anderem wurden Evaluationsstandards entwickelt, um die Qualität von Evaluationen zu verbessern und damit eine bessere Nutzung bzw. Nutzbarkeit sicherzustellen). Dörte Schott greift die Nutzungsfrage auf, jedoch aus der Perspektive der Nutzerin bzw. des Nutzers von Evaluationsergebnissen. Sie argumentiert, dass diese – bisher vernachlässigte – Perspektive relevant sei, da es letztlich die einzelne Person sei, die mit Evaluationsergebnissen umgehe, diese verarbeite und allenfalls ihr Handeln als Reaktion auf die Ergebnisse anpasse. Dafür nimmt Dörte Schott auf die psychologische Handlungstheorie Bezug, insbesondere auf Handlungskontrolltheorien, denn diese thematisieren die Verarbeitung von Feedback und dessen Wirkung auf Handlungsveränderungen. Konkret wird an das Zwei-Prozess-Modell von Brandtstädter angeknüpft, das davon ausgeht, dass bei der Wahrnehmung von Ist-Soll-Diskrepanzen in Bezug auf ein individuelles Entwicklungsziel adaptive, entgegengesetzte Prozesse ausgelöst werden, und zwar entweder Zielfokussierung und vermehrte Anstrengung (d.h. der Versuch, „handelnd“ das Ist dem Soll anzugleichen, sog. Assimilation), oder Zielabwertung und Umorientierung (d.h. der Versuch, „verarbeitend“ das Soll an das Ist anzupassen, sog. Akkommodation). Um längerfristig ein Gleichgewicht herzustellen sind beide Prozesse bedeutsam: wichtige Ziele sind oft nur mit einer gewissen Persistenz erreichbar, andererseits macht es auch keinen Sinn, unter unrealistischen Bedingungen stur an etwas festzuhalten.

Ihrer Untersuchung zum Umgang mit Evaluationsergebnissen, die sie im Rahmen der externen Schulevaluation im Kanton Zürich durchgeführt hat, legt Dörte Schott das Zwei-Prozess-Modell zu Grunde. Im Einzelnen untersucht sie:

  1. in wie fern sich das Auftreten und das Zusammenspiel der adaptiven Prozesse sowie die sie beeinflussenden Faktoren gemäss dem Zwei-Prozess-Modell im Untersuchungskontext belegen lassen,
  2. wie sich die adaptiven Prozesse unter dem Einfluss der Evaluation entwickeln und wodurch diese Entwicklungen bedingt sind,
  3. in wie fern sich Zusammenhänge zeigen zwischen den adaptiven Prozessen und dem durch die Akteure wahrgenommenen Nutzen der Evaluation und welche kontextspezifischen Faktoren die adaptiven Prozesse und den wahrgenommenen Nutzen der Evaluation beeinflussen.

In Kapitel 2 („Einfluss von Evaluation auf Programme: Stand der Forschung“) definiert Dörte Schott zunächst die Programmevaluation als Bewertung einer Anzahl von Massnahmen und ordnet die Schulevaluation der Programmevaluation zu. Anschliessend zeichnet sie die Entwicklung der Diskussion und Forschung zum Einfluss von Evaluationen nach: von der anfänglichen Beschäftigung mit der Nutzung von Evaluationsergebnissen für konkrete Entscheidungen (instrumentelle Nutzung) und für das Lernen (konzeptuelle Nutzung), über den Prozessnutzen (Veränderungen, die sich aus dem Evaluationsprozess ergeben) bis hin zu Arbeiten, in denen nicht mehr der Begriff „Nutzung“, sondern allgemeiner der „Einfluss“ von Evaluationen im Vordergrund steht. In diesen Arbeiten wurde und wird immer wieder die Bedeutung hervorgehoben, die den individuellen Adressaten, also den intendierten Nutzerinnen und Nutzern der Evaluation zukommt. Patton hat in diesem Zusammenhang den Begriff ‚personal factor‘ geprägt, der das Vorhandensein einer Person (oder Gruppe) bezeichnet, der die Evaluation ein persönliches Anliegen ist, die sich dafür interessiert und dazulernen will. Dieser ‚personal factor‘ ist letztendlich oft ausschlaggebend dafür, ob eine Evaluation eine Wirkung entfaltet oder nicht. Hier knüpft die Arbeit von Dörte Schott an, indem sie einen Beitrag zum besseren Verständnis der intrapersonellen Prozesse bei den Adressaten leisten will.

In Kapitel 3 („Individuelles Handeln: Die Bewältigung von Ist-Soll-Diskrepanzen in der psychologischen Handlungstheorie“) wird zunächst der Begriff „Handlung“ definiert, bevor kurz auf psychologische Handlungstheorien allgemein und auf Kontroll-Theorien eingegangen wird. Im Kapitel 3.1 werden die im Zwei-Prozess-Modell postulierten adaptiven Prozesse (Assimilation und Akkommodation) und deren Zusammenspiel genauer erläutert. Dörte Schott argumentiert, dass das Zwei-Prozess-Modell die Situation in verbesserungsorientierten Programmevaluationen gut abzubilden vermag, da die Adressaten der Evaluation in deren Rahmen mit Bewertungen konfrontiert werden, die möglicherweise eine Differenz der Ist-Situation mit Soll-Vorgaben beinhalten, auf die es zu reagieren gilt. Im Kapitel 3.2 wird erläutert, welche individuellen und situativen Faktoren die adaptiven Prozesse beeinflussen können (z.B. Handlungsressourcen und Kontrollüberzeugungen, Substituierbarkeit von Zielen oder subjektive Wichtigkeit von Zielen), und in Kapitel 3.3 wird auf den Beitrag adaptiver Prozesse zur Erklärung nicht nur des individuellen Lernens, sondern auch des Wandels in sozialen Systemen eingegangen.

In Kapitel 4 („Evaluation und Handeln: Anknüpfungspunkte auf theoretischer Ebene und Forschungsperspektive“) wird die Forschungsperspektive nochmals beschrieben und begründet. Evaluation wird als Interaktionsprozess zwischen Programmakteuren bzw. Adressaten und Evaluierenden dargestellt. Anschliessend (Kapitel 4.1) werden Anknüpfungspunkte zwischen dem Zwei-Prozess-Modell und der Forschung zur Nutzung von Evaluation hergestellt, indem Beispiele für mögliche Wirkungen von Evaluationen gegeben und diese mit den adaptiven Prozessen in Verbindung gebracht werden. Die instrumentelle Nutzung von Evaluationsergebnissen zur Entscheidung über bestimmte Programmaktivitäten wird dabei parallel zur Assimilation gesehen, wohingegen das eher langsame und nicht gezielte „Durchsickern“ von Erkenntnissen aus Evaluationen (konzeptuelle Nutzung oder „Enlightenment“), das zur allmählichen Verschiebung von Prioritäten führt, der Akkommodation zugeordnet wird. Im folgenden Kapitel 4.2 wird dargestellt, welche konkreten Formen assimilative Aktivitäten und akkomodative Bewältigung annehmen können und wie sich diese im Evaluationskontext zeigen könnten.

Da die empirische Untersuchung im Kontext der externen Schulevaluation stattgefunden hat, wird in Kapitel 5 („Einordnung in die Diskussion und Forschung im Untersuchungsfeld der externen Schulevaluation“) zunächst beschrieben, wie sich das Feld der externen Schulevaluation in Deutschland und der Deutschschweiz derzeit darstellt. In Kapitel 5.1 wird der Frage nachgegangen, ob sich bereits eine schulische Evaluationskultur etabliert hat. Angesichts der relativen Neuheit der Verfahren und der vielen kritischen Stimmen (mangelnde Sinnhaftigkeit und Nützlichkeit, grosses Machtgefälle zwischen Evaluierenden und „Evaluierten“, teilweise unklare Zwecksetzung und Vermischung zwischen Kontroll- bzw. Steuerungs- und Unterstützungsfunktion) wird diese Frage mit ‚nein‘ beantwortet, und es wird von sehr unterschiedlichen Bedingungen nicht nur zwischen den einzelnen Kantonen bzw. Bundesländern, sondern auch zwischen Schulen ausgegangen. Die Kapitel 5.2 und 5.3 befassen sich mit der Forschung, die es zum Einfluss der externen Schulevaluation auf Lehrpersonen und Schulleitungen bereits gibt. Nach der einleitenden Übersicht werden drei Modelle zur Schulentwicklung unter dem Einfluss der externen Schulevaluation vorgestellt, die vor dem Hintergrund der für die Arbeit relevanten Aspekte analysiert bzw. erweitert und zum Zwei-Prozess-Modell in Beziehung gesetzt werden.

Kapitel 6 („Eingrenzung des Untersuchungsgegenstandes, Untersuchungsansatz und Fragestellungen“) stellt zunächst (Kapitel 6.1) die Voraussetzungen dar, die im Feld vor dem Hintergrund der theoretischen Überlegungen gegeben sein müssen (bspw. muss die Evaluation Ist-Soll-Diskrepanzen aufzeigen, die für die Adressaten potentiell handlungsrelevant sind). Es wird dann die externe Schulevaluation im Kanton Zürich beschrieben und begründet, weshalb sich diese als Untersuchungsfeld eignet. Die im Rahmen der externe Schulevaluation in Zürich herangezogenen Kriterien werden vorgestellt und es wird erläutert, warum für die empirische Untersuchung zwei dieser Kriterien ausgewählt wurden (nämlich: „vergleichbare und nachvollziehbare Beurteilung der Schülerleistungen“ und „gezielte und sorgfältige Planung der Weiterentwicklung der Schul- und Unterrichtsqualität“). In Kapitel 6.2 folgen die differenzierten Fragestellungen (siehe oben Fragestellungen 1-3) und Hypothesen zum ersten Frageblock; die diesbezüglichen Ergebnisse dienen später als Grundlage für die Analysen der Frageblöcke zwei und drei.

In Kapitel 6.3 werden das Untersuchungsdesign und die Effektmasse sowie der Prozess bei der Entwicklung der Erhebungsinstrumente (schriftliche Fragebögen) beschrieben. Das Untersuchungsdesign ist ein Prä-Post-Design mit drei Erhebungszeitpunkten (t1: ein bis drei Wochen vor der Evaluation, t2: innerhalb weniger Tage nach der Rückmeldung der Evaluationsergebnisse, t3: drei Monate nach der Rückmeldung). Die Effektmasse bestehen aus dem ‚Assimilativen Verhalten‘ (Beispielitem: „Ich richte mein Handeln nach diesem Ziel aus“, erhoben zu t1 und t3), den ‚Assimilativen Kognitionen‘ („Wir sollten dieses Ziel hartnäckig weiterverfolgen“, t2), den ‚Akkomodativen Kognitionen‘ („Andere Dinge waren uns wichtiger als dieses Ziel“, t2), sowie der ‚Ablehnung/Abwehr‘ der Evaluationsergebnisse („Für ein aussagekräftiges Ergebnis müssten weitere Personen befragt werden“, t2).

Kapitel 7 rekapituliert zunächst das Untersuchungsdesign (Kapitel 7.1), diesmal mit der vollständigen Übersicht über die zu den drei Messzeitpunkten erhobenen Variablen. Die zu allen drei Zeitpunkten erfasste Einschätzung zum Zielerreichungsgrad stellt die unabhängige Variable dar (wahrgenommene Ist-Soll-Diskrepanz als Auslöser für adaptive Prozesse). Zusätzlich zu den o.g. abhängigen Variablen wird die zu t3 gemessene Wichtigkeit des Ziels als abhängige Variable eingeführt (die, falls es zu einer Zielabwertung kommt, für einen akkomodativen Prozess steht). Ausserdem werden verschiedene Moderator- und Kontrollvariablen vorgestellt, die teilweise zu allen, teilweise nur zu zwei oder einem Zeitpunkt erhoben worden sind. Kapitel 7.2 beschreibt Messinstrumente und Pretest, Kapitel 7.3 das Vorgehen bei der Gewinnung der Teilnehmenden und die Erhebungsmenge (es haben 126 Personen an der Befragung teilgenommen, davon sind 80% Lehrpersonen und 20% Schulleiterinnen und Schulleiter), und Kapitel 7.4 die Durchführung der Untersuchung.

Im Kapitel 8 („Validierung des Zwei-Prozess-Modells für den Untersuchungskontext und deskriptive Analyse“) werden zunächst deskriptive Daten zur Einschätzung des Zielerreichungsgrades, zu den adaptiven Prozessen und den Moderatorvariablen dargestellt (Kap. 8.1). Kapitel 8.2 befasst sich mit den Ergebnissen zum ersten Fragenkomplex. Diese zeigen, dass sich die Vorhersagen des Modells zum Auftreten und Zusammenspiel der adaptiven Prozesse alles in allem im Untersuchungskontext bestätigen lassen. So ergeben die Regressionsanalysen, dass erwartungsgemäss adaptive Prozesse auftreten, wenn jemand eine Ist-Soll-Diskrepanz wahrnimmt und diese akzeptiert. Dies gilt allerdings nur für assimilative oder akkomodative Kognitionen in Bezug auf das Ziel ‚Schulentwicklung‘: je eher dieses als erreicht wahrgenommen wird, desto weniger kommt es zu solchen Kognitionen; in Bezug auf das Beurteilungsziel tritt dieser Zusammenhang nur hinsichtlich der akkomodativen Kognitionen auf, und in Bezug auf das assimilative Verhalten lässt sich der Zusammenhang nicht belegen: Hier ist es umgekehrt so, dass bei hohem Zielerreichungsgrad auch das assimilative Verhalten (gemessen zu t3) besonders ausgeprägt ist.

Durch die Analysen der jeweiligen Skalenmittelwerte der Einzelfälle bestätigt sich, dass sich ein Problem nicht gleichzeitig assimilativ und akkomodativ bewältigen lässt: Es fanden sich nicht gleichzeitig hohe Werte für beide Variablen. Assimilative und akkomodative Prozesse können aber teilweise nebeneinander existieren und miteinander konfligieren, zum Beispiel beim Übergang vom einen in den anderen Modus (es zeigen sich für wenige Personen mittlere Werte auf beiden Variablen). Wenn eine zielbezogene Rückmeldung abgelehnt wird, finden wie erwartet keine adaptiven Prozesse statt. Die Vorhersagen, die das Zwei-Prozess-Modell in Bezug auf verschiedene Moderatorvariablen macht, konnten per Liniendiagramm ebenfalls bestätigt werden: So geht eine hohe subjektive Wichtigkeit und „Zentralität“ des Ziels (=Bedeutsamkeit für eine erfolgreiche schulische Arbeit), eine hohe interne Kontrollwahrnehmung, Unterstützung im Team, eine dispositionelle Tendenz zur ‚hartnäckigen Zielverfolgung‘ und eine hohe Selbstwirksamkeit eher mit assimilativen Prozessen, und eine niedrige Ausprägung dieser Variablen eher mit akkomodativen Prozessen einher. In den zusätzlich durchgeführten Regressionsanalysen, in denen die Vorhersagekraft dieser Variablen für die adaptiven Prozesse überprüft wurde, ergibt sich ein gemischtes Bild: die Prozesse lassen sich je nach Ziel und je nach Prozess mal durch die eine, mal durch die andere Handlungsbedingung vorhersagen. In Kapitel 8.3 werden die Ergebnisse diskutiert und in Kapitel 8.4 zusammengefasst.

Kapitel 9 („Entwicklung der adaptiven Prozesse unter dem Einfluss von Evaluation und Ergebnisrückmeldung“) untersucht die Entwicklung der Beurteilung der Zielerreichung und der adaptiven Prozesse im Längsschnitt (Fragekomplex 2). In Kapitel 9.1 wird zunächst dargestellt, dass aus den gemittelten Daten keine Veränderungen sichtbar sind, d.h. die Mittelwerte für die Beurteilung der Zielerreichung (gemessen zu t1, t2 und t3), für das assimilative Verhalten (t1 und t3) und für die Wichtigkeit des Ziels (t1, t2 und t3) bleiben für alle Messzeitpunkte gleich. Die daraufhin durchgeführten Einzelfallanalysen zeigen jedoch, dass es bei der Hälfte der Befragten nach der Ergebnisrückmeldung Veränderungen in Bezug auf die Einschätzung zur Zielerreichung und bei den adaptiven Prozessen gibt (die Veränderungen gehen zu jeweils gleichen Teilen in beide Richtungen). Die Fallanalyse unter Berücksichtigung der Moderatoren ergibt, dass es bei zunehmender Entfernung zum Ziel zur Intensivierung assimilativen Verhaltens kommt, wenn sich sowohl die ermöglichenden (interne Kontrolle und Unterstützung im Team) als auch die sinngebenden Handlungsbedingungen (Wichtigkeit, Zentralität) verbessert haben (die Ausprägung der Moderatorvariablen zu t1 lässt demgegenüber keine Vorhersage zu). Assimilatives Verhalten und die subjektive Zielwichtigkeit sind zu t3 verringert, wenn sich diese Bedingungen verschlechtert haben. Bei abnehmender Entfernung zum Ziel ist das Bild weniger klar: einerseits kann es zur Abnahme assimilativen Verhaltens kommen, andererseits auch zur nachträglichen Aufwertung des Ziels. Im Kapitel 9.2 werden die Ergebnisse diskutiert und im Kapitel 9.3 zusammengefasst.

In Kapitel 10 („Parallelen zum Evaluationsnutzen und kontextspezifische Einflussfaktoren“) werden die Ergebnisse zum Fragekomplex drei berichtet. In Kapitel 10.1 geht es zunächst um den Zusammenhang zwischen adaptiven Prozessen und wahrgenommenem instrumentellen und konzeptuellen Nutzen der Evaluation, der zum dritten Messzeitpunkt erhoben worden ist. Es zeigt sich, dass…

  • eine positive Nutzeneinschätzung mit assimilativen Prozessen (vor allem der konzeptuelle Nutzen mit assimilativen Kognitionen), aber nicht mit akkomodativen Kognitionen zusammenhängt. Der wahrgenommene Evaluationsnutzen hängt ausserdem positiv mit der subjektiven Wichtigkeit des evaluierten Ziels, mit der wahrgenommenen Güte der Evaluation und der Handlungsrelevanz der Rückmeldung zusammen.
  • assimilatives Verhalten ebenfalls mit hoher Handlungsrelevanz, v.a. aber mit personenbezogenen Faktoren zusammen hängt: mit dem ‚personal factor‘ nach Patton, mit der Offenheit für Veränderungen, dem wahrgenommenen Handlungsspielraum und mit der Identifikation mit der Schule.
  • akkomodative Kognitionen negativ mit den personenbezogenen Faktoren, mit Handlungsrelevanz, mit der Zufriedenheit mit der Evaluation und der wahrgenommenen Güte der Evaluation korrelieren. Positiv hängen die akkomodativen Kognitionen mit Ablehung und negativen Gefühlen der Evaluation gegenüber zusammen (demgegenüber ist assimilatives Verhalten von den Emotionen unabhängig).

Insgesamt wird das assimilative Verhalten also v.a. von personenbezogenen Faktoren beeinflusst, während der wahrgenommene Evaluationsnutzen vor allem von evaluationsbezogenen Einschätzungen abhängt. Im Kapitel 10.2 werden diese Ergebnisse diskutiert und in Kapitel 10.3 zusammengefasst.

Im anschliessenden Kapitel 11 („Diskussion zu Untersuchungsansatz und Methoden“) werden die Arbeit und deren Ergebnisse diskutiert. Dabei geht es zunächst um die Repräsentativität der Erhebungsmenge (Kap. 11.1): Es wurde keine für eine Grundgesamtheit repräsentative Stichprobe gezogen, sondern die Teilnahme an der Befragung war durch Selbstselektion geprägt. Bei den Antwortenden sind die Mitglieder der Schulkonferenz und die Kontaktpersonen für Schulevaluation stark vertreten und es ist anzunehmen, dass nur solche Personen teilgenommen haben, die für das Thema Evaluation offen sind und sich dafür und für ihre Schule in besonderem Masse engagieren. Dörte Schott geht daher davon aus, dass die Untersuchungsergebnisse nicht unbedingt auf andere Grundgesamtheiten übertragbar sind. Sie argumentiert allerdings, dass sich die gezeigten „Mechanismen“ grundsätzlich übertragen liessen, da es nicht anzunehmen sei, dass sich die durch das Zwei-Prozess-Modell vorhergesagten und bereits in anderen Kontexten gezeigten Prozesse in ihrer Untersuchung nur zufällig gezeigt hätten. In Kapitel 11.2 wird die Operationalisierung der adaptiven Prozesse diskutiert. Dass diese als Selbstauskunft gemessen wurden scheint unproblematisch: eine sich daraus evtl. ergebende Verzerrung wird sich kaum systematisch auf die Differenzwerte auswirken. Kritikpunkte ergeben sich laut Dörte Schott aber aus einigen Ergebnissen der explorativen Analysen: Erstens hat sich gezeigt, dass akkomodative Zielaufwertung vorkommt, was nicht vorhergesehen wurde. Dieser Prozess kann durchaus relevant sein, da er beeinflusst, welche Ziele zukünftig verfolgt werden. Zweitens ist bei der Assimilation nicht nur das Festhalten an, sondern auch das Setzen neuer Zielen wichtig. Und drittens wurden – aufgrund der Annahme, dass Kognitionen und Verhalten aufeinanderfolgen – die adaptiven Prozesse zu t2 und t3 unterschiedlich operationalisiert (t2: Kognitionen, t3 Verhalten). Die Ergebnisse untermauern diese Abfolge aber nicht, daher schlussfolgert Dörte Schott, dass sowohl Kognitionen als auch Verhalten zu allen drei Messzeitpunkten erhoben werden sollten. Der vierte Kritikpunkt bezieht sich darauf, dass die Kognitionen sich auf die Team- und das Verhalten auf die individuelle Ebene beziehen, wodurch die Vergleichbarkeit möglicherweise eingeschränkt ist.

In Kapitel 12 („Implikationen für Forschung und Praxis“) werden die Ergebnisse nochmals zusammengefasst. Dörte Schott nennt als zentrales Ergebnis, dass das Zwei-Prozess-Modell für den Kontext formativer Evaluation validiert werden konnte, dass also Ist-Soll-Diskrepanzen nicht nur bezogen auf persönliche Entwicklungsaufgaben, sondern auch im „externalisierten“, berufsbezogenen Kontext mit vorgegebenen Zielen relevant sind und die vorhergesagten Prozesse auslösen. Für zukünftige Forschung (Kapitel 12.1) sieht sie zum einen Anknüpfungspunkte bei der Untersuchung adaptiver Prozesse, die auf Entwicklungserfolge hin geschehen (bisher sind vor allem Probleme oder Herausforderungen fokussiert worden). Zum anderen – und für den Evaluationskontext besonders relevant – wird nochmals die bereits in Kapitel 3.3 angesprochene Frage der Veränderung sozialer Systeme aufgegriffen: Wie können adaptive Prozesse auf dieser Ebene beschrieben werden, und welchen heuristischen Wert haben sie hier für die Erklärung des Einflusses von Evaluationen? Generell kann an die Forschung zum Einfluss von Evaluation angeknüpft werden, in der auch langfristige und nicht-intentionale Wirkungen thematisiert werden, indem z.B. Verläufe und Ergebnisse adaptiver Prozesse unter dem Einfluss von Evaluation untersucht werden. Für die Evaluationspraxis (Kapitel 12.2) stellt sich Dörte Schott die Frage, wie es zu schaffen sei, „dass die Akteure eine gegebene Ist-Soll-Diskrepanz wahrnehmen, diese akzeptieren und ihnen ein diesbezügliches Handeln sinnvoll und möglich erscheint“ (ergänzen möchte man hier noch: dass ein diesbezügliches Handeln sinnvoll und möglich ist und auch stattfindet). Es wird empfohlen, dass die Adressaten der Evaluation bei der Festlegung der Evaluationsfragestellungen einbezogen werden, damit sichergestellt wird, dass sich die Evaluation auf aus Sicht der Akteure sinnvolle Ziele bezieht. Die der Bewertung zu Grunde liegenden Werte sollten geklärt, die Handlungsspielräume der Akteure ermittelt und Handlungsmöglichkeiten mit den Akteuren erörtert werden. Generell sollte die Relevanz von Zielen und den Weg dorthin aufgezeigt werden. Da bei negativen Rückmeldungen und sich verschlechternden Handlungsbedingungen eine Zielabwertung stattfinden kann (und aus Sicht des Einzelnen auch sinnvoll ist, um weiter funktionieren zu können), sollte formative Evaluation in Unterstützungsstrukturen eingebettet sein. Dazu gehört es auch, die Handlungskontrolle der Akteure zu erhöhen (z.B. durch Weiterbildung oder Beratung) und die notwendigen Ressourcen bereit zu stellen. Letztendlich – so stellt Dörte Schott fest – bleibt das Handeln allerdings den Akteuren überlassen.

Diskussion

Die Arbeit knüpft an die neuere Forschung zu den Wirkungen von Evaluation an und stellt einen wesentlichen Beitrag dazu dar. Die in der Arbeit eingenommene individuelle, psychologische Perspektive ist klar begründet: Evaluationen sind nur dann wirksam, wenn ihre Ergebnisse wahrgenommen und verarbeitet werden und wenn die Akteure dazulernen und entsprechend handeln. Es ist wichtig die Mechanismen zu kennen, die in diesem Zusammenhang eine Rolle spielen, und die Schlussfolgerungen, die Dörte Schott zieht, sind für die Evaluationspraxis zwar nicht grundlegend neu, aber doch von grosser Relevanz. Die Ergebnisse machen auch deutlich, dass es nicht nur die Evaluierenden sind, die mit ihrer Arbeit dazu beitragen können, dass Evaluationen wirksam werden, denn bei der Diskussion von Werten oder der Bereitstellung unterstützender Strukturen können sie allenfalls begleiten und beraten. Letztendlich hängen diese Bedingungen vom Engagement derjenigen ab, die in der Organisation die entsprechende Verantwortung tragen. Und die Personen, die die Evaluation beauftragen, werden i.d.R. auch darüber (mit-)bestimmen, in welchem Masse bspw. die Adressaten bei der Festlegung der Fragestellungen beteiligt werden sollen, in welchem Masse sich also die Bedingungen herstellen lassen, die sich in dieser Studie als förderlich erwiesen haben.

Die Arbeit, insbesondere die verschiedenen Auswertungen, ist teilweise relativ komplex und daher nicht immer leicht zu lesen. An manchen Stellen würde man sich daher eine optimierte Struktur wünschen. So werden Fragestellungen und Ziele der Arbeit an verschiedenen Stellen leicht unterschiedlich formuliert, so dass es etwas schwerfällt, hier die Übersicht zu gewinnen. Nach welcher Logik im Methodenteil die Informationen zum Design, zu den Variablen und zu den Messinstrumenten auf zwei Kapitel verteilt sind, hat sich mir nicht ganz erschlossen. Im umfangreichen Ergebnisteil hätte ich mir ebenfalls teilweise eine übersichtlichere Darstellung gewünscht – in der Vielfalt der Fragestellungen, Variablen und Analysen lässt sich nicht immer leicht der Überblick behalten.

Im konzeptionellen Teil der Arbeit wurden die Arten der Nutzung von Evaluationsergebnissen den adaptiven Prozessen zugeordnet (zur Assimilation gehören demnach der instrumentelle, der konzeptionelle und der Prozessnutzen; zur Akkommodation das Enlightenment, der konzeptuelle und der Prozessnutzen). Die Begründung für diese Zuordnung war mir nicht immer ganz klar: So könnte z.B. ein instrumenteller Nutzen ja auch darin bestehen, ein Ziel aufzugeben, denn „instrumentell“ heisst ja lediglich, dass aufgrund von Evaluationsergebnissen eine Entscheidung über das Programm gefällt wird. Ebenso kann „Enlightenment“ auch heissen, dass sich Erkenntnisse über best practices langsam verbreiten, die wiederum zum zielgerichteten Handeln genutzt werden können.

Für die Operationalisierung wurden zwei der im Schulevaluationskontext verwendeten Kriterien gewählt („vergleichbare und nachvollziehbare Beurteilung der Schülerleistungen“ und „gezielte und sorgfältige Planung der Weiterentwicklung der Schul- und Unterrichtsqualität“), auf die sich die jeweiligen Fragebogenitems zur Zielerreichung und zu den adaptiven Prozessen bezogen. Viele der Ergebnisse differieren für die beiden gewählten Kriterien. Nicht diskutiert und meiner Meinung nach relevant ist hier, dass diese beiden Ziele unterschiedlich schwer erreichbar sind: Während die Weiterentwicklung und damit auch deren Planung eher Prozesse sind (NB: ist es überhaupt sinnvoll, hier nach der „Zielerreichung“ zu fragen?), muss für die vergleichbare Bewertung ein konkretes Ergebnis vorliegen, das sich vermutlich erst nach umfangreichen Planungs-, Umsetzungs- und Kontrollaktivitäten einstellen kann.

Ein Hauptergebnis der Arbeit ist Dörte Schott zufolge, dass sich das Zwei-Prozess-Modell auf den Kontext der formativen Evaluation übertragen lasse. Man kann hier einwenden, dass dies mutmasslich nur für die „Engagierten“ gilt: Nur diese haben – das legen das Vorgehen mit der gezielten Ansprache von Schulleitungspersonen, Mitgliedern der Schulkonferenz, Evaluationsbeauftragten etc. und die Selbstselektion nahe – an der Befragung teilgenommen, und nur diese internalisieren wahrscheinlich die extern vorgegeben Zielsetzungen und machen sie dadurch gleichsam zu „persönlichen Entwicklungszielen“. Welche Relevanz die durch das Zwei-Prozess-Modell vorhergesagten Prozesse haben, wenn die Ziele umstritten sind oder wenn den Zielen von einem Grossteil der Akteure Desinteresse entgegengebracht wird (was ja in Evaluationen durchaus vorkommt), bleibt offen. In diesem Zusammenhang stellt sich auch die Frage, warum die Evaluation bei der Hälfte der Befragungsteilnehmenden (die ja grundsätzlich engagiert sind) gar keine Veränderungen ausgelöst hat. Lag es daran, dass die Evaluationsergebnisse den Erwartungen entsprochen haben, d.h. dass objektiv keine Ist-Soll-Diskrepanz vorgelegen hat? Es wäre interessant gewesen, über diese Gruppe noch etwas mehr zu erfahren, und vielleicht kann diesem Phänomen in zukünftigen Arbeiten noch weiter auf den Grund gegangen werden.

Fazit

Evaluation ist eine in vielen gesellschaftlichen Bereichen verbreiteten Praxis, und um ihre Bedingungen und Wirkweisen besser zu verstehen, muss Evaluation selbst zum Gegenstand von Forschung gemacht werden. Indem sich Dörte Schott in ihrer Arbeit der intraindividuellen Prozesse annimmt, die bei den Adressaten von Evaluationsergebnissen stattfinden, liefert sie Erkenntnisse zu den Auswirkungen von Evaluation auf Handlung und handlungsbezogene Einstellungen und zu den damit zusammenhängenden Verarbeitungsmechanismen und Bedingungen. Die Arbeit widmet sich einem zentralen Standard der Evaluation, nämlich der Nützlichkeit, aus einer individuellen, psychologischen Perspektive und bereichert dadurch unser Verständnis der Wirkweisen von Evaluation um wichtige Facetten. Da die psychologischen Aspekte bei der Erforschung der Wirkungen von Evaluation bisher eher vernachlässigt worden sind, schliesst die Arbeit damit eine Lücke, eröffnet gleichzeitig aber auch zahlreiche weitere Forschungsfragestellungen.


Rezensentin
Dr. Verena Friedrich
Studienleiterin Weiterbildungsprogramm Evaluation, Universität Bern
Homepage www.evaluationsstudium.unibe.ch
E-Mail Mailformular


Alle 1 Rezensionen von Verena Friedrich anzeigen.

Besprochenes Werk kaufen
Sie fördern den Rezensionsdienst, wenn Sie diesen Titel – in Deutschland versandkostenfrei – über den socialnet Buchversand bestellen.


Zitiervorschlag
Verena Friedrich. Rezension vom 04.09.2015 zu: Dörte Schott: Wie Informationen aus einer Programmevaluation das individuelle Handeln beeinflussen. Zur Rolle adaptiver Prozesse für individuelle Veränderungen unter dem Einfluss einer Evaluation. Der Andere Verlag (Uelvesbüll) 2013. ISBN 978-3-86247-398-4. In: socialnet Rezensionen, ISSN 2190-9245, https://www.socialnet.de/rezensionen/17036.php, Datum des Zugriffs 26.04.2019.


Urheberrecht
Diese Rezension ist, wie alle anderen Inhalte bei socialnet, urheberrechtlich geschützt. Falls Sie Interesse an einer Nutzung haben, treffen Sie bitte vorher eine Vereinbarung mit uns. Gerne steht Ihnen die Redaktion der Rezensionen für weitere Fragen und Absprachen zur Verfügung.


socialnet Rezensionen durch Spenden unterstützen
Sie finden diese und andere Rezensionen für Ihre Arbeit hilfreich? Dann helfen Sie uns bitte mit einer Spende, die socialnet Rezensionen weiter auszubauen: Spenden Sie steuerlich absetzbar an unseren Partner Förderverein Fachinformation Sozialwesen e.V. mit dem Stichwort Rezensionen!

Zur Rezensionsübersicht

Hilfe & Kontakt Details
Hinweise für

Bitte lesen Sie die Hinweise, bevor Sie Kontakt zur Redaktion der Rezensionen aufnehmen.
rezensionen@socialnet.de

ISSN 2190-9245

Newsletter bestellen

Immer über neue Rezensionen informiert.

Newsletter

Über 13.000 Fach- und Führungskräfte informieren sich monatlich mit unserem kostenlosen Newsletter über Entwicklungen in der Sozialwirtschaft.

Gehören Sie auch schon dazu?

Jetzt kostenlosen Newsletter abonnieren!

socialnet optimal nutzen!

Recherchieren

  • Rezensionen liefern den Überblick über die aktuelle fachliche Entwicklung
  • Materialien bieten kostenlosen Zugang zu aktuellen Fachpublikationen
  • Lexikon für die schnelle Orientierung und als Start für eine vertiefende Recherche
  • Sozial.de für tagesaktuelle Meldungen

Publizieren

  • wissenschaftliche Arbeiten
  • Studien
  • Fachaufsätze

erreichen als socialnet Materialien schnell und kostengünstig ihr Publikum

Stellen besetzen
durch Anzeigen im socialnet Stellenmarkt

  • der Branchenstellenmarkt für das Sozial- und Gesundheitswesen
  • präsent auf führenden Fachportalen
  • schnelle und preiswerte Schaltung
  • redaktionelle Betreuung