socialnet - Das Netz für die Sozialwirtschaft

Georg Rudinger, Katharina Hörsch: Umsetzung von Evaluationsergebnissen

Cover Georg Rudinger, Katharina Hörsch: Umsetzung von Evaluationsergebnissen. Theorie und Praxis. V&R unipress (Göttingen) 2009. 136 Seiten. ISBN 978-3-89971-537-8. D: 35,90 EUR, A: 37,00 EUR, CH: 63,00 sFr.

Reihe: Applied research in psychology and evaluation - Band 2.
Recherche bei DNB KVK GVK.

Besprochenes Werk kaufen
über socialnet Buchversand


Entstehungshintergrund und Thema

Der vorliegende Tagungsband enthält Vorträge, die im Rahmen der im Jahr 2007 vom Zentrum für Evaluation und Methoden der Rheinischen Friedrich-Wilhelms-Universität Bonn durchgeführten Tagung zum Thema Umsetzung von Evaluationsergebnissen in Theorie und Praxis gehalten wurden. Qualität und Inhalt der Beiträge sind dementsprechend von sehr unterschiedlicher Natur.

Aufbau und Inhalt

Den Auftakt bildet ein Aufsatz von Michael Jaeger und Marian Krawietz von der Hochschul-Informations-System GmbH. Sie beschäftigen sich mit der Frage, wie Studierende Evaluation an Hochschulen erleben und stellen die Ergebnisse einer Online-Befragung vor, die im Frühjahr 2006 durchgeführt wurde. Ihre Befunde sind nicht überraschend. Obwohl oder vielleicht gerade weil mittlerweile alles und jedes im Namen der Qualitätssicherung und angesichts des Damoklesschwerts des verschärften Wettbewerbs zwischen den Hochschulen evaluiert wird, besteht „im Bereich der Ergebniskommunikation sowie bei der Ableitung von Handlungskonsequenzen aus Evaluationen noch deutlicher Verbesserungsbedarf“ (S. 19). Weniger als die Hälfte der Studierenden, in einigen Disziplinen sogar nur ein Drittel, erhält von den Evaluationsergebnissen Kenntnis. Und noch nicht einmal ein Drittel der Studierenden nimmt aus den Evaluationen resultierende Verbesserungen wahr. Das Autorenteam leitet daraus die Schlussfolgerung ab, dass die Informationspolitik über Ergebnisse und Folgen von Evaluationen entscheidend verbessert werden müssen. Nicht zuletzt auch, um die Bereitschaft, an Evaluationen mitzuwirken, zu erhalten.

Der Beitrag von Dieter Hannemann, stellvertretendem Vorsitzenden der Akkreditierungskommission der ASIIN, setzt sich mit dem Thema Evaluation in der Akkreditierung auseinander. Hannemann konstatiert, dass Evaluation ein wichtiger Bestandteil von Akkreditierungsverfahren sei. Insbesondere die Lehrevaluation werde bei der Akkreditierung verpflichtend gefordert. Absolventenbefragungen seien notwendig, um den Studienerfolg bei Reakkreditierungen belegen zu können. In Korrelation zu dem Beitrag von Jaeger/Krawietz verweist er auf konkrete Auflagen und Empfehlungen aus Akkreditierungsverfahren, wie zum Beispiel darauf, dass Evaluationen so frühzeitig durchgeführt werden sollten, dass ihre Auswertung noch mit dem Studierenden im selben Semester erörtert werden können.

Einen gänzlich anderen Fokus hat der Aufsatz von Udo Rempe, der für den Leser schwer zu verdauen ist, da er in sich keine geschlossene Einheit bildet. Bereits Überschrift und Einleitung lösen Irritationen aus, da sie mit den folgenden Ausführungen nur lose in Berührung stehen. Ausgangspunkt soll die Fragestellung sein, welche Folgen die „Fortentwicklung von Evaluationsverfahren für die Rechtsprechung der Verwaltungsgerichte“ sowie das Dienst- und Tarifrecht haben. Es mag sein, dass Rempe diese Frage in seinem Vortrag bei der Tagung zufrieden stellend erörtert hat – in seinen schriftlichen Ausführungen hingegen beschränkt er sich darauf, statistische Hilfsmittel für reihende Leistungsbeurteilungen vorzustellen. Der Frage, welche Auswirkungen seine mathematischen Überlegungen auf die Rechtsprechung bzw. Dienst- und Tarifrecht haben können, wird nicht weiter nachgegangen.

Susanne Holstein stellt in ihrem Beitrag das Evaluierungsmodell der Leibniz-Gemeinschaft vor. Die Überprüfung der Fördervoraussetzungen der angeschlossenen Institute und Serviceeinrichtungen ist an die Durchführung unabhängiger Evaluierungen geknüpft. Laut Holstein handelt es sich um ein europaweit einmaliges Erfolgskonzept. Die Transparenz der Methode und der Kriterien seien durch die Veröffentlichung im Internet gewährleistet. Die Unabhängigkeit der Bewertung sei nicht nur durch die externe Besetzung der internationalen Evaluierungsgremien, sondern auch durch die Unabhängigkeit des Referats Evaluierung gegenüber dem Präsidenten der Leibniz-Gemeinschaft gegeben. Die Akzeptanz des Verfahrens spiegele sich darin wider, dass die Bund-Länder-Kommission die Senatsstellungnahmen ihren Förderentscheiden zu Grunde gelegt habe. Als Konsequenz aus den Evaluierungen seien zwischen 1995 und 2000 70 von 82 evaluierten Instituten positiv bewertet, sechs Einrichtungen geschlossen und drei einer nochmaligen Begutachtung unterzogen worden. Drei Institute seien in Folge zu Serviceeinrichtungen umstrukturiert worden. Seit der Übernahme des Verfahrens durch den Senat der Leibniz-Gemeinschaft seien von 2001 bis 2007 mehr als die Hälfte der Einrichtungen aufgrund ihrer Evaluationsergebnisse vorbehaltlos weitergefördert worden, acht Einrichtungen seien von einer Weiterförderung unter Vorbehalt betroffen gewesen, bei zwei Einrichtungen habe der Senat die Beendigung der Förderung beschlossen.

Die Rolle der Akzeptanz von Evaluationen für die Qualitätsentwicklung von Forschung und Forschungspolitik sowie ihre relevanten Dimensionen stehen im Mittelpunkt der Betrachtungen von Mathias Pätzold, Malte Schophaus und Thorsten Unger, welche alle drei der Wissenschaftlichen Kommission Niedersachsen (WKN) angehören. Am Beispiel der Forschungsevaluationen der WKN, die „deutschlandweit die einzige Einrichtung auf Landesebene ist, die Forschung landesweit und flächendeckend evaluiert hat“ (S. 51), zeichnen die Autoren ein differenziertes Bild von Einstellungsakzeptanz, Handlungsakzeptanz sowie Akzeptanz der Ergebnisqualität bei den beteiligten Akteuren. Die Illustration ihrer Ausführungen durch Fallbeispiele aus der Praxis verleiht dem Beitrag einen besonderen Charme.

Karin Riegler von der European University Association stellt das von der Europäischen Rektorenkonferenz entwickelte Institutional Evaluation Programme (IEP) vor. Sie betont, dass das IEP-Verfahren sich auf die Instrumente institutioneller Qualitätsentwicklung konzentriert, d. h. dass „keinerlei direkte Aussagen zur Qualität von Forschung, Lehre oder andere Leistungen einer Hochschule“ getroffen werden können (S. 73). Hauptmerkmal ist das Kriterium der Freiwilligkeit. Die Hochschulen können das Programm wahrnehmen, müssen aber nicht. Sie können den Evaluationsbericht veröffentlichen, sind jedoch nicht dazu verpflichtet. Die Evaluationen werden in Form eines Peer-Review durchgeführt, d. h. drei Mitglieder des durchführenden Teams sind (ehemalige) Angehörige von Hochschulleitungen, um einen Dialog „auf Augenhöhe“ mit den Universitätsleitungen zu gewährleisten. Jedes Teammitglied stammt aus einem anderen europäischen Land, kein Mitglied stammt aus dem Land, in dem sich die Hochschule befindet. Die Gutachter verstehen sich in erster Linie als „Spiegel“. Das IEP geht davon aus, „dass interne Schwächen und Stärken sowie externe Chancen und Bedrohungen, die in der Selbstevaluation identifiziert bzw. während der Vor-Ort-Besuche mit dem Team diskutiert werden, vor allem dann relevante und praktikable Ergebnisse in Hinblick auf strategische Planung und zukünftige Handlungsweisen der Hochschule liefern, wenn die Gutachter/innen durch ihr Verhalten die Selbsterkenntnis innerhalb der Hochschule bzw. insbesondere in der Hochschulleitung fördern“ und Werturteile nur bedingt abgeben (S. 76). Riegler verhehlt in ihrem Beitrag nicht die Schwierigkeiten, die diesem sehr spezifischen Evaluationsansatz mit seinen besonderen Rahmenbedingungen innewohnen, bemüht sich aber, die Vorteile für die Hochschulen herauszustellen.

Der Rektor der Technischen Universität Kosice, Juraj Sinay, schildert die Begutachtungen der slowakischen Universitäten mit Hilfe des Institutional Evaluation Programmes und knüpft damit an den Aufsatz von Riegler an. Er legt den Fokus auf die enge Verknüpfung zwischen Akkreditierung und Evaluation und verweist darauf, wie wichtig das Projekt für eine Bestandsaufnahme in Bezug auf den Zustand des Hochschulsektors in der Slowakei sei. Der Aufsatz ist sehr politisch gehalten und gibt nur bedingt Einblick in Erfolg bzw. Misserfolg des Evaluationsverfahrens.

Wolfgang Habermann von der privaten Provadis School of International Management and Technology erläutert das Evaluierungssystem seiner Hochschule, welches zugleich als Marketinginstrument im Wettbewerb um Studenten genutzt wird. Insbesondere der internen Evaluation wird an der Provadis School große Bedeutung beigemessen. Alle Veranstaltungen werden einer Zwischen- und Abschlussevaluierung unterzogen. „Der Fragebogen zur Zwischenevaluierung ist sehr ausführlich und untersucht die Qualität der Lehre u. a. mit 15 Einzelkriterien. In der Abschlussevaluierung wird im Wesentlichen nach den Verbesserungen gefragt“ (S. 91). Aus den Evaluierungsergebnissen erfolgen konkrete Konsequenzen, die von Coachings- und Trainingsangeboten, Gewährung von Qulitätsboni bis hin zu Vertragsauflösungen reichen. Die Dozenten ihrerseits beurteilen die Hochschulleitung in Form eines Mitarbeiter-Feedbacks. Externe Dozenten werden alle zwei Jahre um eine Einschätzung der Studierenden sowie einer Bewertung der verschiedenen Leistungen der Hochschule gebeten. Die Dozentenevaluierung wird genutzt, um die Studierendenurteile zu spiegeln und Anhaltspunkte für Ursachen suboptimaler Lern- und Verhaltensleistungen zu finden. Habermann verhehlt nicht die Schwierigkeiten, die aus unterschiedlichen Sichtweisen der beteiligten Akteure resultieren. Er geht ausführlich auf das Spannungsfeld ein, welches sich daraus ergibt, dass Studenten als zahlende Kunden zu Recht Ansprüche stellen können, es sich andererseits aber gefallen lassen müssen, selbst einer Leistungsbeurteilung unterworfen zu sein, die in der Regel nicht anfechtbar ist. Im Großen und Ganzen ein sehr informativer Artikel, der den von akademischer Seite gern niedrig angesetzten ökonomischen Faktor der Hochschulevaluationen ins Bewusstsein ruft.

Einen erfrischend unverblümten Blick auf das Thema „Evaluation an Hochschulen“ wirft Karl Rose. Schonungslos benennt er die Schwächen im System: Es wird evaluiert, ohne dass man weiß, was mit den Evaluationsergebnissen überhaupt geschehen soll, da Unklarheit über die eigenen Ziele besteht; effiziente Umsetzungen sind gar nicht gewollt, stattdessen beschränkt man sich auf Nebenkriegsschauplätze („Organisation der Reisekostenabrechnung“); die Einbeziehung externer Gutachter aus der Wirtschaft dient oft nur als Feigenblatt und so weiter und so weiter… Rose beschließt seinen Aufsatz mit dem altbekannten, aber in der Praxis nur allzu gern überhörten Appell, Evaluation dazu zu nutzen, die systemimmanenten Bremsen zu sehen und auf sie aufmerksam zu machen.

Der Beitrag von Regina Beuthel von der Technischen Universität Darmstadt streift das Thema Evaluation nur am Rande. Sie stellt in ihrem Tagungsbeitrag das Modellprojekt ProIT Professionals vor – eine Lernergebnisvergleichsmethodik, „deren Verfahren neben der primär zwecks gegenseitiger Anerkennung und Anrechnung in Bildungsgängen fokussierten Äquivalenzermittlung und –bewertung akademischer und beruflicher Lernergebnisse auch zu deren Evaluationen genutzt werden kann“ (S. 119). Inwieweit sich diese Methodik dazu tatsächlich eignet, bleibt allerdings offen, da konkrete Beispiele fehlen.

Den Abschluss des Tagungsbandes bildet der Beitrag von Katharina Hörsch und Georg Rudinger vom Zentrum für Evaluation und Methoden der Rheinischen Friedrich-Wilhelms-Universität Bonn. Sie stellen das onlinegestützte Bonner Modell der Hochschulevaluation vor, welches „weitgehend Totalerhebungen“ ermögliche (S. 130). Besonders ehrgeizig ist das Bestreben, den Erfolg und Verbleib von Absolventen der Universität Bonn zu verfolgen. Diese sollen regelmäßig ein Jahr, fünf und zehn Jahre nach Abschluss des Studiums befragt werden. Da es sich bei dem Bonner Modell um einen Prozess „im Werden“ handelt (die Evaluationsordnung für Lehre und Studium wurde erst im Februar 2008 verabschiedet), darf man auf die weitere Entwicklung sowie die daraus abgeleiteten Maßnahmen gespannt sein.

Fazit

Der Tagungsband macht vor allem eines deutlich: Obwohl das Thema Evaluation seit vielen Jahren im Hochschulbereich auf der Tagesordnung steht, hat sich eine institutionalisierte, kontinuierliche und flächendeckende Evaluation bislang nur zögerlich durchsetzen können. Dieser Prozess steckt immer noch in den Kinderschuhen. Patentlösungen finden sich in den vorgestellten Beiträgen nicht (dies wäre auch ein vermessener, wenn nicht gar fehlgeleiteter Wunsch), wohl aber werden die Unzulänglichkeiten, mit denen die einzelnen Evaluationsprogramme zu kämpfen haben, evident. Es ist noch ein langer Weg, bis Evaluation als Überwachungs- und Steuerungsinstrument in der Hochschullandschaft mit Erfolg eingesetzt werden kann.

Wie eingangs erwähnt, ist die Qualität der Beiträge sehr heterogen; durch einige muss sich der geneigte Leser „durchkämpfen“. Für die mit der Materie betrauten Praktiker sowie für die politischen Entscheidungsträger im Hochschulbereich liefert der Tagungsband jedoch die ein oder andere interessante Anregung.


Rezensentin
Dr. Dajana Baum
Wissenschaftliche Mitarbeiterin am Erziehungswissenschaftlichen Institut der Heinrich-Heine-Univer­sität Düsseldorf
E-Mail Mailformular


Alle 3 Rezensionen von Dajana Baum anzeigen.

Besprochenes Werk kaufen
Sie fördern den Rezensionsdienst, wenn Sie diesen Titel – in Deutschland versandkostenfrei – über den socialnet Buchversand bestellen.


Zitiervorschlag
Dajana Baum. Rezension vom 11.12.2009 zu: Georg Rudinger, Katharina Hörsch: Umsetzung von Evaluationsergebnissen. Theorie und Praxis. V&R unipress (Göttingen) 2009. ISBN 978-3-89971-537-8. Reihe: Applied research in psychology and evaluation - Band 2. In: socialnet Rezensionen, ISSN 2190-9245, https://www.socialnet.de/rezensionen/7559.php, Datum des Zugriffs 23.07.2018.


Urheberrecht
Diese Rezension ist, wie alle anderen Inhalte bei socialnet, urheberrechtlich geschützt. Falls Sie Interesse an einer Nutzung haben, treffen Sie bitte vorher eine Vereinbarung mit uns. Gerne steht Ihnen die Redaktion der Rezensionen für weitere Fragen und Absprachen zur Verfügung.


socialnet Rezensionen durch Spenden unterstützen
Sie finden diese und andere Rezensionen für Ihre Arbeit hilfreich? Dann helfen Sie uns bitte mit einer Spende, die socialnet Rezensionen weiter auszubauen: Spenden Sie steuerlich absetzbar an unseren Partner Förderverein Fachinformation Sozialwesen e.V. mit dem Stichwort Rezensionen!

Zur Rezensionsübersicht

Hilfe & Kontakt Details
Hinweise für

Bitte lesen Sie die Hinweise, bevor Sie Kontakt zur Redaktion der Rezensionen aufnehmen.
rezensionen@socialnet.de

Newsletter bestellen

Immer über neue Rezensionen informiert.

Newsletter

Schon 13.000 Fach- und Führungskräfte informieren sich monatlich mit unserem kostenlosen Newsletter über Entwicklungen in der Sozialwirtschaft

Gehören Sie auch schon dazu?

Ansonsten jetzt für den Newsletter anmelden!