socialnet - Das Netz für die Sozialwirtschaft

Lars Balzer, Wolfgang Beywl: evaluiert. Planungsbuch für Evaluationen im Bildungsbereich

Cover Lars Balzer, Wolfgang Beywl: evaluiert. Planungsbuch für Evaluationen im Bildungsbereich. h.e.p.-verlag (Bern) 2015. 180 Seiten. ISBN 978-3-0355-0339-5. D: 27,00 EUR, A: 27,80 EUR, CH: 32,00 sFr.
Recherche bei DNB KVK GVK.

Besprochenes Werk kaufen
über socialnet Buchversand


Thema

Evaluation gewinnt im Bildungsbereich eine immer größere Bedeutung. Sie kann helfen, Bildungsmaßnahmen, vom Kindergarten über die Schule und Hochschule bis zum betrieblichen Lernen systematisch zu beschreiben und zu bewerten, um eine laufende Verbesserung zu erzielen. Voraussetzung dafür ist, dass relevante und beantwortbare Evaluationsfragen gestellt, entsprechende Evaluationspläne gestaltet, passende Evaluationskriterien festgelegt, die Rahmenbedingungen bei der Umsetzung der Evaluation beachtet, methodische Klippen umschifft, die gewonnenen Daten verarbeitet und die erzielten Ergebnisse zielführend genutzt werden.

Deshalb will dieses Werk einen praxisnahen Leitfaden für die Planung und Durchführung einer Bildungsevaluation bieten, die eine systematische Anleitung zum Erwerb bzw. Ausbau der notwendigen Kompetenzen beinhaltet. Ausdrücklich will das Werk alle Bereiche der Bildung, von der frühen Bildung über die allgemeinbildenden Schulstufen und die grundständige Berufsbildung bis hin zur hochschulischen Bildung sowie der allgemeinen und beruflichen Weiterbildung abdecken. Dabei geht es immer um intentionales, also zielgerichtetes Lernen, das im Rahmen von Programmen stattfindet. Darunter verstehen die Autoren ein beschriebenes und durchgeführtes, intentional aufeinander bezogenes Bündel von Aktivitäten, Interventionen, Maßnahmen, Projekten und Teilprogrammen. Dazu zählen auch beispielsweise Projekt-, Change- und Qualitätsmanagement.

Das Themenspektrum des Werkes ist breit gefasst, von der Definition einer wissenschaftlich abgestützten Evaluation über die Kriterien für eine systematische Bewertung bis zur effektiven Nutzung der Evaluation und ihrer Ergebnisse.

Autoren

Dr. Lars Balzer ist Leiter der Fachstelle Evaluation am Eidgenössischen Hochschulinstitut für Berufsbildung EHB IFFP IUFFP und dort zuständig für Fragen der Evaluation in Forschung, Lehre sowie interner und externer Projektarbeit.

Prof. Dr. Wolfgang Beywl leitet die Professur für Bildungsmanagement sowie Schul- und Personalentwicklung an der Pädagogischen Hochschule FH Nordwest-Schweiz. Er ist Gründer von Univation – Institut für Evaluation in Köln.

Entstehungshintergrund

Seit einigen Jahren haben sich in Schulen zunehmend Ansätze und Verfahren der Evaluation etabliert und Akzeptanz gefunden. Beispiele dafür sind Schulleistungsstudien wie TIMSS, PISA oder PIRLS/IGLU, die sich auf die Abfrage von Schüler-Wissen und -Fertigkeiten konzentrieren. Daneben gibt es viele lokale und regionale Initiativen zur Evaluation von Schule und Unterricht mit unterschiedlicher Akzeptanz.

Vor einigen Jahrzehnten begannen die deutschen Universitäten im deutschen Sprachraum in Folge von zunehmender Kritik, aber auch aufgrund von Reformen im Verwaltungsbereich und der Einführung von Akkreditierungsverfahren, die Qualität ihrer Lehre und der Ausbildung zu evaluieren. Zwischenzeitlich ist die Evaluierung dort weitgehend gesetzlich verankert und institutionalisiert.

In der betrieblichen Bildung gibt es eine lange Tradition zur Bewertung von Weiterbildungsmaßnahmen mittels Feedback-Bögen, die direkt am Ende der Veranstaltungen von den Teilnehmern ausgefüllt werden. Dass solche „Happyness-Sheets“ nichts, aber auch gar nichts, über den Lernerfolg in der Praxis sagen, ist bekannt, hindert aber die Mehrzahl der Bildungsverantwortlichen nicht daran, sie weiter einzusetzen. Schließlich sind die Ergebnisse im Regelfall gut oder sehr gut, so dass alle Beteiligten zufrieden sein können. Bereits 1959 hat Donald Kirkpatrick ein zwischenzeitlich weit verbreitetes Evaluationsinstrument entwickelt, das neben der Ebene der Zufriedenheit die Verbesserung des Wissens und der Fähigkeiten, aber auch des Verhaltens bzw. Handelns sowie der Veränderungen auf Unternehmensebene mit einbezieht. Entsprechende Evalutionskonzepte werden heute breit eingesetzt.

Im Zuge der Implementierung innovativer, technologiegestützter Lernsysteme auf allen Ebenen, z.B. E-Learning, Blended Learning, Social Learning oder Workplace Learning, gewinnt der Ansatz der Learning Analytics an Bedeutung. Während ihrer Lernprozesse hinterlassen die Lerner in allen ihren Lernprozessen fortlaufend Datenspuren, quasi als Nebenprodukt bei der Nutzung von Web Based Trainings, Lernvideos oder Sozialen Medien. Vor allem in Sozialen Lernplattformen mit E-Portfolios entstehen individuelle, personalisierte Lerndaten, z.B. über erledigte Aufgaben, gelöste Forschungs- oder Praxisherausforderungen, erreichte Kompetenzziele oder über die Kommunikation mit Lernpartnern, Lernbegleitern oder Experten. Learning Analytics kann den Lehrenden, aber vor allem auch den Lernenden in der selbstorganisierten Lernprozess-Optimierung, einen hohen Nutzen bringen. Das System entwickelt individuelle Lernerprofile weiter, analysiert die Kommunikation, insbesondere in sozialen Netzwerken, identifiziert Signale, die auf Erfolge oder Misserfolge hinweisen und gibt damit wertvolle Hinweise für die Gestaltung des persönlichen Lernrahmens. Daraus ergeben sich Chancen für eine Optimierung der selbstorganisierten Lernprozesse durch individuelle, zeitnahe, präzise, kompakte und anschauliche Rückmeldungen zu den einzelnen Lernhandlungen.

Aufbau und Inhalt

Zunächst definieren die Autoren den Begriff der Evaluation, den sie auf das wissenschaftlich abgestützte, systematische Beschreiben und Bewerten, insbesondere von Programmen und Projekten, begrenzen. Diese Bewertung geschieht systematisch, transparent sowie nachvollziehbar und basiert auf Daten und Informationen, die mithilfe sozialwissenschaftlicher Methoden gewonnen werden.

In den einzelnen Kapiteln wird der gesamte Evaluationsprozess in zehn Stufen systematisch beschrieben. Dabei gehen sie von einem Leitbild des Lernens aus, das gelungen ist, wenn ein Individuum sein Wissen und Können erweitert, seine Persönlichkeit entfaltet und seine soziale Integrität erhöht. Lernen erweitert damit „…die Handlungsfähigkeit des Subjektes und damit seine Möglichkeit, ein selbstbestimmtes Leben in der Gesellschaft zu führen.“ Deshalb kommt der Zielbestimmung der Evaluation eine besondere Bedeutung zu.

Frühzeitig sind alle Akteure, insbesondere Geld- und Auftraggebende, Finanzierende und Träger der Bildungsangebote, Programmleitende und -mitarbeitende, Teilnehmende, Vorgesetzte sowie Arbeitgebende und Arbeitskollegen in den Evaluationsprozess mit einzubeziehen. Eine zentrale Bedeutung, obwohl in der Praxis oft vernachlässigt, hat die realistische Festlegung der Evaluationszwecke sowie die sorgfältige Formulierung klar orientierender und priorisierter Fragestellungen, und zwar vor Beginn der Bildungsmaßnahmen.

Im Laufe der Zeit erfüllt die Evaluation verschiedene Funktionen. Die proaktive Evaluation vor Beginn der Bildungsmaßnahme hinterfragt den Bedarf, die Ressourcen und den Zeitrahmen. Die klärende Evaluation überprüft die Detailkonzeption auf Stimmigkeit und bewertet, ob das Konzept auf den Bedarf passt. Parallel zur Bildungsmaßnahme erfolgt die interaktive Evaluation, die sich auf die didaktisch-methodischen Aspekte bezieht. In der dokumentierenden Evaluation werden relevante, gültig messbare Kennzahlen, z.B. zur Entwicklung der Teilnehmerzahlen, der Anzahl der Leistungskontrollen oder Diskussionsbeiträge in Foren, erhoben und ausgewertet. Wirkungsfeststellende Evaluationen werden bei reifen Bildungsveranstaltungen mit bewährten Konzepten eingesetzt. Sie überprüfen, in welchem Maße die Ziele erreicht wurden. Grundsätzlich geht es dabei immer um Verbesserungen oder Entscheidungen über die weitere Richtung der Bildungsmaßnahme.

Einen breiten Raum nehmen die Evaluationsfragestellungen ein, die mit vielen Beispielen sehr anschaulich erklärt werden. Danach werden die Kriterien für die Bewertung des Evaluationsgegenstandes und seiner Elemente entwickelt. Die Autoren unterscheiden dabei zwischen Kriteriendimensionen, d.h allgemein formulierten Kriterien, operationalisierten Kriterien, die bereits Hinweise auf die empirische Feststellung geben, sowie Kriterienpunkte, an denen die Bewertung umschlägt (Schwellenwerte).

Dabei wird deutlich, dass es keine objektive Evaluation gibt, die also unabhängig von der Person des Einschätzenden ist. Die Evaluation muss aber eine Balance zwischen den verschiedenen Bewertungsansprüchen finden und die Transparenz, z.B. über Interessenskonflikte oder Interpretationsgrundlagen, sichern.

Die Auswahl des Erhebungsdesigns und der -methoden, von Ein-Gruppen-Designs über Mehr-Gruppen-Designs bis hin zu einem breiten Methodenrepertoire, wird ausführlich und sehr anschaulich erörtert. Grundsätzlich wird dabei zwischen quantitativen Modellen, die schon im Messvorgang zählbar sind oder in Zählbares überführt werden, und qualitativen Ansätzen, die konkrete Maßnahmen in ihrer natürlichen Umgebung mit ihren Stärken und Schwächen beschreiben und Verbesserungsmöglichkeiten aufzeigen, unterschieden. Die Auswahl der Modelle und ihrer Ausprägungen kann in der Praxis nur anhand des Evaluationszweckes, der Fragestellungen und der konkreten Rahmenbedingungen durch Evaluationsexperten erfolgen. Es gibt nicht die für jeden Fall und über allem stehenden, besten Erhebungsdesigns und Datenerhebungsmethoden, sondern immer nur die für das konkrete Evaluationsprojekt am besten passenden.

In den beiden folgenden Kapiteln werden die Durchführung der Erhebungen sowie die Datenauswertung, Interpretation und Bewertungssynthese behandelt. In elf aufeinander aufbauenden Analyseschritten geben die Autoren eine Struktur vor, die beim Zählen beginnt und in die Entwicklung und Dokumentation von Modellen mündet. Auf dieser Grundlage kann die Bewertung erfolgen. Erst damit entsteht eine Evaluation.

Nach den Ausführungen über die Berichterstattung wird die Nutzung der Ergebnisse der Evaluation erörtert. Die Forderung lautet: Evaluationen müssen genutzt und dokumentiert werden. Dies sollte von Anfang an in Planung der Evaluation mit einbezogen werden. Schließlich gehört zum Abschluss einer Evaluation eine professionelle Verpflichtung, die geleistete Arbeit zu bewerten und Verbesserungsmöglichkeiten für zukünftige Evaluationen abzuleiten.

Mit Hilfe von 16 Übungsaufgaben, die jeweils ausführliche Lösungshinweise beinhalten, können die Leser die komplexen Handlungsschritte verinnerlichen. Neben den ausführlichen Literaturhinweisen erhält der Leser eine Liste von Onlineressourcen für die Evaluation. Ein ausführliches Glossar rundet das Werk ab.

Fazit

Das Werk bietet auf fast 200 Seiten einen sehr fundierten Überblick über den Stand der Theorie und Praxis der Bildungsevaluation. Viele Beispiele und Beschreibungen geben den Gestaltern von formellen Weiterbildungsmaßnahmen vielfältige Hinweise, die sie bei der Planung ihrer eigenen Evaluationsprozesse nutzen können.

Das Werk hat dabei den erklärten Anspruch, einen praxisnahen Leitfaden für die Planung und Durchführung einer Bildungsevaluation bieten, die alle Bereiche der Bildung, einschließlich der beruflichen Bildung umfasst. Deshalb ist die Einschränkung auf Evaluationen des intentionalen Lernens im Rahmen von Programmen nicht nachvollziehbar. Gerade in diesem Bereich, aber auch in Konzepten des forschenden Lernens an Hochschulen, schlägt sich der Lernerfolg in der Lösung von, teilweise unerwarteten, Herausforderungen nieder. Im Rahmen der zunehmenden Kompetenzorientierung der Bildung wird dieser Lernbereich immer mehr an Bedeutung gewinnen.

Überwiegend beschäftigt sich das Werk mit der Frage, wie die Lehre in Bezug auf die Wissensweitergabe und der Qualifikation optimiert werden kann; Kompetenzen im Sinne von Selbstorganisationsdispositionen spielen kaum eine Rolle. Die Einschätzung des Transfererfolgs, z.B. von Entwicklungen der Handlungsweisen der Lerner im Forschungsprojekt oder in der Praxis, oder gar der Veränderungen auf Organisationsebene, z.B. in Form höherer Wirtschaftlichkeit, besserer Qualität, aber auch besserer Forschungsergebnisse, wird nur marginal berührt. Dass damit beispielsweise im betrieblichen Lernbereich etwa 90% des Lernens, das in der Kommunikation mit Kollegen und Partnern sowie durch eigenes Bemühen informell erfolgt, nicht evaluiert wird, ist nicht nachvollziehbar. Der Aspekt der Learning Analytics bleibt ebenfalls vollkommen unberührt.

Für den Fall, dass der Leser ein Planungsbuch zur Evaluierung von Seminaren oder Kursen sucht, bietet das Werk eine gute und anschauliche Basis. Sofern er selbstorganisierte Lernprozesse mit dem Ziel des Kompetenzaufbaus bewerten will, wird ihm das Werk keine Hilfe sein. Die Frage, wie informelles Lernen, das am wichtigsten für den Lernerfolg ist, zu evaluieren ist, bleibt unbeantwortet. Es kann nur gehofft werden, dass die pädagogische Forschung endlich aus ihrem Elfenbeinturm ausbricht und sich verstärkt dem Lernen, nicht der Lehre, und der Evaluation von selbstorganisierten Lernprozessen widmet.


Rezensent
Prof. Dr. Werner Sauter
Blended Solutions GmbH
Homepage www.blended-solutions.de
E-Mail Mailformular


Alle 42 Rezensionen von Werner Sauter anzeigen.

Besprochenes Werk kaufen
Sie fördern den Rezensionsdienst, wenn Sie diesen Titel – in Deutschland versandkostenfrei – über den socialnet Buchversand bestellen.


Zitiervorschlag
Werner Sauter. Rezension vom 03.05.2016 zu: Lars Balzer, Wolfgang Beywl: evaluiert. Planungsbuch für Evaluationen im Bildungsbereich. h.e.p.-verlag (Bern) 2015. ISBN 978-3-0355-0339-5. In: socialnet Rezensionen, ISSN 2190-9245, https://www.socialnet.de/rezensionen/19247.php, Datum des Zugriffs 22.10.2017.


Urheberrecht
Diese Rezension ist, wie alle anderen Inhalte bei socialnet, urheberrechtlich geschützt. Falls Sie Interesse an einer Nutzung haben, treffen Sie bitte vorher eine Vereinbarung mit uns. Gerne steht Ihnen die Redaktion der Rezensionen für weitere Fragen und Absprachen zur Verfügung.


socialnet Rezensionen durch Spenden unterstützen
Sie finden diese und andere Rezensionen für Ihre Arbeit hilfreich? Dann helfen Sie uns bitte mit einer Spende, die socialnet Rezensionen weiter auszubauen: Spenden Sie steuerlich absetzbar an unseren Partner Förderverein Fachinformation Sozialwesen e.V. mit dem Stichwort Rezensionen!

Zur Rezensionsübersicht

Hilfe & Kontakt Details
Hinweise für

Bitte lesen Sie die Hinweise, bevor Sie Kontakt zur Redaktion der Rezensionen aufnehmen.
rezensionen@socialnet.de

Newsletter bestellen

Immer über neue Rezensionen informiert.

Newsletter

Schon 13 000 Fach- und Führungskräfte informieren sich monatlich mit unserem kostenlosen Newsletter über Entwicklungen in der Sozialwirtschaft

Gehören Sie auch schon dazu?

Ansonsten jetzt für den Newsletter anmelden!