Lisa Lieb, Tanja Sczepanski: Praxisleitfaden interne Evaluation in der Kita
Rezensiert von Katharina Klockgether, 21.12.2017
Lisa Lieb, Tanja Sczepanski: Praxisleitfaden interne Evaluation in der Kita. Schritt für Schritt zu mehr Qualität. Carl Link (Kronach) 2016. 183 Seiten. ISBN 978-3-556-07103-8. D: 29,95 EUR, A: 30,80 EUR.
Thema
Das Buch richtet sich in erster Linie an Kitaleitungen in der Bundesrepublik Deutschland, die sich einen praxisgeleiteten Einstieg in die interne Evaluation von Kindertageseinrichtungen wünschen. So gibt der Praxisleitfaden nach einer kurzen theoretischen Einleitung viele Hinweise, die sich unmittelbar auf die Qualitätssicherung und -entwicklung der Arbeit in Kindertageseinrichtungen beziehen. Als weitere Zielgruppen des Buchs werden pädagogische Fachkräfte und Studierende der Pädagogik der Kindheit angeführt.
Autorinnen
Lisa Lieb hat ein Magisterstudium der Erziehungswissenschaft, Politik und Ethnologie absolviert. Sie ist Beraterin und freie Trainerin bei „Arbeit und Leben“ im Bereich Erwachsenenbildung. Seit 2012 leitet sie das Weiterbildungsinstitut „Kita-Seminare-Hamburg“. Das Institut bietet verschiedene Dienstleistungen an, über die Kitas individuell und nachhaltig beraten, geschult und begleitet (u.a. zu interner Evaluation) werden.
Tanja Sczepanski hat ein Masterstudium in Pädagogik absolviert. Sie arbeitet als freie Trainerin bei „Kita-Seminare-Hamburg“ und ist seit 2016 Studienkoordinatorin der Erziehungswissenschaften an der Universität Hamburg. Zudem ist sie als Externe Kita-Evaluatorin für „ektimo GbR Berlin“ tätig.
Aufbau
Der Praxisleitfaden gliedert sich in drei Teile.
- Im ersten Teil wird Hintergrundwissen zu Qualität und Evaluation in Kitas vermittelt.
- Im zweiten Teil werden Lesenden Schritt für Schritt chronologisch durch eine Evaluation geführt. Dieser Teil ist nochmals gegliedert in drei Phasen: A) Schritte, die vor Start der Evaluation vorzunehmen sind, B) Einführung einer Evaluation und C) Durchführung der Evaluation. Alle drei Phasen werden jeweils anhand von zwei Praxisbeispielen aus Kitas illustriert.
- Der dritte Teil des Handbuchs umfasst einen Methodenkoffer. Die Autorinnen haben hier eine Vielzahl an Methoden für den Einsatz in internen Evaluationen zusammengestellt. Diese sind bereits nach ihrer potenziellen Anwendung (z.B. zur Einführung in ein Thema, Befragungsmethoden, …) sortiert. Das Buch enthält (auch schon in der theoretischen Einführung) viele Merkkästchen (Beispiele, Erläuterungen, Tipps, Zusammenfassungen) sowie Abbildungen zur Illustration des Textes.
Zusätzlich erwirbt die Käuferin bzw. der Käufer einen Freischaltcode und dadurch die Option, sich eine Online-Ausgabe des Buchs zu sichern. Voraussetzung dafür ist der Abschluss einer Premium-Mitgliedschaft auf dem Portal www.kita-aktuell.de.
Inhalt
Teil 1 des Handbuchs beginnt mit einer Abhandlung zum Thema Qualität. Es wird problematisiert, wie schwierig eine Definition von hoher Qualität in der frühkindlichen Bildung ist. Bei der Messung von Qualität wird auf die folgenden Qualitätsdimensionen verwiesen: Struktur-, Management- und Organisations-, Prozess-, Ergebnis-, Orientierungs- und Kontextqualität. Es wird hervorgehoben, dass an vielen Stellschrauben simultan angesetzt werden muss, um Verbesserungen zu erreichen. Ein weiterer Abschnitt beschäftigt sich mit dem Management von Qualität. Hier wird in den PDCA-Zyklus (Plan-Do-Check-Act) eingeführt. Einige trägerspezifische Qualitätsmanagement(QM)-Verfahren (bspw. BETA-Gütesiegel der Diakonie) und trägerunabhängige QM-Verfahren (bspw. KES – Kindergarten-Einschätz-Skala) werden vorgestellt. Daraufhin folgt eine Darstellung der Bestimmungen zur Evaluationspraxis in Kitas auf Bundesebene und in den einzelnen Bundesländern. Im darauf folgenden Kapitel wird in das Thema Evaluation eingeführt. Verschiedene Arten von Evaluation werden vorgestellt, interne Evaluation wird eingeordnet und Zwecke von Evaluation werden erklärt. An dieser Stelle werden zudem Vor- und Nachteile von interner und externer Evaluation dargestellt. Es folgt eine erste Differenzierung der Erhebungsmethoden in fünf Gruppen und eine Explikation wichtiger Standards für Evaluationen. Das letzte Kapitel des ersten Teils geht auf interne Evaluation und ihre Anwendung in Kitas ein.
Teil 2 umfasst das Kernstück des Praxisleitfadens. Es werden Anleitungen gegeben, wie in Phase A) Ziele und Zwecke geklärt, Aufgaben und Rollen verteilt, Prozessbegleitung geklärt sowie Zeitpunkt, Umfang und Form der internen Evaluation festgelegt werden können. Dabei werden nicht nur die Rollen der Kitaleitung und der pädagogischen Fachkräfte beleuchtet, sondern auch die der Eltern, der Kita-Träger und der Kinder. Phase A) wird am Beispiel von zwei verschiedenen Kitas expliziert. Das Kapitel zu Phase B) gibt Hinweise dazu, wie man Evaluation in einer Kita erfolgreich einführen kann. Ausführlich wird hier das Phänomen des Widerstands (im Kita-Team) thematisiert und zwei Beispiele erfolgreicher Einführungen werden inklusive verwendeter Methoden (u.a. Mind Map) dargestellt. In Phase C) wird in neun Schritten durch eine Evaluation geleitet (Evaluationsbereich klären, Einführung in den Evaluationsbereich, Ziele bestimmen, Kriterien klären und Indikatoren festlegen, Informationsquelle auswählen, Methoden und Instrumente auswählen/entwickeln, Durchführung der Methode/Datensammlung, Ergebnisse analysieren und interpretieren, Maßnahmen und Konsequenzen planen und umsetzen). Auch zu Phase C) finden sich zwei Beispiele aus unterschiedlichen Kitas. Jeweils alle neun Schritte sind hier veranschaulicht.
Im dritten Teil des Praxisleitfadens findet sich eine Sammlung von Methoden, welche die Autorinnen als für die interne Evaluation in Kitas relevant einschätzen. Die zahlreichen Methoden sind gegliedert in zehn verschiedene Anwendungsbereiche, bspw. Methoden zur Auswahl eines Themengebiets, zur Bestimmung von Zielen, zur Reflexion, Befragungsmethoden oder schnelle und kommunikative Evaluationsmethoden. Die Methoden werden jeweils nach folgenden Punkten dargestellt:
- Wann kann ich diese Methode einsetzen?
- Ziel
- Zeitbedarf
- Materialbedarf
- Ablauf (Vorbereitung, Durchführung, Auswertung, Ergebnissicherung)
- in vielen Fällen: Quelle der Methode
Diskussion
Hilfreich beim Lesen empfand ich die übersichtliche Gliederung des Buchs, angefangen mit dem lesefreundlichen Inhaltsverzeichnis, einer eher kurz gehaltenen Einleitung und einem separaten Abschnitt zum Aufbau des Buchs. Der Beginn aller drei Hauptteile des Buchs wird durch rot hinterlegte Seiten gekennzeichnet, die eine Zusammenfassung bereithalten. Außerdem zeigen die Kopfzeilen, in welchem Kapitel man sich gerade befindet.
Zahlreiche Abbildungen, Aufzählungen, Infokästen und Tabellen im Buch lockern den Text auf. Allerdings sind die Abbildungen mitunter nicht selbsterklärend; Erläuterungen fehlen aber im Text. Bspw. zeigt Abb. 4 „Anforderungen an qualitativ hochwertige Bildung, Betreuung und Erziehung in Berlin und Köln: vergleichbar?“ (S. 14) zwei große Buchstaben Q, auf dem einen thront ein Kölner Dom, auf dem anderen das Brandenburger Tor. Über die Abbildung wird keine weitere Information über das Gesagte im Text transportiert und mir ist es schwergefallen, den Sinn der Abbildung unmittelbar zu erfassen. Abb. 40 und 41 sind identisch – hier scheint ein Fehler unterlaufen zu sein.
Die Übersicht zu den Bestimmungen von Kita-Evaluation im Landesvergleich (S. 28) ist gewiss für Kita-Leitungen gewinnbringend. Da die Bestimmungen stetigen Änderungen unterworfen sind, wäre ein Hinweis auf die übersichtliche Online-Darstellung des Ländermonitors Frühkindliche Bildung noch sehr hilfreich (www.laendermonitor.de/). Wünschenswert wäre zudem an dieser Stelle bereits ein Verweis auf die Definition von Evaluation, welche erst im nächsten Teil des Buchs folgt.
Zwar werden die unterschiedlichen Evaluationsarten eingangs nachvollziehbar definiert, jedoch wird die Unterscheidung im weiteren Text nicht konsequent eingehalten und es kommt zu (irreführenden) Vermischungen, bspw. S. 37, S. 43 oder S. 47.
Es sollte aus meiner Sicht deutlicher herausgestellt werden, dass es sich stets um Programmevaluationen und nicht um Personalevaluationen handelt (siehe Leitfrage „Wen will ich evaluieren?“, S. 85).
Sehr positiv ist mir aufgefallen, dass deutlich gemacht wird, dass es wünschenswert ist, möglichst viele Perspektiven (auch die der Eltern und Kinder) einzuholen. Wie unten erläutert, mangelt es für die Sicht der Kinder allerdings an passenden Methoden. Ein weiterer Pluspunkt ist, dass im Abschnitt „Aufgabenklärung und Rollenverteilung“ auf eine Vielzahl von Rollen eingegangen wird. So wird neben der Kitaleitung und der pädagogischen Fachkraft auch die Rolle der Eltern, der Träger und der Kinder thematisiert. Die Punkte, die bei den Kindern aufgeführt sind, gehen allerdings aus meiner Sicht schon stark in Richtung Datenerhebung (bspw. Einrichtung eines Beschwerdekastens) und konzentrieren sich weniger auf ihre Funktion im Evaluationsprozess.
Tabelle 4 (S. 60) veranschaulicht in Form eines „Fahrplans“ die Planungsschritte einer Evaluation in einer Beispielkita. Diese Veranschaulichung und Konkretisierung halte ich generell für sehr hilfreich, weil ein Evaluationsvorhaben so greifbar und machbar erscheint. Weniger hilfreich erscheinen mir allerdings die Punkte „Zwischenbericht“ und „Abschlussbericht“, welche bei Praktikerinnen und Praktikern ggf. Befürchtungen hervorrufen, bei einer „guten Evaluation“ müsse ein umfangreicher Bericht geschrieben werden. In der Praxis ist dies mit vorhandenen Ressourcen oft nicht leistbar bzw. es müssen angepasste Berichtsformen gefunden werden (bspw. Plakate, PowerPoint-Präsentation o.ä.). Generell fehlt mir im Praxisleitfaden eine Aufwandschätzung, d.h. wie viel Zeit man grob für welche Phase einplanen sollte, oder zumindest, welche Phase am aufwändigsten ist.
Als herausfordernd stellt sich zudem der Abschnitt zur Bestimmung von Zielen dar. Es gelingt nicht immer, die Beispiele für Ziele, Indikatoren und Kriterien auf passende Art und Weise zu formulieren. Sehr hilfreich hingegen empfinde ich den Bericht aus der Praxis zu dieser Phase auf. S. 100. Hier wird der Widerstand von einigen Fachkräften gegen die als „unnötig“ wahrgenommene Ausformulierung von Indikatoren dargestellt und wie man diesem passend begegnen kann.
Auf S. 87 werden Vor- und Nachteile von verschiedenen Methoden (sowohl zur Datenerhebung als auch zur Bestimmung von Ziele o.ä.) dargestellt, was sehr hilfreich für eine erste Orientierung ist. Kritisch sehe ich hier den bei den Fragebogen und Tests angeführten Nachteil, man müsse die Daten interpretieren. Nach meiner Auffassung müssen Daten immer interpretiert werden, um die Ergebnisse später nutzen zu können. Bei der Dokumentenanalyse wird als Nachteil angegeben, die Aussagekraft der Daten sei begrenzt. Auch dies trifft aus meiner Sicht auf jede Datenart zu, es wird immer nur ein Ausschnitt beleuchtet, was aber kein Nachteil sein muss.
Im Schritt „Ergebnisse analysieren und interpretieren“ fehlt meiner Meinung nach der zentrale Punkt, dass die Ergebnisse mit den vorher bestimmten Indikatoren abgeglichen werden müssen.
Als sehr positiv ist mir hingegen der Schritt „Maßnahmen und Konsequenzen planen und umsetzen“ aufgefallen. Erst durch die Umsetzung der selbst auf Grundlage der Evaluationsergebnisse gesteckten Ziele und den darüber wahrgenommenen Nutzen kann die Motivation für die dauerhafte Nutzung von Evaluation zur Qualitätsentwicklung in den Kitas entstehen. Dies wird u.a. im Beispiel auf S. 106 gut veranschaulicht.
Die Idee des Methodenkastens halte ich für sehr praxisorientiert und unterstützend. Der Einstieg in das eigene Ausprobieren wird dadurch erleichtert. Beim Lesen hatte ich allerdings den Eindruck, dass die Beschreibungen der einzelnen Methoden sich sehr unterscheiden: Zum Teil wird nachvollziehbar durch die zu berücksichtigenden Schritte geführt, zum Teil bekommt man nur eine vage Idee, wie die tatsächliche Umsetzung aussehen könnte. Bspw. wird in einigen Methoden unter dem Punkt 4 der Ergebnissicherung bereits beschrieben, wie man die Ergebnisse Dritten präsentieren kann (z.B. S. 156), in anderen Fällen wird dieser Punkt nicht thematisiert. Manche Methoden sind zudem so gestaltet, dass sie durch eine Abfrage per Handzeichen ersetzt und somit Ressourcen gespart werden könnten. Schade finde ich zudem, dass in nur zwei Methoden erwähnt wird, dass sie auch für Kinder nutzbar sind. Für Einsteiger und Einsteigerinnen in Evaluation erscheinen mir einige Passagen zu fachspezifisch und dadurch überfordernd, bspw. S. 138/139 „Gruppendiskussion“ – hier wird zum Auswertungsprozess beschrieben, dass dieser entweder durch „statistisch-quantitative Analyseverfahren“ (im Falle von vermittelndem Erkenntnisinteresse) oder durch „interpretativ-reduktive Analysemethoden“ (im Falle von ermittelndem Erkenntnisinteresse) vorgenommen werden kann. Ein weiteres Beispiel ist die Verwendung des Fachworts „Reaktanz“ auf S. 148. Ich hatte in diesem Teil des Praxisleitfadens den Eindruck, dass weniger mehr gewesen wäre: Einige aufgeführte Methoden zeigen, wie unkompliziert mit ein wenig Kreativität Daten „im Alltag“ erhoben werden können. Stehen diese allerdings neben einer Vielzahl von ähnlichen oder aufwändigen Verfahren, bspw. Fokusgruppen-Interview (die selbstverständlich auf zwei Seiten nicht vollständig beschrieben werden können – weiterführende Quellen sind in diesen Fällen angegeben), befürchte ich eine Überforderung der Praktikerinnen und Praktikerinnen allein durch die vorzunehmende Auswahl der passenden Methoden.
Ein Thema, dass mir im Praxisleitfaden generell zu kurz kommt, ist der Datenschutz. In einem Praxisleitfaden für Einsteigerinnen und Einsteiger in der Datenerhebung hätte ich mir ein separates Kapitel zu diesem wichtigen Thema gewünscht.
Fazit
Der Praxisleitfaden richtet sich in erster Linie an Kita-Leitungen bzw. Kita-Teams, die gerne eigenständig in ihrer Einrichtung interne Evaluation etablieren wollen. Er dient als Grundlagenliteratur für Evaluations-Neulinge. Aus meiner Sicht als Evaluatorin erfolgt eine einfach gehaltene, aktivierende und nachvollziehbare Anleitung für Evaluation. Dies wird durch eine übersichtliche Darstellung und viele Praxisbeispiele gefördert. An einigen Stellen hätte ich mir mehr Klarheit und Konsistenz gewünscht (bspw. in der Darstellung von interner Evaluation, bei den Beispielen von Indikatoren und Kriterien). Das hintere Drittel des Buchs enthält eine Methodensammlung. Diese hält viele einfach anzuwendende und gut nachvollziehbar beschriebene Methoden für alle Phasen einer Evaluation bereit. Einige Methoden sind allerdings aus meiner Sicht unpassend, da zu aufwändig und im Rahmen solch eines Praxisleitfadens nicht ausreichend beschreibbar. Für die Datenerhebung mit Kindern sind nur zwei Methoden angeführt.
Rezension von
Katharina Klockgether
Wissenschaftliche Mitarbeiterin und Gesellschafterin bei Univation - Institut für Evaluation - Dr. Beywl & Associates GmbH, Redakteurin des Portals www.selbstevaluation.de, Veranstalterin des Evaluationsstammtisches im Rheinland
Website
Mailformular
Es gibt 4 Rezensionen von Katharina Klockgether.
Zitiervorschlag
Katharina Klockgether. Rezension vom 21.12.2017 zu:
Lisa Lieb, Tanja Sczepanski: Praxisleitfaden interne Evaluation in der Kita. Schritt für Schritt zu mehr Qualität. Carl Link
(Kronach) 2016.
ISBN 978-3-556-07103-8.
In: socialnet Rezensionen, ISSN 2190-9245, https://www.socialnet.de/rezensionen/21650.php, Datum des Zugriffs 23.01.2025.
Urheberrecht
Diese Rezension ist, wie alle anderen Inhalte bei socialnet, urheberrechtlich geschützt.
Falls Sie Interesse an einer Nutzung haben, treffen Sie bitte vorher eine Vereinbarung mit uns.
Gerne steht Ihnen die Redaktion der Rezensionen
für weitere Fragen und Absprachen zur Verfügung.