socialnet - Das Netz für die Sozialwirtschaft

Rolf Ebeling: Evaluationsforschung in der Jugendhilfe

Cover Rolf Ebeling: Evaluationsforschung in der Jugendhilfe. Die Einbeziehung der Klientenperspektive als zentrale Ressource zur Weiterentwicklung des Qualitätsmanagements - die Meinung der Kunden zählt. ibidem-Verlag (Stuttgart) 2003. 106 Seiten. ISBN 978-3-89821-302-8. 19,90 EUR.

Reihe Qualität und Qualitätssicherung in der sozialen Arbeit, Band 2.
Recherche bei DNB KVK GVK.

Besprochenes Werk kaufen
über socialnet Buchversand


Einführung in das Thema

Die Evaluation der Praxis in Feldern der Sozialen Arbeit wird - wie in anderen Untersuchungsfeldern auch - vor allem aus drei Gründen vorgenommen:

  • Legitimation: Die Evaluation soll die Finanzierung eines Projektes oder Arbeitsansatzes begründen und durchsetzen helfen, die allgemeine Akzeptanz in der (Fach-) Öffentlichkeit sicherstellen und kritische Einwände ausräumen. Sie soll - kurz gesagt - belegen, dass gut und richtig gearbeitet wird und mit den eingesetzten (finanziellen) Mitteln verantwortlich und effizient umgegangen wird.
  • Qualitätssicherung und Reflexion der eigenen Arbeit: Hier ist die Evaluation eher auf Dauer angelegt und soll die Akteure in einem Praxisfeld darin unterstützen, ihre Alltagspraxis regelmäßig und systematisch zu reflektieren, um so  Standards für die Arbeit zu entwickeln, einzuhalten und regelmäßig zu überprüfen, um damit die Qualität der Arbeit zu sichern.
  • Innovation: Der Fokus der Evaluation liegt darauf, die Praxis in einem Arbeitsfeld weiter zu entwickeln und dafür gemeinsam mit den Akteuren Ziele, Richtungen und Schritte zu identifizieren und abzusichern.

In der Praxis des Evaluationsprozesses sind diese Funktionen häufig miteinander gekoppelt; je nach Gewichtung ergeben sich dann unterschiedliche Probleme im Hinblick auf Untersuchungsmethode, Prozessverlauf und Akzeptanz der Ergebnisse.

Anliegen und Aufbau der Untersuchung

Schon der Titel des schmalen Bändchens (der eigentliche Text umfasst gut 60 Seiten sowie ein Literaturverzeichnis und einen Anhang, in dem die Forschungsinstrumente abgedruckt sind) macht dieses Spannungsverhältnis deutlich und wirft eine Reihe von Fragen auf. Mal abgesehen davon, dass in der Sozialen Arbeit - insbesondere in der Jugendhilfe - nach wie vor trefflich darüber gestritten wird, ob die AdressatInnen von Erziehungshilfen Kunden im eigentlichen Sinne sind, deutet der erste Teil des Titels den Anspruch einer umfassenden Evaluationsabsicht an, während der zweite Teil das Erkenntnisinteresse sehr deutlich auf das Qualitätsmanagement verengt, ja für dieses nahezu instrumentalisiert. Jedenfalls ist dieser zweite Teil am ehesten geeignet, den Gegenstand und die Absicht der vorgestellten Studie zutreffend wiederzugeben.

Bei der vorgestellten Befragung handelt es sich um den Versuch, die Einschätzungen und Meinungen den Jugendlichen, ihrer Erziehungsberechtigten sowie der beteiligten Fachkräfte des Jugendamtes in den Qualitätsentwicklungsprozess des Jugendhilfebereichs der Bodelschwinghschen Anstalten Bethel einzubeziehen. Beabsichtigt ist mit der Erhebung "eine Standardentwicklung im Hinblick auf das Qualitätsmanagement der Jugendhilfe."(S.23) Tatsächlich werden diese Standards aber nicht im Rahmen der Befragung mit den Jugendlichen gemeinsam entwickelt, sondern sind als gängige - mehr oder weniger empirisch überprüfte - Annahmen über die Wirkungszusammenhänge von Erziehungshilfen bereits im Qualitätsentwicklungsprozess der Einrichtung formuliert worden. So wird u,a angenommen, dass erzieherische Hilfen dann gelingen, wenn

  • die Partizipation der jungen Menschen groß ist
  • ein/eine MitarbeiterIn von dem jungen Menschen als durchsetzungsfähig wahrgenommen wird,.......
  • der junge Mensch sich in der Betreuung weniger einsam/isoliert fühlt,.....
  • die Betreuung durch den jungen Menschen als gerecht empfunden wird
  • der Alltag des jungen Menschen strukturiert ist,
  • die Kooperation zwischen unserer Einrichtung und dem Jugendamt optimal ist,
  • die Organisation der Einrichtung professionell ist..."(S.15)

usw.usw. Sehr pragmatisch werden diese Aussagen bei der Entwicklung der standardisierten Fragebögen als Kategorien zur Ableitung von Indikatoren genutzt.  "Die hier in der Forschungsanlage getroffene Indikatorenauswahl erfolgte im bezug zum Leitbild, basierend auf einer lebensweltorientierten Sozialen Arbeit, in Korrelation zur Konzeption der Einrichtung. Für die der Gesamtzahl der Indikatoren sind vor allem praktische Aspekte ausschlaggebend, um so das komplette Verfahren in angemessener Zeit durchführen zu können."(S.30) In den Fragebögen wird dann hauptsächlich abgefragt, ob und in welchem Umfang die Jugendlichen Elemente dieser als Faktoren für Strukturqualität angesehenen Indikatoren wahrgenommen haben. Zusätzlich wird noch an einigen Stellen gefragt, wie sie selbst ihre persönliche Weiterentwicklung einschätzen. Die Erhebungsbögen für die Erziehungsberechtigten und die Fachkräfte des Jugendamtes sind ähnlich aufgebaut, beziehen sich teilweise allerdings auf andere Kategorien (z.B. Zusammenarbeit mit der Einrichtung, Hilfeplanverfahren, Beschwerdemanagement usw.).

Diskussion

Dieses Vorgehen erscheint in mehrfacher Hinsicht problematisch. Zunächst wird die Auswahl der Annahmen über Schlüsselsituationen und wichtiger Einflussfaktoren und deren Formulierung als Standards an keiner Stelle begründet und ist bestenfalls für diejenigen nachvollziehbar, die an dem institutionsinternen Qualitätsentwicklungsprozess teilgenommen haben. Ohne diesen Einblick erscheinen sie als mehr oder weniger plausible Setzungen.

Hinzu kommt, dass selbst die gewählten Annahmen über pädagogische Wirkungen nur teilweise empirisch belegt sind und wegen des Technologiedefizits in der Pädagogik wohl auch kaum als lineare Wirkungsprozesse beschreibbar sind. Aus diesem Grunde sollten sich eigentlich schlichte Vorher - nachher- Vergleiche verbieten. Wenn ein Jugendlicher die Frage 14a des Fragebogens "Ich bin in der Betreuung selbständiger geworden..." bejaht, muss das prinzipiell nichts mit der Qualität der Einrichtung oder der professionellen Arbeit der BetreuerInnen zu tun haben, sondern könnte auch einfach auf eine mit zunehmendem Alter wachsende Reife zurückgeführt werden. Gelegentlich könnte man bei stationärer Betreuung ja auch sogar die Frage stellen, ob der Jugendliche nicht trotz der Betreuung selbständiger geworden ist

Und schließlich: viele der vermuteten Zusammenhänge sind so allgemein formuliert, dass eine genaue und transparente Operationalisierung absolut notwendig ist aber zugleich schwer fällt, "Je abstrakter und umfassender ein Begriff ist um so schwieriger ist er im Allgemeinen zu operationalisieren" (S.30) Was heißt also "große Partizipation", "optimale Kooperation", "professionelle Organisation"?

Ergebnisse der Untersuchung

In der Präsentation der Befragungsergebnisse werden zunächst die Grunddaten der Befragungspopulation dargestellt und im Vergleich zur Bundesstatistik der Erziehungshilfen kommentiert. In die Auswertung der Hilfeverläufe gingen im Einzelnen ein: 148 Erstbefragungen Jugendlicher 2-3 Monate nach Aufnahme in die Einrichtung, 111 Befragungen bei Entlassung oder Verlegung, 32 Befragungen der Sorgeberechtigten, sowie 57 Befragungen der Fachkräfte der Jugendämter. In welcher Weise die Befragungsergebnisse dieser einzelnen Gruppen methodisch aufeinander bezogen werden, wird nicht hinreichend deutlich.

Für Auswertung und Darstellung der qualitativen Einschätzungen der Hilfeverläufe durch die Befragten wählt der Verfasser die Erstellung einer Gesamtbilanz. "In wie weit der einzelne junge Mensch von der Hilfe profitieren konnte spiegelt sich in der Bilanz wieder. So wurde für jeden einzelnen Hilfeverlauf in den definierten Entwicklungsbereichen (zentrale Themen, Persönlichkeit, Familie, Alltagsbewältigung, Rückführung in das Elternhaus oder Verselbständigung in eine eigene Wohnung und die wahrgenommene Zufriedenheit der jungen Menschen sowie ihrer Eltern/Sorgeberechtigten und der Fachkräfte des Jugendamtes) versucht, den Nutzen für die AdressatInnen der Hilfe zu bestimmen. Eine Einschätzung über die Wirksamkeit der untersuchten erzieherischen Hilfen lassen die Hilfeverläufe in der Summe betrachtet zu. Ob und wie die Einrichtung sowie ihre KooperationspartnerInnen auf die vorhandenen Fallkonstellationen und Problemlagen bezogen eine adäquate Hilfe anbieten konnten, darüber gibt die Gesamtbilanz der Entwicklungen der jungen Menschen für alle Hilfeverläufe in der Summe betrachtet Auskunft."(S. 42) Ob dieser hohe Anspruch gerechtfertigt ist und wie genau diese Gesamtbilanz methodisch zustande kommt, wird leider nicht weiter ausgeführt. Der Leser darf lediglich zur Kenntnis nehmen, "...dass in 90,5% der Hilfeverläufe die Entwicklungsverläufe der jungen Menschen als positiv zu bewerten sind." (S.43)

Auf welche Grunddaten diese Aussage zurück geht, ob noch andere als die Befragungsergebnisse berücksichtigt wurden, ob Aussagen unterschiedlich stark gewichtet wurden, all das bleibt uns verborgen. Klar ist aber in jedem Fall, dass es sich um äußerst abstrakte Ergebnisse handelt, denn die anonyme Befragung und das wie immer geartete Verfahren einer Bilanzierung lassen keine auf den Einzelfall bezogene Triangulation der Einschätzungen des Jugendlichen selbst, seiner Eltern und der fallzuständigen Fachkraft zu.

So beschränken sich denn auch die dann dokumentierten Ergebnisse

  • zum Zusammenhang von Entwicklung der jungen Menschen und Hilfedauer
  • zum professionellen Handeln in der Einrichtung
  • zum Schutz der Jugendlichen
  • zum Beschwerdemanagement
  • zur Verlässlichkeit in der Betreuung
  • zur Individualisierung der Angebote
  • zur Beteiligung usw.

auf reine Grundauszählungen und kurze kommentierende Bemerkungen.

In seiner Zusammenfassung scheint den Autor schließlich doch ein leiser Zweifel zu beschleichen, was die Aussagekraft seiner Ergebnisse angeht, wenn er feststellt: "Durch das vorliegende Forschungsdesign lässt sich der Erfolg für die jungen Menschen in nur sehr allgemeine Kategorien fassen. Die Aussagen über fachliches Handeln der MitarbeiterInnen der Einrichtung und des Jugendamtes kann nur anhand Minimalstandards erfolgen, in denen die individuelle Ausgestaltung des Standards im Einzelfall nicht mehr erkennbar sein kann."(S.68)

Abschließende Einschätzung

Die Einbeziehung der relevanten "Koproduzenten" (Jugendliche, Eltern und Jugendamt) in den Qualitätsentwicklungs- und -sicherungsprozess eines Jugendhilfeträgers ist keineswegs selbstverständlich und hoch anerkennenswert. Ihre Einschätzungen können hilfreich sein, Qualitätsstandards zu identifizieren, zu formulieren, zu operationalisieren und weiter zu entwickeln. Standardisierte Befragungen können dafür eine relevante Methode sein, die in der vorliegenden Studie vorgestellten Instrumente sind hier für diesen Zweck und Untersuchungskontext geeignete Beispiele. Für den Diskussionsprozess des untersuchten Trägers mögen darüber hinaus auch die vorgestellten Ergebnisse einen wichtigen Beitrag zur internen Weiterentwicklung darstellen, wenn die genannten methodischen Einschränkungen berücksichtigt werden.

Das gewählte Vorgehen eignet sich aber nicht, valide und differenzierte Aussagen über Wirkungen und Verläufe Erzieherischer Hilfen zu machen, die über relativ triviale Allgemeinplätze hinausgehen. Eine solche wunderbare Erkenntnis der vorliegenden Studie soll deshalb dem Leser nicht vorenthalten werden. Der Verfasser formuliert als "das zentrale Ergebnis" seiner Studie:

"Wenn in der Einrichtung und bei den beteiligten Kooperationspartnern grundlegende Standards, wie sie im Kinder- und Jugendhilfegesetz als rechtliche Rahmenbedingungen und nach den Maximen einer lebensfeldorientierten (!) Jugendhilfe formuliert sind, eingehalten werden, dann steigen die Chancen für das Gelingen einer Hilfe an. Auch wenn es kein Garant für das Gelingen einer Hilfe sein kann, zahlt sich fachliches Handeln permanent aus..." (S.69)

Das musste doch noch mal gesagt werden.

 


Rezensent
Dipl.-Soz. Willy Klawe
war bis März 2015 Hochschullehrer an der Hochschule für Soziale Arbeit & Diakonie Hamburg. Jetzt Wissenschaftlicher Leiter des Hamburger Instituts für Interkulturelle Pädagogik (HIIP)
Homepage www.klawe-sozialepraxis.de
E-Mail Mailformular


Alle 50 Rezensionen von Willy Klawe anzeigen.

Besprochenes Werk kaufen
Sie fördern den Rezensionsdienst, wenn Sie diesen Titel – in Deutschland versandkostenfrei – über den socialnet Buchversand bestellen.


Zitiervorschlag
Willy Klawe. Rezension vom 10.02.2004 zu: Rolf Ebeling: Evaluationsforschung in der Jugendhilfe. Die Einbeziehung der Klientenperspektive als zentrale Ressource zur Weiterentwicklung des Qualitätsmanagements - die Meinung der Kunden zählt. ibidem-Verlag (Stuttgart) 2003. ISBN 978-3-89821-302-8. Reihe Qualität und Qualitätssicherung in der sozialen Arbeit, Band 2. In: socialnet Rezensionen, ISSN 2190-9245, https://www.socialnet.de/rezensionen/1260.php, Datum des Zugriffs 18.08.2017.


Urheberrecht
Diese Rezension ist, wie alle anderen Inhalte bei socialnet, urheberrechtlich geschützt. Falls Sie Interesse an einer Nutzung haben, treffen Sie bitte vorher eine Vereinbarung mit uns. Gerne steht Ihnen die Redaktion der Rezensionen für weitere Fragen und Absprachen zur Verfügung.


socialnet Rezensionen durch Spenden unterstützen
Sie finden diese und andere Rezensionen für Ihre Arbeit hilfreich? Dann helfen Sie uns bitte mit einer Spende, die socialnet Rezensionen weiter auszubauen: Spenden Sie steuerlich absetzbar an unseren Partner Förderverein Fachinformation Sozialwesen e.V. mit dem Stichwort Rezensionen!

Zur Rezensionsübersicht

Hilfe & Kontakt Details
Hinweise für

Bitte lesen Sie die Hinweise, bevor Sie Kontakt zur Redaktion der Rezensionen aufnehmen.
rezensionen@socialnet.de

Newsletter bestellen

Immer über neue Rezensionen informiert.

Newsletter

Schon 13 000 Fach- und Führungskräfte informieren sich monatlich mit unserem kostenlosen Newsletter über Entwicklungen in der Sozialwirtschaft

Gehören Sie auch schon dazu?

Ansonsten jetzt für den Newsletter anmelden!