socialnet - Das Netz für die Sozialwirtschaft

Evaluation sozialer Arbeit

Eine Arbeitshilfe mit Beispielen zur Evaluation und Selbstevaluation

Karolus Heil, Maja Heiner, Ursula Feldmann (Hrsg.)

Veröffentlicht am 22.04.2015.

socialnet Materialien. Reihe 8: Veröffentlichungen des Verlags des Deutschen Vereins

Das Werk ist ursprünglich im Eigenverlag des Deutschen Vereins für öffentliche und private Fürsorge e.V. Berlin erschienen.

Einleitung und Entstehungsgeschichte dieses Bandes

Ursula Feldmann

Bereits in der ersten Hälfte der 90er Jahre hatte der Fachausschuss „Sozialplanung und Organisation“ des Deutschen Vereins beschlossen, sich im Rahmen einer Arbeitsgruppe (besetzt mit Professor Dr. Karolus Heil – Vorsitz, Professor Dr. Herbert Bassarak, Günther Biwer, Dr. Klaus Deubel, Michael Heck, Professor Dr. Maja Heiner, Stefan Karolus, Sigurd Mehls, Hans Müller, Herwart Rose (zeitweise), Dr. Petra Schmid-Urban, Professor Dr. Rüdiger Spiegelberg, Almuth Tauche (zeitweise)) mit Fragen der Wirksamkeitsanalyse sozialer Dienste und Angebote zu beschäftigen. Ausgangspunkt war die Überlegung, dass auch für soziale Dienste selbstverständlich werden muss, die Effektivität ihrer Arbeit transparent machen zu können und der Deutsche Verein der Praxis dabei behilflich sein sollte. Angesichts knapper Kassen wird es verstärkt darauf ankommen, Prioritäten zu setzen; sie können nur gesetzt werden, wenn Erfahrungswerte zur Wirksamkeit von Maßnahmen vorliegen und Methoden und Verfahren zu ihrer Messung bereit gestellt werden. Ziel war daher, eine Arbeitshilfe für die Praxis zu entwickeln.

Die Arbeit in der Arbeitsgruppe gestaltete sich außerordentlich schwierig, nicht nur weil die Materie schwierig war; es gab längere Zeiträume, in denen sich die Arbeitsgruppe nicht treffen konnte und die Arbeit stagnierte. Im weiteren Verlauf wurde die Arbeit von einigen Wenigen voran getrieben. Ergebnis ist die vorliegende Publikation, von der wir uns wünschen, dass sie die Praxis im Blick auf Evaluation beflügelt und konkrete Hilfen für Evaluation vor Ort in den unterschiedlichen Arbeitsfeldern liefert.

Das Handbuch hat einen theoretischen (A) und einen praktischen Teil (B). Im theoretisch-methodischen Teil erfolgt zunächst mit dem Beitrag von Karolus Heil die Grundlegung zu Zielen, Problemen und systematisch-methodischen Aspekten der Evaluation. Er führt aus, dass Evaluation ein Mittel ist, internem und externem Legitimationsdruck zu begegnen, aber auch Handlungskonzepte durch Überprüfung ihrer Wirksamkeit weiter zu entwickeln. Unterstützend wirken hierbei eine Reihe von internen Entwicklungen – nicht zuletzt die Modelle zur Neuen Steuerung, deren Ziel die Verbesserung der Effektivität und Effizienz ist. Weiter wird die enge Verbindung zwischen Evaluation und Qualitätsmanagement angesprochen, Ausführungen zu Begriffsbestimmungen gemacht, aber auch Erklärungsansätze dafür geliefert, warum die Sozialadministration vergleichsweise spät beginnt, sich mit Fragen der Wirksamkeit ihrer Arbeit systematisch auseinander zu setzen. Schließlich findet man in diesem Kapitel hilfreiche Ausführungen zur Bedeutung und Gestaltung von Evaluationsplanung und zu Anforderungen und Problemen der Erfolgskontrolle.

Petra Schmid-Urban setzt sich im zweiten Kapitel mit den sozialpolitischen Anforderungen und den fachlichen Standards der Evaluation in der sozialen Arbeit auseinander. Ihr Ziel ist zu verdeutlichen, in welchen Kontext Evaluationsverfahren einzupassen sind, wenn mit ihrer Hilfe die Wirksamkeit von Maßnahmen im Blick auf die Problemlösung eruiert werden soll. Die wichtige Funktion von Sozialplanung für Evaluationsverfahren, gerade auch in diesem Zusammenhang, wird deutlich. Denn die Problemlösung kann nur in den seltensten Fällen über einen Dienst allein erfolgen; häufig sind mehrere Dienste zu beteiligen. Sie wären im Blick auf die Problemlösung auch gemeinsam mit ihrem jeweiligen Beitrag zu evaluieren. Bislang finden Evaluationen überwiegend maßnahmen- oder institutionsbezogen statt. Große Bedeutung haben auch materielle Ressourcen, von denen oft abhängt, ob z. B. die Beratung etwas bewirken kann oder Probleme sich verschärfen und in der Folge zusätzlichen Einsatz erfordern. Wenn situations-/problembezogen angesetzt wird und Funktionsweise und Zusammenwirken der beteiligten Dienste und Einrichtungen evaluiert werden, setzt das voraus, dass sie bereits bei der Konzipierung des Untersuchungsdesigns beteiligt werden. Bei Evaluationsverfahren geht es weniger darum, die individuelle Arbeitsleistung zu überprüfen, sondern insbesondere werden Rahmenbedingungen, theoretische Grundlagen, aber auch Vernetzungsstrukturen auf ihre Wirksamkeit hin analysiert und daraus Konsequenzen für Veränderungsprozesse gezogen. Schmid-Urban führt aus, dass ganzheitliches Qualitätsmanagement, da es auch die Überprüfung der Ergebnisse umfasst, mit Evaluation verknüpft sein muss.

Maja Heiner gibt mit ihrem Beitrag eine Fülle von Anregungen und Hinweisen zur Durchführung von Evaluationen. Sie können zur Klärung der konzeptionellen Basis und ihrer theoretischen Annahmen, wie auch zu vergleichender Analyse von Lösungsansätzen oder zur Einschätzung eingesetzter Programme genutzt werden. Deutlich wird, wie vielfältig die Anlässe und Funktionen von Evaluationsstudien sein können und dass dies auch Varianten in der Gestaltung des Untersuchungsdesigns nahe legt. Evaluationen können höchst unterschiedlich sowohl von der Methode als auch von der Zielsetzung her angesetzt werden. Die Fragestellungen, die Methodik, aber auch der Arbeitsaufwand sind entsprechend unterschiedlich. Sie machen sorgfältige Klärungen im Vorfeld der Evaluation unausweichlich. Heiner beschreibt die wichtigsten Entscheidungsstadien bei der Planung und Durchführung einer Evaluation, zeigt Alternativen bezüglich der Organisation des Evaluationsverfahrens auf und benennt Fallstricke. Ausführlich werden konzeptionelle und organisatorische, aber auch methodische Alternativen dargelegt. Je nach Funktion der Evaluationsstudie werden eine Reihe von Ansätzen der Evaluation unterschieden, je nachdem ob sie stärker prozessbezogen oder stärker ergebnisorientiert angelegt werden. Variabel ist auch die jeweils gewählte Breite und/oder Tiefe der Evaluation. Die Konsequenzen, die sich daraus für die Untersuchung ergeben, werden dargestellt. In einem weiteren Abschnitt gibt Heiner eine Orientierung zu den Arbeitsschritten einer Evaluation, indem sie ein logisch systematisches Ablaufmodell vorstellt und im Einzelnen beschreibt. Ausführlich geht sie auf Interpretation und Bewertung der Ergebnisse ein und macht nachvollziehbar, warum die Auseinandersetzung um die jeweiligen Evaluationskriterien und die damit verbundenen Bewertungsmaßstäbe allen Beteiligten die Chance bieten, zu einer realitätsbezogenen Planung, aber auch Selbsteinschätzung zu kommen.

Hiltrud von Spiegel beschreibt in achtzehn Arbeitsschritten detailliert, wie man, wenn man eine Selbstevaluation durchführen möchte, vorgeht und worauf besonders zu achten ist. Sie tut dies an einem Beispiel aus dem „Betreuten Jugendwohnen„- wie verhalten sich die Bezugspädagoginnen, wenn sie trotz Vereinbarung von Besuchsterminen mit den Jugendlichen öfters vor verschlossenen Türen stehen. Geklärt werden muss, was genau untersucht werden soll und wofür die Ergebnisse der Evaluation nützlich sein sollen. Es wird nachvollziehbar, wie unterschiedlich die interessierenden Fragestellungen sein können und was dies dann jeweils für das weitere Verfahren der Selbstevaluation bedeutet. Zusätzlich liefert von Spiegel im Anhang eine Reihe von Arbeitshilfen z.B. zur Eingrenzung und Präzisierung einer Fragestellung, zur Eingrenzung des Untersuchungsfeldes und Auswahl der Untersuchungsgegenstände, einen Gliederungsvorschlag für einen Evaluationsbericht, die die Selbstevaluation erleichtern und strukturieren helfen. Es lohnt sich, (mit den Kolleginnen gemeinsam) das Verfahren zu entwickeln; es erscheint nicht möglich, Verfahren der Selbstevaluation, die andere entwickelt haben, auf die eigene Situation direkt zu übertragen.

Im zweiten Teil des Buches werden Erfahrungen, Methoden und Ergebnisse von Evaluationsprojekten an Beispielen veröffentlicht. Dabei handelt es sich, abgesehen von dem ersten Beitrag, mit dem der methodische Ansatz eines Forschungsprojektes vorgestellt wird, um Beispiele, die

  • von Praxisvertretern weitgehend ohne externe Anleitung und Unterstützung konzipiert und erstellt wurden (Beispiele 6, 7, 8)
  • von Praxisvertretern mit Anleitung und Unterstützung erstellt wurden (Beispiele 3, 4, 5), sowie
  • von Wissenschaftlern erstellt wurden (Beispiel 2).

Mit dem ersten Beitrag von Dieter Kreuz und Sabine Wenng wird der methodische Ansatz eines Forschungsprojektes beschrieben, das noch läuft. Untersucht wird im Auftrag des Bundesministeriums für Familie, Senioren, Frauen und Jugend (BMFSFJ) die wirkungsorientierte Steuerung sozialer Dienstleistungen in der Altenhilfe im Schnittpunkt öffentlicher und privater Fürsorge in drei Regionen mit jeweils zwei Projekten. Zielsetzung ist, Ansatzpunkte für eine wirkungsorientierte Steuerung und darauf aufbauend entsprechende Qualitätsstandards zu entwickeln. Es werden zentrale Themen der Altenhilfe beschrieben und die Akteure benannt, die sich in diesem Feld bewegen und deren Angebote wirkungsorientiert vernetzt sein sollten. Im zweiten Teil dieses Beitrages werden die Projekte, die derzeit in München, Freiburg im Breisgau und im Landkreis Quedlinburg durchgeführt werden, erläutert und die jeweiligen Ziele der Untersuchungen benannt.

Willy Klawe stellt in seinem Beitrag „Dichte Beschreibungen“ als Evaluation sozialpädagogischer Praxis eine Praxisevaluation – ebenfalls im Auftrag des BMFSFJ – über ein erlebnispädagogisches Langzeitprojekt vor, das zur Beurteilung der Konzeption, Ausgestaltung, Umsetzung und des Nutzens durchgeführt wurde und sowohl quantitative als auch qualitative Methoden anwendet. Qualitätssicherung und Legitimation werden als Ziele in engen Zusammenhang gestellt. Beispielgebend ist das Verfahren, bei dem alle Beteiligten zu den Phasen Entstehung, Planung und Verlauf der Maßnahme in narrativen Intensivinterviews unabhängig voneinander als Experten zu Wort kommen. Ihre Sichtweisen und Wertungen werden aufeinander bezogen und miteinander verglichen, so dass die Aussagen zusammen gesehen ein multiperspektivisches Bild jeder Phase mit sehr vielen Facetten liefern. Neben geteilten Einschätzungen werden zur gleichen Phase eine Reihe von Wahrnehmungen und Wertungen der Akteure sichtbar, die sich voneinander unterscheiden. Klawe vermutet, dass die divergenten Perspektiven entscheidenden Einfluss auf den Prozess und die Effekte einer Maßnahme haben.

Herbert Müllers Beitrag – Evaluation und Selbstevaluation der pädagogischen Standardsituation Mittagessen – steht für eine begleitete Selbstevaluation. Das Mittagessen als Gruppenveranstaltung ist eine strukturierte Situation mit komplexen Anforderungen an das Sozialverhalten aller Beteiligten. Vorgestellt wird das Tischsoziogramm mit Hilfe eines Videotrainings. Deutlich wird der besondere Nutzen von Videoaufzeichnungen in Fällen, bei denen es um kommunikative Verhaltensweisen geht – wenn die Scheu vor der Kamera überwunden ist. Die Aufzeichnungen scheinen der teilnehmenden Beobachtung insofern überlegen zu sein, als alles, auch die Körpersprache, aufgezeichnet wird und die Szenen in der Auswertung wiederholt betrachtet und detailliert ausgewertet werden können. So bieten sie den beteiligten Fachkräften wichtige Informationen für die Situationskontrolle und die Reaktionskontrolle. Damit können die Fachkräfte Verhaltensänderungen durch die Optimierung von erzieherischen Interventionen einleiten und mittels Videokamera überprüfen.

Der Beitrag von Gitte Landgrebe ist ein Reprint aus einem Buch, das 1994 von Maja Heiner zum Thema „Selbstevaluation als Qualifizierung in der sozialen Arbeit – Fallstudien aus der Praxis“ herausgegeben worden ist.
Dieser Beitrag steht für eine gezielte und systematische Verbindung von Fremd- und Selbstevaluation in der Familienberatung und der Gruppenarbeit mit Frauen in einer problembelasteten Region. Adressaten sind junge allein erziehende Frauen und junge Familien in schwierigen Lebensverhältnissen. Neben Einzelarbeit wird besonderer Wert auf Gruppenarbeit und Vernetzungsarbeit im Stadtteil gelegt. Evaluiert wurde die Effektivität des sozialpädagogischpsychologischen Hilfekonzeptes sowie die Übereinstimmung der tatsächlichen und der konzipierten Arbeitsschritte. Die Evaluation war auf einen Zeitraum von fünf Jahren angelegt. Im Beitrag wird nachvollziehbar, wie die Evaluationsinstrumente entstanden sind, aber auch, wie hilfreich diese selbst entwickelten Instrumente für die tägliche Arbeit sein können und dass daraus erheblicher Nutzen für die Professionalisierung der eigenen Arbeit gezogen werden kann.

Die Autoren Albrecht Bantle, Maja Heiner, Constanze Hosp, Wolfram Karas und Susanne Stutzmann beschreiben das Verfahren einer angeleiteten Selbstevaluation der Ergebnisqualität in der sozialpädagogischen Familienhilfe. Es wurde ein Instrumentarium entwickelt, das zur Profilierung der sozialpädagogischen Familienhilfe beiträgt, Qualitätskontrolle erleichtert und neben mehr Transparenz nach außen auch ständig wertvolle Hinweise zur Verbesserung der Arbeit – auch im Arbeitsalltag – liefert. Geschildert wird der Prozess der Organisation der Selbstevaluation, der Entwicklung und Umsetzung der Evaluationsinstrumente; es werden erste Ergebnisse vorgestellt und mögliche Perspektiven für die Weiterentwicklung aufgezeigt. Die intensiv bearbeiteten Entwicklungsbereiche sind: Grundfunktionen der Alltagsbewältigung, Ressourcen der Eltern und erwachsener Bezugspersonen, Erziehungskompetenzen sowie Familienstruktur und Familienbeziehungen. Besondere Anregungen und Hilfen können die im Anhang dieses Beitrags abgedruckten Definitionsbögen sowie Leitfäden zur Evaluation von Entwicklungsbereichen liefern.

Reinhard Niederbühl berichtet, wie in Karlsruhe an zwei Brennpunktschulen Schulsozialarbeit zunächst für ein Jahr eingerichtet wurde. Danach sollte die Wirksamkeit dieses Dienstes untersucht werden. Das Konzept der Evaluation wurde von einigen Mitarbeitern und der Schule gemeinsam entwickelt und die Rohfassung mit verschiedenen Stellen und Personen, die in der Region auch mit der Zielgruppe zu tun haben (könnten), diskutiert. Es wurden Ziele und Maßnahmen gemeinsam formuliert und zusätzliche Instrumente der Qualitätsentwicklung und –kontrolle eingesetzt. Zu den Ergebnissen gehört, dass die Nutzung der Beratungshilfen des sozialen Dienstes sich gesteigert hat, dennoch aber die Kosten von Beratungshilfen deutlich gesenkt werden konnten. Die Evaluation hat die Fähigkeit der Mitarbeiter zur Selbststeuerung verbessert und wurde von Politik und Fachwelt positiv aufgenommen.

Das Beispiel, das Hans Müller beschreibt, steht ebenfalls für eines, das Praktiker selbst entwickelt, durchgeführt und dokumentiert haben. Evaluiert wird die Wirkung von sozialer Gruppenarbeit mit Hilfe von Einschätzungen der Fachkräfte sowie Bewertungen der Teilnehmerinnen. Es sollten Anhaltspunkte dafür gefunden werden, dass die soziale Gruppenarbeit positive Entwicklungen in den Teilnehmerinnen auslöst. Erwartet wurden ein Prozess der Stärkung der Kommunikations- und Konfliktfähigkeit, des Selbstwertgefühls sowie die Zunahme von Verantwortungsbewusstsein. Dass es immer auch intervenierende Variable gibt, wurde gesehen und auch kurz angesprochen. Mit den Anlagen wird die Entwicklung der Fragebogen ebenso nachvollziehbar wie die Weiterentwicklung der Vorgehensweisen.

Monika Kringe stellt in ihrem Beitrag die Evaluationsbestrebungen einer Gemeinweseninitiative vor. Aus einem breiten Arbeitsspektrum wird die Stadtteilarbeit herausgegriffen und evaluiert. Über drei Projekte – Seniorencafö, Stadtteilfeste und aktivierende Befragung – wird der Evaluationsprozess, werden Ziele, Bewertungskriterien, angewandte Evaluationsmethoden und die Auswertung dargestellt. Die erzielten Wirkungen werden anhand von vorab festgelegten Bewertungskriterien überprüft, die Evaluationsinstrumente nachträglich noch einmal bezüglich ihrer Tauglichkeit hinterfragt und insbesondere auch reflektiert, ob mit der Konzeption des Projektes das erreicht werden konnte, was erreicht werden sollte.

Die Beispiele machen deutlich, dass (Selbst-)Evaluationsverfahren zu entwickeln oder von einer Evaluation „betroffen“ zu sein in der Regel heißt, dass erhebliche zusätzliche Zeit eingesetzt werden muss. Diesem Zeitaufwand müsste durch die Schaffung der entsprechenden Rahmenbedingungen (insbes. Personal) Rechnung getragen werden, wenn man – was unausweichlich erscheint – künftig generell stärker Evaluationsverfahren mit unterschiedlichen Zielsetzungen und unterschiedlichen Erwartungen an die Ergebnisse einsetzen möchte.

Dieser zusätzliche Zeitaufwand „rechnet“ sich, weil Evaluationsverfahren die Prozessqualität durch stärkere Strukturierung verbessern, die eigene Professionalität durch regelmäßige Reflexion auf der Grundlage von Zwischenergebnissen weiterentwickeln und für Außenstehende transparent gemacht wird, was warum und mit welchem Ziel getan wird. Vor allem aber verbessern Evaluationsverfahren in sehr vielen Fällen durch strukturierte Reflexion die Qualität der Arbeit und die Wirkung der Dienstleistung für die Betroffenen.

Anlagen

  1. Evaluation sozialer Arbeit (pdf)

Herausgeber
Karolus Heil

Maja Heiner

Ursula Feldmann


Zitiervorschlag
Karolus Heil, Maja Heiner, Ursula Feldmann (Hrsg.): Evaluation sozialer Arbeit. Eine Arbeitshilfe mit Beispielen zur Evaluation und Selbstevaluation. Veröffentlicht am 22.04.2015 in socialnet Materialien unter http://www.socialnet.de/materialien/4681.php, Datum des Zugriffs 18.11.2019.


Urheberrecht
Dieser Beitrag ist, wie alle anderen Inhalte bei socialnet, urheberrechtlich geschützt. Falls Sie Interesse an einer Nutzung haben, helfen wir Ihnen gerne weiter. Gerne steht Ihnen die Redaktion der Materialien für weitere Fragen und Absprachen zur Verfügung.

Zur Übersicht über alle Materialien

Immer auf dem Laufenden?

socialnet ist das Fachportal für Sozialwirtschaft und Nonprofit-Management. Das Branchenbuch, die Rezensionen und weitere Dienste werden laufend ausgebaut. Damit Sie nichts verpassen, informieren wir Sie gerne monatlich über neue Angebote. Bestellen Sie unseren kostenlosen Newsletter.

Förderverein

Damit wir Ihnen künftig noch mehr kostenlose Fachinformationen zur Verfügung stellen können, benötigen wir Ihre Unterstützung. Sie können uns über den Förderverein Fachinformation Sozialwesen e.V. steuerbegünstigt Spenden zukommen lassen.