Tasso Brandt: Evaluation in Deutschland

Rezensiert von Prof. Dr. Wolfgang Beywl, 26.05.2009

Tasso Brandt: Evaluation in Deutschland. Professionalisierungsstand und -perspektiven. Waxmann Verlag (Münster/New York/München/Berlin) 2009. 286 Seiten. ISBN 978-3-8309-2079-3. 29,90 EUR.
Reihe: Sozialwissenschaftliche Evaluationsforschung - 7.

Weitere Informationen bei DNB KVK GVK.

Kaufen beim socialnet Buchversand

Thema

Welchen gesellschaftlichen Stellenwert und welche Identität messen diejenigen der Evaluation in Deutschland bei, die selbst evaluierend tätig sind und/oder sich damit wissenschaftlich-reflektierend befassen?

Autor

Tasso Brandt hat Soziologie studiert, einige Jahre am Universitären Centrum für Evaluation an der Universität des Saarlandes evaluiert und mit dem vorgestellten Buch promoviert. Seit 2008 arbeitet er am Fraunhofer Institut für System- und Innovationsforschung in Karlsruhe.

Aufbau

Wie eine klassische sozialwissenschaftliche Dissertation: 50 Seiten zum sozialwissenschaftlichen Rahmen; ein 50seitiger Literaturüberblick zum Stand der Professionalisierung der Evaluation; ein kurzes Kapitel zum methodischen Vorgehen; der Hauptteil mit Ergebnissen aus Leitfadeninterviews und Online-Befragungen; eine 15 Seiten lange, die theoretischen Grundlagen und die empirischen Daten synthetisierende „Diskussion“; Erhebungsinstrumente im Anhang.

Inhalte

Das Kapitel zum „konzeptuellen Rahmen“ setzt sich literaturreich mit sozialwissenschaftlichen Theorien zu „Professionalisierung“ und „Profession“ auseinander. Referiert werden Definitionsansätze unterschiedlicher Theorietraditionen, welche entweder den Schwerpunkt auf die besonderen institutionellen Erscheinungsmerkmale von Professionen setzen oder auf eine spezifische Handlungslogik professioneller Tätigkeiten und die damit erforderliche Kollegialkontrolle. Unterschieden wird Professionalisierung im weiteren Sinne – mit den vier Merkmalen „spezifizierte Wissensbasis“, „organisatorischer Zusammenschluss der im Feld tätigen Akteure“, „Standards professionellen (d. h. fachlichen und ethischen) Handelns“ sowie „Ausbildungsprogramme“ – von Professionalisierung im engeren Sinne, bei der ein exklusiver fachlicher Zugang (wie z. B. bei der Ärzteschaft) dazu kommt. Aus den vier bzw. fünf Bestimmungsmerkmalen beider Professionalisierungsformen werden die 21 Teilfragestellungen für die Literaturauswertungen und Befragungen abgeleitet, zusammenfassbar in drei Hauptfragestellungen:

• „Welchen spezifischen Tätigkeits- bzw. Kompetenzbereich beansprucht ‚Evaluation‘?“
• „Wie ist aktuell der Stand der Professionalisierung von Evaluation in Deutschland? Welche Perspektiven zeichnen sich ab?“
• „Welche Motivlagen lassen sich bezüglich der (weiteren) Professionalisierung von Evaluation feststellen? Welches Professionalisierungsverständnis vertreten die Akteure?“ (S. 64)

Der Literaturüberblick (Kapitel 3) resümiert Begriffsklärungen zu „Evaluation“, schildert aktuelle Entwicklungen dieses expansiven Tätigkeitsfeldes und referiert die Professionalisierungsdiskussion aus der aufbereiteten (deutschsprachigen) Evaluationsliteratur. Schlüsselzitate verdeutlichen die vertretenen Positionen. Das Zwischenfazit hält fest, dass mit den Veröffentlichungen der „Gesellschaft für Evaluation“ (DeGEval), insbesondere ihren Evaluationsstandards und den Empfehlungen zur Ausbildung in Evaluation, eine Professionalisierungsbasis geschaffen ist. Allerdings fehle – was unverzichtbar für die Professionalisierung im engeren Sinne wäre – ein übergreifender Kanon spezifischen theoretischen Evaluationswissens, welcher in Lehrbüchern zu kodifizieren oder in einer Selbstverständnisdiskussion z. B. im Rahmen der DeGEval zu verankern wäre.

Kapitel 4 beschreibt das empirische Vorgehen: 1) Interviews mit zwölf Experten und vier Expertinnen, überwiegend Mitglieder der DeGEval, die verschriftlicht und inhaltsanalytisch aufbereitet sind; 2) eine standardisierte Online-Befragung, an der ca. ein Drittel der angeschriebenen DeGEval-Mitglieder (163 Personen) komplett teilgenommen hat.

Die Leitfadeninterviews ergeben als Grundkonsens, dass Evaluation ein „sozialwissenschaftlich geprägtes, empirisch gestütztes Verfahren zur Bewertung von Programmen, Massnahmen oder anderen Gegenständen“ ist (S. 157). Dabei sieht die Mehrheit der Interviewten das Besondere der Evaluation in einer Kombination verschiedener Qualifikationsanforderungen und weniger in „genuinen Wissensinhalten“. Bemühungen zur Verbesserung von Qualität und Transparenz der Evaluation, namentlich auf der Grundlage der Evaluationsstandards sowie von Aus- und Weiterbildungsaktivitäten, werden breit unterstützt. Die Entwicklung eines „Berufsstandes von Evaluator/-innen“ in Richtung einer exklusiven Profession wird überwiegend kritisch gesehen.

Die standardisierte Befragung bestätigt diese Befunde. Bemerkenswert ist, dass die auf „Nützlichkeit“ der Evaluation gerichtete DeGEval-Standardgruppe und der damit verbundene Schutz der Stakeholder auf sehr breite Unterstützung trifft. In zweiter Linie gilt dies für klassische Gütekriterien sozialwissenschaftlicher Methodik (Standardgruppe „Genauigkeit“). In dieser Schwerpunktsetzung könnte ein Kern der Identität von Evaluation liegen (dazu am Schluss dieser Besprechung mehr). Der stärkste Konflikt besteht bei der Frage, ob Evaluierende in Zukunft durch eine Anerkennungsstelle verpflichtend zugelassen werden sollen oder ob sie – milder – durch freiwillige Zertifizierung ihr Profil schärfen sollen. Es zeigt sich eine Fraktionierung der Befragtengruppen, wobei eine „Zertifizierungspflicht“ von einer Mehrheit abgelehnt wird.

Im abschliessenden Kapitel 6 fasst Brandt die Argumente für die Professionsbildung im engeren Sinne einerseits und für eine weniger strukturierte Professionalisierung andererseits zusammen. Die Mehrheit sowohl der Interviewten als auch der online Befragten befürwortet qualitätssichernde Schritte und teilt Grundannahmen dazu, wie Evaluation praktisch vorgehen sollte und was Bestandteile einer Professionalisierung im weiteren Sinne sind. Die schließt nicht ein, dass nachhaltig eine kohärente Professionalisierungsstrategie eingefordert wird. Zweifel bestehen zudem, ob es ein alleinstellendes evaluationstheoretisches Wissen gibt [das sich z. B. in prominenten Modellen von Evaluationen und anerkannten systematischen Bewertungsverfahren zeigen würde; W.B.]. Evaluation überschneidet sich aus Sicht vieler Befragter mit benachbarten Praktiken. Ob dies als ernsthaftes Manko gilt, „hängt letztendlich auch davon ab, ob Evaluation primär als Methode bzw. Verfahren oder darüber hinaus gehend als eigenständiges inhaltliches Gegenstandsgebiet aufgefasst wird“. (S. 240).

Dreh- und Angelpunkt ist aus Brandts Sicht, ob es künftig zu einer stärkeren theoretischen Fundierung von Evaluation kommt. Hierzu macht er – bewusst abseits des ‚Minenfelds‘ Zertifizierung – abschliessend Vorschläge, etwa Meta-Evaluationen oder substanzielle Forschung über Evaluation, die beide weitgehend fehlten.

Diskussion

Einig ist sich der Autor mit den meisten seiner Befragten, dass der gesellschaftliche Aufgabenbereich und der Markt für Evaluationen stark gewachsen sind. Seine Arbeit erfasst den Professionalisierungsstand der Evaluation in Deutschland (überwiegend aus der Innenperspektive) und steckt einen realistischen Rahmen für einen künftigen Professionalisierungsprozess ab. Der aufgespannte theoretische Rahmen steuert die breit angelegte Literaturanalyse und die beiden solide umgesetzten empirischen Verfahren; zentrale professionspolitische Fragestellungen sind behandelt. Dem Autor gelingt es, eine neutrale Perspektive auf die umstrittenen Themen einzunehmen. Hier liegt für die Lesenden, die selbst einen Standpunkt finden wollen, der grosse Wert: Ihnen wird systematisch gegliedertes Material geboten, welches sich zur eigenen Urteilsbildung eignet.

Das Buch lässt sich mehrfach verwenden:

• der Literaturteil stellt Basismaterial für Lehre und Weiterbildung in Evaluation dar: Er enthält den aktuellen Stand zu den Markt- und Rahmenbedingungen, zur verbandlichen Organisierung in Gestalt der DeGEval, zur Nutzung der Standards für Evaluation und zum Stand der Evaluationstheorie im deutschsprachigen Raum;
• es unterstützt die Weiterentwicklung von Kompetenztaxonomien für die Aus- und Weiterbildung in Evaluation und legt den Finger auf die Wunde einer unvollständigen genuinen Wissensbasis, die Alleinstellungsmerkmal für die Evaluation sein könnte;
• es ermöglicht, das Thema Zertifizierung informiert zu diskutieren; dies durch Gegenüberstellung von Pro- und Contraargumenten mit Originalzitaten der Antwortenden.

Kritisch sehe ich die multivariate statistische Auswertung der Online-Befragung, welcher der Autor viel Aussagekraft im zentralen Streitpunkt der Zertifizierung zumisst; dies angesichts der Mängel der Stichprobe (obwohl nicht repräsentativ, werden Signifikanzmasse berichtet). Man könnte die Schlussfolgerungen Brandts so verstehen, dass Befürworter einer Professionalisierung im engeren Sinne („mit Pflicht zur Zertifizierung“) dazu hauptsächlich motiviert sind, um dem Feld „höheres Ansehen“ (Item A) zu verschaffen, und dass ihnen demgegenüber der „Schutz der Stakeholder vor qualitativ schlechten Anbietern“ (Item B) weniger wichtig sei. Aber: Während Item B allgemein danach fragt, als wie viel Wichtigkeit dem Schutz der Stakeholder zugemessen werden soll (was auf breite Zustimmung trifft), fragt Item A danach, wie stark eine kausale Verbindung zwischen „Zertifizierung“ und „höherem Ansehen“ eingeschätzt wird. Aus meiner Sicht fördert diese Itemformulierung, dass Zertifizierungsskeptiker eine reputationsfördernde Wirkung bezweifeln (der „Meinung“ eher nicht zustimmen), Befürworter entgegengesetzt antworten (so können beide Gruppen für ihr Antwortverhalten Konsistenz herstellen). Das von Brandt herausgehobene Ergebnis zum Thema Zertifizierungsmotive wäre zumindest mit ein Effekt der Itemformulierung.

Dabei sind es gerade die herausgearbeiteten Spannungsthemen, welche dieses Buch so wertvoll für die Weiterentwicklung von Evaluation machen.

Meine erste Schlussfolgerung aus der Lektüre betrifft das Thema „theoretischer Kernbereich“. Um diesen zu füllen müssten diejenigen, die sich reflexiv mit Evaluation befassen, Lösungen dafür suchen, wie Bewertungskriterien für Evaluationsgegenstände systematisch hergeleitet und wie Bewertungsprozesse nachvollziehbar und diskursiv überprüfbar werden können. Der erwartbare Konflikt mit klassischen akademischen Disziplinen, der „Herkunftsfamilie“ der Evaluation, kann für eine nachwachsende Evaluation identitätsbildend sein, womit sie sicher noch weit vom Status einer Profession entfernt bleibt, sich vielleicht dem einer Quasi-Profession nähert.

Zum zweiten Spannungsthema, der Zertifizierung, sei mir eine Zuspitzung erlaubt: Ob nun durch selbst auferlegte Pflicht, auf freiwilliger Basis von Pionieren oder gar nicht zertifiziert wird – dies darf die Evaluationsgilde nicht ähnlich nachlässig behandeln, wie es die Gastronomieverbände mit dem Rauchverbot für Gaststätten gehalten haben. Die Gaststättenverbände waren nicht in der Lage, eine solche mit zentralen Werten (Freiheit, Gesundheit…) verbundene Streitfrage autonom zu lösen, sodass es des Eingriffes des Staates bedurfte (gleich wie man diesen im Ergebnis beurteilt). Wenn Evaluationsprofessionelle in Deutschland ein Ja oder Nein bzw. ein Wie zur Zertifizierung ähnlich verdrängen würden, stellte genau dies den Wissens- und Könnenskern der Evaluation in Frage: Der systematische und transparente Umgang mit Wert- und Interessenkonflikten an diesem zentralen Punkt der Selbstdefinition ist damit der Lackmustest für eine erweiterte Professionalität von Evaluation. Die Weiterführung der Professionalisierung von Evaluation mag sich dabei von herkömmlichen Professionsbildungen abheben, dies nicht zuletzt angesichts eines aktuell veränderten sozialen und politischen Kontextes.

Fazit

Für alle, die sich über den Professionalisierungsstand in Deutschland informieren wollen, ist das Buch die relevante Basis. Wer Evaluation lehrt und wer über die Weiterentwicklung von Evaluation in Deutschland mitdebattieren will, muss die Publikation studieren.

Rezension von
Prof. Dr. Wolfgang Beywl
Evaluationswissenschaftler, Seniorprofessor, Fachhochschule Nordwestschweiz, Pädagogische Hochschule, Institut Weiterbildung und Beratung. Professur für Bildungsmanagement und Schulentwicklung – wissenschaftlicher Leiter Univation– Institut für Evaluation, Köln.
Website
Mailformular

Es gibt 25 Rezensionen von Wolfgang Beywl.