Ihr Vorteil: Wir filtern, prüfen und ordnen die Angebote für die Sozialwirtschaft.

Axel Borrmann, Reinhard Stockmann: Evaluation in der deutschen Entwicklungszusammenarbeit

Cover Axel Borrmann, Reinhard Stockmann: Evaluation in der deutschen Entwicklungszusammenarbeit. Band 1: Systemanalyse. Band 2: Fallstudien. Waxmann Verlag (Münster/New York/Berlin/München) 2009. 898 Seiten. ISBN 978-3-8309-2125-7. 68,00 EUR.

Reihe: Sozialwissenschaftliche Evaluationsforschung - 8.

Besprochenes Werk kaufen


Thema

Die Diskussion über Wirkungen und Nebenwirkungen der Entwicklungszusammenarbeit (EZ) wird bereits so lange geführt wie die EZ selbst existiert. In der Fachliteratur werden ihr sowohl unter bestimmten Bedingungen positive (Dalgaard/Hansen/Tarp 2006: 191ff., Dollar/Easterly 1999: 546ff., Guillaumont/Chauvet 2001: 66ff.), keine signifikanten (Boone 1996: 289ff.) oder gar schädliche Wirkungen (Shikwati 2006, Moyo 2009) zugeschrieben. All diese Veröffentlichungen basieren allerdings nur begrenzt auf fundierten und umfassenden wissenschaftlichen Analysen, sondern sind eher „populärwissenschaftlich“ angelegt, beruhen auf Einzelfallstudien oder untersuchen nur ausgewählte Aspekte der EZ.

Dabei stellt der valide Nachweis über die Wirkungen der EZ-Maßnahmen das einzige Existenzrecht und Grundlage aller Legitimität der EZ dar. Wirkungserfassung wird – insbesondere vor dem Hintergrund steigender öffentlicher Entwicklungshilfeausgaben – dem Anspruch der Rechenschaftspflicht gegenüber der Öffentlichkeit und Zielgruppen gerecht und stellt die zentrale Grundlage für Entscheidungsfindungen, Lerneffekte sowie in der Folge für eine Qualitätsverbesserung der EZ-Arbeit dar (Tekülve 2007: 66).

Aus diesem Grund wird in der internationalen EZ-Debatte das Augenmerk in jüngster Zeit zunehmend auf die entwicklungspolitische Wirksamkeit und deren Erfassung gelegt. Beispiele sind die Millenniumsentwicklungsziele (MDGs) und die Erklärung von Paris über die Wirksamkeit der EZ. Ein Novum dieser Vereinbarungen sind die Einführung konkreter Zielindikatoren, anhand derer die Wirkung der EZ messbar gemacht werden soll. Eine klare Wirkungsorientierung auf internationaler Ebene wird somit deutlich.

In diesem Kontext ist die hier besprochene Studie zu verorten, die sich auf die deutsche EZ-Praxis bezieht.

Entstehungshintergrund

Als Folgeuntersuchung der Studien von Borrmann et al. (1999 und 2001) wurden die Autoren Axel Borrmann und Reinhard Stockmann vom Bundesministerium für Wirtschaftliche Zusammenarbeit und Entwicklung (BMZ) beauftragt, die Evaluationspraxis deutscher bilateraler EZ-Organisationen zu analysieren. Untersucht wurde, inwiefern zwanzig ausgewählte Organisationen Wirkungserfassung institutionalisieren, planen, durchführen und nutzen. Es sollte überprüft werden, ob das Evaluationssystem der deutschen EZ unter „strategisch-konzeptionellen, organisatorischen, Management- und methodischen Gesichtspunkten den an die Evaluation heute zu stellenden Ansprüchen adäquat Rechnung trägt“ (S. 51). Vor dem Hintergrund des vom BMZ gesetzten Zieles der „EZ aus einem Guss“ (BMZ 2003) sollte schließlich die Frage beantwortet werden, inwiefern sich die verschiedenen Evaluationssysteme zu einem konsistenten Evaluationsgesamtsystem für die bilaterale deutsche EZ zusammenfügen.

Aufbau

Das hier besprochene Werk ist in zwei Bände unterteilt. Band 1 behandelt in fünf Kapiteln die Systemanalyse, die die zentralen Erkenntnisse der Fallanalysen systematisch zusammenführt. Die Fallstudien werden in Band 2 separat und detailliert dokumentiert:

Nach einer Zusammenfassung der Untersuchungsergebnisse behandelt der erste Band den Hintergrund und die Ziele der Untersuchung (Kapitel 1). Kapitel 2 stellt das Untersuchungsdesign vor. Dabei werden unter anderem zugrunde liegende Definitionen, eingesetzte Methoden sowie der Ablauf der Untersuchung erläutert. Es folgt mit Kapitel 3 die Analyse der institutionellen, konzeptionellen, methodischen und systemischen Merkmale der Evaluationssysteme deutscher EZ-Organisationen. Kapitel 4 durchleuchtet im Anschluss die Qualität der Evaluationssysteme aus Sicht der DAC-Prinzipien. Dieser erste Band schließt mit Empfehlungen zur Reform der Evaluationssysteme ab (Kapitel 5).

Band 2 dokumentiert die 20 Fallbeispiele, die von den Gutachtern Axel Borrmann, Paul Kevenhörster, Wolfgang Meyer, Katharina Michaelowa, Jörg Rech und Reinhard Stockmann jeweils nach den gleichen Kriterien analysiert werden. Beim Gesamtaufbau wird unterschieden zwischen acht staatlichen und vier kirchlichen EZ-Organisationen, den sechs parteinahen politischen Stiftungen und sonstigen Nicht-Regierungsorganisationen (NRO).

Inhalt

Aus dem vom BMZ postulierten Ziel der „EZ aus einem Guss“ angesichts eines stark fragmentierten deutschen EZ-Systems leitet sich das Ziel eines konsistenten Evaluationssystems ab. Unter methodischer Berücksichtigung insbesondere der OECD/DAC-Prinzipien, -Kriterien und -Standards für gute Evaluation (1992, 2004, 2006), der DeGEval Standards (2005) und der gesetzlichen, administrativen und vertraglichen Vorgaben für EZ-Organisationen wurde somit die Evaluationspraxis deutscher EZ-Organisationen mit Blick auf eine Systemkonsistenz vergleichend analysiert. Folgende, ausführlich beschriebene, Kriterien wurden jeweils überprüft:

  • Grundlagen und Ziele der Evaluationspolitik
  • Institutionalisierung und Unabhängigkeit der Evaluation
  • Planung und Ablauf der Evaluation
  • Formen der Evaluation
  • Qualität der Evaluationen
  • Personal
  • Nutzung
  • Partnerbeteiligung
  • Vernetzung

Die Untersuchungsergebnisse zeigen ein sehr differenziertes und komplexes Bild der Evaluationspraxis deutscher EZ-Organisationen auf. Ausgewählte Aspekte stellen sich wie folgt dar:

1. Institutionalisierung und Unabhängigkeit der Evaluation

Institutionalisierung und Unabhängigkeit der Evaluation werden als wichtige Kriterien genannt. Dabei wird die Institutionalisierung verstanden als die „Benennung von Evaluationsverantwortlichen“ sowie die „detaillierte Zuweisung einzelner Rechte und Pflichten (Kompetenzen) durch die Leitung“ (S. 73). Bei der Bewertung unterscheiden die Autoren zwischen eher zentral und dezentral ausgerichteten Evaluationssystemen, wobei die erst genannte Lösung, die die Verortung einer Evaluationseinheit im nichtoperativen Bereich vorsieht, befürwortet wird. Eine solche Einheit ist hierbei der Organisationsleitung unterstellt und ihr gegenüber verantwortlich, wodurch die notwendige Unabhängigkeit und Unparteilichkeit von Evaluationen gewährleistet werden kann.

Die Gutachter untersuchen eine Vielzahl von Elementen der Institutionalisierung wie bspw. die Art der Verortung der Evaluationsfunktion, die Einrichtung von Evaluationseinheiten, Regeln und Verfahren, Qualitätssicherung etc. (S. 74). Ihre Ergebnisse belegen, dass 13 der 20 untersuchten EZ-Organisationen ein Evaluationssystem vorweisen können, das organisatorisch herausgehoben ist und eine vom operativen Bereich abgegrenzte Evaluationskomponente ohne operative (Mit-)Verantwortung aufweist. Somit werden eine zumindest relative Unabhängigkeit der Evaluation bei diesen Akteuren und ein Fortschritt in diesem Bereich festgestellt. Den übrigen Akteuren hingegen wird das Fehlen der institutionellen Alleinstellung der Evaluationsfunktion aufgrund ihres stark dezentral geprägten Evaluationssystems attestiert.

Des Weiteren wird unterstrichen, dass die Alleinstellung der Evaluationsfunktion nicht ausreichend ist. Daneben und neben einem ungehinderten Leitungszugang müssen den Autoren nach zu urteilen die Evaluationseinheiten und -beauftragten mit entsprechenden Regelungs-, Planungs-, Durchführungs- und Qualitätssicherungskompetenzen ausgestattet sein und diese auch entsprechend wahrnehmen. Allerdings sind in vielen Organisationen die Kompetenzen der Evaluationseinheiten deutlich beschnitten – insbesondere im Bereich der Qualitätssicherung, die ferner unter unzureichender Ressourcen- und Personalausstattung leidet.

Die Autoren begrüßen hingegen schließlich die Beobachtung, nach der Evaluation in den untersuchten Organisationen zunehmend als zentraler Bestandteil des allgemeinen Qualitätsmanagements begriffen wird. Der teilweise konstatierten institutionellen Verknüpfung von Evaluation mit Revision und Controlling begegnen sie allerdings mit großer Skepsis.

2. Nutzung

Wie Stockmann bereits 2006 konstatiert, stellen Evaluationen keine Ziele an sich dar, sondern dienen einer Vielzahl von Zielen (Stockmann 2006). Die Nutzung von Evaluationen wird deshalb als ein zentrales Kriterium in der vorliegenden Studie analysiert. Konkret wird untersucht,

  1. für welche Zwecke Evaluationen von den untersuchten EZ-Organisationen eingesetzt werden,
  2. welche Evaluationsprodukte in der Regel angefertigt werden,
  3. wie die internen Nutzungsprozesse organisiert sind,
  4. wie die Nutzung von Evaluationsempfehlungen geregelt ist und
  5. inwiefern eine externe Nutzung von Evaluationen vorgesehen ist (S. 129).

Die Analyseergebnisse zeichnen ein heterogenes Bild der Evaluationspraxis. Form und Qualität der Evaluationsprodukte stehen dabei in einem engen Verhältnis zu internen Nutzungsprozessen. Hervorzuheben ist bspw. die Tatsache, dass zwar keine Organisation – im Gegensatz zu Umsetzungs- und Ablaufplänen – auf Terms of References (ToRs) oder Evaluationsberichte verzichtet. Letztere haben aber, so die Autoren, in den meisten Fällen aufgrund der verwendeten Sprache wenig Nutzen für einen größeren Personenkreis: Nur einige NRO wie der Evangelische Entwicklungsdienst e.V. (EED), das Bischöfliche Hilfswerk Misereor e.V., die Deutsche Welthungerhilfe (DWHH) und andere fordern den Evaluationsbericht in der landesüblichen Verkehrssprache oder gar der jeweiligen einheimischen Sprache, um den Partnern die weit reichende Nutzung dieser Berichte zu ermöglichen. Viele andere Organisationen begnügen sich mit Kurzzusammenfassungen in der jeweiligen Sprache. Einige Akteure wie z.B. die KfW Entwicklungsbank verzichten selbst darauf. In diesen Fällen werden die Partner also fast gar nicht über die Evaluationsergebnisse informiert.

Mit Ausnahme der Evaluationen des BMZ, so die Autoren schließlich, werden die Ergebnisse nicht extern genutzt, da die Berichte nicht öffentlich zugänglich gemacht werden. In der Folge können weder andere Organisationen aus den Berichten lernen noch die Öffentlichkeit die Wirksamkeit der EZ der verschiedenen Akteure glaubwürdig überprüfen (S. 134-135). Dies läuft den eigentlichen Evaluationszielen signifikant zuwider und schadet sowohl der Qualität von Evaluationen als auch damit der Glaubwürdigkeit von EZ. Die Autoren schlussfolgern, dass sich die Transparenz in den einzelnen Organisationen in den vergangenen Jahren nur wenig verbessert hat.

3. Partnerbeteiligung

Das Kriterium Partnerbeteiligung gilt vor dem Hintergrund einer nachhaltigen Entwicklung, ownership und schließlich mehr Wirksamkeit der EZ als zentral. Im Rahmen der hier besprochenen Systemprüfung wird überprüft,

  1. welche Kompetenzen das Personal der Partnerorganisationen inne hat und was unternommen wird, um dessen Qualifikation zu verbessern (capacity building),
  2. inwieweit die Partnerorganisationen an den Evaluationen beteiligt sind und
  3. welche Einstellungen sie zu und welchen Bedarf an Evaluation sie haben (S. 136).

Von den Gutachtern wird auf Grundlage der Untersuchung konstatiert, dass – entgegen eines breiten Konsenses über die Notwendigkeit einer gleichberechtigten Partnerschaft, auch bei Evaluationsprozessen – Evaluation „eine geberzentrierte Veranstaltung ist, die vor allem den Interessen der deutschen EZ-Organisationen dient“ (S. 140): Die EZ-Organisationen legen weitgehend allein die Zielvorgaben und Standards fest, nach denen evaluiert werden soll (z.B. KfW und die meisten politischen Stiftungen). Diese Erkenntnis deckt sich mit den oben skizzierten Ergebnissen der Nutzung von Evaluation. Partner werden (in unterschiedlichem Ausmaß) informiert, aber nicht an Planungsentscheidungen beteiligt. Sie dienen der Durchführung vorrangig als Ressourcepersonen, Informationsbeschaffer und logistische Bereitsteller, aber nicht als gleichberechtigte Evaluationspartner (S. 140).

Eine positive Ausnahme bilden auch hier die Evaluationen der kirchlichen und einiger zivilgesellschaftlicher EZ-Organisationen. Einzig InWEnt bietet jedoch den Gutachtern nach zu urteilen capacity-building-Maßnahmen für die Partner an, um deren Kompetenzen in diesem Bereich gezielt und systematisch zu unterstützen. Nur auf diese Weise kann auch eine tatsächliche, qualitative Partnerbeteiligung umgesetzt werden.

Diskussion

Das hier besprochene Werk ist wissenschaftlich fundiert und mit großer Sorgfalt erstellt worden. Neue Erkenntnisse der deutschen EZ-Evaluationspraxis, die in beiden Bänden zusammen getragen werden, sind relevant für Praxis und Wissenschaft und für die EZ-Debatte von großem Nutzen. Einige kritische Diskussionspunkte werden nachfolgend skizziert, die die Qualität der Studie insgesamt aber nicht mindern:

Die einzelnen Indikatoren zur Überprüfung der verschiedenen Kriterien werden sinnvoll entwickelt. Für eine erhöhte Validität der Ergebnisse wäre es jedoch von großem Interesse gewesen, diese mit der Wahrnehmung der Partner abzugleichen. Insbesondere deshalb, um dem genannten Kritikpunkt des mangelnden Partnereinbezugs in der Evaluationspraxis Rechnung zu tragen. Der Entschluss des BMZ, aus Kostengründen von einer solchen (ursprünglich geplanten) Ausweitung der Untersuchung abzusehen, lässt sein einseitiges Interesse zu Tage treten. Er deckt sich somit signifikant mit den Ergebnissen der hier besprochenen Studie (siehe: 3. Partnerbeteiligung).

Während das Gesamtziel der Überprüfung eines konsistenten Gesamtsystems logisch hergeleitet wird, erstaunen die Ergebnisse, die eine unterschiedliche Evaluationspraxis belegen, angesichts der sehr heterogenen EZ-Architektur nur wenig.
Es ist fraglich, inwiefern der vorgegebene Analyserahmen, der einer horizontalen Vergleichbarkeit dienen soll, der komplexen EZ-Realität gerecht wird. Insbesondere wird ein Unterschied zwischen staatlicher und nichtstaatlicher EZ deutlich, deren strategischer und inhaltlicher Ansatz im Idealfall komplementär ist, in jedem Fall aber hinsichtlich der spezifischen Evaluierbarkeit der Maßnahmen stark divergiert.
An die unterschiedlichen Organisationen werden gleiche Anforderungen gestellt. Dabei wird in der Studie der strukturell zu begründenden Tatsache jedoch wenig Aufmerksamkeit geschenkt, dass die Organisationen aufgrund variierender Portfolios, Finanzierungsstrukturen, Personalstärken etc. nicht die gleiche institutionelle Verankerung, das gleiche Ausmaß an externen Evaluationen für Unabhängigkeit und Glaubwürdigkeit etc. und somit nicht den gleichen Grad an Evaluationsqualität erreichen können.
Diese Punkte werden auch von den Autoren selbst thematisiert (siehe z.B. S. 65, S. 100), v.a. da ihre Ergebnisse auch solche Fragen aufwerfen (siehe z.B. zur Institutionalisierung und Unabhängigkeit der Evaluation S. 74ff., Formen der Evaluation S. 101ff., S. 112 etc.).
In der Logik, die von den Autoren und vom BMZ vertreten wird, ist diese angestrebte Vergleichbarkeit hingegen konsequent, da das Ministerium Evaluationen organisationsübergreifend „aus einem Guss“ gestalten will – was ggf. zu Lasten der Aussagekraft geht.

Schließlich wird zwischen Kapitel 3 und 4 die inhaltliche Unterscheidung nicht immer ganz deutlich. Die Analyse, die in Kapitel 3 durchgeführt wird, berücksichtigt auch jene Kriterien, aus deren Perspektive in Kapitel 4 die empirischen Ergebnisse explizit unter dem Titel „DAC-Prinzipien“ durchleuchtet werden. Somit treten vermeidbare, den Lesefluss jedoch nicht störende, Überschneidungen auf.

Fazit

Das hier besprochene Fachbuch liefert einen wertvollen Beitrag zur Diskussion über Wirkungen und Wirkungserfassung in der (internationalen) EZ. Es verhilft dem recht spezifischen, jedoch sehr grundlegenden Sujet zum einen zu mehr Prominenz und bietet zum anderen eine gute Argumentationsbasis. Mit Hilfe eines tiefgehenden und analytischen Überblicks über den Status Quo bzw. den Habitus einer Vielzahl deutscher EZ-Organisationen wird die Notwendigkeit zu weiteren Reformanstrengungen in der deutschen EZ-Evaluationspraxis – auch bedingt durch neue Rahmenbedingungen, Instrumente und Zielsetzungen – deutlich.

Die Studie ist ambitioniert in Ausmaß und Tiefe. Sie ist sowohl wissenschaftlich begründet und gut nachvollziehbar, als auch gleichzeitig – nicht zuletzt durch die geschlussfolgerten Handlungsempfehlungen – äußerst praxisrelevant. Damit dürfte sie nicht nur für Evaluationsabteilungen aller EZ-Organisationen, sondern auch für Mitarbeiter, Partner und das wissenschaftlich interessierte Fachpublikum von Interesse sein, wenngleich die voluminösen zwei Bände mit insgesamt knapp 900 Seiten den schnellen Leser wohl eher abschrecken werden.

Literatur

  • Boone, Peter (1996): Politics and the effectiveness of foreign aid, in: European Economic Review, H. 40: 289-329.
  • Borrmann, Axel et al. (1999): Erfolgskontrolle in der deutschen Entwicklungszusammenarbeit. Studie im Auftrag des Bundesministeriums für Wirtschaftliche Zusammenarbeit und Entwicklung. Baden-Baden: Nomos Verlagsgesellschaft.
  • Borrmann, Axel et al. (2001): Reform der Erfolgskontrolle in der deutschen Entwicklungszusammenarbeit – Eine Zwischenbilanz, Studie im Auftrag des Bundesministeriums für Wirtschaftliche Zusammenarbeit und Entwicklung. Baden-Baden: Nomos Verlagsgesellschaft.
  • BMZ (2003): Armutsbekämpfung – eine globale Aufgabe. Aktionsprogramm 2015. Der Beitrag der Bundesregierung zur weltweiten Halbierung extremer Armut. BMZ-Materialien Nr. 106, Bonn.
  • Dalgaard, Carl-Johan/Hansen, Henrik/Tarp, Finn (2004): On the Empirics of Foreign Aid and Growth, in: The Economic Journal, Jg. 114, H. 496: 191-216.
  • DeGEval (2005): Standards für Evaluation (DeGEval-Standards). Broschüre. Köln: DeGEval.
  • Dollar, David/Easterly, William (1999): The Search for the Key: Aid, Investment and Policies in Africa, in: Journal of African Economies, Jg. 8, H. 4: 546-577.
  • Guillaumont, Patrick/Chauvet, Lisa (2001): Aid and Performance: A Reassessment, in: Journal of Development Studies, Jg. 37, H. 6: 66-92.
  • Moyo, Dambisa (2009): Dead aid. Why aid is not working and how there is another way for Africa. London: Allen Lane.
  • OECD/DAC (1992): Principles for Effective Aid, Development Assistance Manual, Paris: 131-138.
  • OECD/DAC (2004): Evaluation Systems and Use: a Working Tool for Peer Reviews and Assessments. Paris.
  • OECD/DAC (2006): DAC Evaluation Quality Standards, DAC Network on Development Evaluation. Paris.
  • Shikwati, James (2006): Fehlentwicklungshilfe, in: Internationale Politik, Jg. 61, H. 4: 6-15.
  • Tekülve, Maria (2007): Lernen aus Evaluierungen. Paris-Deklaration und Demokratisierung stellen neue Anfragen an eine langfristige Lernorientierung. In: Eins Entwicklungspolitik, H. 15/16.

Rezensentin
Sophie Mucha-Stohldreier
M.A., Wissenschaftliche Mitarbeiterin in der Forschungsstelle Entwicklungspolitik der Fachhochschule Düsseldorf
E-Mail Mailformular

Besprochenes Werk kaufen
Sie fördern den Rezensionsdienst, wenn Sie diesen Titel – in Deutschland versandkostenfrei – über den socialnet Buchversand bestellen.

Zitiervorschlag
Sophie Mucha-Stohldreier. Rezension vom 08.03.2010 zu: Axel Borrmann, Reinhard Stockmann: Evaluation in der deutschen Entwicklungszusammenarbeit. Waxmann Verlag (Münster/New York/Berlin/München) 2009. 898 Seiten. ISBN 978-3-8309-2125-7. In: socialnet Rezensionen, ISSN 2190-9245, http://www.socialnet.de/rezensionen/7903.php, Datum des Zugriffs 08.02.2012.

Urheberrecht
Diese Rezension ist, wie alle anderen Inhalte bei socialnet, urheberrechtlich geschützt. Falls Sie Interesse an einer Nutzung haben, treffen Sie bitte vorher eine Vereinbarung mit uns. Gerne steht Ihnen die Redaktion der Rezensionen für weitere Fragen und Absprachen zur Verfügung.

Zur Rezensionsübersicht
Zum Seitenanfang

Hilfe & Kontakt

Hinweise für RezensentInnen, Verlage, AutorInnen oder LeserInnen sowie zur Verlinkung bitte lesen, bevor Sie Kontakt zur Redaktion der Rezensionen aufnehmen.

Mehr zum Thema

Liz Hoggarth, Hilary Comfort: A Practical Guide to Outcome Evaluation

Susanne Steinert: Kindzentrierte Lerntherapie

Literaturliste anzeigen

Stellenangebote

Einrichtungsleiter/in Ambulanter Dienst für Menschen mit geistiger Behinderung, Bremen

Sozialarbeiter/-pädagoge (w/m) für Sozialen Dienst oder Pflegekinderdienst, Waldshut-Tiengen

Weitere Anzeigen im socialnet Stellenmarkt.

Newsletter bestellen

Immer über neue Rezensionen informiert.