Da fallen mir viele ein, zum Beispiel unsere Berichte zur Budgethilfe. Die haben wir zu einer Zeit gemacht, in der diese Form der direkten Unterstützung von Partnerregierungen aus der Mode gekommen war. Unsere Befunde haben aber gezeigt, dass Budgethilfe durchaus ein wirksames Instrument sein kann. Das hat dazu beigetragen, dass sie – jetzt unter dem Titel Reformfinanzierung – wieder stärker eingesetzt wird. Zum anderen fallen mir unsere Berichte zur Frage ein, wie in deutschen Entwicklungsvorhaben Nachhaltigkeit gemessen wird.
Was war das Ergebnis?
Obwohl in der Bewertung deutscher Projekte die drei Dimensionen von Nachhaltigkeit – ökologisch, sozial, wirtschaftlich – schon lange präsent sind, haben viele Projektevaluierungen dann doch wieder eigene Konzepte zugrunde gelegt. Die Folge war, dass sich die Vorhaben in dieser Hinsicht nicht vergleichen und sich auf Basis der Evaluierungen kaum übergeordnete Aussagen zur Nachhaltigkeit der deutschen Entwicklungszusammenarbeit treffen ließen.
Wie geht das Entwicklungsministerium (BMZ) mit solchen kritischen Ergebnissen um?
Evaluatorinnen und Evaluatoren müssen keine Beliebtheitspreise sammeln, aber es ist wichtig, dass ihre Arbeit geschätzt wird. Insgesamt ist mein Eindruck, dass sich das Ministerium sowie die durchführenden Organisationen GIZ und KfW Entwicklungsbank unseren kritischen Befunden meist konstruktiv stellen. Sie sind aber nicht gezwungen, sämtliche Empfehlungen anzunehmen. Es ist ihr Recht, sie abzulehnen, denn vor allem das Ministerium ist letztlich auch politisch verantwortlich für seine Maßnahmen.
Evaluierungen sind zudem nicht alle gleich. Wenn wir etwa eine Organisation wie Engagement Global evaluieren, dann sind wir mit ganz unterschiedlichen Interessen der Zivilgesellschaft, des Ministeriums und von Engagement Global selbst konfrontiert. Da ist es besonders schwierig, alle Beteiligten glücklich zu machen. Gut angenommen werden Evaluierungen immer dann, wenn man auf ein Bewusstsein für bestehende Probleme und auf den Willen trifft, etwas in Bewegung zu setzen. Das war bei den Evaluierungen zur Nachhaltigkeit so, weil sowohl bei GIZ und KfW als auch beim Ministerium angesichts der Agenda 2030 die Bereitschaft da war, ihre Arbeit entsprechend anzupassen. In einer solchen Situation sind die Chancen gut, dass eine Evaluierung Wirkung erzeugt.
Das DEval hatte einen schwierigen Start, das BMZ hat sich schon nach zwei Jahren im Streit vom Gründungsdirektor getrennt. Wie hat sich das Verhältnis zum Ministerium seitdem entwickelt?
Wir haben eine insgesamt erfolgreiche Zeit hinter uns. Zum einen ist das Budget für Entwicklungszusammenarbeit in den vergangenen Jahren stark gestiegen – und damit auch der Anspruch, ihre Wirksamkeit nachzuweisen. Wenn dafür ein unabhängiges Institut wie das DEval eingerichtet wird, das gute Arbeit macht, dann stärkt das das gesamte System. Zum anderen ist es gut, dass dem BMZ als alleinigem Gesellschafter des DEval ein Beirat zur Seite gestellt wird, dem unter anderem Bundestagsabgeordnete, Wissenschaftlerinnen und Vertreter der Zivilgesellschaft angehören. Dadurch bekommen diese Einblick in unsere Arbeit und können sich ein eigenes Bild von unserer Unabhängigkeit und Qualität machen und uns mit Rat zur Seite stehen. Nicht zuletzt aufgrund dieser günstigen Rahmenbedingungen produzieren wir anspruchsvolle, nützliche und faire Evaluierungen, zumindest bescheinigt uns das die Fachwelt.
Wer entscheidet und nach welchen Kriterien, was evaluiert wird?
Dazu befragen wir den Beirat und das Ministerium und machen selber Vorschläge. Dann priorisieren wir nach festgelegten Kriterien: Wurde der Bereich in der Vergangenheit schon einmal evaluiert? Sind mit den Maßnahmen besondere Risiken verbunden? Sind die Themen von strategischer und politischer Relevanz? Daraus entsteht unser Programmvorschlag, den wir dem Beirat zur Begutachtung und dem Ministerium zur Zustimmung schicken. So wird Transparenz gegenüber allen Beteiligten gesichert.
Streicht das BMZ auch mal Vorschläge aus dem Programm?
Nein, bisher noch nie. Dabei bearbeiten wir ja immer wieder sensible und kontrovers diskutierte Themen, etwa zur Arbeit des BMZ und des Auswärtigen Amtes in fragilen Staaten, zu Engagement Global, zur Zusammenarbeit mit der Privatwirtschaft oder zum Umgang mit Menschenrechten in der Entwicklungszusammenarbeit.
Die GIZ und die KfW Entwicklungsbanken evaluieren ihre Projekte auch selbst. Gibt es eine Arbeitsteilung mit den zuständigen Stellen dort?
Das BMZ hat vergangenes Jahr übergreifende Evaluierungsleitlinien veröffentlicht. Demnach sind die GIZ und die KfW vor allem für die Evaluierung einzelner Projekte verantwortlich, während wir für die organisationsübergreifenden strategischen Evaluierungen zuständig sind. In den vergangenen Jahren haben sich Verfahren eingespielt, über die wir mit den für Evaluierung zuständigen Unternehmensbereichen von GIZ und KfW gut kooperieren. Letztlich ziehen die Evaluatorinnen und Evaluatoren aus unterschiedlichen Organisationen an einem Strang: Wir wollen die deutsche Entwicklungszusammenarbeit evidenzbasiert verbessern.
In einer Evaluierung zur Zusammenarbeit mit dem Privatsektor hat das DEval vor kurzem Projektevaluierungen unter anderem von der GIZ und der KfW teils gravierende Mängel bescheinigt. Ärgern die sich über so etwas?
Ich hoffe nicht. Unser Befund war, dass die Frage, wie effektiv die Zusammenarbeit mit der Privatwirtschaft ist, in vielen – auch internationalen – Studien und Evaluierungen nicht ausreichend systematisch angegangen wird.
Wie hat sich die Evaluierung von Entwicklungszusammenarbeit in den vergangenen Jahren verändert?
Sie ist wichtiger und zugleich wissenschaftlicher geworden; sie bedient sich anspruchsvollerer Methoden und Daten als früher. Ein Beispiel sind die sogenannten rigorosen oder experimentellen Evaluierungen, die mit Kontrollgruppen arbeiten. Auch hat die Digitalisierung an Gewicht gewonnen; es wird etwa zunehmend relevant, sich bei der Bearbeitung enormer Datenmengen künstlicher Intelligenz zu bedienen. Zugleich bemühen sich meiner Ansicht nach Evaluierungen heute stärker als früher, auf die tatsächlichen Probleme der Praxis einzugehen. Wir investieren viel, um zu verstehen, vor welchen Problemen und Aufgaben die Praktiker stehen, die unsere Empfehlungen umsetzen sollen.
Dass Evaluierungen wichtiger und wissenschaftlicher werden, sorgt bei manchen Praktikern für Kritik: Es bestehe die Gefahr, dass nur noch solche Projekte angepackt werden, deren Ergebnisse sich präzise messen und die sich gut evaluieren lassen.
Einerseits wäre es schlimm, wenn es so wäre. Andererseits sollte evidenzbasiertes Vorgehen eine größere Rolle spielen. Das heißt, schon bei der Projektplanung sollte Wissen systematisch genutzt werden, um Vorhaben erfolgreicher zu gestalten. Und am Ende eines Vorhabens steht die berechtigte Frage nach einem evidenzbasierten Wirkungsnachweis.
Die Kritik lautet etwa im Zusammenhang der personellen Zusammenarbeit: Mit der Entsendung von Entwicklungshelfern werden bestimmte Ziele verfolgt, aber in der Zusammenarbeit vor Ort passiert viel mehr, das man sich nicht vornehmen kann und das sich auch nicht messen lässt: wechselseitiges Lernen, Aufbau von Verständnis. Wird so etwas durch den Ergebnis- und Evaluierungsdruck abgetötet?
Das Beispiel zeigt, wie wichtig es ist, in Evaluierungen auch nach nicht beabsichtigten Wirkungen zu schauen, sowohl positiven als auch negativen. Wir haben den Entwicklungsdienst vor einigen Jahren evaluiert und vorrangig qualitative Methoden angewandt. Dabei sind wir zu insgesamt positiven Ergebnissen gekommen, die auch solche, von Ihnen genannte Effekte identifiziert haben.
Macht Evaluierung Entwicklungszusammenarbeit im Großen und Ganzen besser? Oder besteht die Gefahr, dass sie zum Teil Selbstzweck wird?
Diese Frage müssen wir uns immer wieder stellen, weil Evaluierung in der Entwicklungszusammenarbeit stark institutionalisiert ist. Da gilt es wach und kritisch zu bleiben, dass sie nicht zum bürokratielastigen Selbstzweck wird. Gut sind hierbei Metaevaluierungen, die wichtige Impulse für bessere und wirksamere Evaluierungsarbeit geben können. Am DEval untersuchen wir zudem, inwieweit unsere Empfehlungen umgesetzt werden, nicht zuletzt um unsere Arbeit zu verbessern. Ich bin davon überzeugt, dass unabhängige Evaluierung in der Entwicklungszusammenarbeit gute Anreize setzt, sich zu verbessern.
Beispiel Afghanistan: Da wurden zwanzig Jahre lang bestimmt viele Projekte evaluiert, trotzdem steht die staatliche Entwicklungszusammenarbeit dort insgesamt vor einem Scherbenhaufen.
Wir haben gerade erst mit einer Evaluierung des zivilen Engagements in Afghanistan begonnen. Insofern ist für mich die Frage offen, inwieweit die staatliche Entwicklungszusammenarbeit dort versagt hat. In fragilen Staaten wie Afghanistan, Irak oder Mali wäre es verkürzt, nur kritisch auf die Entwicklungszusammenarbeit zu schauen, da dort Außen-, Sicherheits- und Entwicklungspolitik eng miteinander verknüpft sind. Deswegen ist es in solchen Fällen sinnvoll, ressortübergreifend zu evaluieren.
Das Gespräch führte Tillmann Elliesen.
Neuen Kommentar hinzufügen