Reden macht klüger als zählen

Den Zuschlag für den Auftrag erhielt das sozialwissenschaftliche NORC-Institut an der Universität von Chicago. Es hat gemeinsam mit den das Programm durchführenden Organisationen ein Konzept erstellt, das auf drei Säulen ruht: Zum einen erstellen die vor Ort tätigen Baumwollgesellschaften halbjährlich einen ausführlichen Fortschrittsbericht, der detaillierte Angaben zur Baumwollproduktion im Projektgebiet und im jeweiligen Land erhält. Außerdem berichten die Baumwollgesellschaften über wesentliche Schritte bei der Durchführung des Programms und ziehen Lehren für den weiteren Fortgang. Unabhängige lokale Experten für den Baumwollsektor kommentieren die Berichte der Baumwollgesellschaften.

Ein Problem ist schon allein, sich auf ein gleiches Verständnis des Problems zu einigen

Zum anderen wurde zu Beginn des Vorhabens eine repräsentative Auswahl von Bauern in allen Ländern ausführlich über ihre Lebensbedingungen befragt. Am Ende des Programms wird diese Befragung wiederholt, um die Ergebnisse miteinander zu vergleichen. Die Auswahl umfasst sowohl Bauern, die am Programm teilnehmen, als auch Bauern einer Kontrollgruppe. Je Land wurden 400 bis 600 Haushalte interviewt und pro Haushalt etwa tausend Daten erfasst. Die Ergebnisse der Erstbefragung liegen seit Beginn 2011 vor.

Diese beiden Analysen werden drittens um eine qualitative Wirkungsanalyse ergänzt. Pro Land vier bis sechs Gruppen zu jeweils 25 bis 40 Bauern und Bäuerinnen werden ein bis zwei Tage lang in offenen Gesprächen zu ihren allgemeinen Lebensbedingungen befragt und diskutieren untereinander, wie sich das Programm auf sie auswirkt. Die Ergebnisse dieser Gespräche werden in standardisierter Form zusammengefasst und von den Baumwollgesellschaften kommentiert. Diese Fokusgruppendiskussionen finden zu Beginn, in der Mitte und am Ende des Programms statt.

Auf dem Papier klingt das alles klar strukturiert und plausibel. Doch die Durchführung in der Praxis ist mit erheblichen Schwierigkeiten verbunden. Probleme bereitet zum Beispiel, sich mit allen Beteiligten – also dem Programmmanagement, den Baumwollgesellschaften vor Ort, dem Evaluierungsinstitut in Chicago und den lokalen Fachleuten– auf ein gleiches Verständnis der Problemlage, der Programmziele, der eingesetzten Instrumente und sogar der benutzten Begriffe zu verständigen, und das jeweils für die anglophonen und die frankophonen Projektgebiete. So haben die Evaluierer aus den USA zwar exzellente Referenzen in der quantitativen Wirkungsanalyse, bislang aber keinerlei Kenntnisse im Baumwollanbau. Zudem hat sich die Suche nach geeigneten lokalen Experten als ausgesprochen schwierig erwiesen. Auch in Afrika findet Wissenschaft zum Teil im Elfenbeinturm statt. Zudem sind die Distanzen zwischen dem Sitz der Forschungsinstitute und den Projektgebieten teilweise sehr groß (in Côte d’Ivoire 800 Kilometer), so dass die Fachleute oft zunächst wenig Zugang zu den Kleinbauern hatten. Längere Zeit haben zudem die Statistiker und Mathematiker aus den USA und die lokalen Experten oft aneinander vorbeigeredet.

Es hat deshalb mehr als zweieinhalb Jahre gedauert, das Zusammenspiel zwischen allen Beteiligten so zu organisieren, dass die verwendeten Fragebögen und ihre Begrifflichkeit ebenso sorgfältig abgestimmt und diskutiert werden wie die Auswertung der Ergebnisse. Erst jetzt, drei Jahre nach Beginn des Programms, kommentieren die lokalen Fachleute die Berichte der Baumwollgesellschaften problemorientiert und aussagekräftig und beschränken sich nicht mehr darauf, zum Beispiel allgemeine Beschreibungen der Baumwollwirtschaft in ihren Ländern abzuliefern.

Interviewer haben denselben Sachverhalt unterschiedlich interpretiert

Kommunikationsprobleme wie auch logistische Schwierigkeiten haben zudem dazu geführt, dass die Ergebnisse der Erstbefragungen der Programmbauern und der Kontrollgruppen erst zwei Jahre nach Programmbeginn vorlagen. Normalerweise hätte die Endbefragung bereits Anfang des vierten Jahres stattfinden sollen. Doch nur anderthalb Jahre zwischen der Erst- und der Enderhebung sind zu kurz, um zu erfassen, ob sich die Lebensbedingungen der Bauern signifikant verändert haben. Zum Glück zeichnet sich eine Verlängerung des Programms um drei Jahre ab, so dass die Enderhebung voraussichtlich drei bis vier Jahre nach der ersten Befragung stattfinden kann.

Es gibt allerdings grundsätzliche Zweifel, ob sich eine solche Erhebung von Basisdaten, die den Großteil des Budgets für die Wirkungsanalyse aufgebraucht hat, wirklich lohnt. Zwar verfügt das Compaci-Projekt nun über eine Vielzahl von repräsentativen Daten über die Lebenssituation von Kleinbauern quer durch Afrika, die zum Beispiel zeigen, dass das Programm tatsächlich die intendierte Zielgruppe erreicht: 80 Prozent der Bauern leben unter der Armutsgrenze von 1,50 US-Dollar pro Tag. Aber die Übersetzung von Fragen aus dem Englischen ins Französische, dann in lokale Sprachen, dann der Weg über die Interviewer – meist junge Studenten, die wenig vom Sachverhalt verstehen – und zurück über alle diese Etappen mit der Erfassung von Millionen Einzeldaten produziert so viel Widersprüche, dass viele intensive Korrekturen nötig sind.

Drei Viertel der Ergebnisse dieser Befragungen können als einigermaßen zutreffend betrachtet werden, aber es bleiben etliche Unstimmigkeiten, die schwer zu erklären sind. So haben die Bauern in Mosambik laut den Befragungen im Vergleich zu den anderen Programmländern das höchste Pro-Kopf-Einkommen, zugleich aber die niedrigsten Vermögen in Form von Fahrrädern, Mobiltelefonen, Motorrädern oder Immobilien. Zum Teil weichen Ergebnisse aus Befragungen zum selben Thema und aus demselben Projektgebiet deutlich voneinander ab. Während etwa die eine Befragung eine hohe Teilnahme an Trainings zeigt, bringt eine andere, nur wenig Monate später durchgeführte Befragung im gleichen Projektgebiet genau entgegengesetzte Ergebnisse. Das kann nur daran liegen, dass die Interviewer ein und denselben Sachverhalt beim Ausfüllen der Fragebögen unterschiedlich interpretiert haben. Der Einsatz von jungen „kostengünstigen“ Studenten aus dem Projektland, die der lokalen Sprachen mächtig sind und die Interviews durchführen, stößt da offensichtlich an Grenzen.

Für eine aussagekräftige Wirkungsanalyse gibt es ein weiteres großes Problem: die richtigen Kontrollgruppen zu finden. Der wissenschaftliche Anspruch verlangt, dass nicht nur bei den Projektteilnehmern Veränderungen gemessen werden, sondern auch bei anderen Bauern. Nur so lässt sich feststellen, welche Wirkungen dem Projekt und welche anderen Faktoren zuzurechnen sind. In der Praxis stößt das auf viele Schwierigkeiten. So ist das Programm in Sambia so erfolgreich, dass alle ursprünglich ausgewählten Mitglieder der Kontrollgruppe mittlerweile am Programm teilnehmen. In anderen Ländern werden die Ergebnisse dadurch verfälscht, dass andere Geber die Kontrollgruppe unterstützen. Zudem hat sich Compaci teilweise auf Regionen mit schwierigen landwirtschaftlichen Bedingungen konzentriert, während die Bauern der Kontrollgruppe zum Teil aus fruchtbaren Regionen mit einer langen Tradition im Baumwollanbau kommen und eine deutliche bessere Ausgangssituation haben. Die Statistiker von Norc behaupten zwar, all dem mit komplexen mathematischen Verfahren Rechnung tragen und zu repräsentativen Aussagen kommen zu können. Aber daran kann man zweifeln.

Wirkungsanalysen müssen als Lernprozesse angelegt sein

Aussagekräftiger sind die qualitativen Erhebungen, die Diskussionen mit Bauerngruppen. Die Lebenssituation kleiner Baumwollbauern in den Programmländern variiert nicht sehr stark. Mit sechs über ein Land verstreuten Fokusgruppen kann man recht gut einen Querschnitt nachbilden, ohne dass die Stichprobe im wissenschaftlichen Sinne „repräsentativ“ist. Die Diskussionen werden von lokalen Wissenschaftlern geleitet, die sich intensiv über die Lebenssituation der Bauern und wichtige Ereignisse im Dorf informiert haben. Hinzu kommen Einzelinterviews, in denen präzise Einkommensdaten abgefragt werden.

Das hat sich als sehr nützlich erwiesen. Die Bauern sprechen alle wesentlichen Probleme an: keine Batterien für die Spritzgeräte, keine Schutzkleidung, nicht genügend Zugang zu Krediten oder das Versäumnis, dass bei den Radioprogrammen für die Bauern keine Frauen zu Wort kommen. Bereits zwei bis drei Monate nach einer solchen Fokusgruppendiskussion liegen die Ergebnisse vor. Sie werden mit den Organisationen, die Compaci durchführen, diskutiert und ermöglichen es, schnell zu reagieren.

Das Beispiel zeigt, dass Wirkungsanalysen als Lernprozesse angelegt sein müssen. Auch deshalb ist es wichtig, sich bei der Zahl der zu erfassenden Daten zu beschränken. Nur so lassen sich Datenberge vermeiden, die weder sinnvoll zu bearbeiten noch zu interpretieren sind. Gut konzipierte und von qualifiziertem Personal geleitete Fokusgruppendiskussionen sind oft sinnvoller als breit angelegte quantitative Analysen. In der Gates-Stiftung wird derzeit diskutiert, wie Lehren aus den Evaluierungen einzelner Programme nicht nur für die Beteiligten, sondern zudem für die Entwicklungspolitik fruchtbar gemacht werden können. Das wird auch eine Aufgabe des neuen Evaluierungsinstituts des BMZ sein.