Rigorose Wirkungsmessung im RéUsSITE-Projekt


  • In Zusammenarbeit mit dem RWI – Leibniz-Institut für Wirtschaftsforschung evaluiert unser Team im Auftrag des Bundesministeriums für Wirtschaftliche Zusammenarbeit und Entwicklung mehrere Maßnahmen der Sonderinitiative „Gute Beschäftigung für sozial gerechten Wandel“ in Ghana und Côte d’Ivoire. Ziel ist es, kausale Wirkungen einer Maßnahme auf die Begünstigten zu identifizieren – beispielsweise den Effekt eines Aus- oder Weiterbildungsprogramms auf die spätere Beschäftigungsfähigkeit, das Einkommen, oder auch die Qualität der Beschäftigung und die Arbeitszufriedenheit der Teilnehmenden. Diese Effekte werden in der Regel anhand von sogenannten Rigorosen Wirkungsmessungen identifiziert. Zentraler Bestandteil ist hier der Vergleich zwischen einer Behandlungsgruppe, die die Möglichkeit zur Programmteilnahme bekommt, mit einer Kontrollgruppe. Um die Vergleichbarkeit beider Gruppen zu gewährleisten, erfolgt die Einteilung in die Gruppen zufällig. Die Evaluation basiert auf mindestens zwei Datenerhebungen von Behandlungs- und Kontrollgruppe: einer Baseline-Datenerhebung vor der Intervention, und einer Endline-Datenerhebung nach der Intervention. Im Rahmen der Evaluationen arbeiten wir darüber hinaus eng mit den durchführenden Organisationen zusammen und ergänzen die Datenbasis um Informationen zur Implementierung der Programme.

    Verkäuferin im Lager begutachtet Stoff
    © iStock / IURII KRASILNIKOV
    Verkäuferin im Lager begutachtet Stoff
    © iStock / IURII KRASILNIKOV

    Unterstützungsprogramm für Unternehmen in Côte d‘Ivoire

    Programm Evaluiert wird ein Unterstützungsprogramm für Kleinst-, kleine und mittelständische Unternehmen (KKMU) in Côte d’Ivoire, das im Rahmen der Sonderinitiative „Gute Beschäftigung für sozial gerechten Wandel“ umgesetzt wird. Ziel des Programms sind die Stärkung der Produktivität der Unternehmen sowie die Schaffung von Arbeitsplätzen und Verbesserung der Arbeitsbedingungen. Um dies zu erreichen, werden die Unternehmen jeweils für sechs Monate durch eine ivorische Unternehmensberatung begleitet, die auf der Grundlage einer Diagnostik Schwächen im Management identifiziert, Empfehlungen ausspricht und in der Umsetzung der Empfehlungen unterstützt. Im Fokus stehen die Bereiche Finanz- und Personalmanagement.

    Evaluation Die Evaluation basiert auf einer Baseline-Datenerhebung vor Beginn der Programmaktivitäten im April-Mai 2021 und einer Endline-Datenerhebung im Frühsommer 2022, sechs Monate nach dem Ende der Programmaktivitäten. Die programmteilnehmenden Firmen werden nach dem Ende der Baseline-Datenerhebung zufällig unter den Unternehmen ausgewählt, die sich auf eine Programmteilnahme beworben haben, die die Zugangsvoraussetzungen erfüllen, sowie an der Baseline-Datenerhebung teilgenommen haben. Neben den Unternehmensverantwortlichen werden jeweils auch bis zu zehn Mitarbeitende befragt, um Effekte des Programms auf Beschäftigte abbilden zu können.

    Forschungsfragen Die Evaluation untersucht die kausalen Effekte der Programmteilnahme auf den Unternehmenserfolg und auf Beschäftigung in den Unternehmen. Von Interesse sind auf der Ebene der Unternehmen insbesondere (i) Beschäftigung, einerseits verstanden als Zahl der Arbeitsplätze oder Arbeitsstunden, andererseits auch gemessen an der Fluktuation sowie der Zusammensetzung der Mitarbeiterschaft, (ii) Sicherheit und Qualität der Beschäftigung, gemessen z.B. am Anteil der Beschäftigten mit schriftlichem Arbeitsvertrag, Zugang zur Sozialversicherung oder Fortbildungsmöglichkeiten, (iii) Praktiken des Personalmanagements, (iv) Kapital- und Arbeitsproduktivität, (v) Unternehmenserfolg, gemessen z. B. an Umsätzen und Profiten, (vi) Zugang zu Finanzierungsangeboten und (vii) Managementpraktiken, insbesondere Finanzmanagement.

    Auf der Ebene der Mitarbeitenden betrachten wir Effekte des Programms auf (i) Beschäftigung, verstanden beispielsweise als Arbeitsstunden, Arbeitsplatzerhalt bzw. -mobilität oder Diversifizierung der Einkommensquellen sowie (ii) Indikatoren zur Qualität der Beschäftigung, beispielsweise Einkommen, das Vorhandensein eines schriftlichen Arbeitsvertrags, Arbeitszufriedenheit oder Fortbildungsmöglichkeiten.

    Baseline-Befragung und ausgewählte, erste Erkenntnisse Ein erster Blick auf Umsätze und die Anzahl der Beschäftigten illustriert die übliche, von Kleinstunternehmen dominierte Größenverteilung: über 60 % sind Kleinstunternehmen mit Jahresumsätzen von 30 Mio. FCFA oder weniger (ca. 45.700 EUR), etwa ein Viertel Kleinunternehmen mit Jahresumsätzen bis zu 150 Mio. FCFA (228.700 EUR) und weniger als 15 % sind mittelständische Unternehmen mit höheren Jahresumsätzen. Etwa die Hälfte der Unternehmen haben weniger als fünf Beschäftigte, 35 % haben 5–9 Beschäftigte und 15 % zehn oder mehr.

    Unterstützungsprogramm für Unternehmen in Côte d‘Ivoire Abb. 1
    Abb. 1: Umsätze und Anzahl der Beschäftigten in befragten Unternehmen
    Unterstützungsprogramm für Unternehmen in Côte d‘Ivoire Abb. 1
    Abb. 1: Umsätze und Anzahl der Beschäftigten in befragten Unternehmen

    Etwa 90 % der befragten Unternehmen sehen den Zugang zu Finanzierung als eine der größten Herausforderungen. Nur 11 % der befragten KKMUs bemühten sich seit Anfang 2020 erfolgreich um eine Kreditfinanzierung, während für über 20 % der beantragte Kredit nicht bewilligt wurde und sich über 40 % der Unternehmen aufgrund geringer Erfolgsaussichten gar nicht erst bewarben. Ein wesentlicher Grund für diese Schwierigkeiten im Zugang zu Finanzdienstleistungen mögen Schwächen im Finanzmanagement sein: obwohl rund 60 % der Unternehmen angeben, Jahresabschlüsse anzufertigen, können nur ca. 20 % diese auf Nachfrage auch vorlegen.

    Unterstützungsprogramm für Unternehmen in Côte d‘Ivoire Abb. 2
    Abb. 2: Qualität der Beschäftigung in befragten Unternehmen
    Unterstützungsprogramm für Unternehmen in Côte d‘Ivoire Abb. 2
    Abb. 2: Qualität der Beschäftigung in befragten Unternehmen

    In Bezug auf die Qualität und Sicherheit der Beschäftigung zeigt sich: über die Hälfte der Firmen schließt keine schriftlichen Arbeitsverträge mit ihren Angestellten ab und mehr als ein Drittel bietet ihnen keine Sozial- und Krankenversicherung. Selbst innerhalb der Firmen ist die Heterogenität beträchtlich—in über einem Drittel der Firmen hat lediglich ein Teil der Beschäftigten Zugang zur Sozial- und Krankenversicherung. In 40 % der KKMUs verdienen einige oder sogar alle Beschäftigte weniger als den gesetzlichen Mindestlohn von 60,000 FCFA (ca. 92 EUR) und weniger als 40 % der Unternehmen haben ihren Angestellten in den vergangenen Jahren Fortbildungsangebote gemacht.


    Ausbildungsprogramm in der Modebranche für junge Frauen in Ghana

    Programm Das zu evaluierende Programm bietet jungen ghanaischen Frauen die Möglichkeit zur Aus- und Weiterbildung in der Modebranche und wird im Rahmen der Sonderinitiative „Gute Beschäftigung für sozial gerechten Wandel“ in Ghana umgesetzt. Die erste Komponente adressiert benachteiligte junge Frauen aus dem ruralen und urbanen Raum, die ein mehrmonatiges Ausbildungsprogramm in der Modebranche absolvieren und bei der anschließenden Jobsuche unterstützt werden. Ziel des Programms ist es, den Beschäftigungsstatus und Lebensstandard der Teilnehmerinnen zu verbessern und durch ein arbeitsmarktorientiertes Ausbildungsprogramm der Modebranche qualifizierte Arbeitskräfte bereitzustellen.

    Evaluation Die Evaluation beruht auf einer Baseline-Datenerhebung vor Beginn des Programmstarts und einer Endline-Datenerhebung, die sechs Monate nach dem Ende der Programmaktivitäten stattfinden soll. Die Erhebungen umfassen Fragen unter anderem zu den aktuellen Einkommens- und Lebensverhältnissen sowie Persönlichkeitsmerkmalen. Die Baseline-Datenerhebung hat im Mai 2021 begonnen. Die ersten Programmaktivitäten sind für den Sommer 2021 geplant und sollen über Regionen hinweg gestaffelt starten. Aus den Interessentinnen, die die Zugangskriterien erfüllen, wird die Hälfte der Frauen zufällig für die Programmteilnahme ausgewählt, die nicht ausgewählten Frauen bilden die Kontrollgruppe. In der Endline-Erhebung werden 2022 beide Gruppen erneut befragt, um Programmeffekte klar von anderen Entwicklungen abgrenzen zu können.

    Forschungsfragen Ziel der Evaluation ist es, kausale Effekte der Programmteilnahme auf die Arbeitsmarktsituation der Teilnehmerinnen zu ermitteln. Von Interesse sind insbesondere (i) Beschäftigungsverhältnisse, z. B. hinsichtlich Beschäftigungsstatus und -dauer, (ii) Indikatoren zur Qualität der Beschäftigung, beispielweise Einkommen, das Vorhandensein eines schriftlichen Arbeitsvertrags und Arbeitszufriedenheit, (iii) Lebensstandards, wie z. B. Besitz und Wohnsituation, sowie (iv) Mobilität, z. B. hinsichtlich Migrationsvorhaben und -verhalten.

    Baseline-Befragung und nächste Schritte Die Baseline-Befragung ist in zwei Phasen gegliedert. Zunächst werden durch sogenannte Vorregistrierungsveranstaltungen interessierte Frauen rekrutiert, die Erfüllung der Teilnahmekriterien überprüft sowie deren Einverständnis zur Teilnahme eingeholt. Im zweiten Schritt werden alle Frauen, die die Teilnahmekriterien erfüllen, per SMS zu einem Career Day eingeladen. Dort erhalten sie weitere Informationen über das Programm, lernen die Ausbildungsinstitute kennen und nehmen am zweiten, umfangreicheren Teil der Baseline-Befragung teil.


    Programm zur Professionalisierung handwerklicher Fachkräfte in Ghana

    Programm Das zu evaluierende Programm ist Teil des Schwerpunkts „Mittelstand“ der SI Jobs und richtet sich an handwerkliches Fachpersonal in den Bereichen Elektroinstallation, Bedachung, Metallarbeiten, Mauerwerk, Verglasung, Malerei, Sanitärtechnik, Stahlbiegen, Fliesenlegen und Klimatechnik. Ziel ist es, die Beschäftigungssituation der Begünstigten zu verbessern. Ausgewählten Personen wird über einen Zeitraum von etwa sechs Monaten eine Reihe von berufsbezogenen Angeboten gemacht. Dazu gehören (i) technische Weiterbildungskurse (in Zusammenarbeit mit mehreren handwerklichen Trainingsinstituten), (ii) Schulungen zur finanziellen Bildung, (iii) Zertifizierung und Lizenzierung durch ein nationales Handwerksregister, (iv) Digitalisierungsseminare und Zugang zu einer mobilen Anwendung, um mit Kundschaft in Kontakt zu treten, (v) vergünstigtes modernes Werkzeug und entsprechende Schulungen und (vi) persönliche Schutzausrüstung und technische Beratung zu Arbeitsschutzmaßnahmen.

    Evaluation Zum Zeitpunkt der Registrierung erfolgten eine Baseline-Datenerhebung und anschließend eine zufällige Auswahl der Begünstigten im Sinne einer randomisierten kontrollierten Studie. Ungefähr sechs Monate nach Ende des Programmzeitraums werden wir Endline-Interviews mit begünstigten und nichtbegünstigten Personen durchführen. Zudem sollen wir von unseren Partnerorganisationen administrative Daten zur Programmteilnahme der Begünstigten erhalten. Die Studie bewertet dann die Auswirkungen auf eine Reihe von Indikatoren für Beschäftigung und Arbeitsqualität. Eine Baseline-Befragung und Rekrutierung handwerklicher Fachkräfte hat im November und Dezember 2020 stattgefunden, eine weitere Baseline-Erhebung im Sommer 2021. Der Programmstart für die bereits ausgewählten Begünstigten erfolgte im Juni 2021, weitere Personen haben verschiedene Unterstützungsangebote im Herbst 2021 erhalten. Die Endline-Datenerhebung ist für Mitte 2022 geplant.

    Forschungsfragen Für diese Evaluation sind von zentraler Bedeutung mögliche Effekte im Hinblick auf (i) Beschäftigung, z. B. in Form von Arbeitsplatzerhalt oder -erwerb und Dauer des Arbeitsverhältnisses, (ii) Arbeitsplatz- und Lebensqualität, einschließlich z. B. Verdienst, Arbeitsbedingungen, und Mobilitäts- und Außenoptionen, (iii) Ergebnisse auf Unternehmensebene, z. B. in Bezug auf Leistung und Personal.

    Zudem untersuchen wir mögliche Mechanismen, die Interventionseffekten zugrunde liegen könnten, wie z. B. Produkt- und Produktionsinnovationen, die Nutzung digitaler Plattformen zur Akquise von Kundschaft und Aufträgen, oder Veränderungen in den beruflichen Netzwerken oder im Kundenstamm der Teilnehmenden.

    Baseline-Befragung und erste Erkenntnisse Im November und Dezember 2020 erfolgte die erste Phase der Ausgangsdatenerhebung in Accra, Kumasi und Tamale. Fast alle (99 %) der Befragten waren Männer, trotz der Bemühungen auch Handwerkerinnen zu rekrutieren. Der Arbeitsmarkt in den vom Programm bedienten Berufsfeldern ist in Ghana eindeutig männlich geprägt. In allen vom Programm abgedeckten Handwerksbranchen gab es interessierte Personen, obgleich mit ausgeprägt unterschiedlicher Häufigkeit. Die von den Trainingsinstituten angebotenen Weiterbildungs-kurse wurden dementsprechend angepasst bzw. flexibel konzipiert. Tatsächlich ist insbesondere der Erwerb zusätzlicher handwerklicher Fähigkeiten einer der Hauptgründe sich zu registrieren, einhergehend mit der Hoffnung, neue Kundschaft zu binden und Aufträge zu erhalten.

    Programm zur Professionalisierung handwerklicher Fachkräfte in Ghana
    Abb. 3: Branchen und Motivation des registrierten handwerklichen Fachpersonals
    Programm zur Professionalisierung handwerklicher Fachkräfte in Ghana
    Abb. 3: Branchen und Motivation des registrierten handwerklichen Fachpersonals


    IT-Trainingsakademie in Ghana und Soft-Skills-Coachings im Bewerbungsverfahren

    Programm Die IT-Trainingsakademie bietet Personen mit Hochschulabschluss und IT-Hintergrund sechsmonatige Ausbildungskurse im IT-Bereich an. Ziel des Programms ist es, ghanaische Begünstigte im Bereich Informations- und Kommunikationstechnologie aus- und weiterzubilden und Jobs zu schaffen. Der Schwerpunkt der aktuellen Trainings liegt auf Software Development, DevOps, Full Stack Development, Data Science und Salesforce Development. Evaluation Unsere wissenschaftliche Begleitforschung umfasst (i) die Analyse der Auswirkungen der IT-Ausbildungskurse auf Arbeitsmarktergebnisse wie Beschäftigung und Löhne mittels eines quasi-experimentellen Forschungsdesigns, und (ii) die Analyse der Auswirkungen von verschiedenen Soft-Skills-Coaching-Maßnahmen auf die Ergebnisse von Bewerberinnen und Bewerbern im Auswahlverfahren (Testergebnisse, Bewertungen der Rekrutierenden, Aufnahme) und der Ausbildung (erbrachte Leistungen, Abschluss) mittel einer RIE.

    Im Rahmen von (i) erheben wir Baseline-Daten von allen sich bewerbenden Personen der Trainingsakademie. Endline-Datenerhebungen finden jeweils 9 bis 12 Monate nach den Baseline-Datenerhebungen der jeweiligen Kohorte statt und sind entsprechend Ende 2023 für die letzte Kohorte abgeschlossen.

    Im Rahmen von (ii) werden Soft-Skills-Coachings mit einem Teil der sich bewerbenden Personen der Kohorten 5 bis 7 virtuell durchgeführt. Jede dieser Personen erhält hierbei ein Coaching von 90 Minuten entweder in „Organizational Skills“ oder „Communication Skills.“ Die Coachings werden in Kleingruppen durchgeführt, mit fünf Teilnehmenden pro Gruppe. Die Evaluation basiert auf den oben genannten Baseline- und Endline-Datenerhebungen, die vor Beginn der Soft-Skills-Interventionen der jeweiligen Kohorte bzw. ein Jahr später durchgeführt werden.

    Forschungsfragen Die Evaluation der IT-Trainingsakademie untersucht mittels quasi-experimenteller Methoden die Effekte der Teilnahme an den IT-Ausbildungsprogrammen auf Arbeitsmarktergebnisse wie (die Art der) Beschäftigung und Löhne. Hierbei ist insbesondere interessant in welchem Sektor Graduierte der Trainingsakademie beschäftigt sind und wie dynamisch der Arbeitsmarkt für Personen mit IT-Abschluss in Ghana ist. Im Rahmen der RIE untersuchen wir, ob kostengünstige Soft-Skills-Coachings einen kurzfristigen Effekt auf den Erfolg von Personen im Bewerbungsprozess haben und mittel- bis langfristig zu besseren Beschäftigungsaussichten führen. Hierbei ist insbesondere interessant, ob Soft Skills Coachings dabei helfen können, benachteiligte Personen in Beschäftigung zu bringen und damit Ungleichheiten auszugleichen.


    Benachrichtigungen

    Melden Sie sich hier für E-Mail-Benachrichtigungen zu GIGA-Aktivitäten an

    Soziale Medien

    Folgen Sie uns