Erweiterung der Kenntnisse / Fähigkeiten

Ausgabe

Anzahl oder Prozentsatz der [Zielgruppe angeben] mit erweitertem Wissen und/oder verbesserten Fähigkeiten in [Thema angeben]

Dieser Indikator misst, inwieweit die Projektteilnehmer (z. B. Akteure der Zivilgesellschaft, Regierungsvertreter, Studierende und andere Interessengruppen) durch die im Rahmen des Projekts geförderten Lern- und Kompetenzvermittlungsmaßnahmen – wie Schulungen, Workshops, Vorführungen, Mentoring, Coaching, Sensibilisierungsveranstaltungen oder andere Maßnahmen zum Kapazitätsaufbau – Wissen oder Fähigkeiten erworben haben. Im Mittelpunkt steht dabei die Frage, ob die Teilnehmer ihr Verständnis und/oder ihre praktischen Fähigkeiten in einem oder mehreren spezifischen Themenbereichen, auf die die Maßnahme abzielt, verbessert haben.

Ermitteln Sie den Wert des Indikators anhand der folgenden Methodik:

 

1)Definieren Sie die wichtigsten Wissens- und/oder Kompetenzbereiche, die durch das Projekt gestärkt werden sollen. Diese sollten den Lernzielen der Maßnahme entsprechen und vor der Datenerhebung klar definiert sein. Stellen Sie sicher, dass das Team konsequent zwischen Wissen (verbessertes Verständnis oder Bewusstsein für Konzepte, Richtlinien oder Verfahren) und Kompetenzen (die Fähigkeit, dieses Wissen effektiv anzuwenden) unterscheidet.

2)Entwickeln Sie unter Berücksichtigung Ihrer Zielgruppe einen geeigneten Messansatz, um Veränderungen im Wissen und/oder in den Fähigkeiten zu bewerten. Dazu muss in der Regel die Differenz zwischen dem Ausgangszustand (der Situation vor der Unterstützung) und dem Zustand nach der Maßnahme (der Situation nach der Unterstützung) gemessen werden. Zu den gängigsten Optionen gehören:

• Standardisierter Wissens- und/oder Kompetenztest: Führen Sie vor und nach der Intervention denselben oder einen gleichwertigen Test durch und vergleichen Sie die Ergebnisse der einzelnen Teilnehmer.

• Selbsteinschätzung: Bitten Sie die Teilnehmer, ihren Wissens- und/oder Kompetenzstand in Bezug auf jeden der bewerteten Bereiche vor und nach der Maßnahme anhand einer Standardskala einzustufen (z. B. 1 = sehr gering, 5 = sehr hoch).

• Beobachtung oder praktische Leistungsbeurteilung: Beobachten Sie die Teilnehmer direkt bei der Ausführung relevanter Aufgaben oder beim Vorführen von Fähigkeiten in realen oder simulierten Situationen und halten Sie anhand eines strukturierten Beobachtungsbogens fest, wie gut sie diese Aufgaben bewältigt haben.

Wenn der Indikator Kompetenzen umfasst, muss mindestens eine Methode zum Einsatz kommen, die die praktische Anwendung erfasst. Dies kann durch direkte Beobachtung, praktische Aufgaben oder evidenzbasierte Ersatzindikatoren geschehen, die die geleistete Arbeit bewerten (z. B. Bewertung der Arbeitsergebnisse anhand vordefinierter Qualitätskriterien, strukturierte Bewertung der Aufgabenleistung durch einen Ausbilder oder Mentor auf der Grundlage der beobachteten Anwendung oder aufgabenbasierte Simulationen, die anhand klarer Standards bewertet werden).

3)Legen Sie einen Mindestschwellenwert für Verbesserungen fest, der „erweiterte Kenntnisse und/oder Fähigkeiten“ definiert. Beispiele:

• Eine prozentuale Mindestverbesserung zwischen den Ergebnissen des Vortests und des Nachtests (z. B. eine Steigerung um mindestens 20 %).

• Eine Verschiebung um mindestens einen Punkt nach oben auf einer 5-Punkte-Skala zur Selbsteinschätzung.

• Nachgewiesene Verbesserung der Aufgabenleistung gemäß festgelegten Kriterien.

Vermeiden Sie unrealistisch hohe oder unnötig niedrige Anforderungen, indem Sie den Schwierigkeitsgrad der Bewertungsmethode durcheinen Vorabtestmit mindestens 10 Personen überprüfen.

4)Erheben Sie die Daten vor der Intervention entweder aus der gesamten Zielgruppe oder aus einer repräsentativen Stichprobe, je nach Sachlage.

5)Erheben Sie Daten nach der Intervention. Wiederholen Sie die Datenerhebung idealerweise unmittelbar nach der Intervention und, wenn möglich, noch einmal zu einem späteren Zeitpunkt, um die Beibehaltung des Gelernten zu bewerten. Stellen Sie sicher, dass die Befragten ausreichend Zeit hatten, das Gelernte zu verinnerlichen oder anzuwenden. An allen Messzeitpunkten müssen dieselben Personen befragt werden, um einen Vergleich der Ergebnisse vor und nach der Intervention auf individueller Ebene zu ermöglichen.

6)Bewerten Sie die Ergebnisse auf Teilnehmerebene. Ermitteln Sie , wie viele Teilnehmer die in Schritt 3 festgelegte Mindestschwelle für einen Wissens- und/oder Kompetenzzuwachs erreicht haben.

7) Zur Berechnung des Indikatorwerts dividieren Sie die Anzahl der Teilnehmer, die den festgelegten Schwellenwert für gesteigerte Kenntnisse/Fähigkeiten erreichen, durch die Gesamtzahl der bewerteten Teilnehmer. Multiplizieren Sie das Ergebnis mit 100, um es in einen Prozentsatz umzurechnen.

Die Daten können aufgeschlüsselt nach Geschlecht, Altersgruppe, geografischem Gebiet und/oder anderen relevanten Merkmalen (z. B. Art der Schulung oder Thema, Zielorganisationen), je nach Kontext und Schwerpunkt Ihres Projekts.

1) Wenn Sie nicht die gesamte Zielgruppe, sondern nur eine Stichprobe untersuchen, stellen Sie sicher, dass diese groß genug ist, um den Ausfall bei der Abschlusserhebung zu berücksichtigen, da möglicherweise nicht alle Befragten der Basiserhebung zu diesem Zeitpunkt zur Verfügung stehen. Dies trägt dazu bei, dass die Bewertung nach der Intervention repräsentativ bleibt (Ihre Stichprobengröße bleibt groß genug) und ermöglicht es, bei der Basiserhebung und der Abschlusserhebung Daten von denselben Befragten zu erheben.

2) Wenn Sie sowohl Kenntnisse als auch Fähigkeiten messen möchten, reicht es möglicherweise nicht aus, sich ausschließlich auf Vor- und Nachtests zu stützen. Zusätzliche Methoden wie Beobachtungen oder praktische Leistungsbewertungen können erforderlich sein, um die Verbesserung der Fähigkeiten angemessen zu erfassen.

3) Die oben genannten methodischen Schritte empfehlendie Erhebung von Daten sowohl vor als auch nach der Intervention, um zu erfassen, inwieweit die Befragten ihre Kenntnisse und/oder Fähigkeiten verbessert haben (oder nicht). Ist die Erhebung von Basisdaten jedoch nicht durchführbar oder sind Vor- und Nachtests für die Zielgruppe ungeeignet, kann alternativ ein auf Erinnerungsangaben basierender Bewertungsbogen verwendet werden. Solche Bögen können kontrafaktische Fragen oder Fragen zur Ausgangslage enthalten, zum Beispiel:

• Inwieweit würde man sagen, dass die von [ Organisation/Akteur angeben] geleistete Unterstützung Ihr Wissen über [ Thema angeben] beeinflusst hat ?

• Hast du Fähigkeiten und Kenntnisse erworben, die du vorher noch nicht hattest?

Eine Gesamtpunktzahl aus mehreren solcher Fragen kann herangezogen werden, um „erweitertes Wissen und/oder verbesserte Fähigkeiten“ zu definieren. Ein solches Bewertungsformular eignet sich zudem zur Erhebung von Feedback zur Verbesserung der Maßnahmen.

Auf Erinnerungen basierende Ansätze sollten als zweitbeste Option betrachtet und nur dann verwendet werden, wenn keine Basisdaten erhoben werden können, da Erinnerungsverzerrungen und Verzerrungen durch soziale Erwünschtheit die Ergebnisse verzerren können, insbesondere im Rahmen von durch Spender finanzierten Schulungen. Die Ergebnisse aus auf Erinnerungen basierenden Methoden sollten daher als wahrgenommene Veränderung und nicht als gemessene Veränderung interpretiert werden.

4) Wenn Ihr Projekt darauf abzielt, zu ermitteln, ob die Zielgruppe über ein bestimmtes Maß an Wissen und/oder Fähigkeiten verfügt – und nicht, ob sich diese im Laufe der Zeit verbessert haben –, verwenden Sie den Indikator „Prozentualer Anteil von [Zielgruppe angeben] mit den gewünschten Kenntnissen/Fähigkeiten zu [Thema angeben]“ . Der Vorteil dieses Ansatzes besteht darin, dass Sie keine Basisdaten und Folgedaten von denselben Befragten erheben müssen.

5) Entscheiden Sie, ob Sie die unmittelbaren Auswirkungen einer einmaligen Maßnahme (z. B. einer Demonstration) oder die Auswirkungen eines längerfristigen Lernprozesses (z. B. einer Reihe von mehreren Schulungen über einen bestimmten Zeitraum hinweg) messen möchten.

6)Wenn Sie Selbstbewertungen einsetzen, lassen Sie diese durch eine externe Überprüfung validieren, um Verzerrungen zu reduzieren. Bitten Sie Trainer oder Kollegen, zu überprüfen, ob die Teilnehmer die Kenntnisse oder Fähigkeiten, die sie selbst bewertet haben, auch tatsächlich unter Beweis stellen können. Dieser Überprüfungsschritt stellt sicher, dass die Ergebnisse den tatsächlichen Lernerfolg widerspiegeln und nicht nur subjektive Eindrücke.

7)Führen Sie die „Nachbewertung“ nach Möglichkeitzweimal durch: einmal unmittelbar nach Abschluss der Maßnahme zur „Kapazitätsstärkung“ (um den unmittelbaren Lernerfolg zu erfassen) und dann 1–2 Monate später (um festzustellen, welche Kenntnisse und/oder Fähigkeiten sich die Teilnehmer tatsächlich gemerkt haben und möglicherweise anwenden).Die Bewertungen müssen sichjedochnicht ausschließlich auf eine einzelne Maßnahme(z. B. eine Schulung)beziehen– sie können im Rahmen der Basis- und Abschlusserhebungen durchgeführt werden, um die Gesamtveränderung der spezifischen Kenntnisse und/oder Fähigkeiten der Zielgruppe zu erfassen.

8) Bewerten Sie auf der Grundlage Ihrer Barrierefreiheits- und Geschlechteranalyse , ob zusätzliche Maßnahmen erforderlich sind, um eine faire und genaue Erhebung für alle Befragten zu gewährleisten, und setzen Sie diese gegebenenfalls um. Dazu können gehören: das Angebot verschiedener Formate zur Datenerhebung (schriftlich, mündlich oder digital), um unterschiedlichen Fähigkeiten Rechnung zu tragen; die Gewährleistung barrierefreier Prüfungsorte; die Gewährung flexibler Zeitfenster für Teilnehmer, die dies benötigen; die Erlaubnis zur Nutzung von Hilfsanwendungen oder -programmen; sowie die Bereitstellung von Hilfsmaterialien wie Großdruck oder visuelle Hilfsmittel. Verwenden Sie in allen Fragen geschlechtsneutrale Sprache und Beispiele und schlüsseln Sie die Ergebnisse nach Geschlecht auf und werten Sie sie entsprechend aus, um festzustellen, ob Mädchen/junge Frauen, Jungen/junge Männer oder nicht-binäre Jugendliche unterschiedliche Lernergebnisse erzielen oder auf unterschiedliche Hindernisse stoßen.

9) Fragen Sie die Befragten gegebenenfalls, wo sie sich das Wissen bzw. die Fähigkeiten angeeignet haben. Dies könnte Ihnen helfen, den Beitrag Ihrer Maßnahme besser zu verstehen.

10) Fügen Sie nach Möglichkeit Fragen hinzu, um Feedback zur Nützlichkeit und Relevanz der Kapazitätsstärkung einzuholen. Nutzen Sie die Ergebnisse zur Verbesserung der Maßnahmen.

11) Um den Lernprozess und die Rechenschaftspflicht zu stärken, sollten die Bewertungsergebnisse den Teilnehmern, soweit dies möglich und angemessen ist, mitgeteilt und zur Optimierung künftiger Initiativen zum Kapazitätsaufbau herangezogen werden.