im Detail

sportanddev: Ein Plädoyer für eine realistische Bewertung im Sport for Development

15. Januar 2024

sportanddev: Partizipative Ansätze für die Evaluierung: Ein Fall für eine realistische Bewertung im Sport für Entwicklung

Sport for Development (S4D) ist ein wichtiges Instrument für die Umsetzung von Strategien zur physischen Aktivität sowie von Initiativen für die Gesundheit und das Wohlbefinden der Gesellschaft. Dazu gehören Programme, die von Sportstiftungen und Behörden sowie von regionalen und internationalen Organisationen realisiert werden.

Der Nutzen dieser S4D-Ansätze wurde ausführlich dokumentiert und reicht von gesundheitsbezogenen Ergebnissen über die Verringerung von Ungleichheiten bis hin zum gesellschaftlichen Nutzen und der Beeinflussung der Regierungspolitik (House of Lords, 2023). In einigen Fällen haben der „Erfolg“ und die Beliebtheit der Maßnahmen dazu geführt, dass sie übernommen und repliziert wurden. Coalter (2010) argumentiert, dass die Evidenz zu den Programmergebnissen in Bezug auf die Wirksamkeit und Kosteneffizienz von S4D-Programmen begrenzt ist, da es sich um einen wichtigen Beitrag zur Förderung von Gesundheit und Wohlbefinden handelt, der nachweislich Auswirkungen auf Politik und Praxis hat. Bei den Bewertungsansätzen zur Ermittlung von Erfolgsindikatoren wurden im Wesentlichen vier Rahmenkonzepte bevorzugt: experimentelles Design, konstruktivistische Bewertung, nutzungsorientierte Bewertung und in jüngerer Zeit realistische Bewertung (Chen, 2018). In diesem Artikel werden die Vorteile theoriebasierter Evaluierungsansätze für S4D-Programme hervorgehoben – und die partizipative realistische Evaluierung als idealer Rahmen vorgeschlagen.

Es gibt eine Fülle von Forschungsergebnissen, die die Auswirkungen von Programmen des S4D belegen (Parnell et al., 2017; Brazier et al., 2023). Die traditionellen Überwachungs- und Evaluierungsmethoden werden jedoch kritisiert, da sie nicht in der Lage sind, in großem Maßstab überzeugende Beweise zu liefern (Levermore, 2008). Derzeit besteht ein Bedarf an tieferen Einblicken in Faktoren, die die positiven Aspekte von Maßnahmen maximieren und die negativen minimieren, sowie an der Umsetzung der ersteren in die Praxis. Finanzierungsstellen, Durchführungsorganisationen und sektorweite Interessengruppen konzentrieren sich zunehmend auf diese Frage, um den sozialen und wirtschaftlichen Wert von Programmen für den Entwicklungsdienst besser zu verstehen. Entwicklungsfachleute haben vorgeschlagen, dass es notwendig ist, Beweise zu sammeln, die über anekdotische Belege hinausgehen, um die Auswirkungen zu überwachen und zu bewerten (UNICEF, 2006). Jüngere Studien deuten darauf hin, dass die Evaluierung von Programmen immer noch unzureichend ist und dass es Lücken gibt, was die ideale Art und Weise betrifft, zu untersuchen, ob die gewünschten Ergebnisse durch Programme für den S4D erreicht werden. Brazier et al. (2023) schlagen die Entwicklung von standardisierten Überwachungs- und Bewertungsrahmen und -ergebnissen vor.

Zweitens ist eine strengere Bewertung dieser Maßnahmen erforderlich, um ihre Wirksamkeit im Hinblick auf Kosten und Nutzen für die Beteiligten zu ermitteln. Die Gewinnung spezifischerer Kenntnisse über den Kontext der Programmdurchführung durch Praktiker kann auch wertvolle Informationen für die Planung von Überwachungs- und Bewertungsansätzen liefern (Shulha et al., 2016). Dieser anhaltende Vorstoß für ein Umdenken bei der Wirkungsmessung wird weitgehend von den Bemühungen angetrieben, den Beitrag von S4D für die Gesellschaft und die Wirtschaft nachzuweisen. Ebenso besteht ein Bedarf an größerer Rechenschaftspflicht und tieferen Einblicken in die Kosteneffizienz von Maßnahmen. Von zentraler Bedeutung ist auch, dass die S4D-Programme den umfassenderen Zielen der durchführenden Organisationen entsprechen und dass ihre Notwendigkeit den Finanzierungsstellen nach Abschluss besser erklärt wird. Um eine höhere Qualität der Evaluierung zu erreichen, können kollaborative Ansätze, die Praktiker während der gesamten Evaluierung einbeziehen, von Vorteil sein (Brazier et al., 2023). Diese Einbindung der Akteure in den Prozess kann während des Evaluierungsdesigns, der Datenerfassung und -analyse bis hin zur Berichtsphase erfolgen. Und wie bei der realistischen Evaluation kann sie durch die selektive und gezielte Einbeziehung von Anteilseignern neben den Bemühungen um eine größtmögliche Wirksamkeit des Ansatzes erfolgen.

Die Kritik an den derzeitigen Evaluierungsansätzen (experimentell, konstruktivistisch und nutzungsorientiert) macht es daher erforderlich, die Aspekte der Durchführung, Überwachung und Messung der Auswirkungen von S4D-Programmen zu überdenken. Ein partizipatorischer Ansatz wie die realistische Evaluation könnte einige dieser Bedenken zerstreuen und wird zunehmend in der Sportentwicklungsforschung eingesetzt (Mansfield et al., 2015, 2018). Die im Rahmen von S4D durchgeführten Maßnahmen sind aufgrund der Anzahl ihrer Komponenten, der für ihre Durchführung erforderlichen Fachkenntnisse und der ihnen innewohnenden Flexibilität in der Regel komplex; daher sind Evaluierungen von Natur aus komplex und unvollständig. Theoriebasierte Ansätze, einschließlich der partizipativen realistischen Evaluierung, werden zunehmend als bessere Leitfäden für die Evaluierung vorgeschlagen, die zu einer verbesserten Kohärenz und Effektivität in der Politik und den organisatorischen und programmatischen Durchführungsprozessen führen (Coalter, 2007:4). Wie in den neuen Leitlinien des Medical Research Council für die Entwicklung und Evaluierung komplexer Maßnahmen (Skivington et al., 2021) dargelegt, erfordern Evaluierungen komplexer sozialer Maßnahmen eine geeignete Methodik, die die Nuancen der Funktionsweise der Programme (wie, für wen und unter welchen Umständen) sowie die Messung und Bewertung der mit den Programmen verbundenen gesellschaftlichen Kosten und Vorteile ermittelt. Dies wiederum wird Organisationen und Interessengruppen in die Lage versetzen, langfristig bessere Finanzierungsentscheidungen zu treffen.

Die realistische Evaluierung zielt darauf ab, herauszufinden, was funktioniert, für wen, unter welchen Umständen, in welchem Ausmaß, in welchen Kontexten und wie (Pawson & Tilley, 1997). Sie geht davon aus, dass eine Maßnahme nicht unter allen Umständen und für alle Personen funktioniert und durch nicht beobachtbare Faktoren wie Klassen- und Wirtschaftssysteme beeinflusst werden kann. Eine realistische Evaluierung kann zu einer verbesserten Kohärenz und Effektivität der politischen, organisatorischen und programmatischen Umsetzungsprozesse führen (Coalter, 2007). In einem iterativen Prozess werden Theorien mit dem sich ansammelnden Wissen getestet und verfeinert, um zu ermitteln, wie Aktivitäten in bestimmten Kontexten zu Ergebnissen führen (Dalkin et al., 2015). Sie geht auch davon aus, dass Mechanismen wichtig sind, weil sie Ergebnisse hervorbringen, und dass der Kontext wichtig ist, weil er die Prozesse verändert, durch die Maßnahmen Ergebnisse hervorbringen. Mechanismen beziehen sich auf die zugrunde liegenden sozialen oder psychologischen Triebkräfte, die das Denken der Akteure „verursachen“ (Bessere Bewertung). So kann beispielsweise ein Wellness-Programm, das von einer Sportstiftung durchgeführt wird, aufgrund des Einflusses sozialer Normen unterschiedliche Ergebnisse für Frauen und Männer erzielen. Der Kontext ist ebenfalls wichtig, da er das „Denken“ beeinflusst, und die Mechanismen können nur funktionieren, wenn die Umstände ideal sind.

Maßnahmen

In der Folge können partizipative Ansätze wie die realistische Evaluierung zu einer besseren Integration und zur Entwicklung von Eigenverantwortung beitragen, Kapazitäten aufbauen und die Wirksamkeit und Reichweite von Maßnahmen mit positiven Ergebnissen verbessern. Das letztendliche Ziel einer realistischen Evaluierung besteht darin, eine übertragbare Theorie darüber zu erstellen, wie die gewünschten Ergebnisse in verschiedenen Kontexten erzielt werden (Fick & Muhajarine, 2019). Die daraus resultierenden Theorien können die Grundlage für die Gestaltung und Umsetzung künftiger Maßnahmen bilden. Die gewünschten Ergebnisse dieser „erfolgreichen“ Evaluierungen können S4D-Programmen, die von einer Vielzahl von Organisationen durchgeführt werden, zugutekommen. Partizipatorische Bewertungsansätze sind ideal, um ein besseres Verständnis unter den Beteiligten zu entwickeln, verpasste Gelegenheiten zum Austausch bewährter Verfahren zu vermeiden und Verbesserungen bei der Wirkungsmessung anzustoßen. Zweifellos bieten S4D-Maßnahmen eine Vielzahl von Vorteilen, und eine angemessene Evaluierung ist notwendig, um ihre Bedeutung langfristig zu sichern und die gewünschten Ergebnisse zu maximieren. Bestehende evidenzbasierte Lücken in den derzeitigen Bewertungsmodellen könnten möglicherweise durch einen realistischen Bewertungsansatz minimiert werden, um das Lernen aus dem, was geschehen ist, zu erleichtern und Informationen für das, was kommen wird, zu liefern.

Realistische Evaluierungen ermöglichen es den politischen Entscheidungsträgern zwar, der Komplexität besser Rechnung zu tragen, doch werden bei realistischen Evaluierungen in der Regel nicht ausdrücklich die wirtschaftlichen Kosten und Folgen von Interventionen erfasst, damit sie die Ressourcen optimal zuweisen können (REEM, 2022). Darüber hinaus benötigen die politischen Entscheidungsträger neben den Evaluierungen auch wirtschaftliche Bewertungen, um Entscheidungen im Zusammenhang mit der kosteneffizienten Verwaltung und dem (Neu-)Einsatz von Ressourcen zu treffen. Derzeit wird an der Entwicklung realistischer wirtschaftlicher Bewertungsmethoden (REEM) geforscht, die es den Bewertern ermöglichen, festzustellen, was unter welchen Umständen für wen funktioniert, und dabei auch ein besseres Verständnis der Kosten und Folgen zu erlangen (REEM, 2022).

Dieser Beitrag stammt von Maureen Mende für sportanddev.org

Über die Autorin
Maureen Mwende ist Doktorandin an der Northumbria University. Sie führt derzeit eine Doktorandenstudie an der Northumbria University durch, in der sie realistische ökonomische Evaluierungsmethoden (REEM) anwendet, um den Beitrag von Sportstiftungen zur Berücksichtigung sozialer Gesundheitsfaktoren und zur Verringerung von Ungleichheiten zu verstehen und die Kosteneffizienz von Sportentwicklungsprogrammen im Rahmen einer Zusammenarbeit zwischen der Northumbria University und der Foundation of Light des Sunderland FC zu messen.