Machen wir den Unterschied? Ansatz zur Wirkungsmessung eines Berufsorientierungsangebotes

Projekte zur Berufs- und Studienorientierung sind sowohl gesamtgesellschaftlich als auch für das Individuum von großer Bedeutung. Der Nachweis ihrer Wirkung ist jedoch aus wissenschaftlicher Sicht eine Herausforderung. Wie können die latenten Effekte sichtbar gemacht werden? Für das O ja! Orientierungsjahr Ausbildung und Studium in Berlin identifizierten wir mithilfe der I-O-O-I-Wirkungslogik relevante Konstrukte, operationalisierten diese und entwickelten ein geeignetes Forschungsdesign.

Projektqualität und -erfolg messen mit der I-O-O-I-Wirkungslogik (vgl. www.wirkung-lernen.de/wirkung-planen/wirkungslogik/bestandteile/). Bildquelle: UFO Berlin

HINTERGRUND

Das O ja! Orientierungsjahr in Berlin ist eine einzigartige Gelegenheit für junge Menschen, die sich für Umwelt, Energie, Digitalisierung und Technik interessieren, jedoch noch unsicher sind, ob sie sich nach dem Abitur eine Ausbildung oder ein Studium zutrauen. Im O ja! können sie in zwei Semestern intensiv in beide Bereiche hineinschnuppern. Dabei können sie nicht nur Lehrveranstaltungen in den relevanten Fächern wie Mathematik, Physik, Programmierung und Elektrotechnik, besuchen, sondern auch Berufspraktika, die praktische Erfahrungen ermöglichen und Einblicke in den beruflichen Alltag bieten, absolvieren. Das Hauptziel des O ja! Orientierungsjahres ist es, junge Menschen in ihrer Berufs- und Studienorientierung zu unterstützen, indem ihnen Ausbildung und Studium in einer ausgewogenen Balance nähergebracht werden. Dadurch sollen Ausbildungs- und Studienabbrüche vermieden werden.

HERAUSFORDERUNG

Die Wirkungsmessung von Projekten zur beruflichen Orientierung gestaltet sich oft als eine komplexe Aufgabe. Dies liegt u. a. daran, dass die gewünschten Effekte solcher Programme nicht unmittelbar und sofort beobachtbar sind. Zudem ist es schwierig, eine klare Ursache-Wirkungs-Beziehung herzustellen, da viele andere Einflüsse auf die berufliche Orientierung wirken, wie persönliche Erfahrungen, soziales Umfeld oder wirtschaftliche Gegebenheiten. Ebenso spielen Ressourcen für die Wirkungsmessung eine wichtige Rolle: Im besten Fall werden die Teilnehmenden engmaschig begleitet und befragt. Auch stellt sich die Frage, ob Teilnehmende, die ausscheiden und dadurch für die Projektkoordination nicht mehr erreichbar sind, als Projekterfolg verbucht werden können: Das Ausscheiden könnte bedeuten, dass die Person dank des Projektes entweder einen Bildungsweg für sich identifiziert hat und diesen nun einschlägt oder dass sie das Projekt als nicht zielführend erachtet und andere Wege geht.

UNSER LÖSUNGSANSATZ

In Kooperation mit dem O ja!-Team von Handwerkskammer Berlin und HTW Berlin identifizierten wir einen Ansatz zur Wirkungsmessung und passten diesen für das O ja! so an, dass sowohl das Programm-Monitoring als auch die Ergebnisoperationalisierung abgedeckt werden konnten. Die I-O-O-I-Wirkungslogik (vgl. https://www.wirkung-lernen.de/wirkung-planen/wirkungslogik/bestandteile/) bildet die Projekt-Inputs, die Outputs, Outcomes und Impacts ab. Dabei steht Inputs für die Ressourcen, die in das Projekt gesteckt werden. Outputs sind die Angebote, die durch den Einsatz der Ressourcen im Projekt gemacht werden können. Outcomes ist das, was bei der Zielgruppe durch die Angebote erreicht werden soll und Impacts steht für das, was auf gesellschaftlicher Ebene durch die großflächige Ausrollung des Projektes im besten Fall erreicht werden soll.

Im Rahmen der Projektlaufzeit legten wir den Fokus auf Outputs und Outcomes, identifizierten relevante Konstrukte und suchten nach validen Skalen/Items mithilfe derer wir die Konstrukte messbarmachen wollten. Als Outcome-Konstrukte wurden z. B. Wissen über Berufs-und Arbeitswelt, Zielklarheit und Berufswahlselbstwirksamkeit erfragt. Die Projektteilnehmenden wurden im Laufe ihrer zwei Semester insgesamt 6 x eingeladen, sich selbst in Bezug auf die Output und Outcome Konstrukte einzuschätzen. So konnten die Veränderungen der einzelnen Teilnehmenden relativ engmaschig erfasst und dann auch mit den Teilnehmenden reflektiert werden.

Auszug auf der Selbsteinschätzung einer O ja! Teilnehmenden über sechs Messzeitpunkte.

Den gemeinsam entwickelten Ansatz zur Wirkungsmessung und die qualitativen Ergebnissen stellten wir mit Franziska Heckel (O ja!-Koordination Handwerkskammer Berlin) auf der Fachtagung „Orientierung verstehen und gestalten!“ am 28./29. Juni 2023 an der TU Berlin veranstaltet vom Netzwerk Orientierungs(studien)programme und vom Verbundvorhaben VerOnika vor. Den Download zu unserem Vortrag gibt es hier: https://www.veronika-verbund.de/fileadmin/Bilder/Dokumentation_Fotos_Downloads/OSP-Tagung_2023/Downloads/20230705-WS-Wirksamkeit_Heckel_Oeser.pdf

Im interaktiven Workshop „Machen wir einen Unterschied? – Potential und Herausforderungen der Wirk-samkeitsmessung von Orientierungsangeboten am Beispiel des O ja! Orientierungsjahres“ auf der Fachtagung „Orientierung verstehen und gestalten“. Bildquelle: UFO Berlin.