Kontinuierliche Qualitätsentwicklung

Das Projekt kompass wird fortlaufend mit Hilfe sozialwissenschaftlich fundierter Methoden und Instrumente evaluiert. Die Evaluation erfasst folgende Ebenen: Maßnahmenevaluation der durchgeführten kompass Projektstufen, Teilprojektevaluation aller Maßnahmen einer Projektstufe, Projektevaluation von kompass insgesamt sowie Meta-Evaluation der Evaluation.

Prozessevaluation

Die Prozessevaluation bezieht die Ergebnisse regelmäßiger Feedbackrunden von Studierenden, Tutor:innen und Teamberater:innen ein. Ferner werden die Antworten der kompass Teilnehmer:innen auf die freien Items der Fragebögen systematisch ausgewertet. Auf Basis der qualitativen Evaluation wird kompass permanent an die Anforderungen der Studierenden angepasst.

kompass Teilnehmer:innen heben insbesondere den starken Praxisbezug des Projekts positiv hervor. Auch die Mischung von theoretischen Inputs und praktischen Übungen wird als sehr gelungen bewertet: Die Studierenden geben an, dass sie dadurch Theorie und Praxis entsprechend gut verknüpfen können.

Als besonderen Gewinn erleben Studierende die Arbeit in Kleingruppen. Positive Aspekte, die hier genannt werden, sind beispielsweise die (fachliche) Auseinandersetzung und die Zusammenarbeit mit verschiedenen Persönlichkeiten (Heterogenität), der stellenweise durch die Tutor:innen realisierte Austausch mit Studierenden aus anderen Studiengängen, das Problemlösen in Gruppen und die Nutzung der Synergieeffekte zwischen Gruppenmitgliedern.

Die Einführung in die Virtual Reality und das Arbeiten in der CAVE bewerten Studierende als sozial und fachlich bereichernd. In einem stereoskopischen Projektionsraum, bei dem Wände, Boden und Decke mit 3D-Daten bespielt werden, können Studierende technische Objekte, Räume und soziale Situationen virtuell konstruieren und erproben. Rückmeldungen der Teilnehmer:innen weisen darauf hin, dass der anwendungsnahe niedrigschwellige Einstieg in hochaktuelle Entwicklungsmethoden und -technologien Interesse für stark gefragte Berufsbilder weckt, interdisziplinäre Kooperation im Team stimuliert und die Selbstwirksamkeitsüberzeugung stärkt.

Die Teilnehmer:innen geben an, kompass mache Spaß und die gute Arbeitsatmosphäre motiviere stark – teilweise sogar über das Projekt hinaus auf ihr Studium insgesamt bezogen.

Eine der zu Beginn der Projektmaßnahmen angebotene Übung wird von den Studierenden als nicht hinreichend herausfordernd bewertet. Als Konsequenz werden Vorschläge von (ehemaligen) Teilnehmer:innen systematisch in Themenfindung, Projektplanung und -durchführung einbezogen.

Programmevaluation

Im Fokus der Programmevaluation steht die Zufriedenheit mit organisatorischen Abläufen, der Zusammenarbeit im Team sowie der Betreuung durch Tutor:innen und Teamberater:innen. Seit Winter 2015/2016 haben über 420 Studierende an der interdisziplinären Projektarbeit teilgenommen. Davon haben sich 71% an der Evaluation mittels standardisierter Online-Fragebögen beteiligt.

Weiterempfehlungsquoten von bis zu 100% (2020) deuten auf eine hohe allgemeine Zufriedenheit der Teilnehmer:innen hin. Die Strukturierung des Projekts erfährt mit Mittelwerten von bis zu 4.4 (2018) auf der fünfpoligen Antwortskala über die gesamte Laufzeit eine hohe Zustimmung.

Über die gesamte Laufzeit der interdisziplinären Projektarbeit hinweg wird die Peer-Begleitung studentischer Tutor:innen mit Mittelwerten von bis zu 4.6 (2017/18) auf der fünfpoligen Antwortskala außerordentlich positiv bewertet. Die Moderation durch Tutor:innen wird durchgängig als besonders unterstützend wahrgenommen (2015-2020: regelmäßig MW >4.5). Analog wird die Kooperation im Team nahezu durchweg positiv erlebt. Die Bewertung der fachlichen Betreuung durch Teamberater:innen verbessert sich kontinuierlich: 2020 entspricht der Austausch mit Professor:innen dem Ideal von 90% der Teilnehmer:innen.

Nahezu alle Teilnehmer:innen schätzen Gruppengröße (2018: 94%) und Anforderungsniveau der interdisziplinären Projektarbeit (2017: 95%) als genau richtig ein. Über die gesamte Projektlaufzeit 2015-2020 wird die Atmosphäre im Team mit durchgängigen Mittelwerten >4.0 auf der fünfpoligen Antwortskala fast ausnahmslos sehr gut bewertet. Die Zusammenarbeit im Team wird als ausgesprochen positiv erlebt (2019: MW 4.4).

 

Spaß an der fachübergreifenden Zusammenarbeit und interdisziplinärer Kompetenzerwerb variieren in ihrer Ausprägung stark mit der Teilnehmer:innenstruktur. Durchläufe unter Beteiligung von Studierenden aus vielen Fakultäten – wie beispielsweise im Sommer 2017 und 2018 – werden gleichermaßen als motivierend und erkenntnisreich erlebt. Auch die Lernziele werden in solchen heterogenen Semestern deutlich erkannt (Mittelwerte von bis zu 4.2 auf der fünfpoligen Antwortskala).

Meta-Evaluation

Die externe Begleitung der Evaluation erfolgt durch einen wissenschaftlichen Beirat. Design, Instrumente und Befunde aus Evaluation und Wirkungsforschung werden kontinuierlich im Benehmen mit dem wissenschaftlichen Beirat überprüft, abgestimmt und weiterentwickelt.

GESIS - Leibniz-Institut für Sozialwissenschaften, Dauerbeobachtung der Gesellschaft, Survey Synergies, Stellvertretende Teamleiterin.

Schwerpunkte: Datenqualität in Umfragen (insb. Online), Paradaten, Fragebogenkonstruktion.

Professor für "Psychologie in der Sozialen Arbeit" an der Fakultät für Sozialwesen der Hochschule Mannheim. Diplom-Psychologe, Psychologischer Psychotherapeut und Supervisor (VT).

Schwerpunkte: Quantitative Methoden der empirischen Sozialforschung, Online-Befragungen, digitale Lehr-Lernformate.

ehem. KI2VA, Technische Universität Darmstadt, Fachbereich Gesellschafts- und Geschichtswissenschaften, Institut für Soziologie

Schwerpunkte: Umfrageforschung, Fragebogendesign, Statistik.

Wirkungsforschung

Die Evaluation begleitend führt das Projekt seit 2017 Wirksamkeitsuntersuchungen durch. Selbsteinschätzungen der kompass// Teilnehmer:innen werden semesterweise jeweils zu Beginn und zum Abschluss der interdisziplinären Projektarbeit erhoben.
 

Semesterweise werden im Prä-Post-Design (Eingang- und Ausgangsbefragung) Selbsteinschätzungen der Studierenden hinsichtlich ihrer persönlichen, sozialen, fachlichen und überfachlichen Entwicklung auf sozialwissenschaftlichen Skalen abgefragt und Veränderungen im Semesterverlauf per Mittelwertvergleich gemessen.

In allen Erhebungszyklen konnten drei Befunde reproduziert werden: Das freiwillige Angebot spricht insbesondere Studierende an, die sich von vornherein eine hohe internale Kontrollüberzeugung attestieren. Zum Ende der Projektarbeit ist die Kontrollüberzeugung etwas geringer ausgeprägt. Zugleich schreiben sich die Teilnehmer:innen ein konstant hohes oder gar leicht gestiegenes Maß an interpersonalem Vertrauen zu. Selbstorganisiertes Lernen im Team geht offenbar mit der Erfahrung einher, dass sich nicht alle Probleme alleine lösen lassen. Jedoch setzt sich die Überzeugung durch, dass die meisten Menschen aufgeschlossen sind für Zusammenarbeit, dass sie gute Absichten hegen und dass man sich auf die Unterstützung Dritter verlassen kann.

Vor dem Hintergrund der Aussetzung der Präsenzlehre im Sommer 2020 wurde kompass komplett auf ein Online-Format umgestellt. Um die notwendig gewordenen didaktischen und digitalen Veränderungen engmaschig reflektieren zu können, wurden die Evaluationsinstrumente der besonderen Situation angepasst. Insbesondere kam den qualitativen Feedbackrunden ein höheres Gewicht zu, die sich in neuen und unbekannten Kontexten als offener erweisen als standardisierte Verfahren. Daher wurden im 14-täglichen Turnus Online-Meetings mit den Tutor*innen durchgeführt, in denen regelmäßig über aktuelle Entwicklungen in den studentischen Kleingruppen berichtet wurde. Die Ergebnisse dieser formativen Evaluationsrunden sind aufgrund der Verschiedenheit des Lehr-Lernformats nicht in Kontinuität mit den vorangegangenen Semestern zu interpretieren. Sie deuten jedoch darauf hin, dass gerade unter den Bedingungen des “Physical Distancing“ Studierende von Maßnahmen zur fachübergreifenden sozialen Vernetzung immens profitiert haben. Die Erfahrungen aus dem Corona-Semester werden gemeinsam mit Lehrenden und Lernenden aufbereitet und fließen in Weiterentwicklungen künftiger Semester ein.

"Im Team mit Studierenden anderer Studiengänge ein Projekt zu entwickeln, finde ich genial!! Besonders gut hat mir die Unterstützung sowohl von unserem Tutor, als auch von externen Experten und unseren Professoren gefallen."

kompass Teilnehmer*in, Winter 2019/20

"kompass hat mir viele Einblicke in die professionelle Projektgestaltung gegeben, die mir im Laufe meines Berufslebens sicherlich nützlich sein werden. Wirklich klasse, dass es ein solches Angebot gibt!!!"

kompass Teilnehmer*in, Sommer 2019

"Ich finde es toll, dass man lernt, wie man mit Leuten aus anderen Fachrichtungen im Team zusammen arbeitet und eine tolle Idee weiter entwickelt - eine gute Übung für die Berufswelt."

kompass Teilnehmer*in, Winter 2018/19

"Bei der interdisziplinären Teamarbeit erhielt ich einen Einblick in die Denkweise anderer Disziplinen und konnte meine eigene fachliche Perspektive einbringen. Das hat mein Selbstvertrauen gestärkt."

kompass Teilnehmer*in, Sommer 2018

"Es war toll neue Leute kennenzulernen und vor neue Herausforderungen gestellt zu werden."

kompass Teilnehmer*in, Winter 2017/18

"An kompass hat mir besonders gut die Zusammenarbeit mit Studierenden verschiedener Studiengänge, unsere offene und echt coole Tutorin, die lockere Atmosphäre, die Motivation und der Einfallsreichtum des ganzen Teams gefallen sowie zu wissen, dass Projektarbeit ein wichtiges Thema ist und ich so dazulernen konnte."

kompass Teilnehmer*in, Sommer 2017

"Besonders gut hat mir gefallen, dass ich die Freiheit hatte, mich selbständig zu entfalten, dass ich mit Studierenden aus anderen Fakultäten zusammenarbeiten konnte und so deren Herangehen an Problemstellungen kennenlernen konnte."

kompass Teilnehmer*in, Winter 2016/17

"Die Idee, dass ein Projekt als Fach mit Credits in einem Team mit Mitgliedern verschiedener Fakultäten bearbeitet wird, gefällt mir sehr gut und sollte definitiv fortgesetzt werden."

kompass Teilnehmer*in, Sommer 2016

"Toll fand ich die praktische Anwendung des im Unterricht gelernten und der zukünftigen Vorlesungsinhalte. Einblick in das spätere Arbeitsleben, mit Teamarbeit, Planung, Verantwortung, Vorbereitung, Präsentation etc."

kompass Teilnehmer*in, Winter 2015/16

"Die Gruppen waren klein; jeder hatte die Chance, Fragen zu stellen. Außerdem haben wir etwas Praktisches gelernt."

kompass Teilnehmer*in, Sommer 2015