Berichte aus den Projekten
"Datenbasierte Unterrichtsentwicklung in der Sekundarstufe I" (Projektleitung: Prof. Uwe Maier, Pädagogische Hochschule Schwäbisch Gmünd)
„Datenbasierte Unterrichtsentwicklung in der Sekundarstufe I – Entwicklung und Evaluation von Lehrerfortbildungsmodulen zur instrumentellen Nutzung von Vergleichsarbeiten und formativen Lernverlaufsdiagnosen“
Studienhintergrund
Zahlreiche empirische Studien belegen, dass Lehrkräfte die Rückmeldungen aus Vergleichsarbeiten nur in sehr geringem Umfang für die didaktische Weiterentwicklung des eigenen Unterrichts oder die gezielte Schülerförderung nutzen (instrumentelle Nutzung). Ein Hauptgrund hierfür ist die aus Sicht der Lehrkräfte geringe Passung zwischen Vergleichsarbeit und realisiertem Unterricht. Im Projekt soll geprüft werden, ob formative Test- und Übungsmodule, die sich an den Kompetenzbereichen der Vergleichsarbeiten orientieren und gleichzeitig verpflichtende Lerninhalte wesentlich detaillierter abbilden, zu anderen Formen der instrumentellen Datennutzung führen als die im Vorgängerprojekt beschriebenen Formen der instrumentellen Nutzung von Vergleichsarbeiten. Als Untersuchungsgegenstand wurde der in VERA 8 getestete Kompetenzbereich „Sprachbetrachtung“ gewählt. Auf der Lernplattform Moodle wurden entsprechend computergestützte, formative Test- und Übungsmodule zu folgenden Lerninhalten entwickelt: Wortarten, Satzglieder, Kommasetzung, Zeitformen, Groß- und Kleinschreibung.
Studiendesign
An der Studie beteiligen sich 21 Deutschlehrkräfte an 9 Sekundarschulen. Zunächst wurden schulinterne Lehrerfortbildungen zu den Test- und Übungsmodulen durchgeführt und in einer Vorerhebung die formative Diagnosepraxis der Deutschlehrkräfte in Bezug auf den Kompetenzbereich Sprachbetrachtung mit einem standardisierten Fragebogen erfasst. Zudem sollten die Lehrkräfte die Schülerleistungen in den Testmodulen prognostizieren. Die Schülerinnen und Schüler wurden zu ihren Vornoten und zu einer Selbsteinschätzung in den getesteten Bereichen gefragt. Anschließend bearbeiteten die Schülerinnen und Schüler im Zeitraum von ca. einem Schuljahr die Test- und Übungsmodule. Über Moodle können die Leistungszuwächse der Schülerinnen und Schüler sowie die Rezeptionsaktivitäten der Lehrkräfte abgerufen werden. Begleitend zur Durchführung wurden die Lehrkräfte mündlich befragt. Neben unterrichtspraktischen Aspekten wird vor allem erfasst, wie die Lehrkräfte mit den Rückmeldeinformationen aus den Tests umgehen.
Die Durchführung der formativen Test- und Übungsmodule an den Schulen ist mittlerweile abgeschlossen. Derzeit läuft die Abschlusserhebung des Projekts, in der die Lehrkräfte schriftlich zur formativen Diagnosepraxis sowie zur Rezeption und Nutzung der Ergebnisse aus den formativen Tests befragt werden. Zu den Daten der Vorerhebung und der qualitativen Interviews bzw. Beobachtungen liegen erste Auswertungsergebnisse vor.
Bisherige Analyse-Ergebnisse
Die entwickelten Test- und Übungsmodule zu einzelnen Lerninhalten des Kompetenzbereichs „Sprachbetrachtung“ werden von den beteiligten Lehrkräften überwiegend positiv bewertet. Sie sehen darin eine gute Diagnose- und Übungsmöglichkeit als Ergänzung zum laufenden Unterricht. Die bisherigen Analysen sprechen für eine gute Validität der entwickelten Testmodule (hohe Korrelationen zwischen Schülerleistungsdaten, Deutschnoten und Leistungsprognosen der Lehrkräfte). Dass es sich um einen in den Vergleichsarbeiten getesteten Kompetenzbereich handelt, ist für die meisten beteiligten Lehrkräfte eher zweitrangig. Im Vordergrund der Gespräche über die Test- und Übungsmodule stehen curriculare Aspekte (Welche Lerninhalte wurden im Unterricht bereits behandelt? Welche werden nicht mehr behandelt?). Die über Moodle zur Verfügung gestellten Leistungsdaten auf Klassen- und Schülerebene wurden bis Schuljahresmitte nur von wenigen Lehrkräften ausführlich rezipiert, obwohl dies in den Fortbildungsworkshops an den Schulen konkret erläutert wurde. Einige Lehrkräfte beobachten ihre Schülerinnen und Schüler sehr genau bei der Durchführung der Test- und Übungsmodule in den Klassen und erhalten darüber zum Teil eine neue Sicht auf die Schülerleistungen.
Bisher zeichnen sich folgende Aspekte der instrumentellen Nutzung ab:
- Die formativen Tests werden zur Erfassung der Lernvoraussetzungen herangezogen.
- Die formativen Test- und Übungsmodule werden zur Wiederholung von Stoffgebieten, die von den Schülerinnen und Schülern noch nicht sicher beherrscht werden, genutzt.
- Nach der Durchführung der Test- und Übungsmodule wird an einzelnen Themen weitergearbeitet.
- Die Testbefunde führen bei einzelnen Schülerinnen bzw. Schülern zu einem weiteren individualdiagnostischen Vorgehen.
Nächste Arbeitsschritte
Anhand der noch ausstehenden Nacherhebung ist zu klären, wie die am Projekt beteiligten Lehrkräfte den diagnostischen Nutzen der formativen Test- und Übungsmodule im Vergleich zu den bisher genutzten Diagnoseverfahren und den Vergleichsarbeiten bewerten. Im Weiteren sollen vor allem die qualitativen Daten im Hinblick auf Formen der instrumentellen Nutzung ausgewertet und mit den Befunden zur instrumentellen Nutzung von Vergleichsarbeiten aus dem Vorgängerprojekt verglichen werden.
Das Projekt wird an der Pädagogischen Hochschule Schwäbisch Gmünd von Prof. Dr. Uwe Maier, Carolin Ramsteck und Kathrin Hoffmann durchgeführt.
Weitere Informationen zum Hintergrund des laufenden Forschungsprojekts können Sie dem Web-TV-Interview mit Prof. Uwe Maier zum Vorgängerprojekt „Die Realisierung testbasierter Schulreform in der Mehrebenstruktur des Bildungssystems“ entnehmen.
"Schulleitungen und Schulleistungen" (Projektleitung: Prof. Harm Kuper, Freie Universität Berlin)
Schulleitungen und Schulleistungen – Maßnahmen von Schulleitungen in Folge zentraler Lernstandserhebungen und ihre Wirkung auf Schulleistungen
Studienhintergrund
Mit ihrem quantitativen Folgeprojekt knüpft das Projektteam um Prof. Harm Kuper (FU Berlin) an die qualitativen Befunde des früheren Verbundvorhabens „Die Realisierung testbasierter Schulreform in der Mehrebenenstruktur des Schulsystems" an. Während in der ersten Förderphase auf Basis mehrebenenanalytischer Untersuchungen die Handlungskoordination zwischen den Akteuren auf den Ebenen Lehrkräfte, Fachbereichsleitung, Schulleitung und Schulaufsicht bzw. -administration sowie ihre akteursspezifischen Handlungslogiken in Folge von Lernstandserhebungen (bspw. befördern bzw. verhindern die Akteure Handlungen im Sinne der Qualitätsentwicklung) im Vordergrund standen, sollen nun flächendeckend für Berlin und Brandenburg Erkenntnisse darüber generiert werden, inwiefern die an Schulen zurückgemeldeten Ergebnisse aus Lernstandserhebungen (VERA 8) von den Schulleitungen auch in spezifische Maßnahmen der Qualitätssicherung umgesetzt werden.
Studiendesign
Beleuchtet werden soll dabei insbesondere, welche Folgen diese Maßnahmen in der Schule zeigen und inwiefern Effekte (in Bezug auf Schülerleistungen) in anschließenden Lernstandserhebungen feststellbar sind. Um diesen Zusammenhang abbilden zu können, werden die über zentrale Lernstandserhebungen (VERA 8) gewonnenen Schulleistungsdaten mit Prozessinformationen über qualitätssichernde Maßnahmen an den Schulen verbunden. Die auf Einzelschulebene erfassten Prozessinformationen betreffen zum einen die qualitätssichernden Aktivitäten der Schulleitung selbst und zum anderen die Umsetzung dieser Aktivitäten durch das Lehrerkollegium bzw. die Fachbereichsleitungen.
Die Zielsetzungen des Projekts werden entlang dreier Fragen bearbeitet:
I. Variieren die Maßnahmen der Schulleiter/innen zur schulinternen Sicherung der Unterrichtsqualität mit den Leistungsergebnissen der Schulen in VERA?
II. Korrespondieren die von Schulleiter/-innen initiierten Maßnahmen mit den implementierten/realisierten Maßnahmen in den Fachkollegien der Schulen?
III. Haben die Maßnahmen unter II. einen Einfluss auf die im Weiteren folgenden Leistungsergebnisse der Schulen in VERA?
Bisherige Analyseergebnisse
Entsprechend der ersten Fragestellung wurde der Zusammenhang von VERA-Ergebnissen mit den Aktivitäten im Nachgang der VERA-Rückmeldungen untersucht. Es konnten dabei verschiedene Zusammenhänge zwischen den im Anschluss an VERA erfolgten Aktivitäten und den VERA-Ergebnissen (in Mathematik und Deutsch) identifiziert werden:
Durchschnittliche VERA-Ergebnisse der Schulen in Mathematik und Deutsch stehen in einem moderat negativen Zusammenhang mit der allgemeinen Nutzeneinschätzung von VERA, der Reflexion der Beurteilung durch Lehrkräfte sowie mit der Übernahme von VERA-Inhalten/-Formaten auf Lehrkraft- sowie Fachbereichsebene (in Orientierung an die Phasen im Evaluationszyklus-Modell Nach Helmke) . Darüber hinaus korrelieren Schulleitungsaktivitäten, die sich auf die Verarbeitungsphase der Rezeption (klassenübergreifende Vergleiche) beziehen, stark positiv mit der Reflexion über Beurteilungstandards auf Schulleitungsebene. Schulleitungsaktivitäten, die die Verarbeitungsphase der Aktion (Schulentwicklung) betreffen, korrelieren moderat positiv sowohl mit der Reflexion (Schüler/Unterricht) auf Lehrkraft- sowie Fachbereichsebene als auch mit dem Austausch bzw. der Abstimmung auf Lehrkraft- sowie Fachbereichsebene. Die Ergebnisse weisen insgesamt darauf hin, dass von den befragten Schulen diejenigen mit eher schwachen VERA-Ergebnissen kurzfristige „Oberflächenstrategien“ auf Unterrichtsebene durchführen (z.B. teaching to the test, Wiederholung von Aufgabenformaten und -inhalten im Unterricht).
Die Schulleitungsaktivitäten finden hauptsächlich auf Schulebene statt (z.B. in Form von Änderungen des Schulcurriculums und Kommunikation mit der Schulaufsicht). Aktivitäten der Schulentwicklung korrelieren darüber hinaus moderat positiv mit Aktivitäten der Lehrkräfte (z.B. Reflexion der Ergebnisse auf Lehrkraft- bzw. -Klassenebene). Weiterhin wurden unter Kontrolle der soziokulturellen und -ökonomischen Merkmale (wie Herkunftssprache, Lehrmittelbefreiung) leicht negative Zusammenhänge zwischen den Leistungsergebnissen in VERA-8 in den Fächern Mathematik und Deutsch und den Aktivitäten auf Lehrerebene festgestellt.
Nächste Arbeitsschritte
Im weiteren Projektverlauf soll untersucht werden, ob die von Schulleitungen initiierten Maßnahmen mit den realisierten Maßnahmen in den Fachkollegien bzw. durch die Fachbereichsleitungen der Schulen korrespondieren und inwieweit die Maßnahmen unter II. einen Einfluss auf die im Weiteren folgenden Leistungsergebnisse der Schulen in VERA 8 haben.
Das Projekt wird an der Freien Universität Berlin von Prof. Dr. Harm Kuper, Barbara Muslic, Tanja Graf und mit Prof. Dr. Stefan Brauckmann als Kooperationspartner durchgeführt.
Kontakt: