Bericht zum SteBis Workshop Evidenzbasierte Steuerung – „Quo vadis“?

Veranstalter/innen: Lisa Gromala, Thomas Brüsemeister und Jochen Wissinger (JLU Gießen)

Nachfolgend berichten wir von dem themenfokussierten Treffen zum Stebis-Workshop "Schulinspektion". Die Veranstaltung wurde durchgeführt vom 12. Dezember 2014, 13.00, bis 13. Dezember 2014, 14.30.

 

1. Aus dem Call

Nach über einem Jahrzehnt evidenzbasierter Steuerung und einer erkenntnisreichen ersten Förderphase des Schwerpunktprogrammes „Steuerung im Bildungssystem“ (SteBis) des BMBF möchte dieser Workshop Forscher/innen die Gelegenheit bieten, angesichts vorliegender empirischer Forschungsergebnisse und aktuellen bildungspolitischen Entwicklungen eine Zwischenbilanz zur evidenzbasierten Steuerung zu ziehen.

Mit ihrem Forschungsgegenstand bewegt sich die Steuerungsforschung in einem sehr dynamischen Feld der Bildungspolitik. Bisweilen können die Forschungsergebnisse mit den Veränderungen der Bildungspolitik kaum Schritt halten. So wurden beispielsweise bereits während der ersten SteBis-Förderphase die Verfahren der Schulinspektionen in Deutschland überarbeitet und optimiert, teilweise auch aufgrund erster Rückmeldungen aus der Wissenschaft, die sich (in unterschiedlicher Intensität) mit der Politik austauscht. Aufgrund dieser Dynamiken, aber auch basierend auf ersten, teilweise ernüchternden Ergebnissen der wissenschaftlichen Forschung zu evidenzbasierter Steuerung (im Fall der Schulinspektion beispielweise bezogen auf deren Entwicklungsfunktion) stellt sich die Frage nach der Zukunft evidenzbasierter Steuerung. Insbesondere kommen Fragen auf, a) ob es nicht ein Zuwenig an Evidenzbasierung gibt, d.h. die Umstellung nur in Teilbereichen und zu zögerlich erfolgte, und/oder b) ob Evidenzbasierung generell in Zweifel zu ziehen ist. Des Weiteren stellen sich c) Fragen nach Stärken und Schwächen der empirischen Bildungsforschung, d.h. ob es ausreichend Forscher/innen gibt, wie ertragreich die bisherigen Forschungswege waren, und welche Erkenntnislücken existieren.

In diesem Zusammenhang sind zwei Fragebereiche von besonderem Interesse:

1. Was bedeuten die bisherigen empirischen Ergebnisse für das Programm der evidenzbasierten Steuerung sowie für dessen zukünftige Entwicklungen?
2. Welche Rolle spielt die Wissenschaft hierbei? Wie umfassend und angemessen konnte Steuerung bisher erforscht werden? Wie kann die wissenschaftliche Forschung diesem dynamischen Feld in ihren Methoden und Theorien gerecht werden?

Während in der Einführungsphase der Schulinspektion – analog ließen sich weitere Steuerungsinstrumente anführen – der Schwerpunkt eher auf der Vermittlung von Forschungszugängen bzw. -methoden und Forschungsergebnissen gelegen hat, verfolgt dieser Workshop das Ziel einer kritischen Reflexion gegenwärtiger Entwicklungen, zukünftiger Potentiale und Herausforderungen evidenzbasierter Steuerung sowie deren Erforschung. Die bisherigen empirischen Ergebnisse sollen somit in eine theoretische Reflexion des Programms „Evidenz“ überführt werden.

 

2. Auszüge aus den Vorträgen

 

Uwe Schimank, Universität Bremen

 

10 Jahre Steuerungsforschung zum New Public Management in den Hochschulen: Wohin gehen die Trends in Forschung und Politik?

 

Drei bisherige Hauptlinien der Forschungen über Hochschul-Governance lassen sich ausmachen:

• die theoretische Umstellung von der Steuerungs- auf die Governance-Perspektive, verbunden mit einer Dezentrierung der Konstellationsanalyse;
• die empirische Nachzeichnung des Wandels des Governance-Regimes nationaler Hochschulsysteme in Richtung new public management (NPM);
• und, noch in den Anfängen steckend, die Betrachtung der Effekte, die NPM auf Forschungsbedingungen und Charakteristika der Forschung an Hochschulen hat.

Hieran anschließend sind die folgenden fünf Weiterentwicklungen der Forschung zu beobachten bzw. wären sinnvoll:

• die Einbeziehung einer Perspektive, die den Widerstand von Wissenschaftlern gegen NPM nicht nur auf Interessenverletzungen, sondern auch auf Identitätsbedrohungen zurückführt und Praktiken der Identitätsbehauptung entdeckt;
• eine genauere Betrachtung der Gestaltungschancen und -strategien von Hochschulleitungen vor dem Hintergrund einer offenkundigen Diskrepanz zwischen deren neuen Verantwortlichkeiten und Gestaltungsansprüchen auf der einen, tatsächlichen Durchsetzungs-, Monitoring- und Sanktionsmöglichkeiten gegenüber Professoren auf der anderen Seite;
• ein mechanismisches Ausbuchstabieren der Governance-Effekte als „authority relations“ (Whitley): Wer vermag wie stark, inwieweit und wie zielsicher den strukturellen Kontext des Forschungshandelns mittels der fünf Stellschrauben formale Weisungen, Ressourcen, Zeit, Karriere und Reputation zu justieren, und welche Art von mehr oder weniger großer Autonomie des einzelnen Wissenschaftlers bleibt bestehen?
• parallel zur Analyse der Auswirkungen von NPM auf Forschung auch eine Blickerweiterung auf die Auswirkungen der neuen Governance auf Lehre, in Verbindung mit den „Bologna“-Reformen der Studiengänge.
• eine gesellschaftstheoretische Einbettung der Governance-Veränderungen in eine Perspektive, die diese als eine Erscheinungsform einer zunehmenden Ökonomisierung nicht-ökonomischer gesellschaftlicher Bereiche ansieht.

 

 Herbert Altrichter, Johannes Kepler Universität Linz

Evidenzbasierte Steuerungslogik: Wie tragfähig sind diese Steuerungsvorstellungen angesichts der Erfahrungen der Schulinspektionsforschung?

 

In dem Vortrag wird einleitend ‑ in Fortführung der „Programmtheorie“ von Ehren et al. (2013) ‑ eine Analyse der Wirkungsmechanismen des Konzepts der evidenzbasierten Steuerung vorgelegt. Dieses „Wirkungsmodell“ beruht u.a. auf der Bildung von Erwartungen durch Zielkommunikation sowie Motivierung und Orientierung von Unterrichts- und Schulentwicklung durch Datenfeedback. Anhand von empirischen Daten aus einem eigenen EU-geförderten Projekt zur Schulinspektion (Altrichter & Kemethofer, 2015) sowie zur Rezeption der Politik „Bildungsstandards und Datenfeedback“ in deutschsprachigen Ländern wird argumentiert, dass der Mechanismus des Datenfeedbacks offenbar selten die entwicklungstreibende Funktion erfüllt, die von ihm in neuen Steuerungsmodellen erwartet wird. Die Funktion der Erwartungsbildung scheint eher realisiert zu werden, allerdings möglicherweise nicht allein durch die Kommunikation entsprechender Ziele allein. Vielmehr scheint die Tatsache der Evaluation (Schulinspektionen oder Lernstandserhebungen) gleichsam rückwirkend die Aufmerksamkeit auf Ziele (und unterstützende Unterrichtsmaterialien, die didaktische Verwirklichungschancen für die Ziele bieten) zu lenken, sodass diese – durch den Mechanismus „Teaching to the test“ – orientierende Wirkung für den Unterricht entfalten können. Anhand von Interviewbeispielen wird die Hypothese aufgestellt, dass „Teaching to the test“ in diesem Fall eher keine durchgehende Verengung von Unterrichtsinhalten und –praktiken mit sich bringt, sondern dass auch Beispiele für vielfältigere und anspruchsvollere Unterrichtsarrangements gefunden werden können.

 

Fabian Dietrich, Universität Siegen

Evidenzbasierte Steuerung aus der Perspektive einer ‚Rekonstruktiven Governanceforschung’

 

Ausgehend von der Frage danach, inwieweit bisher „Neue Steuerung“ angemessen erforscht werden konnte, stand der Ansatz einer rekonstruktiv reformulierten „Educational Governance“ im Mittelpunkt des Inputs. Das zentrale Kennzeichen dieses Ansatzes, nämlich eine methodologisch begründete und methodisch kontrollierte Unterscheidung zwischen Programmatik und latenter Strukturlogik, wurde am Beispiel der Schulinspektion illustriert. Vor dem Hintergrund dieser Unterscheidung und auf der Basis von Ergebnissen des Verbundprojektes „Schulinspektion als Steuerungsimpuls und seine Realisierungsbedingungen auf der Ebene der Einzelschule“ konnte die Schulinspektion als spezifische Form der Adressierung der schulischen Akteure rekonstruiert werden. In deren Mittelpunkt steht einerseits die Erwartung einer innerschulischen Etablierung einer am Qualitätszyklus orientierten systematisierten Bezugnahme auf die eigene Praxis. Andererseits adressiert die Schulinspektion die Schule als Handlungseinheit und damit die Lehrerinnen und Lehrer gerade nicht als entscheidende individuelle Akteure. Eingeschrieben ist der Schulinspektion damit eine Missachtung einer lehrerseitig reklamierten auf die eigene Unterrichtspraxis bezogenen Autonomie. In der Kontrastierung dieser Steuerungslogik mit der Programmatik einer „Schulentwicklung durch Einsicht“ wird nicht allein ein divergentes Verhältnis erkennbar. Gleichzeitig zeigt sich die – analytisch betrachtet – funktionale Notwendigkeit der Abweichung.

 

Diese Perspektivierung von Schulinspektion liefert nicht nur eine plausible Begründung für die in verschiedenen evaluativ angelegten Untersuchungen festgestellte weitgehende Wirkungslosigkeit des Steuerungsinstrumentes. Es kann danach gefragt werden, inwieweit Schulinspektion im Kontext des Diskurses zu Evidenzbasierung im Sinne der rekonstruierten Strukturlogik dennoch ‚Wirkung‘ entfaltet.

Darüber hinausgehend wird das Desiderat einer rekonstruktiven Auseinandersetzung mit den verschiedenen Instrumenten der „Neuen Steuerung“ erkennbar, die jenseits programmatischer Selbstbeschreibungen nach deren Strukturlogik fragt.

Methodologisch stellt sich die Frage, inwieweit der dargestellte Ansatz kompatibel mit dem Akteursbegriff der „Educational Governance“ sowie mit dem ihr zugrunde liegenden Verständnis von Intentionalität ist.

 

 

Sebastian Wurster, HU-Berlin

Evidenzbasierte Steuerung und Schülerleistung

 

Die Implementation der evidenzbasierten Steuerung steht im engen Zusammenhang mit der Erwartung und Hoffnung, eine Steigerung der Schülerleistung und Reduktion der Leistungsheterogenität erreichen zu können. Verschiedene Evaluationsverfahren, wie VERA, zentrale Prüfungen, die Schulinspektion und interne Evaluation basieren auf einer gemeinsamen Grundlogik: Datenbasierte Entscheidungen auf Grundlage der Evaluationsergebnisse sollen zu Entwicklungsmaßnahmen führen, die eine Verbesserung schulischer Qualität und damit die Voraussetzungen für eine Steigerung der Schülerleistung schaffen und somit perspektivisch die Schülerleistung erhöhen. Der Forschungsstand zum Zusammenhang zwischen den genannten Evaluationsinstrumenten und der Leistung von Schülerinnen und Schülern ist heterogen. Je nach Verfahren variieren die Ergebnisse zwischen positiven, negativen und keinen Effekten. Die Variation der Forschungsergebnisse zeigt sich auch hinsichtlich unterschiedlicher Länder (und damit Evaluationssysteme), Schulfächer und -arten sowie der eingesetzten Auswertungsmethoden. Die heterogene Befundlage lässt bislang keine eindeutige Aussage hinsichtlich der Wirksamkeit evidenzbasierter Steuerungsinstrumente auf die (Entwicklung von) Schülerleistung zu. Bislang wurden die meisten Studien vor allem im Sinne einer „Blackbox-Forschung“ durchgeführt, ohne den Aspekt der Datennutzung zu beleuchten. Neben diesem Desiderat sind Replikationsstudien mit ausgefeilten Methoden notwendig, die möglichst kausalanalytische Schlüsse erlauben. Forschungsbedarf besteht weiterhin hinsichtlich offener Fragen zu theoretischen Grundlagen der Wirkmechanismen (z.B. Evaluationsverfahren separat vs. gemeinsam; lineare vs. nicht-lineare Mechanismen, Integration mehrerer Ebenen) und der Analyse anderer Wirkmechanismen neben einer Datennutzung als Ausgangspunkt einer möglichen Veränderung von Schülerleistung (z.B. Orientierung an normativen Vorgaben/ Standards; Kontrolle vs. Entwicklung).

 

 

Melanie Schmidt (Universität Leipzig), Daniel Diegmann (Universität Leipzig)

Performing the RuN. Diskursanalytische Perspektiven auf Schulinspektionen

 

Unser Diskussionsbeitrag schließt an die Einsicht an, dass Arbeiten zur Schulinspektion, die sich auf die Governance-Perspektive beziehen, die steuerungstheoretisch (voraus-)gesetzte Differenz aus Steuerungssubjekt und -objekt kritisch bearbeiten wollen. Anstelle dieser Dichotomie werden Figuren der Akteurskonstellation und des schulischen Mehrebenensystems ein- und angeführt, die den Untersuchungsfokus hin auf interdependente Beziehungsgefüge verschieben (vgl. Dietrich, 2014). Fabian Dietrich konstatiert, dass diese theoretische Neu-Justierung von Steuerung sich bisher jedoch kaum in empirischen Forschungsbeiträgen zur Schulinspektion abbildet, insofern diese die Wirksamkeitsfrage von Schulinspektion stellen und damit die o. g. Differenzfigur zitieren (vgl. Dietrich & Lambrecht, 2012). Dietrichs Vorschlag (vgl. Dietrich, 2014), Forschungsvorhaben stärker auf die Erschließung von Praktiken der Handlungskoordination in Akteursgefügen hin auszurichten, nehmen wir insofern auf, als dass wir Fragen der ‚Steuerung‘ resp. ‚Regierung‘ mit einem praxeologisch-diskursanalytischen Zugang kompilieren wollen. Dabei beziehen wir uns auf den gouvernementalen Machtbegriff Foucaults (1994), der modallogisch zu fassen sucht, wie Handlungen auf andere Handlungen derart einwirken, dass bestimmte Formen von Handlungen wahrscheinlicher werden: „Machtausübung bezeichnet nicht einfach ein Verhältnis zwischen individuellen oder kollektiven Partnern, sondern die wirkungsweise [sic] gewisser Handlungen, die andere [Handlungen] verändern. […] Macht existiert nur in actu, auch wenn sie sich, um sich in ein zerstreutes Möglichkeitsfeld einzuschreiben, auf permanente Strukturen stützt.“ (Foucault, 1994, S. 254).

Ausgehend von diesem Machtverständnis lassen sich zentrale Governance-Konzepte wie ‚Akteure‘ und ‚Akteurskonstellation‘ als machtvoll produzierte Figuren in den Blick nehmen, die das diskursive Feld ordnen und die ein Subjekt als ‚Zurechnungsadresse‘ (Nassehi, 2008) autorisieren, das dann wiederum auf seine subjektiven (oder objektiven) Sinngebungen hin befragt werden kann. Die Konzepte schaffen einen Anrufungsraum, in welchem die Akteure als Eigenlogische und Autonome adressiert werden und sich innerhalb eines derart über den Signifikanten der Autonomie strukturierten sozialen Raum als autonome Subjekte überhaupt erst hervorbringen müssen – was u. a. die Evidenz erklären könnte, dass Evaluationsdaten an Schulen kaum genutzt werden.

Damit ist nicht nur gesagt, dass sich die ‚Wahrheit‘ von Steuerung nicht erfassen oder erkennen lässt (es gibt keine Substanz von Steuerung wie es auch keine Substanz von Macht gibt), sondern die Frage der Steuerung selbst kann diskursanalytisch als ein generativer und produktiver Mechanismus herausgearbeitet werden, der Diskursivierungen anreizt – indem er immer wieder ein Sprechen über den Gegenstand begründet und notwendig werden lässt.

 

 

Olga Mater, Universität Mainz

Einfluss schulischer Strukturen auf die Evidenzorientierung von Lehrkräften – eine Mehrebenenbetrachtung

 

Bildungsstandards und Schulinspektionen als Instrumente des Neuen Steuerungsmodells können ihre beabsichtigte qualitätssteigernde Wirkung nur dann entfalten, wenn das dadurch erzeugte Wissen in Schul- und Unterrichtspraxis handlungswirksam wird. Dieses evaluationsbasierte Wissen sollte dazu in schulische Weiterentwicklung und damit in unterrichtliche wie schulische Aktivitäten einfließen. Daher ist zu untersuchen, wie zum einen Evaluationsdaten den Lehrern zugänglich gemacht und zum anderen in evidenzbasiertes Handeln überführt werden können. Die internationale Forschung liefert bisher nur wenige Befunde dazu, welche schulischen Bestimmungsgrößen das evidenzbasierte Handeln von Lehrkräften beeinflussen können. Dies gilt insbesondere für die sich im Rahmen des Neuen Steuerungsmodells ändernden schulischen Strukturen. Das Projekt „Evidenzbasiertes Handeln im schulischen Mehrebenensystem – Bedingungen, Prozesse und Wirkungen“ (EviS) setzt an diesem Forschungsdefizit an. In diesem Vortrag steht der Zusammenhang zwischen den durch die Lehrkräfte wahrgenommenen relevanten schulischen Strukturen und der Evidenzorientierung als Indikator für evidenzbasiertes Handeln von Lehrkräften im Fokus. Für die Analysen wurde auf eine Teilstichprobe aus dem Projekt EviS zurückgegriffen mit Daten von 1.387 Lehrkräften an 124 Schulen im Land Rheinland-Pfalz. Mittels Strukturgleichungsmodellierung unter Berücksichtigung der mehrebigen Datenstruktur kann u.a. gezeigt werden, dass schulische Strukturen bis zu 55% der Varianz der Evidenzorientierung von Lehrkräften erklären können.