Inez De Florio-Hansen
Eine praxisorientierte Anleitung
Die Deutsche Nationalbibliothek verzeichnet diese Publikation in der
Deutschen Nationalbibliografie; detaillierte bibliografische Daten sind
im Internet über http://dnb.d-nb.de abrufbar.
Das Werk ist in allen seinen Teilen urheberrechtlich geschützt.
Jede Verwertung ist ohne Zustimmung des Verlags unzulässig.
Das gilt insbesondere für Vervielfältigungen, Übersetzungen,
Mikroverfilmungen und die Einspeicherung in und Verarbeitung
durch elektronische Systeme.
© 2014 by WBG (Wissenschaftliche Buchgesellschaft), Darmstadt
Die Herausgabe des Werkes wurde durch die Vereinsmitglieder der
WBG ermöglicht.
Lektorat: Katharina Gerwens, Eichendorf
Satz: mm design, Mario Moths, Marl
Einbandabbildung: Teacher and Students © picture alliance/PhotoAlto
Einbandgestaltung: Peter Lohse, Heppenheim
Besuchen Sie uns im Internet: www.wbg-wissenverbindet.de
ISBN 978-3-534-26379-0
Elektronisch sind folgende Ausgaben erhältlich:
eBook (PDF): 978-3-534-26424-7
eBook (epub): 978-3-534-26425-4
Vorwort
Prolog
1. Evidenzbasiertes Lehren und Lernen
1.1 Ziele evidenzbasierter Pädagogik
1.2 Evidenz durch experimentelle Forschung
1.3 Evidenz durch nicht-experimentelle Forschung
1.4 Auf dem Weg zur empirischen Wende
1.5 Die Expertise von Lehrpersonen beim evidenzbasierten Lehren und Lernen
1.6 Meta-Analysen und Mega-Analysen
1.7 Die entscheidende Größe: Effektstärken
1.8 Grenzen von Meta- und Mega-Analysen
1.9 Der Wahrheit auf der Spur
2. Ergebnisse evidenzbasierter pädagogischer Forschung
2.1 John Hattie und sein Forschungsprojekt
2.2 Die Hattie-Studie
2.3 Weitere Publikationen von John Hattie
2.4 Schatzsuche
2.5 Robert Marzano und sein Forschungsprojekt
2.6 Martin Wellenreuther und sein Forschungsprojekt
2.7 Schatzinseln und Atolle
3. Lernen zwischen Frontalunterricht und offenen Unterrichtsformen
3.1 Ausgewählte Lernmodelle
3.2 Vom Oberflächenwissen zur Vernetzung von Konzepten
3.3 Taxonomien des Lernens
3.4 Hirnhälften und Lernstile
3.5 Erste Ergebnisse der Schatzsuche
3.6 Lernen im Frontalunterricht
3.7 Lernen in offenen Unterrichtsformen
3.8 Begegnung mit einem Philosophen
4. Vom ‚guten‘ zum lernwirksamen Unterricht
4.1 Motivation als Grundvoraussetzung
4.2 ‚Guter‘ Unterricht
4.3 Lernwirksamer Unterricht
4.4 Reif für die Insel
5. Direkte Instruktion in empirischer Forschung
5.1 Wissenschaftliche Belege als Alternative zu pädagogischer Ideologie
5.2 Ältere Konzeptionen von Direkter Instruktion
5.3 Wellenreuther: Evidenzbasierte Direkte Instruktion
5.4 Direct Instruction – die Basis von Hatties Unterrichtsmodell
5.5 Ein Blick in die Schatztruhe
6. Lernwirksame Unterrichtspraxis I: Planung und Einstieg in den Unterricht
6.1 Klassenführung und lernförderliches Klima
6.2 Erste Schritte zu einer lernwirksamen Unterrichtspraxis
6.3 Anknüpfen an das Vorwissen der Lernenden
6.4 Herausfordernde Ziele und transparente Erfolgskriterien
6.5 Leistungsbereitschaft und Selbstverpflichtung
6.6 Hattie was here!
7. Lernwirksame Unterrichtspraxis II: die Darbietung „neuer“ Lerninhalte
7.1 Hauptschritte zu einer lernwirksamen Unterrichtspraxis
7.2 Darbietung „neuer“ Lerninhalte
7.3 Fragen und Lernschleifen
7.4 Nur wer Fehler macht, kann aus ihnen lernen
8. Lernwirksame Unterrichtspraxis III: Anwendung des Gelernten: angeleitetes und selbstständiges Üben
8.1 Weitere Schritte zu einer lernwirksamen Unterrichtspraxis
8.2 Angeleitetes Üben
8.3 Die Planung von Übungsaktivitäten
8.4 Selbstständiges Üben
8.5 Die Zusammenfassung des Gelernten
8.6 Es geht noch weiter: Die Fortsetzung der Reise
9. Lernwirksame Unterrichtspraxis IV: Vertiefung durch kooperative und handlungsorientierte Lernformen
9.1 Vertiefung und Konsolidierung
9.2 Grundlagen kooperativen Lernens
9.3 Formen kooperativen Lernens
9.4 Reziprokes Lernen
9.5 Vertiefung und Vernetzung durch handlungsorientiertes Lernen
9.6 Aufwand und Voraussetzungen
9.7 „Wir liegen voll im Trend“
10. Lernwirksame Unterrichtspraxis V: Feedback für Lernende – Feedback für Lehrpersonen
10.1 Erweiterungen von Feedback
10.2 Ein Feedback-Modell
10.3 Fokus und Effekt von Feedback
10.4 Feedback von Lehrpersonen für Lernende
10.5 Ein Beispiel aus dem Geographieunterricht
10.6 Feedback der Lernenden untereinander
10.7 Feedback von Lernenden für Lehrpersonen
10.8 Die Fahne hissen
11. Lernwirksamer Unterricht im Rahmen von Standards und Kompetenzorientierung
11.1 Die Förderung aller Schülerinnen und Schüler
11.2 Die Rolle von Bildungsstandards und Kompetenzen
11.3 Zur empirischen Überprüfung von Bildungsstandards
Epilog
Literaturverzeichnis
Warum erregen die beiden Publikationen von John Hattie Visible Learning (2009) und Visible Learning for Teachers (2012) weltweit und insbesondere im deutschsprachigen Raum solches Aufsehen?
Das liegt sicher am beeindruckenden Umfang von Hatties empirischer Untersuchung. Der neuseeländische Forscher hat in 15jähriger Arbeit alle ihm verfügbaren Ergebnisse quantitativer Unterrichtsforschung analysiert und die Wirkung der wesentlichen Einflussgrößen in Form von Effektstärken beziffert. Die von ihm ermittelten Tendenzen sind richtungsweisend für die Lehr- und Lernforschung.
Ein weiterer Grund für das Interesse an diesem Forschungsprojekt sind die Ergebnisse selbst. Hattie kann nachweisen, dass viele hochgeschätzte Unterrichtsstrategien, wie beispielsweise individualisiertes Lernen, nicht besonders wirksam sind. Andererseits zeigen seine empirischen Belege, dass häufig zurückgewiesene Methoden wie Direkte Instruktion bzw. interaktiver Klassenunterricht hohe Lerneffekte haben. Diese Unterrichtsmethoden bewirken bei allen Schülerinnen und Schülern größere Lernerfolge, auch bei den Lernschwächeren.
Die Publikationen von Hattie verdienen auch wegen der Art der Darstellung besondere Aufmerksamkeit: Hattie tritt nämlich leidenschaftlich für „sein“ auf wissenschaftlichen Ergebnissen gegründetes Unterrichtsmodell ein. Sein Stil ist so mitreißend, dass ich ihn stets im Original zitiere und seine Ausführungen paraphrasiere, damit möglichst nichts von seinem Elan verlorengeht. Zudem versteht Hattie es, verschiedene Stilebenen auseinanderzuhalten. Wissenschaftliche Nachweise erläutert er eher nüchtern, die Darstellung der unterrichtspraktischen Konsequenzen dagegen ist anregend und packend.
Publikationen mit ähnlichen Ansätzen und vergleichbaren Ergebnissen, die lange vor Hatties Studien erschienen, erlangten dagegen keine besondere Aufmerksamkeit.
Eine sorgfältige Begründung von Unterrichtsmethoden durch die Ergebnisse empirischer Forschung, vor allem empirisch-experimenteller Forschung, hat beispielsweise Wellenreuther (2004; 22010) schon vor fast zehn Jahren vorgelegt. Wie Hattie tritt auch der Lüneburger Wissenschaftler für die Direkte Instruktion ein und zeigt die Grenzen individualisierter Lernformen auf. An vielen Stellen sind die Inhalte seiner Ausführungen mit denen von Hattie identisch.
Besonderes Gewicht auf die Zusammenfassung empirisch-quantitativer Forschungsergebnisse hat außerdem Robert Marzano (1998) gelegt. Wie Hattie beziffert auch er die Wirkung von Unterrichtsstrategien in Form von Effektstärken. Marzanos zahlreiche Untersuchungen, auf die sich auch Hattie stützt, bieten sich für einen Vergleich mit den Ergebnissen anderer Forscher an. Darüber hinaus liegt ein sehr kenntnisreiches Buch für die Hand von Lehrpersonen vor, welches sich sowohl auf Marzano als auch auf Hattie stützt (PETTY 2004; 22009).
Im Rahmen der Beschreibung und Diskussion der Ansätze und Ergebnisse der einzelnen Forscherinnen und Forscher (Kapitel 1 bis 5) versuche ich die Frage zu beantworten, warum die Lehr- und Lernforschung im deutschsprachigen Raum empirischen Ergebnissen und den daraus abgeleiteten unterrichtspraktischen Konsequenzen bisher so wenig Beachtung geschenkt hat. Ein Grund ist sicher in der Art der Darstellung zu suchen: Die meisten deutschsprachigen Wissenschaftlerinnen und Wissenschaftler schreiben für die scientific community, auch wenn sie angeben, ihre Ausführungen seien hauptsächlich für Lehrpersonen gedacht. Vielleicht sollten sie Hattie im Original lesen.
Die Konzepte lernwirksamen Unterrichts, die ich in diesem Buch nach der kritischen Besprechung der einzelnen Forschungsansätze vorstelle, beruhen einerseits auf qualitativer Unterrichtsforschung, andererseits, und zwar zu einem weitaus größeren Teil, auf empirisch-quantitativen Studien (Kapitel 6 bis 10). Erstrebenswert wäre aus meiner Sicht, dass zu den Zusammenfassungen von empirisch-quantitativen Primärstudien auch umfangreiche Synthesen empirisch-qualitativer Untersuchungen hinzukämen, um zu einer noch differenzierteren Sicht zu gelangen.
Ich wünsche mir, dass möglichst viele Lehrerinnen und Lehrer sich von den unterrichtspraktischen Anregungen in diesem Buch angesprochen fühlen und sie – nach angemessener Adaption – im eigenen Unterricht erproben. Die Orientierung an empirischen Ergebnissen ist auf alle Fälle besser als ein Beharren auf liebgewonnenen Gepflogenheiten. Letztlich ist aber immer die Expertise der Lehrperson entscheidend.
Ich danke Herrn Dr. Jens Seeling, dem Programm-Manager der WBG, für die Geduld und Umsicht, mit der er meinen Tatendrang in die richtigen Bahnen zu lenken wusste.
Kassel, im November 2013 |
Inez De Florio-Hansen |
[Ausschnitt aus dem Film „Rhythm is it!“, Dokumentation eines Tanzprojekts für benachteiligte Kinder und Jugendliche; Berliner Philharmoniker, Dirigent: Sir Simon Rattle; Choreograph: Royston Maldoom; vgl. Epilog]
Moderatorin:
Meine Damen und Herren, heißen Sie bitte Herrn Royston Maldoom willkommen.
R. Maldoom:
Wenn junge Leute mit mir zusammen in einen Raum kommen, sei es in einem Gefängnis, in einer Grundschule oder einer weiterführenden Schule, gleichgültig, ob es Straßenkinder in Äthiopien oder traumatisierte Kinder in Bosnien sind, sobald sie hereinkommen, sind sie potentielle Künstler, und sie werden mit mir zusammen großartiges Theater machen. Wenn sie den Raum betreten, wissen sie sehr, sehr schnell, ob sie einem vertrauen können oder nicht. Es ist erstaunlich, wie diszipliniert und konzentriert man dann mit ihnen arbeiten kann und wie sehr sie das alles annehmen.
Aber wenn sie nur einen Augenblick lang spüren, dass man nicht an ihr Potential glaubt, wenn man Teil der Welt wird, die diese Kinder und Jugendlichen oft umgibt, eine Welt, die sie als gegeben hinnimmt, die sie nicht respektiert und die ihnen nur eingeschränkte Fähigkeiten zutraut, dann hören sie sofort auf und fallen in die Meinung zurück, die so viele Kinder von sich haben, und die auch viele von uns haben, nämlich Versager zu sein, jemand der nichts zustande bringt. Irgendwelche Zweifel daran, dass jemand, mit dem man arbeitet, nicht außergewöhnlich ist, werden diese Menschen spüren, und aufgrund der eigenen Beschränkungen wird man diese jungen Leute in ihren Möglichkeiten und dem Glauben daran einschränken … Deshalb sage ich, wenn ein Kind sein Potential nicht voll ausschöpft, dann ist es mein Fehler und nicht der Fehler des Kindes.
Wenn man zu ihnen sagt: „Breitet die Arme aus, breitet sie so weit aus, wie ihr könnt!“, [Maldoom breitet die Arme weit aus] dann werden viele nur bis hierhin gehen [Er nimmt die Arme wieder um die Hälfte zurück].
Für mich ist das eine klare Aussage: Ich bin es nicht wert, mich bis dorthin zu strecken. Ich habe kein Recht, dort zu sein. Das bin ich. Das bin ich, wenn ich mich nach oben strecke [Maldoom hebt die Arme ein wenig in die Höhe].
Während der choreographischen Arbeit kann man zu dem Kind oder der Person gehen und sagen: Nein, schau, breite die Arme ganz aus, Brust heraus, Kopf hoch, schau nach vorn, steh‘ fest und wachse! [Maldoom unterstreicht seine Worte mit entsprechenden Gesten]
Glauben Sie mir, sobald Sie das einmal gemacht haben, wollen Sie nie mehr das da machen. [Er breitet die Arme wieder nur halb aus] Das ist wirklich eine Veränderung.
[kurzer Ausschnitt aus dem Film „Rhythm is it!“ Maldoom mit Kindern und Jugendlichen bei einer Probe]
Worauf Kinder jeden Alters bei der Ausbildung ansprechen, ist Leidenschaft und Menschen, die diese Leidenschaft und ihre Erfahrung mit ihnen teilen wollen. Deshalb gebrauche ich für gewöhnlich nicht das Wort Bildung. Ich nenne es Erwachsene, die ihre Leidenschaft und Erfahrung mit Kindern teilen wollen. Dabei spielt es keine Rolle, ob es sich um Tanz, Geographie oder Mathematik handelt, es ist diese Leidenschaft, die auf sie überspringt.
Wenn man Kunst vermitteln will, dann muss man, denke ich, den Weg tatsächlich gegangen sein, man muss wenigstens für einige Zeit am Leben dieser Kunst teilgenommen haben, man muss sich dafür engagiert haben. Denn in erster Linie müssen Sie allen Menschen, mit denen Sie arbeiten, vorangehen; man muss fähig sein, neue Herausforderungen zu schaffen, die den wachsenden Fähigkeiten dieser Menschen entsprechen und gleichzeitig muss man imstande sein, ihre Fähigkeiten weiterzuentwickeln, damit sie die neuen Herausforderungen bewältigen, die sie von einem erwarten.
(Vgl. Kahl 2011: DVD; der englische Text wurde von der Autorin transkribiert und ins Deutsche übertragen)
Auf dem Weg zum Lehrerzimmer denkt Alice W., eine Realschullehrerin, über die Englischstunde nach, die sie gerade in „ihrer“ siebten Klasse gehalten hat. Die Schülerinnen und Schüler haben gut mitgearbeitet, und es gab auch keine nennenswerten Störungen. Trotzdem ist Alice irgendwie unzufrieden. Sie hat den Eindruck, ihr Unterricht könnte motivierender und lernwirksamer sein, vor allem für die lernschwächeren Schülerinnen und Schüler. Schon seit einiger Zeit sucht sie nach geeigneten Alternativen. Dabei denkt sie nicht an die rezeptartigen Praxisvorschläge aus den ansprechend aufgemachten Fachzeitschriften oder der Ratgeberliteratur, die sie gelegentlich nutzt. Sie glaubt auch nicht, dass die von Erziehungswissenschaftlern und Fachdidaktikern propagierten „Innovationen“ sie wirklich weiterbringen. Ihrer Meinung nach beruhen die Beiträge von Experten häufig auf subjektiven Erfahrungen. Woher weiß man denn, dass die vorgeschlagenen Neuerungen in der Unterrichtspraxis tatsächlich zu besseren Lernergebnissen führen?
Im Lehrerzimmer angekommen, erzählt sie einer älteren Kollegin, was ihr schon länger durch den Kopf geht. Die befreundete Lehrerin kann Alices Bedenken nicht recht nachvollziehen: „Dein Unterricht funktioniert doch! Warum willst du dich auf etwas einlassen, was dich nur Zeit kostet und im Endeffekt nichts bringt? Was meinst du, wie viele Reformen ich schon mitgemacht habe, die nach anfänglicher Euphorie versandet sind? Also ich, ich habe meinen Lehrstil gefunden.“
Der Rat der Kollegin, sich mit dem zufriedenzugeben, was im Unterricht irgendwie funktioniert, überzeugt Alice nicht. Sie sucht weiter nach Entscheidungshilfen. Sie möchte wissen, was besser wirken könnte als das, was sie bereits macht. Sie sucht nach Belegen dafür, dass bestimmte Unterrichtsstrategien tatsächlich lernwirksamer sind oder zumindest sein können als herkömmliche Methoden.
Eine mögliche Antwort auf Fragen wie
• was wirkt besser bzw. was ist lernwirksamer oder
• was führt bei möglichst vielen Schülerinnen und Schülern zu nachhaltigen Lerneffekten?
ist evidenzbasiertes Lehren und Lernen.
Was heißt ‚evidenzbasiert‘? Eine Unterrichtstrategie ist dann evidenzbasiert, wenn wissenschaftliche Belege für ihre Wirkung vorliegen. Aber da hat Alice einen Einwand. Was nützt es, wenn die Lernwirksamkeit einer Unterrichtsmaßnahme durch eine einzige Studie belegt ist, mag sie auch noch so fundiert sein? Man kann sich doch leicht denken, dass es immer die eine oder andere Untersuchung gibt, die einen hohen Lerneffekt der Methode X oder Y nachweist, während andere Forscher dem widersprechen. Wie zutreffend diese Überlegung ist, zeigt die Durchsicht einschlägiger Fachpublikationen. Deshalb genügt es nicht, sich auf einige wenige empirische Studien zu verlassen. Evidenzbasiertes Lehren und Lernen bedeutet mehr. Die Ergebnisse möglichst aller Forschungsarbeiten zu einem bestimmten Bereich müssen geprüft und zusammengefasst werden. Erst dann kann man begründete Rückschlüsse auf mögliche Lerneffekte ziehen.
Der Terminus ‚evidenzbasiertes Lehren und Lernen‘ bzw. ‚evidenzbasierte Pädagogik‘ ist eigentlich irreführend. Es handelt sich um eine Übersetzung des englischen Begriffs ‚evidence-based teaching‘. Wenn man im Deutschen sagt: „Das ist doch ganz evident“, denkt man nicht an wissenschaftliche Nachweise. Mit dem Wort ‚Evidenz‘ verbindet man im Deutschen in erster Linie Bedeutungen wie ‚unmittelbare Einsichtigkeit‘ bzw. ‚Offensichtlichkeit‘. Auch im Englischen schwingen ähnliche Bedeutungsnuancen mit. Hauptsächlich aber denkt man beim englischen ‚evidence‘ an ‚Beleg‘ oder ‚Nachweis‘. Um größere Klarheit zu schaffen, haben deutschsprachige Experten vorgeschlagen, evidence-based mit ‚nachweisorientiert‘ wiederzugeben. Sie konnten sich jedoch nicht durchsetzen. Der Begriff ‚evidenzbasiert‘ ist inzwischen etabliert. Eine Wissenschaftsdisziplin, die schon lange und mit großem Erfolg ‚nachweisorientiert‘ arbeitet, ist die Medizin.
Ebenso wie die evidenzbasierte Medizin verfolgt auch die evidenzbasierte Pädagogik das Ziel, Praktikern und allen an Unterricht interessierten Personen die Ergebnisse der gesamten verfügbaren Forschung zu einer bestimmten Fragestellung in nachvollziehbarer, knapper Form zugänglich zu machen. Dies geschieht durch systematische Übersichtsarbeiten (systematic review) und/oder Meta-Analysen (meta-analysis), d.h. durch die Zusammenschau von Primärstudien (vgl. 1.6). Damit Lehrpersonen einen konkreten Nutzen aus den Forschungsübersichten ziehen können, genügt es selbstverständlich nicht, von „besser als …“ oder „lernwirksamer als …“ zu sprechen. Die Ergebnisse müssen mithilfe eines Mittelwerts sowie durch ein standardisiertes Wirkungsmaß (= Effektstärke; vgl. 1.7) beziffert werden. Liegen dann entsprechende Mittelwerte für verschiedene methodische Verfahren vor, können Lehrpersonen zwischen einzelnen Alternativen abwägen.
Wie kann wissenschaftliche Forschung, in unserem Fall evidenzbasierte Lehr- und Lernforschung, diese hochgesteckten Ziele überhaupt erreichen? Ist die Zusammenfassung möglichst aller vorliegenden Untersuchungen nicht sehr aufwendig und vor allem äußerst heikel? Ohne Zweifel stellt die Erarbeitung einer systematischen Übersicht bzw. einer Meta-Analyse sehr hohe Anforderungen an den begutachtenden Wissenschaftler (reviewer). Seine Vorkenntnisse, seine Sorgfalt und seine Redlichkeit sind von herausragender Bedeutung. „Aber was ist mit den einzelnen Forschungsarbeiten?“ fragt Alice. „Gibt es da nicht große Unterschiede in der Qualität?“ In der Tat spielen nicht nur die Qualifikation und die Professionalität des reviewers eine wichtige Rolle. Noch entscheidender ist die Güte der sogenannten Primärstudien, die bei der Zusammenschau berücksichtigt werden.
Als Goldstandard empirischer Forschung, die zu evidenzbasiertem Lehren und Lernen beitragen kann, gelten Unterrichtsexperimente (vgl. 1.2). Sie gestatten – eher als Längsschnitt- oder Querschnittuntersuchungen und andere empirische Methoden (vgl. 1.3) – die Festlegung von Effekten, die für die Unterrichtspraxis relevant sein können.
Um nicht auf Mutmaßungen angewiesen zu sein und die Wirkung einer Maßnahme numerisch benennen zu können, stützen sich Forscher bzw. Forschergruppen bei solchen systematischen Zusammenfassungen also in erster Linie auf experimentelle Studien. Unterrichtsexperimente ermöglichen konkrete Aussagen über die Wirksamkeit einer Unterrichtsmaßnahme. Wie lernwirksam sind beispielsweise zusätzliche veranschaulichende Hilfen wie das Erstellen von Begriffslandkarten (concept mapping) zur Verdeutlichung bestimmter Inhalte?
Um Lerneffekte des concept mapping nachzuweisen, reicht es nicht, den Einsatz dieser visualisierenden Hilfe im Unterricht zu beobachten und/oder Lehrende und Lernende nach ihren Einschätzungen zu befragen. Will man verlässliche Angaben zur Wirkung des concept mapping machen, muss man ein Experiment durchführen.
Aber Experiment ist nicht gleich Experiment, selbst wenn es im Unterricht oder unter unterrichtsähnlichen Bedingungen erfolgt. Im Rahmen des evidenzbasierten Lehrens und Lernens gelten sogenannte randomisierte Kontrollgruppenexperimente als besonders aussagekräftig und zuverlässig. Was bedeutet ‚randomisiert‘? Unter Randomisierung versteht man die Verteilung der Versuchspersonen auf verschiedene Untersuchungsgruppen auf der Grundlage eines Zufallsmechanismus.
Ein randomisiertes Experiment verläuft in der Regel in folgenden Schritten: Nachdem man den Forschungsgegenstand konkretisiert hat (z.B. Welche Form des concept mapping? In welchen Fächern? Auf welcher Schulstufe? Wie oft in welchem Zeitraum? Von der Lehrperson oder von den Lernenden selbst erstellte concept maps?), wird eine angemessen große Zahl von Schülerinnen und Schülern auf zwei Gruppen, nämlich die Versuchsgruppen (= Experimentalgruppen) und die Kontrollgruppen, nach dem Zufallsprinzip (Randomisierung) verteilt. Warum ist es wichtig, dass wir uns mit diesen Einzelheiten beschäftigen? Auch randomisierte Kontrollgruppenexperimente können Einschränkungen unterliegen (vgl. unten). Zum einen sind immer Messfehler einzukalkulieren, die man kaum beeinflussen kann. Zum anderen müssen wir im Großen und Ganzen nachvollziehen können, wie der Forscher bzw. die Forschergruppe bei einem bestimmten Experiment vorgegangen ist, damit wir die allgemeine Aussagekraft und die Relevanz für unseren speziellen Lernkontext und für Schülerinnen und Schüler mit unterschiedlichem Lernverhalten einschätzen können.
Abb. 1: Randomisiertes Kontrollgruppenexperiment
Zu Beginn des eigentlichen Experiments wird sowohl in den Versuchs- als auch in den Kontrollgruppen derselbe Vortest (pretest) durchgeführt. Anschließend kommt in den Versuchsgruppen das concept mapping nach vorher festgelegten Kriterien zum Einsatz, während die Kontrollgruppen den herkömmlichen Unterricht erhalten. Die Intervention, in unserem Fall das concept mapping, wird die unabhängige Variable genannt. Sie ist eine wählbare Einflussgröße. Statt des concept mapping könnte man auch die Wirkung von advance organizers untersuchen. Geprüft werden soll der Einfluss der unabhängigen Variablen (wenn …) auf die Lernleistung, die abhängige Variable (dann …). Nach Abschluss der Experimentalphase werden die Leistungen beider Gruppen durch einen Nachtest (posttest) ermittelt und miteinander verglichen. Bisweilen kommt auch das after-only-Design zum Einsatz, bei dem auf den Vortest verzichtet wird. Nach dem posttest zeigt sich, ob das concept mapping in der vorgegebenen Form überhaupt lernwirksam ist und vor allem wie groß die Lerneffekte sind.
Es ist nicht immer möglich, bei der Bildung der Versuchs- und Kontrollgruppen nach dem Zufallsprinzip zu verfahren. In solchen Fällen bietet sich eine Parallelisierung an: Es werden Paare von Lernenden gebildet, die hinsichtlich möglichst vieler Merkmale weitgehend identisch sind und dann getrennt der Versuchs- bzw. der Kontrollgruppe zugeordnet. Solche quasi-experimentellen Studien können bei sorgfältiger Planung einen hohen Aussagewert erreichen. Sie sind aber randomisierten Experimenten nicht gleichgestellt.
Warum aber gilt experimentelle Forschung als Goldstandard? Warum haben beispielsweise Querschnitt- oder Längsschnittuntersuchungen nicht den gleichen Stellenwert? Das liegt am sogenannten Kausalzusammenhang. Durch Experimente ist es am ehesten möglich, den Effekt einer Versuchsbedingung zu prüfen. Dennoch sind auch randomisierte Kontrollgruppenexperimente sowie Quasi-Experimente nicht immer frei von Verfälschungen.
Nehmen wir einmal an, ein Forscher sei sehr daran interessiert, concept mapping als besonders lernwirksam herauszustellen. Er wird sich folglich alle Mühe geben, besonders gute Begriffslandkarten zu erstellen bzw. erstellen zu lassen. Möglicherweise wird er finanzielle Mittel in die graphische Gestaltung der concept maps investieren. Vor allem aber wird er die Lehrpersonen, die in den Versuchsgruppen unterrichten, auf das Experiment einstimmen und ihnen die zu erwartenden positiven Effekte vor Augen führen. Oft müssen die Lehrpersonen auch vor der Untersuchung ein entsprechendes Training absolvieren. Wichtig ist, dass der Unterricht in der Kontrollgruppe wie üblich geplant und durchgeführt wird. Es gilt als Kunstfehler, wenn die Lernbedingungen in der Kontrollgruppe bewusst so gestaltet werden, dass möglichst wenig gelernt wird. Man erhält dann zwar einen starken Effekt, dieser ist aber wenig glaubwürdig (vgl. WELLENREUTHER: 2004; 22010; Neubearbeitung 2013).
In den meisten Fällen werden solche Verzerrungen von anderen Wissenschaftlern aufgedeckt und in den Rezensionen kritisch besprochen. Es kommt häufig vor, dass Forscher bestimmte Untersuchungen oder Teiluntersuchungen wiederholen, wenn sie Zweifel am Forschungsdesign haben.
Experimente mit großen Stichproben sind sehr aufwendig und werden deshalb im deutschsprachigen Raum nicht so häufig durchgeführt wie beispielsweise in den USA. Auch aus diesem Grund ist es oft unumgänglich, nicht-experimentelle Untersuchungen in die Betrachtung einzubeziehen, obgleich der Kausalzusammenhang fehlt, d.h. eine Zuordnung von Ursache und Wirkung nur eingeschränkt möglich ist. Aus der Fülle empirischer Forschungsansätze betrachten wir im Folgenden einige wenige Methoden, die für evidenzbasiertes Lehren und Lernen von Bedeutung sind.
In der Unterrichtsforschung werden häufig Quer- und Längsschnittuntersuchungen, sogenannte Korrelationsstudien, durchgeführt. Sie belegen Wechselwirkungen zwischen mindestens zwei Merkmalen. Es wird aber immer wieder darauf hingewiesen, dass die Wechselwirkung zwischen zwei Variablen keine Kausalität darstellt. Ein einfaches Beispiel verdeutlicht diesen Sachverhalt: Man hat beobachtet, dass Schülerinnen und Schüler, die während des Unterrichts immer wieder einen Schluck Wasser trinken, konzentrierter mitarbeiten als Lernende ohne regelmäßige Wasserzufuhr. Daraus zu folgern, dass die verbesserte Konzentration ursächlich mit dem Wasserkonsum zusammenhängt, ist ein Fehlschluss. Zumindest bedarf diese Behauptung der Überprüfung durch ein Experiment. Dann kann sich zeigen, dass die höhere Konzentration vermutlich andere, durch den Unterricht und/oder sonstige Faktoren bedingte Ursachen hat.
Bei Querschnittsuntersuchungen werden unabhängige und abhängige Variablen zum gleichen Zeitpunkt ermittelt. Durch eine Befragung von Lernenden und Lehrpersonen wird beispielsweise der Einfluss einer bestimmten Unterrichtsmethode, die vor der Untersuchung eingesetzt wurde, auf die Lernleistung ermittelt. Aus Korrelationen wird dann fälschlich auf Ursache und Wirkung geschlossen. Längsschnittuntersuchungen verfahren in ähnlicher Weise wie Querschnittuntersuchungen, erheben die Wechselwirkung (Korrelation) aber mehrmals und zu verschiedenen Zeitpunkten. Diese Untersuchungsmethoden beruhen also nicht auf dem kontrollierten Einsatz einer Strategie, wie z.B. des concept mapping, und der Messung des Effekts auf die Schülerleistung durch Vor- und Nachtest. Dennoch bieten Quer- und Längsschnittuntersuchungen interessante Einblicke in unterrichtliche Zusammenhänge. Oft führen sie zu relevanten Forschungsfragen und haben schon allein deshalb ihre Berechtigung.
Auch die Ergebnisse empirisch-qualitativer Studien werfen häufig wichtige Fragen auf, denen man in experimentellen Untersuchungen oder mit anderen quantitativen Methoden nachgehen kann. Qualitative Untersuchungen gewähren darüber hinaus nützliche Einblicke in soziale und affektive Zusammenhänge, die mit anderen Forschungsmethoden nur unzureichend erfasst werden können. Wie wir noch sehen werden, beruhen (ältere und neuere) Lern- und Gedächtnismodelle sowie Motivationstheorien häufig auf Ergebnissen empirisch-qualitativer Forschung (vgl. Kap. 3 und Kap. 4).
Auf welcher Grundlage legt ein Forscher bei der Erstellung einer systematischen Übersichtsarbeit oder einer Meta-Analyse die Güte der vorhandenen Untersuchungen genau fest? Wie können wir selbst bei der Lektüre solcher Forschungsüberblicke besser einschätzen, wie hieb- und stichfest die vorliegenden Ergebnisse sind? Hier kann die evidenzbasierte Medizin für die Unterrichtsforschung richtungsweisend sein, obgleich es ohne Zweifel Unterschiede zwischen nachweisorientierter medizinischer Forschung und evidenzbasierter Pädagogik gibt. Gegen eine zu starke Orientierung evidenzbasierter Lehr- und Lernforschung an der medizinischen Forschung wird oft die ‚Faktorenkomplexion‘ von Unterricht angeführt. Die Wirkung des Medikaments A im Vergleich zu derjenigen von Medikament B sei hingegen relativ leicht zu belegen. Überschätzt man da nicht die Komplexität eines Bereichs, den man gut kennt, im Vergleich zu der einer anderen Wissenschaftsdisziplin?
Um der medizinischen Forschung Kriterien an die Hand zu geben, wie mit unterschiedlichen Untersuchungen umzugehen ist, gibt es eine Reihe verbindlicher Klassifizierungen (z.B. das Klassifikationssystem des ÄZQ, Ärztliches Zentrum für Qualität in der Medizin oder dasjenige des Centre for Evidence-based Medicine in Oxford). Für das evidenzbasierte Lehren und Lernen ist die Klassifizierung der AHRQ (Agency for Healthcare Research and Quality; www.ahrq.gov) nützlich. Die AHRQ empfiehlt eine Unterteilung in fünf Evidenzklassen.
Abb. 2: Grade der Evidenz
Den höchsten Grad der Evidenz (Klasse I und Klasse II) erreichen hochwertige, randomisierte Experimente bzw. quasi-experimentelle Studien. Im mittleren Evidenzbereich (Klasse III) liegen gut angelegte, nicht-experimentelle deskriptive Studien (z.B. Vergleichs- oder Korrelationsstudien). Geringere Evidenz (Klasse IV und Klasse V) weisen beschreibende Studien sowie Expertenmeinungen auf. Diese Abstufung beruht auf der oben dargestellten Wertschätzung experimenteller Untersuchungen im Vergleich zu nicht-experimenteller Forschung. Die Ergebnisse der in den Klassen III, IV und V angeführten wissenschaftlichen Veröffentlichungen gelten daher als weniger aussagekräftig.
Warum konnte sich evidenzbasiertes Lehren und Lernen bisher in Deutschland (und im deutschsprachigen Raum) nicht in gleicher Weise durchsetzen wie in Skandinavien und den angelsächsischen Ländern? Darüber ist schon viel spekuliert worden. Mit einiger Sicherheit kann man sagen, dass die geisteswissenschaftliche Ausrichtung der deutschsprachigen Pädagogik sowie die mangelnde Kenntnis statistischer Verfahren eine größere Akzeptanz empirisch-quantitativer Forschung in den letzten Jahrzehnten verhindert haben. Erst durch die internationalen Vergleichsstudien wie TIMSS (Third International Mathematics and Science Study) und PISA (Programme for International Student Assessment) ist empirische Bildungsforschung ins Blickfeld eines größeren Personenkreises gelangt. Das mittelmäßige Abschneiden deutscher Schülerinnen und Schüler bei diesen Vergleichsuntersuchungen und die sich daraus ergebenden Debatten haben die Kritik an empirischer Forschung mit Sicherheit nicht verringert. Inzwischen wird aber auch in der Bundesrepublik von einer „empirischen Wende“ gesprochen (vgl. z.B. HELMKE 42012: 14f.).
Zu Unrecht wird evidenzbasiertes Lehren und Lernen von einigen Wissenschaftlern als technokratisch abqualifiziert (vgl. BELLMANN & MÜLLER 2011). Empirisch-quantitative Forschung, insbesondere experimentelle Forschung, zergliedere Lehr-/Lernprozesse in unzulässiger Weise (ibid.). Außerdem sei es auch bei hochwertigen Kontrollgruppenexperimenten nicht möglich, die Wirkung anderer Faktoren auszuschließen. In keiner Untersuchung könne beispielsweise der Effekt der Lehrperson ausgeschlossen werden. Das ist unbestritten. Deshalb müssen Experimente sorgfältig geplant, transparent beschrieben und kritisch reflektiert werden. Sie gänzlich abzulehnen, käme einer unverantwortlichen Reduktion wissenschaftlicher Unterrichtsforschung gleich.
Auch Evidenz selbst gerät aus philosophischer Sicht in die Kritik (vgl. BELLMANN & MÜLLER 2011). Ob man einem Sachverhalt oder einer Erscheinung Evidenz zuschreibe, hänge von subjektiven Voreinstellungen und Wertungen ab. Als Alternative wird dann häufig die ganzheitliche Sicht auf Lehr- und Lernprozesse empfohlen, die freilich drängende Fragen von Lehrpersonen außer Acht lässt. Soll man Alice W. antworten, dass es letzte Wahrheiten ohnehin nicht geben kann? Dass sie das bereits weiß, wird an ihren Fragestellungen deutlich.
Ein weiteres Argument der Kritiker „naturwissenschaftlicher“ Forschungsmethoden lautet: „Man kann nicht alles messen!“ Auch das ist ohne Zweifel richtig, aber man kann weit mehr messen, als viele annehmen. Und das Messen kann, wie wir im Verlauf der folgenden Kapitel sehen werden, zu größeren Lerneffekten führen. Was spricht also gegen die kritische Prüfung der Lernwirksamkeit ausgewählter Verfahren und Strategien? Warum sollten Lehrende und Lernende nachweislich effektivere Methoden nicht in ihrem Lernkontext ausprobieren und durch Adaptionen zu verbesserten Alternativen gelangen?
Möglicherweise sehen einige Experten in den Ergebnissen der evidenzbasierten Pädagogik auch ein „Herrschaftswissen“, das Lehrpersonen, Schulleitungen und -verwaltungen sowie Bildungspolitiker unkritisch übernehmen könnten. Das Gegenteil ist intendiert:
Wie viele andere Verfechter des evidence-based teaching stellt Geoff Petty gleich zu Beginn seines Praxisbuchs (und an vielen anderen Stellen) Folgendes klar (PETTY 22009: 1): “Very successful procedures have been discovered without science in medicine, agriculture and education. We mustn’t abandon our intuition or our own evidence; this is the final court of judgement.” Auch ohne wissenschaftliches Wissen hat es in Medizin, Landwirtschaft und Erziehung große Fortschritte gegeben. Die letzte Instanz für unsere Urteilsfindung ist die eigene Intuition und der Nachweis, den wir aus unseren Erfahrungen herleiten können.
Analog zur evidenzbasierten Medizin geht es beim evidenzbasierten Lehren und Lernen außerdem um die Integration der drei Komponenten Lehrende–Forschung– Lernende: Da ist zunächst die Lehrperson mit ihrer Expertise. Sie allein kennt den Kontext und die speziellen Faktoren, die in ihren Lerngruppen wirksam sind. Diese Expertise wird dadurch erweitert (nicht ersetzt!), dass der Lehrperson alle einschlägigen Forschungsergebnisse zu einer für sie relevanten Frage zugänglich sind, und zwar in einsichtiger und verlässlicher Form. So wie in der Medizin – neben der Expertise des Arztes und der besten, verfügbaren Evidenz aus systematischer Forschung – die Bedürfnisse und Wünsche des Patienten den Ausschlag geben, sind es beim evidenzbasierten Lehren und Lernen diejenigen der Schülerinnen und Schüler.
In den letzten Jahrzehnten sind systematic reviews zunehmend durch Meta-Analysen ergänzt bzw. durch sie ersetzt worden. Meta-Analysen fassen Primär-Untersuchungen zusammen und beschreiben mithilfe statistischer Methoden die durchschnittliche Effektstärke in einem Bereich, d.h. sie untersuchen, ob ein Effekt vorliegt und wie groß er ist. Der Begriff ‚Meta-Analyse‘ wurde 1976 von Gene V. Glass eingeführt. Er (Glass 1976) definiert Metanalyse als analysis of analyses. Bei der Meta-Analyse werden – wie bei den systematic reviews – also keine eigenständigen empirischen Untersuchungen durchgeführt. Vielmehr handelt es sich um die Sekundäranalyse von Primärstudien.
Die erste systematische Auswertung, die man als Meta-Analyse bezeichnen kann, wurde bereits Anfang des 20. Jahrhunderts von dem britischen Mathematiker Karl Pearson durchgeführt mit dem Ziel, durch Zusammenfassung von Studien mit relativ kleinen Stichproben zu genaueren und gesicherteren Ergebnissen zu kommen.
Die Erarbeitung einer Meta-Analyse erfolgt in der Regel in folgenden Schritten:
1. Am Anfang steht eine Forschungsfrage, z.B. wie lernwirksam sind Hausaufgaben? Da man die Effekte von Hausaufgaben nicht für alle Schulformen, Schulstufen und Unterrichtsfächer untersuchen kann, erfolgt eine Eingrenzung des Forschungsgegenstands.
2. Es schließt sich eine systematische und möglichst erschöpfende Literaturrecherche an, d.h. in unserem fiktiven Beispiel versucht der Forscher, alle Untersuchungen, die die Wirksamkeit von Hausaufgaben in einem bestimmten Bereich empirisch-quantitativ erforscht haben, ausfindig zu machen.
3. In der Sekundäranalyse im engeren Sinn werden nun die vorhandenen Studien auf der Grundlage der Qualitätskriterien, die für empirische Forschung gelten, geprüft. Bei der Auswahl spielen die oben skizzierten Grade der Evidenz eine wichtige Rolle.
4. Die ausgewählten Publikationen werden kodiert und elektronisch aufbereitet.
5. Anschließend werden die Daten einer statistischen Analyse unterzogen.
6. Am Ende müssen die Ergebnisse der statistischen Datenanalyse sachgerecht aufbereitet und hinsichtlich der Forschungsfrage angemessen interpretiert werden.
Aus der kurzen Beschreibung des mehrstufigen Prozesses bei der Erarbeitung von Meta-Analysen wird deutlich, dass die Güte solcher Synthesen zum Zweck der Generalisierung ganz wesentlich darauf beruht, welche Untersuchungen berücksichtigt werden und welche wegen mangelnder Qualität nicht in die Meta-Analyse einfließen (vgl. 1.3).
Ein (extremes) Beispiel macht deutlich, wie mühsam und problematisch die Auswahl geeigneter Primarstudien sein kann: Eine Forschergruppe um Carole J. Torgerson hat die Wirkung bestimmter Maßnahmen zur Förderung der Lese- und Rechenfähigkeiten von Erwachsenen (adult literarcy and numeracy) untersucht und in einer Meta-Analyse zusammengefasst. Carole Torgerson und ihre Mitarbeiter haben 4555 Studien gesichtet, aber letztlich nur zwölf (!) in ihre Meta-Analyse integriert (vgl. TORGERSON ET AL. 2005). Die ausgesonderten Untersuchungen stellten keinen eindeutig bestimmbaren Zusammenhang zwischen Ursache (Förderprogramm) und Wirkung (Verbesserung der Lese- und Rechenleistung der Versuchspersonen) her.
Einige Forscher und Forschergruppen begnügen sich inzwischen nicht mehr mit Meta-Analysen. Sie fassen möglichst viele, in einem Fall sogar alle, verfügbaren Meta-Analysen zu einer Mega-Analyse, d.h. einer Meta-Meta-Analyse, zusammen. Was wir aus solchen aufwendigen Unternehmungen für die evidenzbasierte Verbesserung von Lehren und Lernen entnehmen können, wird am Beispiel von John Hattie (2009; 2012; HATTIE & ANDERMAN 2013) im folgenden Kapitel dargestellt. Dabei bietet sich ein Vergleich von Hatties Mega-Analyse mit den Ergebnissen der umfangreichen empirisch-experimentellen Forschungen von Robert J. Marzano (1998; MARZANO ET AL. 2001) und Martin Wellenreuther (2004, 22010) an.