reading

Dieser Titel ist auch als Printausgabe erhältlich

ISBN 978-3-937 210-50-6

Sie finden uns im Internet unter

www.ziel-verlag.de

Herausgegeben von

RA Jörg E. Feuchthofen

Prof. Dr. Michael Jagenlauf MA

Prof. Dr. Arnim Kaiser

Die Reihe Grundlagen der Weiterbildung bietet Raum für

• Theorien, die das berufliche Handeln anregen und vertiefen.

• praktische Grundlagen und Tools.

• Ausarbeitungen, die konkurrierende Theorien, Praxen, Modelle und Ansätze gedanklich und empirisch weiterführen.

Wichtiger Hinweis des Verlags: Der Verlag hat sich bemüht, die Copyright-Inhaber aller verwendeten Zitate, Texte, Bilder, Abbildungen und Illustrationen zu ermitteln. Leider gelang dies nicht in allen Fällen. Sollten wir jemanden übergangen haben, so bitten wir die Copyright-Inhaber, sich mit uns in Verbindung zu setzen.

Inhalt und Form des vorliegenden Bandes liegen in der Verantwortung des Autors.

Bibliografische Information der Deutschen Nationalbibliothek

Die Deutsche Nationalbibliothek verzeichnet diese Publikation in der Deutschen Nationalbibliografie; detaillierte bibliografische Daten sind im Internet über http://dnb.d-nb.de abrufbar.

ISBN 978-3-944 708-68-3 (eBook)

Verlag:	ZIEL – Zentrum für interdisziplinäres erfahrungsorientiertes Lernen GmbH
	Zeuggasse 7–9, 86150 Augsburg, www.ziel-verlag.de
	2. korrigierte Auflage 2017
Gesamtherstellung:	Friends Media Group GmbH
	www.friends-media-group.de
E-Book-Herstellung und Auslieferung:	HEROLD Auslieferung Service GmbH www.herold-va.de

© Alle Rechte vorbehalten. Kein Teil dieses Buches darf in irgendeiner Form (Druck, Fotokopie oder einem anderen Verfahren) ohne schriftliche Genehmigung des Verlags reproduziert oder unter Verwendung elektronischer Systeme verarbeitet, vervielfältigt oder verbreitet werden.

Vorwort

Liebe Leserin, lieber Leser,

bitte erlauben Sie, dass ich Sie in diesem Buch direkt anspreche. Denn dies ist ein Lehrbuch; es fällt mir dadurch leichter, Sie beim Schreiben als Leser (auch wenn in diesem Buch zumeist nur die männliche Form verwendet wird, soll dies unsere Leserinnen nicht abwerten; dies dient lediglich der sprachlichen Einfachheit) und Lerner im Auge zu behalten. Unter didaktischem Auswahlgesichtspunkt muss jedes Lehrbuch im Blick auf seine Leser Entscheidungen darüber treffen, was und wie viel – aber auch: wie wenig – es ihnen zumuten kann.

Dieses Buch wendet sich an Personen, die in der Erwachsenenbildung / Weiterbildung tätig sind und sich und / oder anderen Information und Bewertung über Erreichtes und Nichterreichtes ihrer Arbeit verschaffen wollen. Es erfordert keine weiteren spezifischen Voraussetzungen. Natürlich erleichtert es das Bearbeiten, wenn Sie einschlägiges Vorwissen mitbringen, etwa im Bereich Forschungsmethoden, wie in sozialwissenschaftlichen Studiengängen enthalten. Der hier ausgewählte Stoff hat etwa den Umfang, wie er im Studium in einem Semester erarbeitet werden soll.

Absicht dieses Buches ist es, Grundlagenwissen und -können zu vermitteln. Dabei wurde besonderer Wert darauf gelegt, den Anwendungsbereich Erwachsenenbildung / Weiterbildung und die dort anliegenden Fragen und Probleme zu thematisieren. Der Schwerpunkt dieses Buches liegt bei den Standardverfahren und -inhalten, in die es einführen will und auf denen aufgebaut werden kann. Deshalb wurde beispielsweise bei den quantitativen Forschungsmethoden auf deskriptive Statistik und Probabilistik verzichtet; hierzu muss auf andere Literatur verwiesen werden. Und auch viele andere Bereiche, die andernorts ganze Bücher füllen – etwa zu Forschungsmethoden und Instrumenten – können hier nur auf wenigen Seiten dargestellt werden.

Die Diskussion um Evaluation im Bildungsbereich hatte in der Vergangenheit unterschiedliche Konjunkturen. In den 70er Jahren erfolgte im Bildungsbereich eine erste intensive Beschäftigung mit Evaluation (z. B. Wulf 1972, der die wichtigsten Beiträge der amerikanischen und englischen Evaluationsliteratur der Jahre 1967 bis 1972 zusammenstellte) – die empirische Wende in der Pädagogik und die damit erhofften Möglichkeiten zur rationalen Steuerung von Unterrichtsprozessen legten dies nahe. Hintergrund waren damals in den USA und durchaus ähnlich in Deutschland eine optimistische Bildungspolitik und Pädagogik, die finanziell und konzeptionell in heute kaum mehr nachvollziehbarer Aufbruchstimmung Innovationen im Bildungsbereich umgesetzt hatten und weiterhin umzusetzen gewillt waren. Es war damals Konsens, dass Bildung einen öffentlichen und politischen Wert hat, den es für eine an einer besseren Zukunft orientierte Gesellschaft zu fördern galt – auch finanziell. So formulierte Wulff: »Das entscheidende Anliegen bestand darin, herauszufinden, inwieweit die unter großem Kostenaufwand durchgeführten Projekte zu einer tatsächlichen Verbesserung der Curricula und darüber hinaus der Schulwirklichkeit führen« (1972, S. 10).

In den 80er Jahren war das Thema Evaluation in Theorie und Praxis wenig gefragt. Erst in den 90er Jahren begann wieder eine zum Teil hektische Hochkonjunktur der Evaluation, die sich auch in einer großen Zahl von Publikationen niederschlägt. Vieles wurde unter dem »neuen« Zauberwort »Evaluation« erwartet, vieles gefordert; in Gesetzen wurde und wird Evaluation festgeschrieben, obwohl Experten warnten, dass noch keine überzeugenden Konzepte, Methoden oder gar Instrumente dafür vorlägen (z.B. Süllwold 1997). Solche Warnungen änderten wenig an dem mit Macht vorgetragenen »Wunsch« nach Evaluation. Damit zeigen sich das Umfeld und die Motive für Evaluation heute gerade im (Weiter-) Bildungsbereich anders als in den 70er Jahren: Es geht oft weniger um Entscheidungshilfe zur Investition oder zu einer geduldigen Qualitätsverbesserung, vielmehr funktionalisiert Evaluation sich oft zur Handhabe zur Kostenreduktion, zur misstrauischen Kontrolle, zur Bestrafung oder Konkurrenz. Evaluation erweist sich damit als keineswegs neutrales Verfahren, sondern dient Interessen. Schon 1972 hatte Wulff darauf hingewiesen, »dass das ›Konzept der Evaluation‹ in hohem Maße ideologieanfällig ist« (S. 11).

Dieser heutige Kontext, soweit er pädagogische oder andragogische Argumente wenig gelten lässt gegenüber Kostenrechnen, Machtdurchsetzung oder simplifizierendem Technologiedenken, hat mich als Autor verschiedentlich zögern lassen, dieses Lehrbuch zu veröffentlichen. Andererseits erscheint es im Weiterbildungsbereich gerade in der heutigen Entwicklungsphase wichtig und hilfreich, sich unter andragogischer Perspektive der Wirkungen unseres Bildungshandelns zu vergewissern. Deshalb möchte dieses Lehrbuch Evaluationsdenken und -handeln anregen, das über Instrumente, Daten und Methoden die zentrale andragogische Frage nicht aus den Augen verliert: Zu wessen Nutzen führen wir Evaluation durch?

Ziel dieses Buches ist es, den Leser in die Lage zu versetzen, in diesem Sinne selbst Evaluationsvorhaben zu verwirklichen – sicherlich zunächst in begrenztem Umfang. So geht es nicht nur darum, Wissen zu vermitteln, sondern auch um das »Machen« von Evaluation: Sie sollen die Kompetenz erwerben, Evaluationsvorhaben zu planen, durchzuführen und kritisch zu reflektieren. Deshalb enthält dieses Buch auch immer wieder Anwendungsaufgaben und die Anregung, das Gelernte in die Praxis umzusetzen. »Machen« setzt aber auch »Wollen«, setzt Motivation voraus. Nun sind solche Bücher über Forschungsmethoden zumeist wenig motivierend. Ich hoffe es gelingt mir dennoch, Ihnen auch Spaß an Evaluation zu vermitteln und zu zeigen, dass Evaluation ein spannendes, herausforderndes und lohnendes Feld ist, das hilft, unser Tun in der Erwachsenenbildung/Weiterbildung besser zu verstehen und zu gestalten.

Bamberg, Sommer 2002

Jost Reischmann

Inhalt

Teil I: Die Einführung

Ziele von Teil I (Kapitel 1-3)

1. Evaluation – was das (nicht) ist und wozu sie nützt

1.1 Zum Begriff.

1.1.1 »Erfassen«

1.1.2 »Bewerten«

1.1.3 »Didaktische Funktion Praxisbezug«

1.1.4 Ausschlusskriterien und Abgrenzungen

1.2 Wozu Evaluation?

1.3 Was evaluieren? – Vermeiden Sie die »Indikatorenschaukel«!

1.4 Zusammenfassung

2. Wie man es macht – probieren Sie selbst!

2.1 Drei Kurzformen zur Kursevaluation

2.1.1 Qualitative Bewertung von Kurselementen durch Kartenabfrage

2.1.2 Quantitative summative »Thermometer«-Rückmeldung

2.1.3 Leistungsprüfung mit »Tests«: Was wird gekonnt?

2.2 Der »Kursbeurteilungsbogen KBB« – ein quantitatives Standardinstrument

2.2.1 Kurzübersicht

2.2.2 Wozu der Kursbeurteilungsbogen konstruiert wurde – Einsatzmöglichkeiten

2.2.3 Die Inhalte des Kursbeurteilungsbogens

2.2.4 Grenzen

2.2.5 Kopiervorlage Kursbeurteilungsbogen

2.2.6 Zur Anwendung

2.2.7 Zur Auswertung

2.2.8 Der Computerausdruck

2.2.9 Zur Interpretation

2.3 Breitenevaluation – ein qualitatives Erhebungsinstrument

2.3.1 Kurzübersicht

2.3.2 Kopiervorlage Breitenevaluation

2.4 Ablaufevaluation

2.5 Kosten-Nutzen-Evaluation einer Bildungsmaßnahme

2.5.1 Die Kostenevaluation

2.5.2 Die Berechnung alternativer Kosten

2.5.3 Die Nutzenevaluation

2.5.4 Kombinierte Evaluationsformen

2.6 Vorab-Evaluation eines didaktischen Produktes

2.7 Zusammenfassung

3. Was als Idee dahintersteckt

3.1 Disziplinierung, Einordnung, Unterordnung, Konkurrenz?

3.2 Evaluation als andragogisches Handeln

3.3 Zusammenfassung

Teil II: Der Einblick

Zwischenreflexion; Ziele von Teil II (Kapitel 4–8)

4. Warum Evaluation so problematisch ist

4.1 Offensichtliche Wirkungen werden nicht dokumentiert

4.2 Gelungene Weiterbildung wird unsichtbar

4.3 »Erfolg«: Subjektiv oder objektiv?

4.4 Wirkungsketten und Wirkungsbreiten: Die Komplexität der Weiterbildungs-Wirkungen

4.5 Zwischenüberlegung

4.6 Überzogene Erwartungen machen unglaubwürdig

4.7 Die »Indikatorenschaukel«

4.8 Führungskräfte oder Ehrenamtliche messen?

4.9 Wer hat die Kompetenz für Evaluation?

4.10 Und am schlimmsten: Nutzt Evaluation überhaupt etwas? ….

4.11 Zusammenfassung

5. Evaluation – jetzt im Detail

5.1 Evaluationstypen

5.1.1 Formative oder summative Evaluation?

5.1.2 Vergleichende oder nichtvergleichende Evaluation?

5.1.3 Selbstevaluation oder Fremdevaluation?

5.1.4 Intrinsische oder Output-Evaluation?

5.1.5 Quantitative oder qualitative Evaluation?

5.1.6 Hypothesenprüfende oder hypothesengenerierende Evaluation?

5.1.7 Aufgaben

5.2 Vier/fünf Ansatzpunkte für Evaluation: Angebotsevaluation, Meinung, Können, Anwendung, Wirkung

5.2.1 Stufe 1: Meinung

5.2.2 Stufe 2: Wissen, Können

5.2.3 Stufe 3: Anwendung

5.2.4 Stufe 4: Wirkung

5.2.5 Die vorausgehende Stufe: Angebots-Evaluation

5.2.6 Zusammenfassung

6. Beispiele für Evaluation

6.1 Beispiel 1: Selbstevaluation in einer
Wohneinrichtung für Haftentlassene

6.2 Beispiel 2: Die Zeitleiste – ein Visualisierungsverfahren zur Selbstevaluation in Selbsthilfegruppen

6.3 Beispiel 3: Evaluation des Zeitungskollegs

6.4 Erfolg in Mark und Pfennig, Euro und Cent

6.4.1 Beispiel 4: Wie ein Seminar aus einem Franken 75 macht

6.4.2 Beispiel 5: Leistungssteigerung im Verkaufsbereich

6.4.3 Beispiel 6: Erhöhung der personellen und maschinellen Auslastung: Aus 1 mach 19

6.5 Zusammenfassung

7. Die vier klassischen Verfahren: Befragung, Beobachtung, Test, Materialanalyse

7.1 Befragung

7.2 Beobachtung

7.3 Tests

7.4 Materialanalysen

7.5 Wann welches Instrument?

8. Warnung 1: Gütekriterien oder »Zu Risiken und Nebenwirkungen …«

8.1 Didaktische Nützlichkeit

8.2 Objektivität

8.3 Reliabilität – oder doch lieber »Consistency«?

8.4 Validität

8.5 Normierung

8.6 Ökonomie

8.7 Zusammenfassung

Teil III: Das Machen – Planung und Durchführung von Evaluationsuntersuchungen

Ziele von Teil III (Kapitel 9–13)

9. Die Technik der Zielanalyse

9.1 Unterscheiden Sie »Inhalt – Ziel«!

9.2 Formulieren Sie »operationalisierte Lernziele«

9.3 Fertigen Sie eine Zielanalyse an!

9.3.1 Erster Schritt: Niederschreiben des Grobziels – Was soll erreicht werden?

9.3.2 Zweiter Schritt: Brainstorming – Was wäre ein Indikator für Zielerreichung?

9.3.3 Dritter Schritt: Sortieren und überarbeiten Sie!

9.3.4 Vierter Schritt: Fassen Sie die Aussagen zusammen!

9.3.5 Fünfter Schritt: Beurteilen Sie: Trifft’s das?

9.4 Zusammenfassung

10. Provozieren mit Fragen

10.1 Welche Art von Befragung?

10.2 Hintergrundüberlegungen

10.2.1 Wen will ich befragen?

10.2.2 Was ist bereits über die beabsichtigte Fragestellung bekannt?

10.2.3 Was soll in dieser speziellen Befragung untersucht werden?

10.2.4 Beachten Sie die Gütekriterien!

10.3 Die Formulierung von Fragen und Aufgaben

10.3.1 Allgemeine Forderungen

10.3.2 Aufgaben- und Fragetypen

10.3.3 Die Feinstruktur von Fragen/Aufgaben

10.3.4 Was Sie tun und lassen sollten!

10.4 Wie gestaltet man einen Fragebogen?

10.5 Die Weiterverarbeitung der ausgefüllten Fragebogen

10.6 Schlussüberlegung

11. Qualitative Daten – Vom Umgang mit vielen Worten

11.1 Ist »Mittelwert = 1,2« dasselbe wie »Das war mein bestes Seminar«?

11.2 Von den Transportqualitäten von Sprache

11.3 Qualitative Verfahren beweisen nicht – sie erleuchten

11.4 Worte als Datenbasis vorbereiten

11.5 Kategorien bilden – deduktiv und induktiv

11.6 Strategien zur Datenanalyse

11.7 Technische Erleichterung durch Computer

11.8 Schlussüberlegung

12. Warnung 2: Seien Sie sich nicht zu sicher! Von den Fallen der Ergebnisinterpretation

12.1 Faktoren der internen Validität

12.2 Beweis oder Evidenz?

12.3 Schlussempfehlung: Seien Sie neugierig!

13. Das Schreiben des Evaluationsberichtes

13.1 Zentrale Schreibperspektive: Wem soll was wozu nützen? ….

13.2 Hinweise zum Schreiben

13.3 Gliederung eines Evaluationsberichtes

13.4 Das dreifache Ergebnis

13.5 Zur äußeren Form des Evaluationsberichtes

13.6 Die Verteilung des Evaluationsberichtes

13.7 Abschließende Bewertung

14. Zum Schluss noch einmal: Evaluation als didaktisches Handeln

14.1 Lernen fürs Leben

14.2 Lernen im Regelkreis

14.3 Lernen miteinander

14.4 Evaluation und Didaktik

15. An Stelle eines Schlusswortes: Aktiver Rückblick

Teil IV: Anhang

16. Lösungen zu den Übungsaufgaben

17. Glossar

18. Die DeGEval-Standards für Evaluation

19. Internet-Adressen zu Evaluation

20. Literaturverzeichnis

21. Stichwortverzeichnis

Ziele von Teil I (Kapitel 1–3)

Dieser erste Teil soll in das Thema »Evaluation« einführen, Grundkenntnisse vermitteln und insbesondere Ihren Mut stärken, sich mit diesem Thema zu beschäftigen – nicht nur auf dem Papier dieses Buches, sondern auch in der Praxis.

Wichtigstes Ziel dieses ersten Teils ist, Sie »bei der Stange zu halten«. Das Schlimmste, was passieren könnte, wäre, dass Sie abgeschreckt dieses Buch und Thema zur Seite legen. Das Ziel »bei der Stange halten« würde in Idealform bedeuten, dass Sie nach dem Bearbeiten dieses Kapitels gleich Lust haben, in einem Ihrer Praxisfelder Evaluation zu betreiben, mehr noch: dass Sie nicht nur Lust haben, sondern es auch tun. Ein eher laues Ergebnis wäre es, wenn Sie alles hier Aufgeschriebene wiederholen können, es aber nicht in Praxishandeln umsetzen.

Als Ergebnis dieses ersten Teils sollen Sie

► definieren, was »Evaluation« meint,	______ ______
► Evaluation abgrenzen einerseits gegen Forschung, andererseits gegen didaktische Rückmeldeformen wie Seminarkritik, Rückblick, Nachbereitung,	______ ______
► zentrale Funktionen von Evaluation nennen: Wozu dient Evaluation?	______ ______
► ein halbes Dutzend Indikatoren aufzählen, die als Kriterien zur Evaluation herangezogen werden können,	______ ______
► erklären, was mit »Indikatorenschaukel« gemeint ist,	______ ______
► drei Klein-Evaluationsformen kennen,	______ ______
► einen Kursbeurteilungsbogen kennen,	______ ______
► die Methode »Breitenevaluation« einsetzen,	______ ______
► erklären, wie unterschiedliche Formen von Evaluation mit unterschiedlichen Vorstellungen vom Lernen Zusammenhängen.	______ ______

Eine ganze Menge für 70 Seiten? Überlegen Sie vor dem Weiterlesen jetzt zunächst, was Sie zu jedem dieser Punkte bereits wissen – versuchen Sie eine Ist-Stand-Schätzung aufzustellen. Und tragen Sie auf der ersten Linie nach jedem Punkt eine Prozentzahl ein: Bei wie viel Prozent, glauben Sie, liegt Ihr Ist-Wert?