Externes Audit

Neben dem ersten Zwischenbericht, für den ich immerhin ein ganzes Semester verbraten musste und dessen Anfertigung Heine von Alemann (1977) „Elend des Bericht-Schreibens“ (S. 152) nennt, dem ich aber nicht ganz zustimmen kann, habe ich auf der Grundlage der bisherigen Ergebnisse auch einen Leitfaden für Spiele in Vorlesungen erstellt, der von Lehrenden an Hochschulen geprüft werden sollte. Sätze über vier Zeilen sind tabu, also doch ein Elend. Die Betonung liegt auf sollte. Das Problem: Dozierende zeigen sich in den Gesprächen einerseits sehr interessiert an der Thematik Hörsaalspiele. Andererseits habe ich den Eindruck, dass ich sie mit meinem Anliegen leicht erschrecke. Jedenfalls gibt es neben dem überwiegend sehr großen Interesse an der Methode hier und da Bedenken in Bezug auf den Einsatz in der Vorlesung. Dabei fällt mir immer das erste Gespräch für meine Arbeit ein. Dort antwortet die Interviewperson auf die Frage nach ihren Bedingungen für den Einsatz von Hörsaalspielen: „Vielleicht ist es auch manchmal, dass ich den Mut habe, das tatsächlich spielerisch mit einzubringen“ (Int01D1§42). Und darin scheint im Moment der Hase im Pfeffer zu liegen. Damit ich trotzdem Rückmeldungen zu der Handlungsanleitung bekomme, setze ich nun auf eine andere Strategie. Durch den Praxistipp 3 im Beitrag „Optimierung von Prototypen“ (hier) meiner Doktorschwester Simone Dinse de Salas im Blog Educational Design Research, einer Gruppe von Forscherinnen der PH Heidelberg, kam ich auf die Idee, die Handlungsanleitung zunächst ohne den Druck auf die Dozierenden, ein Spiel in der Lehrveranstaltung durchführen zu müssen, beurteilen zu lassen. Simone und ich haben bisher jedoch keine Literaturhinweise für Audits in der Wissenschaft gefunden und werden uns deshalb in diesem Sommer gemeinsam mit der Entwicklung eines Verfahrens zur Qualitätssicherung von Handlungsanleitungen beschäftigen. Weil mein entwickelter Leitfaden bereits an Auditoren versendet wurde und bald die Interviews anstehen, stelle ich kurz meine Gedanken zu dem Verfahren vor:

Definition. Unter Audit wird hier die Rückmeldung von Experten in einem zweistufigen Verfahren zur Qualitätssicherung von Handlungsanleitungen/Leitfäden verstanden: Das interne Audit wird von Mitgliedern einer/der eigenen Forschungsgruppe durchgeführt und das externe Audit von in der Praxis tätigen Experten/Wissenschaftlern vorgenommen. In dem externen Audit prüfen Hochschullehrende verschiedener Fachrichtungen den Leitfaden vor dem Einsatz in der Praxis anhand eines Fragenkatalogs hinsichtlich seines praktischen Nutzens.

Vorgehensweise. Die entwickelte Handlungsanleitung wird zunächst zur Überprüfung mindestens zwei internen Auditoren vorgelegt. Anhand ihrer Rückmeldungen erfolgt die erste Überarbeitung des Leitfadens. Das Feedback der internen Auditoren wird außerdem für die Erweiterung des Fragenkatalogs verwendet. Danach wird die verbesserte Handlungsanleitung mindestens zwei externen Auditoren vorgelegt und anschließend an die Lektüre jeweils ein leitfadengestütztes Experteninterview mit den Auditoren geführt. Der Leitfragenkatalog wird nach der Auswertung der Interviews mit weiteren Fragen, die sich wiederum aus den Rückmeldungen ergeben, ergänzt und die Handlungsanleitung modifiziert sowie sämtliche Änderungen dokumentiert. Im Idealfall wird der Leitfaden schließlich in der Praxis geprüft und die Umsetzung der Handlungsanleitung wissenschaftlich begleitet.

Fragenkatalog. Die Fragen stellen ein Grundgerüst für das leitfadengestützte Experteninterview dar und sollen im Sinne von Anpassungen und Ergänzungen flexibel gehandhabt werden. Dafür werden zu Beginn im Unterschied zu Audits in der Wirtschaft (Klose 2005) offene Fragen verwendet. Zuerst muss jedoch geklärt werden, inwiefern der/die Expert/in für das Audit geeignet ist. Geht es um Spiele in der Vorlesung, dürfen also nicht einfach unsortiert Hochschullehrende befragt werden. Die Lehrpersonen müssen auch Vorlesungen halten und sich in ihrer Fachdisziplin voneinander unterscheiden usw.
Formal kann z. B. der Umfang der Handlungsanleitung und inhaltlich die Verständlichkeit bewertet werden. Wichtig erscheinen mir auch die Fragen nach Ergänzungen und Motivation zur praktischen Umsetzung des Leitfadens sowie Anmerkungen oder Empfehlungen der Experten. Davon kann man schließlich nie genug bekommen.

Witzig an der Sache ist, dass ich vor etwa 20 Jahren ein Audit nach ISO 9000 vorbereiten und begleiten durfte. Damals dachte ich noch: Das brauchste nie wieder…

Literatur
Alemann, H. v. (1977). Der Forschungsprozeß. Eine Einführung in die Praxis der empirischen Sozialforschung. Stuttgart: Teubner.

Klose, H.-G. (2005). Katalog mit 100 typischen Auditfragen zur Zertifizierung nach EN ISO DIN 9001:2000. [Online-Dokument]. URL: http://www.pbi-klose.de/Bilder/Auditfragen-9000.pdf (13.07.2016).

#24_Schlagzeile

Update 21.02.2016: Mit freundlicher Genehmigung von Prof. Dr. Michael Suda zur Übertragung der Spielidee.

Kam doch heute @cfreisleben auf Twitter mit einem feinen Artikel über „Humor im Hörsaal“ (hier) daher, bei dem ich dem Versuch nicht widerstehen konnte, die Ergebnisse meiner bisherigen Auswertung in ein Hörsaalspiel umzusetzen (hier). Es ist für alle Fächer geeignet und dient der Zusammenfassung des aktuellen Vorlesungsinhaltes. Dabei sollen Interaktion und Zusammenarbeit zwischen den Studierenden gefördert werden. Außerdem erhalten Dozierende ganz nebenbei ein Feedback darüber, ob und wie die Studierenden der Vorlesung folgen konnten. Diese Rückmeldung wiederum können Lehrende als Anlass für eine vertiefte Diskussion nutzen.

Das Spiel enthält die Elemente Zufall und Bewegung.  Es wird lediglich ein Timer und wenig Zeit benötigt. Nicht nur deshalb erscheint mir das Hörsaalspiel für Einsteiger gut geeignet. Vielen Dank an Prof. Dr. Michael Suda von der TU München für diese schöne Idee!

Kategorien aus dem Vergleich der Interviews mit den Studierenden

Zig kleine Zellen mit Zahlen oder Texten hin und her schieben – die Auswertung der qualitativen Daten lehrt mich Demut (frei nach @timovt)! Der Export von Daten als letzter Schritt im Programm MAXqda funktioniert bei mir nicht reibungslos. Also musste ich das gesamte Interviewmaterial der Dozierenden und Studierenden wieder zurück in ein Tabellenkalkulationsprogramm übertragen und erneut codieren. Read more »

Kategorien aus dem Vergleich der Interviews mit den Dozierenden

Zehn Interviews mit acht Dozierenden sind eingetütet. Mit offenem Umschlag, denn es ist ja noch alles vorläufig, wie Strauss & Corbin schreiben (zB S. 47 und S. 72). Es gibt jetzt neun Kategorien, von denen sich allein vier auf folgende Kontexte beziehen: Hochschule, Vorlesung, Dozierende und privates Spielverhalten. Außerdem konnte ich herausfinden, welche Erwartungen die befragten Lehrenden an Hörsaalspiele haben, wie sie Spiele in der Vorlesung wahrnehmen und welche Erfahrungen sie damit gemacht haben. Letztlich war es möglich, aus den beschriebenen Spielen verschiedene Merkmale von Hörsaalspielen abzuleiten. Read more »

Halbzeit

So, Freunde der gepflegten Forschung, es ist Zeit für eine Zwischenbilanz, denn in zwei Jahren soll ich mein Hobby offiziell leider schon wieder beenden. Es hatte bisher erstaunlich viel Ähnlichkeit mit Sport und Musik. Die Auswertungsmethode Grounded Theory beispielsweise musste ich regelrecht trainieren. Jeden Tag mehrere Stunden codieren üben – egal, wie viel Arbeit beruflich und privat anfällt, egal ob Feiertag oder Ferien. Für die Analyse des ersten Interviews brauchte ich zB mehrere Wochen, doch die Zeit an sich habe ich zunächst gar nicht als größtes Problem wahrgenommen. Read more »

Playground #6: Spiel‘ mir das Lied vom Code

Die Reise war eine Ochsentour. Am Freitag nach dem Unterricht fuhr ich von Stau zu Stau nach Heidelberg, um gerade noch rechtzeitig zum Nachtisch mit Christian, Christian und Christian aus der Playgroup HD aufzulaufen. Read more »

FB_4.17: Die Gedanken der Studierenden lesen

Was denken eigentlich Studierende, wenn sie bemerken, dass sie in der Vorlesung an einem Hörsaalspiel teilnehmen? Wir haben nach diesen Gedanken gefragt und interessante Antworten erhalten, finde ich. Die quantitativ größte Kategorie ist nämlich „positive Emotionen“ (115 Fundstellen) und dort mit 60 (!) Zuordnungen die reinste „Freude“ (VL_15_§139). Read more »

Der erste rote Faden: Die Angst spielt mit

Studierende üben in Lehrveranstaltungen eine überwiegend sitzende Tätigkeit aus. Dozierende könnten also annehmen, dass Bewegung in Vorlesungen ein guter Einfall wäre. In der qualitativen Analyse stellt sich aber das Element Bewegung sowohl als vorteilhaft als auch als ein Nachteil von Hörsaalspielen heraus (FB_4_VL_15_§196). Wie passt das zusammen? Read more »

FB_3: Gute Spiele, schlechte Spiele

Am Anfang diesen Jahres berichtete ich in der Play Group HD über einige Ergebnisse meiner Arbeit. Mit dem dritten Fragebogen (n = 91) wollte ich u. a. herausfinden, welche Spiele den Studierenden besonders gut bzw. gar nicht gefallen haben. Das Ergebnis fand ich damals ziemlich enttäuschend, weil sich überhaupt kein Spiel als gut oder schlecht herauskristallisierte. Jedes „gute“ Spiel wurde in der gleichen Befragung zu einem „schlechten“ und umgekehrt. Read more »

FB_4: Studierende sind dankbar und fühlen sich nicht zu alt für Hörsaalspiele

Nachdem ich schon mehrmals auf die Ergebnisse aus dem Fragebogen 4 verwiesen, jedoch noch keinen Beitrag dazu geschrieben und also nicht verlinkt habe, will ich den Bericht nun endlich nachholen.

Zu Beginn des Wintersemesters 2014/15 fand die vierte schriftliche Befragung zum Thema Hörsaalspiele in zwei Vorlesungen statt, an der sich insgesamt 257, überwiegend weibliche Lehramtsstudierende im ersten und dritten Semester, beteiligten. Der auffallende Unterschied zwischen beiden Lehrveranstaltungen lag im gewählten Fach. Während an der VL_12 überwiegend Studierende ohne das Fach Mathematik teilnahmen, befanden sich in der VL_15 ausschließlich Studierende mit dem Schwerpunktfach Mathematik. Read more »

%d Bloggern gefällt das: