Externes Audit

Neben dem ersten Zwischenbericht, für den ich immerhin ein ganzes Semester verbraten musste und dessen Anfertigung Heine von Alemann (1977) „Elend des Bericht-Schreibens“ (S. 152) nennt, dem ich aber nicht ganz zustimmen kann, habe ich auf der Grundlage der bisherigen Ergebnisse auch einen Leitfaden für Spiele in Vorlesungen erstellt, der von Lehrenden an Hochschulen geprüft werden sollte. Sätze über vier Zeilen sind tabu, also doch ein Elend. Die Betonung liegt auf sollte. Das Problem: Dozierende zeigen sich in den Gesprächen einerseits sehr interessiert an der Thematik Hörsaalspiele. Andererseits habe ich den Eindruck, dass ich sie mit meinem Anliegen leicht erschrecke. Jedenfalls gibt es neben dem überwiegend sehr großen Interesse an der Methode hier und da Bedenken in Bezug auf den Einsatz in der Vorlesung. Dabei fällt mir immer das erste Gespräch für meine Arbeit ein. Dort antwortet die Interviewperson auf die Frage nach ihren Bedingungen für den Einsatz von Hörsaalspielen: „Vielleicht ist es auch manchmal, dass ich den Mut habe, das tatsächlich spielerisch mit einzubringen“ (Int01D1§42). Und darin scheint im Moment der Hase im Pfeffer zu liegen. Damit ich trotzdem Rückmeldungen zu der Handlungsanleitung bekomme, setze ich nun auf eine andere Strategie. Durch den Praxistipp 3 im Beitrag „Optimierung von Prototypen“ (hier) meiner Doktorschwester Simone Dinse de Salas im Blog Educational Design Research, einer Gruppe von Forscherinnen der PH Heidelberg, kam ich auf die Idee, die Handlungsanleitung zunächst ohne den Druck auf die Dozierenden, ein Spiel in der Lehrveranstaltung durchführen zu müssen, beurteilen zu lassen. Simone und ich haben bisher jedoch keine Literaturhinweise für Audits in der Wissenschaft gefunden und werden uns deshalb in diesem Sommer gemeinsam mit der Entwicklung eines Verfahrens zur Qualitätssicherung von Handlungsanleitungen beschäftigen. Weil mein entwickelter Leitfaden bereits an Auditoren versendet wurde und bald die Interviews anstehen, stelle ich kurz meine Gedanken zu dem Verfahren vor:

Definition. Unter Audit wird hier die Rückmeldung von Experten in einem zweistufigen Verfahren zur Qualitätssicherung von Handlungsanleitungen/Leitfäden verstanden: Das interne Audit wird von Mitgliedern einer/der eigenen Forschungsgruppe durchgeführt und das externe Audit von in der Praxis tätigen Experten/Wissenschaftlern vorgenommen. In dem externen Audit prüfen Hochschullehrende verschiedener Fachrichtungen den Leitfaden vor dem Einsatz in der Praxis anhand eines Fragenkatalogs hinsichtlich seines praktischen Nutzens.

Vorgehensweise. Die entwickelte Handlungsanleitung wird zunächst zur Überprüfung mindestens zwei internen Auditoren vorgelegt. Anhand ihrer Rückmeldungen erfolgt die erste Überarbeitung des Leitfadens. Das Feedback der internen Auditoren wird außerdem für die Erweiterung des Fragenkatalogs verwendet. Danach wird die verbesserte Handlungsanleitung mindestens zwei externen Auditoren vorgelegt und anschließend an die Lektüre jeweils ein leitfadengestütztes Experteninterview mit den Auditoren geführt. Der Leitfragenkatalog wird nach der Auswertung der Interviews mit weiteren Fragen, die sich wiederum aus den Rückmeldungen ergeben, ergänzt und die Handlungsanleitung modifiziert sowie sämtliche Änderungen dokumentiert. Im Idealfall wird der Leitfaden schließlich in der Praxis geprüft und die Umsetzung der Handlungsanleitung wissenschaftlich begleitet.

Fragenkatalog. Die Fragen stellen ein Grundgerüst für das leitfadengestützte Experteninterview dar und sollen im Sinne von Anpassungen und Ergänzungen flexibel gehandhabt werden. Dafür werden zu Beginn im Unterschied zu Audits in der Wirtschaft (Klose 2005) offene Fragen verwendet. Zuerst muss jedoch geklärt werden, inwiefern der/die Expert/in für das Audit geeignet ist. Geht es um Spiele in der Vorlesung, dürfen also nicht einfach unsortiert Hochschullehrende befragt werden. Die Lehrpersonen müssen auch Vorlesungen halten und sich in ihrer Fachdisziplin voneinander unterscheiden usw.
Formal kann z. B. der Umfang der Handlungsanleitung und inhaltlich die Verständlichkeit bewertet werden. Wichtig erscheinen mir auch die Fragen nach Ergänzungen und Motivation zur praktischen Umsetzung des Leitfadens sowie Anmerkungen oder Empfehlungen der Experten. Davon kann man schließlich nie genug bekommen.

Witzig an der Sache ist, dass ich vor etwa 20 Jahren ein Audit nach ISO 9000 vorbereiten und begleiten durfte. Damals dachte ich noch: Das brauchste nie wieder…

Literatur
Alemann, H. v. (1977). Der Forschungsprozeß. Eine Einführung in die Praxis der empirischen Sozialforschung. Stuttgart: Teubner.

Klose, H.-G. (2005). Katalog mit 100 typischen Auditfragen zur Zertifizierung nach EN ISO DIN 9001:2000. [Online-Dokument]. URL: http://www.pbi-klose.de/Bilder/Auditfragen-9000.pdf (13.07.2016).

Advertisements

4 comments so far

  1. dunkelmunkel on

    Gute Idee, dass ihr euch damit näher befasst!

    „Simone und ich haben bisher jedoch keine Literaturhinweise für Audits in der Wissenschaft gefunden und werden uns deshalb in diesem Sommer gemeinsam mit der Entwicklung eines Verfahrens zur Qualitätssicherung von Handlungsanleitungen beschäftigen.“

    Sucht mal nach verwandten Begriffen… zum Beispiel: Expertenrating

  2. Timo van Treeck on

    Danke für die Einblicke! Könnte mir auch vorstellen, dass eine Suche nach Reviewprozessen hilfreich ist. Zumindest in der Forschung wird darüber im Hochschulkontext der Prozess der Qualitätssicherung umgesetzt/versucht.

  3. Kristina Lucius on

    Danke schön für die Tipps. Ja, so versuchen wir uns dem Thema anzunähern und da gibt es tatsächlich Hinweise, vor allem, was zu tun ist. Was mir bisher fehlt, ist das genaue Wie. Also, eine Anleitung für die Bewertung von Anleitungen. Ich könnte mir vorstellen, dass es bei den Interviews irgendwann zu einer theoretischen Sättigung kommt und damit hätten wir auch eine allgemeine Grundlage für die Entwicklung und Bewertung von Leitfäden, die je nach Bedarf modifiziert werden können. Soetwas haben Simone und ich noch nicht gefunden, brauchen es aber beide.

  4. […] meine Tatenvolumen und schaffe bereits zwei E-Mails pro Tag. Wie ich das lang im Voraus geplante Externe Audit überstand, ist mir heute völlig […]


Kommentar verfassen

Trage deine Daten unten ein oder klicke ein Icon um dich einzuloggen:

WordPress.com-Logo

Du kommentierst mit Deinem WordPress.com-Konto. Abmelden / Ändern )

Twitter-Bild

Du kommentierst mit Deinem Twitter-Konto. Abmelden / Ändern )

Facebook-Foto

Du kommentierst mit Deinem Facebook-Konto. Abmelden / Ändern )

Google+ Foto

Du kommentierst mit Deinem Google+-Konto. Abmelden / Ändern )

Verbinde mit %s

%d Bloggern gefällt das: