RB 61, Mai 2013
Michael Ochsner, Sven E. Hug und Hans-Dieter Daniel
Während in den meisten natur- und lebenswissenschaftlichen Fächern datenbankgestützte bibliometrische Verfahren zur Leistungsmessung üblich sind, sind diese in den Geisteswissenschaften praktisch nicht existent. Deshalb fördert die Rektorenkonferenz der Schweizer Universitäten (CRUS) die Initiative „Entwicklung und Erprobung von Qualitätskriterien für die Forschung in den Geisteswissenschaften am Beispiel der Literaturwissenschaften und der Kunstgeschichte“ im Rahmen des SUK B-05 Innovations- und Kooperationsprojekts „Mesurer les performances de la recherche“ (vgl. www.psh.ethz.ch/crus).
Die Initiative verfolgt das Ziel, Qualitätskriterien und Indikatoren zu entwickeln, die die Forschungsleistungen in ausgewählten geisteswissenschaftlichen Disziplinen adäquat abbilden und die von den Forschenden akzeptiert werden. Dabei dienen die Deutsche Literaturwissenschaft, die Englische Literaturwissenschaft und die Kunstgeschichte/-wissenschaft als Beispielfächer.
Sollen Qualitätskriterien ermittelt werden, die Forschungsleistungen in den Geisteswissenschaften sinnvoll abbilden können und gleichzeitig von den betroffenen Forschenden akzeptiert werden, müssen deren Vorstellungen von Forschungsqualität einbezogen werden (Phillips & Maes, 2012, S. 15), denn sie selbst wissen am besten, was Forschungsqualität ausmacht. Dabei ist es wichtig, dass einerseits dieses Wissen strukturiert abgefragt wird und andererseits die Messung auf Basis eines Messmodells, das auf dieses Wissen Bezug nimmt, stattfindet.
Qualitätskriterien für Forschungsqualität erfassen
Wir haben ein solches Messmodell ausgearbeitet, das aus Qualitätskriterien besteht, die durch sogenannte Aspekte genauer definiert werden. Den Aspekten wiederum sind Indikatoren zugeordnet, die geeignet sind, diese zu messen (Hug, Ochsner, & Daniel, in press). Da das Wissen über Forschungsqualität nicht direkt abrufbar ist, sondern als sogenanntes implizites Wissen vorliegt, das schwer verbalisierbar ist (Polanyi, 1967), wurde ein spezielles Verfahren verwendet, das implizites Wissen zugänglich macht: sogenannte Repertory Grid-Interviews (Kelly, 1955). Diese Interviews mit Forschenden führten zur Erkenntnis, dass es zwei unterschiedliche Arten von Forschung gibt, moderne und traditionelle, wobei beide positive wie negative Seiten haben. Moderne Forschung ist dabei interdisziplinär, vernetzt und kooperativ, traditionelle Forschung dagegen disziplinär und individuell. Zudem sind diesen zwei Arten von Forschung unterschiedliche Arten von Innovation zugeordnet: Moderne Forschung ist der Idee einer Innovation der kleinen Schritte verpflichtet – sie knüpft an bisherige Forschung an und führt diese weiter. Traditionelle Forschung zielt auf bahnbrechende Innovation, die sich von bestehenden Vorstellungen und Paradigmen löst. Neben dieser fundamentalen Erkenntnis konnten aus den Resultaten auch erste Qualitätskriterien extrahiert werden (Ochsner, Hug, & Daniel, 2013). So konnte aus einer Literaturanalyse und den Resultaten der Repertory Grid-Studie ein erster Katalog mit Qualitätskriterien entwickelt werden.
Einschätzungen der Forschenden
Dieser Katalog von Qualitätskriterien wurde in einem Delphi-Survey von den Geisteswissenschaftlerinnen und Geisteswissenschaftlern modifiziert, ergänzt und bewertet. Als Delphi-Survey bezeichnet man eine mehrstufige, schriftliche Befragung von Experten und Expertinnen mit anonymer Rückmeldung nach jeder Befragungsrunde (Linstone & Turoff, 1975). In unserer Initiative wurden drei Befragungsrunden durchgeführt. Um die Entwicklung von Qualitätskriterien international abzustützen, wurden nicht nur Forschende aus der Schweiz angeschrieben, sondern auch Forschende von Universitäten, die Mitglied der League of European Research Universities (LERU) sind. Dabei strebten wir eine Vollerhebung der Forschenden mit Doktortitel, die an den Schweizer und LERU-Universitäten in den drei Beispielfächern tätig sind, an. Insgesamt enthielt unser Sample 664 Forschende.
Die erste Runde diente der Modifizierung und Ergänzung des Kriterienkatalogs. Aufgrund der qualitativen Natur des Fragebogens wurde er an ausgewählte Teilnehmende unseres Samples geschickt. Von den 180 angeschriebenen Personen retournierten 50 Teilnehmende den Fragebogen (Rücklaufquote von 28%). Aus der Befragung resultierte ein ergänzter Kriterienkatalog, der aus 70 Aspekten besteht, die 19 Qualitätskriterien zugeordnet sind. Zehn dieser Kriterien sind bekannt und werden in verschiedenen Evaluationsverfahren verwendet. Neun Kriterien jedoch werden nicht oder nur selten verwendet: Pflege des kulturellen Gedächtnisses; Reflexion/Kritik; Forschungsvielfalt; Offenheit gegenüber Ideen und Personen; Selbststeuerung/Unabhängigkeit; Gelehrsamkeit/Belesenheit; Leidenschaft/Enthusiasmus; Forschungsvision; Konnex zwischen Forschung und Lehre/Scholarship of Teaching.
Konsensfähige Qualitätskriterien?
Dieser Katalog wurde in der zweiten Befragungsrunde allen Forschenden der Schweizer und LERU-Universitäten in den drei Fächern zur Bewertung vorgelegt (Hug, Ochsner, & Daniel, submitted). Die Rücklaufquote betrug 30%. Die zweite Runde zeigte, dass alle 19 Kriterien für die Bewertung von Forschungsleistungen geeignet sind, denn nur einer von 70 Aspekten und keines der 19 Kriterien wurde in allen Fächern von mehr als 50% der Befragten abgelehnt. Um jene Kriterien und Aspekte für eine Leistungsbewertung ausfindig zu machen, die bei den Forschenden auf Akzeptanz stossen, identifizierten wir für jedes Fach die konsensualen Aspekte und Kriterien (d.h. Kriterien, die von 50% für gut befunden und von nicht mehr als 10% abgelehnt werden). Insgesamt waren 42 Aspekte zugehörig zu 17 Kriterien konsensfähig. Dabei erreichten 20 Aspekte, die 9 Kriterien zugeordnet werden können, in allen drei Fächern Konsensualität. Für die Evaluation geisteswissenschaftlicher Forschung heisst dies, dass ein breites Spektrum an Qualitätskriterien angelegt werden muss, um Forschungsleistungen in den Geisteswissenschaften angemessen zu beurteilen. Zudem können die einzelnen Fächer nicht über einen Kamm geschert werden, da sich neben den fächerübergreifenden konsensfähigen Kriterien auch eine bedeutende Anzahl von Kriterien finden liess, die zwar in einem Fach konsensfähig sind, im anderen jedoch nicht. Schliesslich zeigen die Resultate, dass nicht alle Kriterien, die in Evaluationen häufig angewendet werden, in den Geisteswissenschaften akzeptiert werden: Produktivität, Reputation und Gesellschaftsbezug (Social Impact) sind nicht konsensfähig. Gleichzeitig fehlen in den meisten Evaluationsverfahren jene Kriterien, die von den Geisteswissenschaftlerinnen und Geisteswissenschaftlern als wichtig für die adäquate Beurteilung von Forschungsleistungen beurteilt werden (s.o.).
Den konsensfähigen Aspekten wurden in einem weiteren Schritt Indikatoren zugewiesen, die diese Aspekte messen könnten (Ochsner, Hug, & Daniel, 2012). Dabei konnten lediglich für rund 50% der konsensfähigen Aspekte Indikatoren gefunden werden. Das heisst, dass 50% der Qualitätsaspekte nicht quantitativ messbar sind. Die Indikatoren wurden in der dritten Befragungsrunde den Forschenden zur Bewertung vorgelegt, wobei sich die Anzahl der Indikatoren für jedes Fach unterschied, da sich in jedem Fach andere Aspekte als konsensfähig erwiesen. Die Rücklaufquote lag mit 20% deutlich tiefer als bei der zweiten Befragungsrunde, in welcher die Qualitätskriterien bewertet wurden. Die Antworten werden derzeit analysiert und zu einem späteren Zeitpunkt publiziert.
Aus den Resultaten unserer Studien können wir schliessen, dass für eine Beurteilung von Forschungsleistung in den Geisteswissenschaften ein breites Spektrum an Qualitätskriterien berücksichtigt werden muss. Viele dieser Qualitätskriterien sind nicht quantitativ messbar, weshalb die Ablehnung rein quantitativer Verfahren durch die Geisteswissenschaftlerinnen und Geisteswissenschaftler nicht besonders überrascht. Nichtsdestotrotz könnten Indikatoren zur Information von Experten und Expertinnen hinzugezogen werden, um deren Urteil quantitativ abzustützen (sog. Informed Peer Review), sofern die Resultate der dritten Delphi-Runde so ausfallen, dass eine Mehrheit die Indikatoren akzeptiert. Es gilt jedoch der Konsensualität besondere Beachtung zu schenken. Schon die tiefe Rücklaufquote zeigt, dass die Geisteswissenschaften dem Einsatz von Indikatoren kritisch gegenüberstehen. Deshalb bedarf die Auswahl der Indikatoren und deren Interpretation besonderer Behutsamkeit. Dennoch lässt sich festhalten, dass in den Geisteswissenschaften eine Beurteilung der Qualität von Forschung möglich ist, sofern die Forschenden eingebunden werden und die Beurteilung anhand adäquater Bewertungskriterien und nicht ausschliesslich mittels rein quantitativer Methoden stattfindet.
Literatur
Hug, S. E., Ochsner, M., & Daniel, H.-D. (in press). A Framework to Explore and Develop Criteria for Assessing Research Quality in the Humanities. International Journal for Education Law and Policy.
Hug, S. E., Ochsner, M., & Daniel, H.-D. (submitted). Criteria for Assessing Research Quality in the Humanities – A Delphi Study among Scholars of English Literature, German Literature and Art His-tory.
Kelly, G. A. (1955). The Psychology of Personal Constructs. New York: W. W. Norton.
Linstone, H.A., & Turoff, M. (Eds.). (1975). The Delphi method. Techniques and applications. Don Mills: Addison-Wesley.
Ochsner, M., Hug, S. E., & Daniel, H.-D. (2012). Indicators for Research Quality in the Humanities: Opportunities and Limitations. Bibliometrie – Praxis und Forschung 1, 4. URN: urn:nbn:de:bvb:355-157-7.
Ochsner, M. Hug, S. E., & Daniel, H.-D. (2013). Four types of research in the humanities: Setting the stage for research quality criteria in the humanities. Research Evaluation 22(2), 79-92. doi:10.1093/reseval/rvs039
Phillips, M., & Maes, K. (2012). Research Universities and Research Assessment. Leuven: League of European Research Universities (LERU).
Polanyi, M. (1967). The tacit dimension. London: Routledge & Kegan Paul.