ALLHEILMITTEL EVALUATION?

Die in den vergangenen Wochen medial breitgetretene Debatte über die Evaluation universitärer Leistungen war in vielerlei Hinsicht aufschlußreich. Sie hat unter anderem gezeigt, wie groß das wechselseitige Mißtrauen zwischen Ministerium und Universitäten ist, wie schwierig es ist, ein Gesprächsklima zu schaffen, um dieses zentrale Thema gemeinsam zu diskutieren. Und schließlich: wie wenig sensibel manche für diesen Bereich Verantwortlichen mit den Problemen umgehen.
Im Folgenden geht es aber nicht um eine Analyse dieser Mediendebatte, sondern vielmehr darum, einen Blick auf die tatsächlichen Möglichkeiten und Grenzen der Evaluation universitärer Leistungen zu werfen. International betrachtet, kann man dabei auf Erfahrungen von fast vier Jahrzehnten zurückgreifen. Die Evaluationsdiskussion nahm ihren Ausgang in den USA, wo die ständig wachsenden Kosten des Wissenschaftssystems in den sechziger Jahren dazu führten, regelmäßige Bewertungen vorzunehmen.
Ein gutes Jahrzehnt später kam diese Idee nach Europa und faßte zunächst in Großbritannien, in Skandinavien und in den Niederlanden Fuß. Erst in den achtziger Jahren fand sie ihren Weg nach Deutschland und schließlich auch nach Österreich. Konkret fand das Prinzip der universitären Qualitätskontrolle im neuen Universitätsorganisationsgesetz (UOG 93) und in ei-ner damit zusammenhängenden Evaluierungsverordnung (1997) seinen Niederschlag, die zum ersten Mal Evaluation von Forschung und Lehre gesetzlich verankerten.
Betrachtet man die anfänglichen Diskussionen in all diesen Ländern, so könnte man den Eindruck gewinnen, daß Evaluation im Universitätssystem völlig neu erfunden werden mußte. Dem war aber nur zum Teil so, denn in etlichen Bereichen des Wissenschaftssystems war zu diesem Zeitpunkt längst eine Fülle von Mechanismen zur Qualitätskontrolle wissenschaftlicher Leistungen gang und gäbe.
So durchläuft etwa jeder wissenschaftliche Artikel, der in einer qualitativ hochstehenden Fachzeitschrift publiziert werden soll, einen Evaluationsprozeß. Und auch in wissenschaftlichen Karrieren gibt es Schritte, bei denen es mehr oder weniger formal um Leistungsbewertung geht (in Österreich etwa Vertragsverlängerungen bei Assistentinnen und Assistenten, Karrieregespräche, Habilitationsverfahren usw.). Schließlich gibt es auch schon in einigen Bereichen seit geraumer Zeit Lehrveranstaltungsbewertungen.

Trotzdem schien man international von der Wirksamkeit dieser traditionellen Mechanismen der Qualitätssicherung und -verbesserung nicht mehr wirklich überzeugt zu sein. Warum reichten diese existierenden Evaluationen nicht aus? Warum genügten die so gewonnenen Erkenntnisse nicht, um Mißstände zu beseitigen? Dies sind Fragen, die es zuallererst zu beantworten gilt, ehe immer neue Mechanismen der Leistungsbewertung eingeführt werden.
Grundsätzlich ist festzuhalten, daß der Begriff "Qualität" - zumal von universitären Leistungen - steten Wandlungen unterzogen ist und davon abhängt, zu welcher Zeit, in welchem kulturellen Kontext und schließlich auch von wem er definiert wird. Es gibt keinen ein für allemal definierbaren Qualitätsbegriff. Dazu kommt, daß in den vergangenen Jahren von seiten der Gesellschaft (vertreten durch Politik, Wirtschaft etc.) immer mehr und immer unterschiedlichere Anforderungen an die Universitäten herangetragen werden.
Gleichzeitig muß man sich bewußt sein, daß die Auswahl der Qualitätskriterien das Funktionieren des Systems und damit auch das darin produzierte Wissen nachhaltig verändert. So hat etwa in Großbritannien (siehe Kasten) die rigide Kopplung der Finanzierung der Universitäten an den bloßen Publikationsoutput dazu geführt, daß sich das Publikationsverhalten der Forscher vielmehr auf Quantität als auf Qualität ausgerichtet hat und man vor anstehenden Evaluationen sogar Wissenschaftler "einkauft", die besonders produktiv waren, und anderes mehr. Lernen kann man daraus, daß sehr rigide Systeme mit einfachen Indikatoren im Grunde für ein kompliziertes und sich laufend veränderndes System wie die Universität nicht wirklich tauglich sind.
Bei der Verwendung von bestimmten Indikatoren (Publikations- bzw. Zitierraten, eingeworbenen Drittmitteln etc.), die als Ausgangsbasis für Evaluation durchaus dienlich sein können, ist es wichtig, daß das Evaluationssystem offen und lernfähig bleibt. Das heißt, man muß sich auf Diskussionen über Qualität einlassen und sich immer wieder neu dafür entscheiden, was jetzt als solche zu definieren ist und wie man sie verbessern bzw. erhalten kann.
Es kann also nicht dabei bleiben, daß immer nur einzelne "Produkte" (d.h. Lehrveranstaltungen oder Forschungsleistungen) getrennt voneinander bewertet werden. Dies reduziert zwar die Komplexität des Problems, kann aber nicht zu wirklichen Lösungen auf der Systemebene führen (wie z.B. Organisationsentwicklung auf der Ebene der Institute). Nur wenn Evaluation als Prozeß konzipiert und verstanden wird, in dem auch die Einheit von Forschung und Lehre (und ihre jeweiligen Rahmenbedingungen) ernstgenommen wird - und geeignete Anreizsysteme geschaffen werden, in denen gute Leistungen wahrgenommen und belohnt werden -, kann es zu Verbesserungen kommen.

In unmittelbarer Zukunft wird es also auch darum gehen, an den Universitäten selbst eine breitangelegte, systematische Auseinandersetzung mit der Qualität in Forschung und Lehre, aber auch in der Verwaltung zu führen. Nur durch ein Verständnis für das Zusammenwirken der drei Bereiche kann es zu mittel- und langfristigen Verbesserungen kommen - ein Grundsatz, der in der derzeit stattfindenden Standortdiskussion (d.h. die geplante Schwerpunktsetzung der Lehre auf der Basis von Kennzahlen wie Kosten pro Prüfung) nicht eingehalten wird.
Im Bereich der Lehre wird die regelmäßige Evaluation der Lehrveranstaltungen durch Studierende einen wichtigen Bestandteil bilden. Für die Universität Wien bedeutet dies etwa die Beurteilung von ca. 10.000 Lehrveranstaltungen durch die Auswertung einer halben Million von Evaluierungsfragebögen. Es kann aber sicherlich nicht ausschließlich dabei bleiben. Zum einen müssen die Studiengänge als Gesamtheit evaluiert werden, um ihre interne Kohärenz und Aktualität zu hinterfragen und um die Qualität der universitären Lehre über einzelne Lehrveranstaltungen hinaus sichtbar zu machen. Zum anderen sollten auch die Lehrenden bezüglich ihrer Lehrsituation zu Wort kommen. Sie sind ebenso mit unzureichender Ausstattung, mit nicht im-mer adäquat vorbereiteten Studierenden (als Folge nicht ausreichend koordinierter Studienpläne) oder mit völlig überfüllten Hörsälen konfrontiert.
Bezüglich der Forschung kann es bei der Evaluation nicht nur um eine punktuelle Bewertung einzelner Fächer gehen - vor allem nicht nur dann, wenn eine Krise angesagt ist -, sondern um ein zyklisches Zusammenwirken von Selbstevaluation, Evaluation durch externe Experten und Forschungsplanung. Das muß integraler Bestandteil der Forschungspolitik der Universitäten werden. Damit wird es auch in Zukunft leichter sein, die Position der Universität im gesellschaftlichen Umfeld zu behaupten. Und schließlich muß auch die dritte, gern vergessene Komponente - die Verwaltung - Teil der Qualitätskontrolle werden. Gut funktionierende und den Bedürfnissen der Benutzer angepaßte Dienstleistungseinrichtungen werden eine immer größere Rolle im Wissenschaftssystem spielen.
Die Universitäten haben mit dem UOG 93 einen klaren gesetzlichen Auftrag erhalten, und Teil dieses Auftrags ist die Auseinandersetzung mit und die Umsetzung von Qualitätsmanagement. Dies braucht Zeit, denn es gilt, geeignete Strukturen zu entwickeln, diese zu testen und so zu implementieren, daß sie ein integraler Bestandteil der Institution werden. Genauso wie sich die Universitäten einem organisatorischen Entwicklungsprozeß unterziehen, muß auch das zuständige Ministerium seine Rolle und seine Aufgaben gegenüber den zunehmend autonomen Universitäten neu definieren. Nur so kann es zu zielführenden, gemeinsam getragenen Entwicklungen kommen.
Aber auch in der zur Zeit nicht immer friktionsfreien Beziehung zwischen Politik und Wissenschaft bzw. dem Ministerium und den Universitäten sind Verbesserungen nötig. Denn das wechselseitige Mißtrauen führt zu Doppelgleisigkeiten und dazu, daß Veränderungen eher blockiert als ermöglicht werden. Vielleicht könnte man sich in dieser Beziehung an den Niederlanden ein Beispiel nehmen, wo eine intermediäre Institution zwischen der Wissenschaft und der Politik eingerichtet wurde, die einen von beiden Partnern akzeptierten Diskussions- und Verhandlungsraum für Evaluation bietet.
Internationale Erfahrungen zeigen aber auch, daß bei der Einführung von Evaluationen unter Umständen schon kleine Schritte fruchtbare Diskussionen in Gang setzen. Jedenfalls geht es um die Schaffung von Verbindlichkeiten und Anreizsystemen. Denn Qualität kann langfristig nur geschaffen und erhalten werden, wenn sie einerseits eingefordert wird und andererseits ausreichend Entwicklungsmöglichkeiten bestehen bzw. eröffnet werden.
Trotzdem sollten wir in dieser Qualitätsdiskussion nicht der Illusion erliegen, daß Evaluation - auch wenn sie noch so gut durchgeführt wird und relativ verläßliche Ergebnisse liefert - automatisch Lösungen schafft bzw. zu Entscheidungen führt. Evaluationen können jedoch sehr wohl wesentliche Basis für rationale und transparente Entscheidungen sein. Grundsätzliche wissenschaftspolitische Weichenstellungen werden dadurch aber nicht ersetzt.

Ulrike Felt ist promovierte Physikerin und Professorin für Wissenschaftsforschung an der Universität Wien. Sie leitet am Logistischen Zentrum der Universität Wien das Teilprojekt "Evaluierung".

Thomas Halbeisen ist Mitarbeiter am Logistischen Zentrum.

EVALUATION IN EUROPA: Niederlande & Großbritannien

Den niederländischen Universitäten wurde bereits im Jahr 1985 mehr Autonomie zugesprochen - mit der Auflage, daß sie die Qualität ihrer Leistungen durch regelmäßige interne und externe Qualitätskontrollen sicherstellen. Die Universitäten entwickelten selbst ein landesweit einheitliches Verfahren zur Evaluation durch externe Fachleute ("Peers"), wobei Lehre und Forschung (mit einem Schwerpunkt auf Forschungsprogrammen) getrennt bewertet werden. Die Organisation und Durchführung der Evaluation erfolgt durch die VSNU (Vereniging van Samenwerkende Nederlandse Universiteiten, entspricht ungefähr der hiesigen Rektorenkonferenz).
Für beide Bereiche, Forschung und Lehre, gibt es ein vom Ablauf her ähnliches Verfahren, das zyklisch durchgeführt wird und im wesentlichen drei Schritten folgt: Es beginnt mit der Selbstbeschreibung und Selbsteinschätzung der zu evaluierenden Institute. Als zweiten Schritt erhalten die Peers die Unterlagen der Selbstevaluation, absolvieren eine Begehung der Institute, führen Interviews mit relevanten Gruppen etc. Die Auswahl der Peers für die Lehre erfolgt auf Vorschlag ständiger Komitees, die für jede Studienrichtung eingerichtet sind. Für die Evaluation der Forschung werden die Peers von der Königlich-Niederländischen Akademie der Wissenschaften vorgeschlagen.
Zum dritten schließlich verfassen die Peers einen schriftlichen Bericht, der neben einer Beurteilung der Leistungen auch inhaltliche und organisatorische Empfehlungen umfaßt. Die Ergebnisse werden von der VSNU publiziert. Für die Umsetzung der Maßnahmen sind die Institutsvorstände und die universitären Gremien und Exekutivorgane zuständig. Die Überprüfung der Umsetzung erfolgt durch ein Hochschulinspektorat.
Die VSNU ist hinsichtlich der Evaluation nicht nur eine intermediäre "Clearing"-Stelle zwischen den Universitäten und dem Ministerium, sondern stellt auch sicher, daß die gemachten Erfahrungen in das Design zukünftiger Evaluationen einfließen. Da nicht nur das Verfahren der Evaluation, sondern auch die Peers für eine Disziplin bzw. Fachgruppe landesweit identisch sind, ist eine hohe Vergleichbarkeit der Ergebnisse gegeben. Trotzdem zielt die Evaluation primär auf eine Qualitätsverbesserung vor Ort, also an der jeweiligen Universität, ab. Bei der "Research Assessment Exercise" in Großbritannien wird die Forschung ebenso landesweit durch dieselben Peers evaluiert. Die Bewertung erfolgt vor allem auf der Basis von Publikationsraten und schriftlichen Unterlagen zu den Instituten, wobei den einzelnen Universitäten Soll-Werte in Abhängigkeit von den jeweiligen Rahmenbedingungen vorgegeben werden. Eine Begehung der Institute ist nicht vorgesehen. Die Evaluation zielt insbesondere auf eine Benotung und auf ein Ranking von den Universitäten ab, das dann auch als Basis für die Vergabe von Forschungsgeldern dient. Diese enge Kopplung von Evaluation und Mittelvergabe - beides wird auch von derselben Institution, dem "Higher Education Funding Council", durchgeführt - hat es mit sich gebracht, daß die Anzahl der Publikationen deutlich gestiegen ist, allerdings nicht unbedingt die Qualität der erbrachten Leistungen.