Die Universitäten spielen im österreichischen Wissenschaftssystem eine zentrale Rolle. Während etwa in Deutschland vergleichsweise viel Forschung auch an außeruniversitären Instituten - zum Beispiel der Max-Planck-Gesellschaft - stattfindet, ist dieser Bereich hierzulande relativ unterentwickelt. Wie groß die Bedeutung der Universitäten für die österreichische Forschung tatsächlich ist, wird durch internationale Vergleiche besonders augenfällig.
Zwar liegt Österreich mit seinen Forschungs- und Entwicklungsausgaben von 1,83 Prozent, gemessen am Bruttoinlandsprodukt um einiges hinter dem OECD-Schnitt von mehr als zwei Prozent. Doch mit den 0,57 Prozent Ausgaben für die Universitäten rangiert Österreich im internationalen Spitzenfeld (siehe Grafik 1).
Es gibt aber noch eine zweite Kennzahl, die womöglich noch mehr über die hiesigen Universitäten aussagt, nämlich der so genannte General University Fund (GUF). Das ist jene Quote, die den Anteil der öffentlichen Grundfinanzierung an den universitären Forschungsausgaben misst. Und dabei sind wir mit knapp 83 Prozent internationale Spitzenreiter. Anders formuliert: Während die universitäre Forschung in den meisten anderen Ländern stärker durch private und/oder ausländische Drittmittel finanziert wird, dominiert in Österreich eindeutig der GUF, also die Transferzahlungen der öffentlichen Hand, die jährlich "automatisch" an die Universitäten gehen (siehe Grafik 2).
In Österreich wird damit nur ein relativ geringer Prozentsatz der universitären Forschungsmittel in Form von Projektgeldern - etwa beim Fonds zur Förderung der wissenschaftlichen Forschung (FWF) oder der EU - eingeworben. Das aber bedeutet, dass nur diese Forschung einer vorhergehenden Qualitätskontrolle unterzogen wird, denn nur dafür müssen Anträge gestellt werden, die von (ausländischen) Fachkollegen beurteilt werden. Bei der öffentlich grundfinanzierten universitären Forschung hingegen gibt es diese Formen der Qualitätskontrolle nicht: Da lässt sich erst im Nachhinein bestimmen, welche Leistungen mit den Mitteln erbracht wurden.
Ein Schlüsselindikator für die universitäre Forschungsleistung ist die Zahl publizierter Artikel in internationalen Fachjournalen. Für Österreich insgesamt gibt es dafür Zahlen: Das Land konnte seinen Anteil am "wissenschaftlichen Weltmarkt" von 0,51 Prozent (1989) auf 0,66 Prozent (1998) vergrößern. Und stellt man die Zahl publizierter Artikel - also den Output - dem "Input an Personal" in der universitären und außeruniversitären Forschung gegenüber, so liegt Österreichs Effizienz im Mittelfeld, noch vor Deutschland und Frankreich.
Aufgeschlüsselt nach Universitäten liegen allerdings keine Daten vor: Zwar gibt es die Institutsberichte und andere einschlägige Dokumentationen der Forschungsleistungen - standardisierte Instituts-, Fakultäts-, Disziplinen- oder Universitätsvergleiche fehlen jedoch noch. Das sollte sich in absehbarer Zukunft ändern: Denn spätestens mit der geplanten Vollrechtsfähigkeit und den Leistungsverträgen zwischen Universität und Ministerium wird es für die Universitäten auch nötig, ihren Output nicht nur zu verbessern, sondern auch transparent zu machen.
Evaluationen sollen helfen, diese Transparenz herzustellen. Sie zielen darauf, die Qualität, Effizienz, Relevanz, Langfristigkeit und Effektivität universitärer Forschung abzubilden und zu bewerten. Grundsätzlich unterscheidet man dabei zwei unterschiedliche Methoden: Bei der so genannten "Peer Review", wie sie etwa auch in Begutachtungsverfahren bei Projektanträgen zur Anwendung kommt, beurteilen Wissenschaftler die Qualität der Forschungsarbeit ihrer Kollegen. Die Stärke der "Peer Review" liegt dabei in komplexen und differenzierten Bewertungsergebnissen. Die Schwäche besteht in möglichen subjektiven Vorlieben der Gutachter.
Die andere Bewertungsmöglichkeit bietet so genannte "Indikatoren", durch die sich der Forschungsoutput quantitativ darstellen lässt. Gemessen werden dabei zumeist die Publikationen - beispielsweise die Zahl der Artikel, deren Zitationshäufigkeit, die Zitationshäufigkeiten ("Impact-Factor") der Fachjournale -, aber auch Patente oder drittmittelfinanzierte Projekte. Der Nachteil von Indikatoren kann eine "Oberflächlichkeit" ihrer Aussagen sein.
In der Praxis werden "Peer Review" und Indikatoren häufig miteinander kombiniert. Ein Grundsatz dabei lautet, dass universitäre Forschung derselben Disziplin an verschiedenen universitären Standorten miteinander verglichen wird. Die Gutachter werden dabei immer auch auf Indikatoreninformation angewiesen sein. Und Indikatoren eignen sich wiederum für routinisierte "Monitoring"-Systeme, deren Aufgabe darin besteht, regelmäßige Standardinformation über universitäre Leistung zu liefern.
Großbritannien und die Niederlande sind jene beiden Länder, in denen universitäre Forschung besonders systematisch evaluiert wird. Großbritannien befindet sich gerade im fünften Evaluationszyklus, die Niederlande im zweiten. Im britischen Verfahren, dem so genannten "Research Assessment Exercise", soll vor allem die Qualität universitärer Forschung dargestellt werden. Zentrale Einheit bei dieser "Exercise" sind die vier besten Publikationen pro Wissenschaftler, die jeder Forscher selbst benennt. Auf dieser Basis bewerten die Peers die Forschungsleistung der Universitätsinstitute auf einer siebenteiligen Notenskala. Die Evaluationsergebnisse werden auf Basis von Punkterankings für die Universitätsinstitute veröffentlicht.
In den Niederlanden wird die universitäre Forschungsleistung hingegen nach vier Qualitätsdimensionen überprüft: nach Qualität, Produktivität, Relevanz und "Langfristigkeit". Und auch bei der Veröffentlichung der Ergebnisse legt man großen Wert auf differenzierte Aussagen. Zusätzlich zu den Benotungen formulieren die Peers, die aus dem Ausland kommen, immer auch Empfehlungen.
In Großbritannien fließen die Evaluationsergebnisse direkt in eine Finanzierungsformel, welche das Ausmaß der öffentlichen Grundfinanzierung universitärer Forschung definiert: In England bestimmte diese Formel zuletzt 98 Prozent der Grundfinanzierung. Damit entsteht zwischen den Universitäten eine intensivierte Wettbewerbssituation.
In den Niederlanden gibt es keine direkte Verbindung zwischen Evaluationsergebnissen und öffentlicher Grundfinanzierung: Für wichtige universitäre Entscheidungen sind sie jedoch eine Informationsquelle, die häufig herangezogen wird. Das "sanftere" niederländische Modell zielt vermehrt darauf ab, die Ergebnisse in institutionelle Lernprozesse einzubetten, und scheint daher für Österreich besonders beispielgebend.
Einzelne Disziplinen wurden auch in Österreich bereits evaluiert, und es gibt auch Monitoringverfahren wie etwa die Arbeitsberichte der Institutsvorstände. Die diskutierte Vollrechtsfähigkeit der Universitäten verlangt jedoch eine Weiterentwicklung von Monitoring - etwa im Bereich der Standardisierung von Publikationen. Die andere Herausforderung besteht in noch fehlenden systematischen und flächendeckenden Evaluationszyklen, die auf der Basis des "Peer Review" das gesamte Spektrum universitärer Forschung erfassen.
Konzepte für eine Durchführung solcher Evaluationszyklen liegen bereits vor. Entscheidend ist jetzt die Planung der Umsetzung. Die Konsequenzen von Evaluationen werden immer besonders umstritten sein. Evaluationen sollen letztlich aber vor allem universitätsinterne organisatorische Optimierungen sowie das allgemeine institutionelle Lernpotenzial von Universitäten fördern. Es gibt kein "perfektes" Evaluationssystem. Aber ein Verzicht darauf wäre noch weitaus problematischer.
David Campbell ist Senior Researcher an der Abteilung Politikwissenschaft des Instituts für Höhere Studien (IHS) in Wien. E-Mail: campbell@ihs.ac.at