Krise des Peer-Review? Auch in der Mathematik? Gespräch mit Professor Dr. Achim Ilchmann, Institut für Mathematik der Technischen Universität Ilmenau

In der Corona-Krise sind insbesondere aus den Biowissenschaften Zweifel am Sinn des Peer-Review-Prozesses vernehmbar. Das Begutachtungsverfahren verlangsame den Forschungsprozess, sei unzuverlässig, intransparent und manipulationsanfällig, lautet der Vorwurf.[1] Sören Auer, der Direktor der Technischen Informationsbibliothek Hannover sieht unabhängig von der aktuellen Krise einen „qualitativen Mangel“ beim Peer-Review (“Forschung und Lehre” vom 5.2.2020).

Achim Ilchmann bestreitet aus seiner Perspektive, dass hier ein grundlegendes Problem vorläge. Er ist tätig als Associate Editor bei der Zeitschrift Mathematics of Control, Signals, and Systems (Springer) und als Reviewer für die Zeitschriften Systems & Control Letters (Elsevier), SIAM Journal on Control and Optimization (Society for Industrial and Applied Mathematics) oder IEEE Transactions on Automatic Control (Institute of Electrical and Electronics Engineers).

Sehen Sie eine Krise des Peer-Review-Prozesses in der Mathematik?

Nein, sehe ich nicht. Ich halte Peer Reviewing in der Mathematik für eine produktive Sache. Die Artikel werden dadurch wesentlich besser. Die Zeitschriften bekommen Renommee. Auch quantitativ ist die Menge der eingereichten Manuskripte zu bewältigen.

Wie verläuft der Prozess genau?

Eingereicht wird ein Artikel beim Editor in Chief, der reicht ihn an einen der dreißig Associate Editors weiter, möglichst denjenigen, der sich auf dem Spezialgebiet gut auskennt. Der Associate Editor bestimmt die Reviewers und versendet das Manuskript (Single Blind). Er gibt bei der Weitergabe eine zeitliche Frist vor. Die kann bei einem sehr langen und schwierigen Manuskript schon mal drei Monate sein. Bei Mathematics of Control, Signals, and Systems (MCSS) dauert der gesamte Prozess von der Einreichung des Manuskripts bis zur Annahme durchschnittlich 400 Tage. Wenn der Autor seinen Beitrag Open Access publizieren will, muss er noch 2100 € aufbringen.

Wie gut funktioniert die Gutachtersuche?

Das Softwareprogramm, der Editorial Manager, liefert eine Vorauswahl von möglichen Gutachtern. Dort sind Kollegen gelistet, die schon einmal an einem Verfahren teilgenommen haben und für ein bestimmtes Spezialgebiet in Frage kommen. Wenn ich die Kollegen konkret anschreibe, bekomme ich vielleicht in einem Drittel der Fälle Absagen, oft aber gleich mit Vorschlägen, wer ersatzweise in Frage käme. Mehr Nerven kosten diejenigen, die gar nicht antworten und mich lange im Ungewissen lassen. Aber dann fragt man den nächsten auf der Liste. Da muss man natürlich aufpassen, dass die Gutachter nicht schon mal mit dem einreichenden Autor zusammen etwas publiziert haben. Das soll möglichst vermieden werden. Wenn die Gutachten eintreffen, schaut man als Associate Editor noch mal drüber und gibt dann ein Votum ab, zugleich gibt es natürlich eine Rückmeldung an die Autoren.

Kennt man als Editor die potentiellen Gutachter persönlich?

Zum Teil. In erster Linie greife ich schon auf Leute zurück, die ich kenne. Oft weiß ich auch schon genau, wen was besonders interessiert.

Man hört von Zeitschriften, die fünf Gutachten pro Manuskript einholen. Ist das sinnvoll?

Das trifft in meinem Fachgebiet z.B. auf die Zeitschrift IEEE Transactions on Automatic Control zu. Aber das halte ich nicht für angemessen. In der Mathematik ist die Regel: zwei Gutachten.

Wie oft lautet das Urteil des Gutachters „accept as it is“ schon nach der ersten Begutachtung?

Ziemlich selten, in weniger als drei Prozent der Fälle. Die Forderung „major revision“ ist das übliche und betrifft vielleicht 50 Prozent der Fälle. Solche Artikel sieht man dann in der Regel wieder. Der Rest sind Ablehnungen. Das schließt solche ein, die der Associate Editor oder der Editor-in-Chief schon im Vorfeld aussortiert haben, weil in dem Manuskript z.B. nur Simulationen, aber keine Beweise vorkommen. Bei einer Zeitschrift wie Mathematics of Control, Signals, and Systems gehen nur etwa ein Viertel der eingegangenen Manuskripte in die Begutachtung. Das sind, verglichen mit anderen mathematischen Zeitschriften, außerordentlich wenig und es liegt daran, dass MCSS sich auch an Ingenieure wendet.

Gibt es auch Fälle, in denen die Anregungen zur Überarbeitung eines Manuskripts, die der Reviewer formuliert, so essentiell sind, dass der Gutachter eigentlich als Mitautor des endgültigen Artikels geführt werden müsste?

Ja, solche Beispiele gibt es, wenn auch sehr selten. Da hat dann in der Regel der Associate Editor einen entsprechenden Vorschlag gemacht.

Welche Motive haben Wissenschaftler, sich überhaupt als anonymer Gutachter zu beteiligen?

Einerseits ist es das Ethos, der Wissenschaft zu dienen. Andererseits erfährt man von den neuesten Forschungsergebnissen. Man vermerkt die Gutachter-Tätigkeit auch in Bewerbungsschreiben.

Gibt es auch materielle Vergünstigungen?

Bei Gutachten für Zeitschriften kenne ich das gar nicht. Bei Bücher-Gutachten gibt es schon mal einen Gutschein des Verlages oder 500 $. Das kann dann aber auch schon mal drei Wochen Arbeit kosten.

Ist es sinnvoll, wenn Hilfskräfte die Ergebnisse eines Papers nach einem bestimmten Schema auswerten, um dem Gutachter eine Hilfestellung zu geben?

Das mag bei seriellen Studien hier und da helfen, aber in der Mathematik liest man das Abstract und schaut sich die mitgelieferten Keywords an. Es geht fast immer um einen Satz, der bewiesen wird. Den Beweis muss man genau prüfen. Außerdem nimmt man Stellung zur Art der Darstellung, der Vollständigkeit der zitierten Literatur etc. Diesen Prozess kann der Gutachter nicht delegieren. Manchmal gebe ich einem Doktoranden ein Paper zur Begutachtung und schaue es danach nochmal durch. Doktoranden lernen dabei, sie machen es gerne, und für mich ist es eine Hilfe bei der Meinungsbildung.

Ein Vorwurf gegen das Peer Reviewing lautet, dass gelegentlich die Innovationskraft eines Artikels von den Gutachtern nicht erkannt oder sogar bewusst unterdrückt wird.

Dafür kenne ich nur ein einziges Beispiel. Da hat ein Gutachter eine Arbeit mehrmals zur Überarbeitung zurückgegeben und schließlich abgelehnt. Sie ist dann in einem anderen Journal erschienen und wird außerordentlich häufig zitiert. Das sind ganz seltene Ausnahmen.

Das Wissenschaftssystem ist wohl doch vielfältig genug, dass es für ein abgelehntes Manuskript immer eine andere Möglichkeit zur Publikation gibt.

Ja, wir sprechen dann scherzhaft von einem „Not-Journal“ als Alternative.

---

[1] Bernhard Mittermaier: Quo vadis Peer Review? In: bit-online 23, 2020, 2, S. 149–155.

---

---