Wie zuverlässig ist das Peer-Review-Verfahren? Eine Untersuchung der Interrater-Reliabilität von Gutachter*innen auf DGPuK-Tagungen

Thomas Koch; Stefan Geiß

doi:10.5771/2192-4007-2019-2-203

Contents
- Chapter Expand | CollapseAuthorsPage
- Titelei/Inhaltsverzeichnis
- 135–271 FULL PAPER 135–271
  - 135–170 The normative value of political entertainment: Deliberative antecedents and consequences of media users’ entertainment experiences Carina Weinmann Carina Weinmann 135–170
  - 171–202 Zwischen Kumulus und Curriculum. Bestandsaufnahme der Rahmenbedingungen für kommunikationswissenschaftliche Promotionen im deutschsprachigen Raum Annekatrin Bock, Isabelle Borucki, Denise Sommer, Christian Strippel Annekatrin Bock, Isabelle Borucki, Denise Sommer, Christian Strippel 171–202
  - 203–235 Wie zuverlässig ist das Peer-Review-Verfahren? Eine Untersuchung der Interrater-Reliabilität von Gutachter*innen auf DGPuK-Tagungen Thomas Koch, Stefan Geiß Thomas Koch, Stefan Geiß 203–235
  - 236–271 Was steigert die Facebook-Resonanz? Eine Analyse der Likes, Shares und Comments im Schweizer Wahlkampf 2015 Anna Staender, Nicole Ernst, Desiree Steppat Anna Staender, Nicole Ernst, Desiree Steppat 236–271
- 272–285 RESEARCH-IN-BRIEF 272–285
  - Wie beurteilen unterschiedliche Meinungslager die Medienberichterstattung zur „Flüchtlingskrise“? Ergebnisse einer Untersuchung zu Hostile-Media-Wahrnehmungen Milena Merten, Marco Dohle Milena Merten, Marco Dohle
Durchsuchen Sie das Werk
Geben Sie ein Keyword in die Suchleiste ein
CC-BY-NC-ND Access

SCM Studies in Communication and Media , page 203 - 235

Wie zuverlässig ist das Peer-Review-Verfahren? Eine Untersuchung der Interrater-Reliabilität von Gutachter*innen auf DGPuK-Tagungen

Autoren

Thomas Koch Stefan Geiß

DOI
- doi.org/10.5771/2192-4007-2019-2-203
- ISSN: 2192-4007
- ISSN online: 2192-4007
Zusammenfassung

Bevor wissenschaftliche Beiträge in Fachzeitschriften publiziert oder auf Tagungen präsentiert werden, überprüfen Herausgeber*innen bzw. Organisator*innen die Qualität der Einreichungen. Dies geschieht zumeist im Peer-Review-Verfahren, bei dem unabhängige Kolleg*innen aus dem gleichen Forschungsgebiet die Einreichung begutachten. Die vorliegende Studie hinterfragt, wie zuverlässig das Review-Verfahren ist. Dazu untersuchen wir die Bewertungen der Einreichungen von DGPuK-Jahrestagungen und der Tagungen der fünf größten Fachgruppen über einen Zeitraum von fünf Jahren. Basierend auf 3537 Reviews von 23 Tagungen analysieren wir Interrater-Reliabilitäten (Krippendorffs á und Brennan und Predigers ê) und Spannweiten über verschiedene Einzelkriterien (Passung, Originalität, Relevanz, Theorie, Methode und Darstellung) und Gesamturteile; zudem fokussieren wir Ursachen von Dissens bzw. Konsens. Die Studie zeigt, dass unter Gutachter*innen durchaus Uneinigkeit besteht: Dies betrifft sowohl die Gesamtwertung als auch alle Einzelwertungskategorien. Die Bildung von Durchschnitten über mehrere Kriterien hinweg erhöht jedoch die Übereinstimmung der Urteile. Abschließend diskutieren wir Ideen, um Begutachtungsverfahren zukünftig zu verbessern.
Share