Few-shot learning for automated content analysis: Efficient coding of arguments and claims in the debate on arms deliveries to Ukraine

Jonas Rieger; Kostiantyn Yanchenko; Mattes Ruckdeschel; Gerret von Nordheim; Katharina Kleinen-von Königslöw; Gregor Wiedemann

doi:10.5771/2192-4007-2024-1-72

Contents
- Chapter Expand | CollapseAuthorsPage
- Titelei/Inhaltsverzeichnis
- 1–7 EDITORIAL Christine Lohmeier, Oliver Raaz, Julia Metag, Constanze Rossmann, Kerstin Thummes Christine Lohmeier, Oliver Raaz, Julia Metag, Constanze Rossmann, Kerstin Thummes 1–7
- 8–37 FULL PAPER 8–37
  - Qualität der Berichterstattung über sexuellen Kindesmissbrauch an der Odenwaldschule: Ein empirischer Vergleich zwischen Qualitäts- und Boulevardpresse Nicola Döring, Roberto Walter Nicola Döring, Roberto Walter
- 38–45 EXTENDED ABSTRACT 38–45
  - Qualität der Berichterstattung über sexuellen Kindesmissbrauch an der Odenwaldschule: Ein empirischer Vergleich zwischen Qualitäts- und Boulevardpresse Nicola Döring, Roberto Walter Nicola Döring, Roberto Walter
- 46–124 FULL PAPER 46–124
  - 46–71 In a reciprocal relationship? Examining the development and relationship between media trust and satisfaction with the government’s Coronavirus policy in Germany over time Dorothee Arlt Dorothee Arlt 46–71
  - 72–100 Few-shot learning for automated content analysis: Efficient coding of arguments and claims in the debate on arms deliveries to Ukraine Jonas Rieger, Kostiantyn Yanchenko, Mattes Ruckdeschel, Gerret von Nordheim, Katharina Kleinen-von Königslöw, Gregor Wiedemann Jonas Rieger, Kostiantyn Yanchenko, Mattes Ruckdeschel, Gerret von Nordheim, Katharina Kleinen-von Königslöw, Gregor Wiedemann 72–100
  - 101–124 Developing a synthetic news corpus to validate generic frame detection methods Chung-hong Chan, Rainer Freudenthaler, Philipp Müller Chung-hong Chan, Rainer Freudenthaler, Philipp Müller 101–124
Durchsuchen Sie das Werk
Geben Sie ein Keyword in die Suchleiste ein
CC-BY-NC-ND Access

SCM Studies in Communication and Media , page 72 - 100

Few-shot learning for automated content analysis: Efficient coding of arguments and claims in the debate on arms deliveries to Ukraine

Autoren

Jonas Rieger Kostiantyn Yanchenko Mattes Ruckdeschel Gerret von Nordheim Katharina Kleinen-von Königslöw Gregor Wiedemann

DOI
- doi.org/10.5771/2192-4007-2024-1-72
- ISSN: 2192-4007
- ISSN online: 2192-4007
Zusammenfassung

Pre-Trained Language Models (PLM) auf der Basis von Neuronalen Netzen in der Transformer-Architektur wurden im Bereich des Natural Language Processing (NLP) entwickelt und bieten große Möglichkeiten – insbesondere zur Codierung komplexer semantischer Kategorien in großen Datensätzen durch überwachtes maschinelles Lernen – zur Verbesserung der automatischen Inhaltsanalyse in den Kommunikationswissenschaften. Drei Faktoren verhinderten jedoch eine breite Nutzung der Methoden in den anwendenden Disziplinen: die Dominanz englischsprachiger Modelle in der NLP-Forschung, die erforderlichen Rechenressourcen und der hohe Bedarf an Trainingsdaten für das Fine-Tuning der PLMs. In der vorliegenden Studie gehen wir diese Herausforderungen an, indem wir ein mehrsprachiges Transformer-Modell in Kombination mit der Adapter-Erweiterung und Few-Shot-Lernverfahren verwenden. Wir testen unseren Ansatz an einem realistischen Anwendungsfall aus der Kommunikationswissenschaft zur automatischen Erkennung von Forderungen und Argumenten sowie deren Haltung in der deutschen Mediendebatte über Waffenlieferungen an die Ukraine. In drei Experimenten evaluieren wir (1) verschiedene Datenvorverarbeitungsstrategien und Modellvarianten für diese Aufgabe, (2) die Performanz verschiedener Few-Shot-Lernmethoden, und (3) wie gut das beste Setup bei unterschiedlichen Trainingsmengen in Bezug auf Validität, Reliabilität, Replizierbarkeit und Reproduzierbarkeit der Ergebnisse abschneidet. Wir können zeigen, dass die von uns vorgeschlagene Kombination von Transformer-Adaptern mit Pattern-Exploiting-Training eine parametereffiziente und leicht zu teilende Alternative zum vollständigen Fine-Tuning von PLMs darstellt. Sie ist in Bezug auf die Validität gleichwertig und bietet insgesamt bessere Eigenschaften für die Anwendung in den Kommunikationswissenschaften. Die Ergebnisse zeigen auch, dass das Pre-Fine-Tuning für eine interessierende Fragestellung auf einem inhaltlich verwandtem Datensatz zu einer erheblichen Steigerung der Validität führt, insbesondere im Falle weniger Trainingsdaten. Darüber hinaus zeigen die Ergebnisse, dass es sinnvoll ist, den verwendeten Datensatz hinsichtlich der Haltungen prominenter Personen zu bereinigen.

Abstract

Pre-trained language models (PLM) based on transformer neural networks developed in the field of natural language processing (NLP) offer great opportunities to improve automatic content analysis in communication science, especially for the coding of complex semantic categories in large datasets via supervised machine learning. However, three characteristics so far impeded the widespread adoption of the methods in the applying disciplines: the dominance of English language models in NLP research, the necessary computing resources, and the effort required to produce training data to fine-tune PLMs. In this study, we address these challenges by using a multilingual transformer model in combination with the adapter extension to transformers, and few-shot learning methods. We test our approach on a realistic use case from communication science to automatically detect claims and arguments together with their stance in the German news debate on arms deliveries to Ukraine. In three experiments, we evaluate (1) data preprocessing strategies and model variants for this task, (2) the performance of different few-shot learning methods, and (3) how well the best setup performs on varying training set sizes in terms of validity, reliability, replicability and reproducibility of the results. We find that our proposed combination of transformer adapters with pattern exploiting training provides a parameter-efficient and easily shareable alternative to fully fine-tuning PLMs. It performs on par in terms of validity, while overall, provides better properties for application in communication studies. The results also show that pre-fine-tuning for a task on a near-domain dataset leads to substantial improvement, in particular in the few-shot setting. Further, the results indicate that it is useful to bias the dataset away from the viewpoints of specific prominent individuals.
Share