@article{2024:rieger:fewshot_l,
title = {Few-shot learning for automated content analysis: Efficient coding of arguments and claims in the debate on arms deliveries to Ukraine},
year = {2024},
note = {Pre-Trained Language Models (PLM) auf der Basis von Neuronalen Netzen
in der Transformer-Architektur wurden im Bereich des Natural Language
Processing (NLP) entwickelt und bieten große Möglichkeiten –
insbesondere zur Codierung komplexer semantischer Kategorien in
großen Datensätzen durch überwachtes maschinelles Lernen – zur
Verbesserung der automatischen Inhaltsanalyse in den
Kommunikationswissenschaften. Drei Faktoren verhinderten jedoch eine
breite Nutzung der Methoden in den anwendenden Disziplinen: die
Dominanz englischsprachiger Modelle in der NLP-Forschung, die
erforderlichen Rechenressourcen und der hohe Bedarf an Trainingsdaten
für das Fine-Tuning der PLMs. In der vorliegenden Studie gehen wir
diese Herausforderungen an, indem wir ein mehrsprachiges
Transformer-Modell in Kombination mit der Adapter-Erweiterung und
Few-Shot-Lernverfahren verwenden. Wir testen unseren Ansatz an einem
realistischen Anwendungsfall aus der Kommunikationswissenschaft zur
automatischen Erkennung von Forderungen und Argumenten sowie deren
Haltung in der deutschen Mediendebatte über Waffenlieferungen an die
Ukraine. In drei Experimenten evaluieren wir (1) verschiedene
Datenvorverarbeitungsstrategien und Modellvarianten für diese
Aufgabe, (2) die Performanz verschiedener Few-Shot-Lernmethoden, und
(3) wie gut das beste Setup bei unterschiedlichen Trainingsmengen in
Bezug auf Validität, Reliabilität, Replizierbarkeit und
Reproduzierbarkeit der Ergebnisse abschneidet. Wir können zeigen,
dass die von uns vorgeschlagene Kombination von Transformer-Adaptern
mit Pattern-Exploiting-Training eine parametereffiziente und leicht zu
teilende Alternative zum vollständigen Fine-Tuning von PLMs
darstellt. Sie ist in Bezug auf die Validität gleichwertig und bietet
insgesamt bessere Eigenschaften für die Anwendung in den
Kommunikationswissenschaften. Die Ergebnisse zeigen auch, dass das
Pre-Fine-Tuning für eine interessierende Fragestellung auf einem
inhaltlich verwandtem Datensatz zu einer erheblichen Steigerung der
Validität führt, insbesondere im Falle weniger Trainingsdaten.
Darüber hinaus zeigen die Ergebnisse, dass es sinnvoll ist, den
verwendeten Datensatz hinsichtlich der Haltungen prominenter Personen
zu bereinigen.},
journal = {SCM Studies in Communication and Media},
pages = {72--100},
author = {Rieger, Jonas and Yanchenko, Kostiantyn and Ruckdeschel, Mattes and von Nordheim, Gerret and Königslöw, Katharina Kleinen-von and Wiedemann, Gregor},
volume = {13},
number = {1}
}