News aus dem Informationsinfrastrukturprojekt

On Wednesday, December 13, Gabriella Skitalinska successfully defended her PhD thesis titled "Learning to Improve Arguments: Automated Claim Quality Assessment and Optimization".

Being a member of both the former A01, now INF project and working in the field of Natural Language Processing (NLP), Gabriella obtained her PhD from the Faculty of Mathematics/Computer Science (FB 03) with a "summa cum laude". In her research, Gabriella looked at the possibilities to automatically assess argument quality and recommend improvements which may inform downstream applications like writing assistants.

On Wednesday, December 13, Gabriella Skitalinska successfully defended her PhD thesis titled "Learning to Improve Arguments: Automated Claim Quality Assessment and Optimization". In her thesis, she explores the following research question: What makes a good argument and how can we computationally model this knowledge to develop tools supporting individuals in improving their arguments? To do so, she suggests using human revisions of argumentative texts as a basis to understand and model quality characteristics of arguments. In her first paper (Skitalinskaya and Wachmsuth (2023)), she summarized the main challenges of performing argument quality assessments using revision-based corpora covering issues related to the representativeness and reliability of data, topical bias in revision behaviors, appropriate model complexities and architectures, and the need for context when judging argumentative text. As part of her second paper (Skitalinskaya et al. (2021)), she describes how revision histories of argumentative texts can be used to analyze and compare the quality of argumentative texts. Finally, as part of the third paper (Skitalinskaya et al. (2023)), she works towards not only being able to automatically assess but also to optimize argumentative text. Here, she presents an approach that generates multiple candidate optimizations of an argumentative text and then identifies the best one using quality-based reranking.

Beyond her research, Gabriella was actively involved in co-creating WeSIS right from the beginning of the CRC, and took responsibility for implementing many of the systems nowadays features. Together with further A01 members she organized the co-creation process which led to the first prototype successfully reviewed for the second funding phase. Later, she continued both her research and her work on WeSIS in the INF project before joining the working group on NLP of Henning Wachsmuth at the Institute of Artificial Intelligence, Leibniz University Hannover.

For more results of Gabriella’s research, access her publications here.

Contact: Gabriella Skitalinska (g.skitalinska@ai.uni-hannover.de)


Kontakt:
Prof. Dr. Andreas Breiter
SFB 1342: Globale Entwicklungsdynamiken von Sozialpolitik
Mary-Somerville-Straße 5
28359 Bremen
E-Mail: abreiter@ifib.de

EPSA XIII 2023, Glasgow

Auf der 13. Jahreskonferenz der European Political Science Association (EPSA) Ende Juni 2023 in Glasgow stellten Dr. Nils Düpont und Hannes Salzmann ihr aktuelles Paper „The Unforced Force of the Better Argument? Computationally Assessing Arguments in Parliamentary Debates” vor. Gemeinsam mit Gabriella Skitalinska und Prof. Dr. Henning Wachsmuth vom Institut für Künstliche Intelligenz der Leibniz Universität Hannover arbeiten die beiden SFB-Kollegen aus dem INF-Projekt aktuell an der Fertigstellung der Arbeit.

Ihr Artikel befasst sich mit der Analyse von Parlamentsreden hinsichtlich der Menge und der Qualität von Argumenten. Durch die Verwendung einer Kombination von manuellen Annotationen, maschinellem Lernen und vortrainierten Modellen erhoffen sie sich Aufschluss über die Entwicklung von Argumentsqualität über Zeit und die Verbindung zu weiteren Parteifaktoren wie Regierungs- oder Oppositionszugehörigkeit, inhaltliche Positionen oder Status des/der Sprechenden.

Die EPSA zählt mit etwa 1.900 Teilnehmenden im Jahr 2023 zu den größten politikwissenschaftlichen Konferenzen in Europa. Im Panel „Qualities of Parliamentary Speech“ diskutierten die Anwesenden das Paper, das von Prof. Dr. Kenneth Benoit von der London School of Economics kommentiert wurde. Darüber hinaus übernahm Dr. Nils Düpont den Vorsitz und die Diskussionsleitung des Panels „Intra-Party Politics and Position-taking“.

Zuvor hatte Hannes Salzmann die Möglichkeit, ihre Arbeit auf der diesjährigen COMPTEXT-Konferenz im Mai 2023 – ebenfalls in Glasow – vorzustellen und dort Feedback aus dem fachspezifischen 80-köpfigen Kolleg:innen-Kreis zu erhalten.

Die Beschäftigung und der Austausch mit Kolleg:innen über die neuesten Methoden und Ansätze der quantitativen Textanalyse kommt nicht nur den Forschenden, sondern auch dem INF-Projekt zugute. Nach der Fertigstellung und Veröffentlichung des Papers könnten Daten zur durchschnittlichen Argumentsqualität von Regierung und Opposition beispielsweise auch in WeSIS eingefügt werden, um weiteren Aufschluss über die Entstehung von Sozialpolitik zu ermöglichen.


Kontakt:
Dr. Nils Düpont
SFB 1342: Globale Entwicklungsdynamiken von Sozialpolitik
Mary-Somerville-Straße 7
28359 Bremen
Tel.: +49 421 218-57060
E-Mail: duepont@uni-bremen.de

Hannes Salzmann
SFB 1342: Globale Entwicklungsdynamiken von Sozialpolitik
Mary-Somerville-Straße 7
28359 Bremen
Tel.: +49 421 218-57061
E-Mail: h.salzmann@uni-bremen.de

Fälle aus Indien, Nepal und Sierra Leone

Frau Dr. Elena Samonova vom Institut für Geographie der Universität Bremen präsentierte am 28.06.2023 ihre Forschungen zu menschenrechtsbasierten Ansätzen in der Bildungs- und Sozialpolitik.

Anhand ihrer empirischen Feldarbeiten in Indien, Nepal und Sierra Leone zeigte Elena Samonova die Möglichkeiten und Grenzen des Menschenrechtsdiskurses in den Bereich der Sozialpolitik auf. Durch die Festlegung international vereinbarter Normen bieten menschenrechtsbezogene Ansätze eine tragfähigere Grundlage für die Bürgerinnen und Bürger, Ansprüche an ihre Staaten zu stellen und die Staaten in die Pflicht zu nehmen, den Zugang zur Wahrnehmung ihrer sozialen, wirtschaftlichen und politischen Rechte zur Verantwortung zu verbessern.

In ihrem Vortrag argumentierte Elena Samonova, dass die Menschenrechte ein vielstimmiger Diskurs sind, der als polyphones Gebilde verstanden werden sollte, das aus verschiedenen Bedeutungen und Interpretationen besteht. Anhand einer Fallstudie über landwirtschaftliche Zwangsarbeit in Indien und Nepal zeigte sie das Potenzial des Menschenrechtsdiskurses auf, das den Zwangsarbeitern hilft, ihre Handlungsfähigkeit wiederzuerlangen und den Glauben an ihre eigene Menschenwürde wiederherzustellen. Im Kontext struktureller Unterdrückung und systematischer Benachteiligung können sich solche Prozesse positiv auf das Selbstbild auswirken, die Angst, sich der Unterdrückung zu widersetzen, verringern und die in Schuldknechtschaft stehenden Zwangsarbeiter motivieren, ihre Stimme gegen Ungerechtigkeiten zu erheben und nach geeigneten Methoden des Widerstands zu suchen. Es bleibt zwar unklar, ob diese Veränderungen in der Wahrnehmung zur vollständigen Abschaffung der Praxis führen werden, aber dieser Fall hat deutlich gezeigt, dass der Menschenrechtsdiskurs als Instrument zur Stärkung des Widerstands gegen Ungerechtigkeiten an der Basis beitragen kann.

Andererseits zeigte die zweite Fallstudie aus Sierra Leone, dass lokale Interpretationen der Menschenrechte nicht immer ein befreiendes Potenzial haben. Am Beispiel des Rechts auf Bildung argumentierte Elena Samonova, dass der Menschenrechtsdiskurs in Sierra Leone dazu benutzt wird, neoliberale Ansätze in den Bereichen Bildung und Sozialschutz zu rechtfertigen. Darüber hinaus hat ihre Studie die kulturellen und sozialen Spannungen aufgezeigt, die mit einer Berufung auf die Menschenrechte an der Basis verbunden sind. Diese Spannungen hängen mit traditionellen sozialen Hierarchien und einer individualistischen Auslegung der Rechte zusammen, die unter den Menschen in ländlichen Gebieten Sierra Leones weit verbreitet ist und häufig von der Rhetorik der Regierung und großer Geberorganisationen wie der Weltbank unterstützt wird.

Somit wurden das bedeutende Potenzial der Menschenrechte als wirksame Instrumente gegen Armut und Diskriminierung aufgezeigt, aber auch die Herausforderungen herausgearbeitet, die mit der Einführung des Menschenrechtsdiskurses innerhalb der Sozialpolitik verbunden sind.

 

Publikationen

Samonova, Elena. (2022). Human Rights Through the Eyes of Bonded Labourers in India. Journal of Modern Slavery: A Multidisciplinary Exploration of Human Trafficking Solutions, 7(2): 82-96.

Samonova, Elena et al. (2021). “An Empty Bag Cannot Stay Upright: The costs of “free” primary education in Sierra Leone”. International Journal of Educational Development 87: 102500.

Samonova, Elena et al. (2022). Picturing Dangers: Children’s Concepts of Safety and Risks in Rural Sierra Leone. Children and Society 37: 906–924.


Kontakt:
Prof. Dr. Ivo Mossig
SFB 1342: Globale Entwicklungsdynamiken von Sozialpolitik
Mary-Somerville-Straße 7
28359 Bremen
Tel.: +49-421-218 67410
E-Mail: mossig@uni-bremen.de

Hannes Salzmann
Hannes Salzmann
Hannes forscht im Informationsinfrastrukturprojekt zu Parteipositionen und deren Implikation für Sozialpolitik. In seiner Doktorarbeit möchte er hierfür einen neuen Ansatz entwickeln, der auf quantitativer Textanalyse und Natural Language Processing fußt.

Lieber Hannes, was hast du vor dem SFB gemacht, über dich findet man nicht allzu viel im Internet.

Wenn man mich googlet, findet man "Hannes Salzmann, Sand im Getriebe des Kapitals": Ich als Musiker auf der 1. Mai-Demo in Braunschweig. Mit Musik – Gitarre und Gesang – habe ich mir im Nebenjob Geld verdient. Fachlich habe ich in Göttingen studiert. Wobei: Angefangen zu studieren habe ich mit Informationssystemtechnik in Braunschweig. Aber schon im ersten Semester habe ich gemerkt, dass Ingenieursmathe nichts für mich ist, und bin nach Göttingen gezogen, um Politikwissenschaft und VWL zu studieren, Anschließend habe ich einen Master in Politikwissenschaft gemacht, wobei ich mich dabei auf Demokratie- und Parteienforschung konzentriert habe und auf quantitativen Methoden: das ging bis hin zu supervised und unsupervised Machine Learning, Text as Data und quantitative Textanalyse.

Das passt ja sehr gut zu dem, was hier am SFB gefordert wird.

Ja, als ich die Stellenausschreibung gesehen habe, dachte ich: Wow, das passt ja wie die Faust aufs Auge! Ich hatte dann das Glück, die Stelle tatsächlich zu bekommen. Zumal ich mit meiner Partnerin erst vor einem Jahr nach Bremen gezogen war.

Was hat euch den dazu gebracht, ohne Stelle nach Bremen zu ziehen?

Meine Partnerin und ich hatten in verschiedenen Städten studiert. Während der Pandemie haben wir uns gedacht, wird können von überall aus studieren. Wir wollten in den Norden, Hamburg war uns zu groß ­­– also: Bremen. Ich habe dann hier meine Masterarbeit geschrieben und bin im Januar fertig geworden.

Januar 2022? Das war ja optimales Timing mit Blick auf die Stelle im SFB.

Das war unverschämtes Glück. Zumal ich durch die Masterarbeit gemerkt habe, dass mir Forschung unheimlich viel Spaß macht.

Was hast du in deiner Masterarbeit untersucht?

Lobbyismus. Sehr spannend, aber in Deutschland noch untererforscht, weil die Datenlage im Vergleich z.B. zu den USA sehr schlecht ist. 2013 gab es eine Studie auf Europaebene von Heike Klüver. Sie hat sich angesehen, welche Faktoren ausschlaggebend sind für den Erfolg von Lobbyismus: Wie viel Geld hat ein Verband, wie viele Personen kann er mobilisieren und wie viel Information gibt er der Politik? Klüver hat Gesetzesentwürfe und fertige Gesetzestexte verglichen und dazu sämtliche Stellungnahmen von Lobbyverbänden analysiert. Dazu hat sie den Wordfish-Algorithmus benutzt. Der Algorithmus ordnet die Texte auf einer Skala ein – wenn es beispielsweise um den Ausbau von Windkraft geht, zwischen den Extrempositionen a) "So viel Windkraft wie technisch möglich" und b) "Überhaupt keine Windkraft mehr".  Dadurch erhält man, anhand der Textdokumente, eine räumliche Distanz zwischen Akteuren.

Klüver hat dann angenommen, dass Akteure, die auf der gleichen Seite der Skala sind, eine Lobbyismuskoalition abgeschlossen haben. Dann hat sie geschaut: Welche Koalition gewinnt? In welche Richtung bewegt sich der Gesetzestext, bezogen auf den ursprünglichen Entwurf? Anschließend hat sie eine multiple Regression gerechnet mit den Faktoren finanzielle Mittel der Lobbygruppen, Wähler:innenunterstützung und Informationsfluss. Das hat Klüver für 56 Gesetzgebungsverfahren gemacht. Durch die Untersuchung konnte sie einen statistisch signifikanten positiven Zusammenhang zwischen allen drei Variablen und dem Erfolg der Lobbybemühungen nachweisen. Geld besitzt dabei zwar den höchsten Einfluss und Wähler:innenunterstützung den geringsten, die Unterschiede sind jedoch minimal.

In meiner Masterarbeit wollte ich Klüvers Ansatz auf Deutschland übertragen. Ich habe mir einen eigenen Datensatz zur Energiepolitik zusammengesammelt mit rund 1500 Dokumenten. Das war extrem aufwändig, weil es in Deutschland keine zentrale Sammelstelle für Stellungnahmen zu Gesetzesentwürfen und auch keine Veröffentlichungspflicht gibt.

Als ich dann meine Regression gerechnet habe, kam heraus, dass ich 5 Prozent der Varianz zwischen Gesetzentwurf und finalem Gesetzestext erklären kann – es hat sich also im Sinne meines Erkenntnisinteresses überhaupt nicht gelohnt! Ich konnte lediglich zeigen, dass offensichtlich die Datengrundlage in Deutschland unzureichend ist, um so eine Lobbyismus-Analyse durchzuführen.

Hättest du im Rückblick etwas anders gemacht?

Ja, ich würde mein Analysesystem um den „Grad der Nähe“ als Variable erweitern: Wer lediglich eine schriftliche Stellungnahme abgibt, ist recht weit weg von den Entscheidungsgremien, wer aber den Bundesminister persönlich trifft, wird wahrscheinlich weitreichenden Einfluss haben. Ich habe Fälle recherchiert, in denen Lobbyisten sogar in Ausschüssen saßen – auch da kann man von einem großen Einfluss ausgehen.

Außerdem würde ich das Thema stärker eingrenzen: Energiepolitik als Ganzes war zu breit, und der Gesetzestext mit über 300 Seiten zu umfangreich. Die Stellungnahmen haben sich dadurch z.T. auf Abschnitte des Gesetzes bezogen, die relativ wenig miteinander zu tun hatten. Ich hätte besser vorher ein Topic Modelling machen sollen, um einen stärkeren Fokus zu erreichen.

Schön war aber, dass ich durch die automatisierte Analysemethode Textdaten in einer Menge verarbeiten konnte, die händisch nie möglich gewesen wäre.

In deiner jetzigen Arbeit im SFB knüpfst du an diese Erfahrungen und Methoden an: Was hast du genau vor?

Ich bin arbeite jetzt im Informationsinfrastrukturprojekt: Meine Aufgabe wird zunächst sein, Parteiprogramme zu sammeln und zu analysieren. Wir versuchen ja, weltweit Parteipositionen zu bestimmen und ihre Auswirkungen auf Sozialpolitik zu messen. Klassische Wege, Parteipositionen zu bestimmen, sind die Befragung von Expert:innen und die Analyse von Parteiprogrammen. Das hat aber Nachteile: Expert:innen sind nicht immer verfügbar für alle Parteien. Und Parteiprogramme sind keine objektiven Daten, sondern strategische Dokumente: Sie haben den Zweck, die Partei in einer gewünschten Art öffentlich darzustellen, und dienen nicht immer dazu, die Ziele einer Partei realistisch darzustellen. Außerdem kann sich die Position einer Partei im Laufe einer Legislaturperiode ändern.

Daher würde ich gern einen neuen Ansatz entwickeln, Parteipositionen zu messen. Meine erste Idee war über den policy output. Das hat den Schwachpunkt, dass man das nur auf Regierungsparteien anwenden kann …

… im Grunde sogar nur auf alleinregierende Parteien …

Richtig! Man müsste alle Nebenfaktoren, Koalitionspartner, Vetospieler, den Bundesrat usw. herausfiltern. Das ist schwierig.

Es gibt in Deutschland aber ein Archiv mit allen Parlamentsdiskussionen samt Namen und Parteizugehörigkeit der Redner:innen. Ich möchte versuchen, automatisiert ideologischen Positionen aus Parlamentsredebeiträgen zu entnehmen und daraus Parteipositionen herzuleiten. Dazu möchte ich noch mal etwas tiefer einsteigen in die Bereiche Quantitative Textanalyse und Natural Language Processing.

Welchen Zeitraum nimmst du dir vor?

Welchen Zeitraum ich mir anschaue, hängt aber auch von der Art des Algorithmus ab, den ich verwenden werde. Da gibt es mehrere zur Auswahl. Ich bin froh, dass wir im INF-Projekt zwei Informatikerinnen haben, mit denen ich mich über solche Dinge unterhalten kann. Sobald ich weiß, was technisch möglich ist, kann ich besser einschätzen, wie viele Dokumente ich analysieren kann und wieviel Vor- und Nacharbeit nötig sein werden.

Wirst du deine Analyse auf einen Bereich der Sozialpolitik beschränken?

Ich denke, ich werde mir nicht nur sozialpolitische Redebeiträge ansehen, sondern auch andere Bereich berücksichtigen. Bei der Bestimmung der Parteiposition möchte ich von der klassischen Einteilung in links und rechts wegkommen – mir schwebt eine doppelte Skala vor, die eine Libertäre vs. Autoritäre und eine querliegende Marktfreiheitliche vs. soziale Gerechtigkeits Dimension besitzt. Aus einer solchen Einteilung könnte eventuell auch meine Arbeit im SFB profitieren, da eine genauere Bestimmung der sozialpolitischen Position von Parteien auch besseren Aufschluss über den dementsprechenden Einfluss auf Sozialpolitik ermöglichen könnte. Dadurch hoffe ich, zwischen meiner Dissertation und meiner Projektarbeit weitere positive Synergieeffekte schaffen zu können.


Kontakt:
Hannes Salzmann
SFB 1342: Globale Entwicklungsdynamiken von Sozialpolitik
Mary-Somerville-Straße 7
28359 Bremen
Tel.: +49 421 218-57061
E-Mail: h.salzmann@uni-bremen.de