https://pxhere.com/en/photo/670370

Scraping von “Spiegel Online”-Kommentaren

von Simon Meier-Vieracker
Beitragsbild: https://pxhere.com/de/photo/670370 /// CC0.

Manche Dinge ändern sich im Leben – so auch die Struktur und technische Basis von SPIEGEL ONLINE. Konsequenz der Umstellung der Kommentarbereiche von html auf javascript ist, dass das hier vorgestellte Repositorium nicht mehr für das Scraping von Kommentaren genutzt werden kann. Für dokumentarische Zwecke halten wir aber den Artikel dennoch online und stellen ihn nicht privat. Denn: Auch das Ringen um Datenquellen ist Teil akademischer Praxis. 

Für das Redaktionsteam
Alexander Lasch

Gerade bin ich in Darmstadt zur Jahrestagung der Fachgruppe Mediensprache – Mediendiskurse der DGPuK (Deutsche Gesellschaft für Publizistik und Kommunikationswissenschaft) zum Thema Methoden der Digitale Mediendiskursanalyse. In gefühlt der Hälfte der Beiträge wurde eines der zentralen, aber in den klassischen Theorieframeworks der Medienlinguistik noch wenig berücksichtigte Formate der gegenwärtigen Medienlandschaft thematisiert, nämlich Userkommentare.

Und neben Facebook-Kommentaren waren wohl die Kommentare zu “Spiegel Online”-Artikeln am häufigsten auf den Vortragsslides zu sehen. Offenbar entstehen derzeit (und in Zukunft vermutlich auch) viele Forschungsarbeiten, die sich dieser Quelle bedienen und für die unterschiedlichsten, meist jedoch diskursanalytisch orientierten Fragestellungen nutzbar machen.

Auf meinem GitHub-Account stelle ich ein Repositorium zur Verfügung, das für die Analyse von SPON-Kommentaren wohl von Nutzen sein kann: https://github.com/fussballlinguist/spon_forum

Darin findet man ein Perl-Skript, in dem nur die URL der gewünschten Artikeldiskussion (also die Seite, auf die man gelangt, wenn man bei einem Artikel dem Link “Forum” anklickt) und der gewünschte Zielordner angepasst werden müssen. Dann lädt das Skript alle Kommentare mit allen verfügbaren Metadaten in eine XML-Datei. Perl ist auf allen Unix-Systemen vorinstalliert. Das Skript selbst startet man in der Command Line (auf Windows “Command Prompt” genannt und Perl muss dort auch manuell installiert werden) mit dem Befehl (Pfad anpassen, bei Windows eben mit Backslashes):

perl /Users/SPON/sponforum.pl

Der Dateiname der Outputdatei wird automatisch generiert, es muss nur der Ordner definiert werden. Das Format der ausgegebenen XML-Datei enthält wie gesagt alle verfügbaren Metadaten, ist dafür aber für menschliche Augen schlecht lesbar:

Deshalb empfiehlt sich eine Transformation in ein gut lesbares html-Format, das in Browsern angezeigt werden kann. Dafür gibt es im Repositorium das XSLT-Stylesheet sponforum_to_html.xsl, das das erledigt. In Unix-Systemen geht das wiederum in der Command Line so (Pfade anpassen):

xsltproc Users/SPON/sponforum_to_html.xsl ausgangsdatei.xml > zieldatei.html

Als Ergebnis erhält man eine übersichtliche Tabelle, die sich in jedem Browser anzeigen lässt. Mit einer kleinen Anpassung kann man noch die Links zu den Kommentaren zu funktionierenden Hyperlinks machen, was dann im Ergebnis so aussieht. Wer will, kann von hier den Text in Excel, Google Spreadsheets o.ä. copy-pasten.

Andere wiederum möchten vielleicht Korpusanalyse-Tools wie AntConc oder die Corpus Worksbench verwenden. Dazu kann das XSLT-Stylesheet sponforum_for_antconc.xsl verwendet werden, dass die Metadaten in XML-Attribute verschiebt, damit wirklich nur der eigentliche Text durchsucht wird. Dann kann die Datei in AntConc eingelesen werden. In den Global Settings muss man dann eben noch angeben, dass Tags < > bei der Korpusabfrage nicht berücksichtigt werden sollen.

Das Skript lädt derzeit einfach alle Kommentare zu einem einzigen Artikel. Wer ein wenig die Programmiersprache Perl beherrscht, kann das Script natürlich so erweitern, dass gleich eine ganze Liste mit URLs übergeben werden kann. Aber etwa für Lehrveranstaltungen oder eine kleinere Diskursanalyse zu einem ganz konkreten Thema kann hoffentlich schon das kleine Skript eine Hilfe sein.


Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht.

Diese Website verwendet Akismet, um Spam zu reduzieren. Erfahre mehr darüber, wie deine Kommentardaten verarbeitet werden.

Suche in OpenEdition Search

Sie werden weitergeleitet zur OpenEdition Search