Social Media
for
Crisis
Raum-zeitliche Informationen aus sozialen
Medien für den Katastrophenschutz
Sebastian Drost
Vermessungswesen Aktuell 2018
15.11.2018, Haus der Technik, Essen
Hochwasser 2013 – Vernetzte Selbsthilfe
• Veränderte Rolle von freiwilligen Helfern im Katastrophenfall
– Aktive und dynamische Selbstkoordination von Hilfsmaßnahmen
über soziale Medien
– Volunteered Geographic Information (VGI) als zusätzliche Quelle
für Entscheidungsträger der Katastrophenschutzbehören zur Lage
vor Ort
• Problematische Entwicklungen:
– Verbreitung veralteter, widersprüchlicher und falscher Infos
– Inoffizieller „Führungsstab“ durch Spontanhelfer
• Folgen:
– „Helfernomaden“, die zwischen überfüllten Einsatzorten pendeln
– tlw. Behinderung von Einsatzkräften
– Fehlende Helfer an anderen Einsatzorten
2Sebastian Drost
Forschungsprojekt KUBAS
• Koordination ungebundener vor-Ort-Helfer
zur Abwendung von Schadenslagen
• Herausforderungen im Rahmen des Projekts:
– Koordination von Hilfsangeboten
– Kooperation mit Spontanhelfern vor Ort
– Kommunikation mit freiwilligen Helfern über unterschiedliche
Kanäle
3Sebastian Drost
Ziele von KUBAS
• Zusammenführung der Aktivitäten freiwilliger Helfer mit
Aktivitäten der institutionellen Einsatzkräften
– Einbindung von Helferaktivitäten in bestehende Infrastrukturen
(Einsatzleitsysteme, Funkmeldeempfänger)
– Koordination über diverse Kommunikationskanäle
(E-Mail, SMS, Mobile App)
• Koordinierung von Hilfsangeboten und Hilfsbedarfen
4Sebastian Drost
Nutzen von Social Media Informationen
5Sebastian Drost
„An der Peißnitzbrücke suchen die
Einsatzkräfte noch Helfer zum
Befüllen von Sandsäcken!“
„Morgen um 8.00 Uhr werden in den
Kitas der südl. Innenstadt Helfer für
Aufräumarbeiten benötigt!“
„Wo kann man sich als
freiwilliger Helfer melden im
Stadtgebiet Halle?“
Herausforderungen:
• Abruf von Social Media Nachrichten
• Automatische Filterung von Nachrichten zu Hilfsmaßnahmen
• Lokalisierung der Nachrichten
Potential:
Vorhersage des
möglichen
Auftretens von
Spontanhelfern
an Einsatzorten
➢ Situational
Awareness
Abruf von Social Media Nachrichten
• Facebook Graph API als HTTP-basierte
Schnittstelle zum Abruf von Facebook Posts
1. Definition von Keywords: „Flut“, „Fluthilfe“, „Fluthelfer“,…
2. Suche nach öffentlichen Facebook Gruppen und Seiten
zu den Keywords
3. Abruf von Posts der gefundenen Gruppen und Seiten für
den Zeitraum der Flutereignisse
4. Speichern der Nachrichten im JSON-Format in einer
Datenbank
6Sebastian Drost
Abruf von Social Media Nachrichten
• Posts aus öffentlichen Gruppen und Seiten mit Bezug zur
Hochwasserthematik zwischen dem 01.05.2013 und 31.08.2013
7Sebastian Drost
Abruf von Social Media Nachrichten
• Unterschiedliche Thematiken der Nachrichteninhalte
• Herausforderung: Automatische Filterung von
Nachrichten der Kategorie „relief“
8Sebastian Drost
Nachrichteninhalt Typ Kategorie
„Ich würde gerne helfen, Sandsäcke zu füllen.“ Hilfsangebot relief
“Wir benötigen mehrere Helfer am Hauptbahnhof
in Halle.”Hilfsanfrage relief
“Die Lage am Gimritzer Damm ist für Helfer
aktuell zu gefährlich.”Informationen für Helfer relief
„Der Wasserstand der Saale steigt sehr schnell.” Situationsupdate non relief
“Ich möchte mein tiefstes Mitgefühl für die
Hochwasseropfer aussprechen.”Emotionale Mitteilung non relief
“Wir bieten kostenlos verschiedene
Kleidungsstücke für Kinder an.”Spenden non relief
Nachrichtenfilterung
Ansatz: Textklassifikation durch Supervised Machine Learning
9Sebastian Drost
„Aktuell Helfer in
Dresden gesucht!“
HilfsmaßnahmenKeine
Hilfsmaßnahmen
„Der Elbe-Pegel
ist zurückgegangen.“
„In Gera scheint heute
die Sonne“
„Am Niegripper See
werden Helfer erwartet!“
„Wer hilft beim
Sandsäckeschleppen?“
„Aktuell Helfer in
Dresden gesucht!“
Evaluation Textklassifikation
• Vergleich verschiedener Methoden für Textklassifikation
mit der WEKA Machine Learning Library in R
– Evaluation mittels 10-fold cross-validation
– Gewichtung der Text Features:• binary
• term frequency (tf)
• term frequency-inverse document frequency (tf-idf)
10Sebastian Drost
Text Features Gewicht Precision Recall F1
Decision TreesStopword Removing und
Stemmingbinary 0.706 0.730 0.718
Naive Bayes Stopword Removing binary 0.593 0.835 0.693
Multinomial Naive Bayes Bag-of-Words tf 0.611 0.557 0.583
Support Vector MachinesStopword Removing und
Stemmingbinary 0.767 0.800 0.783
K-Nearest NeighborStopword Removing und
Stemming (k = 7)binary 0.697 0.733 0.715
Georeferenzierung von Posts
• Facebook Posts können Geotags
in den Metadaten enthalten
– Verknüpfung von Posts über das GPS eines
Smartphones mit dem Standort des Users
Problem:
• weniger als 1 % der Facebook Posts enthalten Geotags
Lösung:
• Extraktion von Ortsreferenzen (Toponyme) aus dem
Nachrichteninhalt
• Verknüpfung mit den Koordinaten, die für den Ort in
einem Ortsverzeichnis (Gazetteer) hinterlegt sind
11Sebastian Drost
Geoparsing
• Extraktion von Toponymen aus dem Nachrichteninhalt
– Verwendung von Methoden aus dem Bereich Natural
Language Processing
– Named Entity Recognition zum Auffinden von Eigennamen
12Sebastian Drost
„Aktuell Helfer in Essen gesucht!“
Aktuell Helfer in Essen gesucht
ADJD NN APPR NE VVPP
LOC
Tokens
POS
NER
Message Geocoding
Einfacher Ansatz:
• Suche nach Koordinaten zu einem Toponym in einem
Gazetteer
Herausforderung:
• Auflösen von geo/geo Mehrdeutigkeiten
(Toponym Disambiguation)
– Essen in NRW und Essen (Oldenburg) in Niedersachsen
13Sebastian Drost
Name Latitude Longitude
1 Bochum 51.48033 7.21828
2 Münster 51.95973 7.63137
3 Essen 51.45657 7.01228
4 Essen 52.70000 7.91667
5 ... ... ...?
„Aktuell Helfer in
Essen gesucht!“Essen
GeoNames Conceptual Density
Beispiel: „Helfer werden in Kröllwitz und Gesundbrunnen gebraucht.“
Ziel: Finden der korrekten Bedeutung von Gesundbrunnen
Methode:
1) Auffinden aller Einträge (Bedeutungen)
in der GeoNames DB für die Toponyme
2) Erstellen einer Baumstruktur mittels
Holonym-Beziehungen der Toponyme
und deren übergeordneten Einheiten
3) Ermittlung des Toponyms
mit dem höchsten
Conceptual Density Wert
➢ Gesundbrunnen in Halle
14Sebastian Drost
Social Media for Crisis Plattform
• Open Source Plattform für Social Media Monitoring
• Filtern, Geocoding und Speichern von
katastrophenrelevanten Nachrichten
• Web-basierte Lagekarte für Facebook Posts
15Sebastian Drost https://github.com/SebaDro/SocialMedia4Crisis
Zusammenfassung
• Kombination verschiedener Techniken zum Filtern und
Geokodieren von relevanten Nachrichten aus sozialen
Medien
– Machine Learning: Nachrichtenfilterung
– Natural Language Processing: Geoparsing
– Conceptual Density: Geocoding
• Nutzen für den Katastrophenschutz
– Lagekarte zu aktuellen Ereignissen in sozialen Medien
– Rechtzeitige Lokalisierung von Helferaktivitäten
– Zusätzliche Informationen für Einsatzkräfte
➢ Unterstützung bei der Koordination freiwilliger Helfer
16Sebastian Drost
Literaturhinweise
Baeza-Yates, R., & Ribeiro, B. (2011). Modern information retrieval: The concepts and
technology behind search (Second edition). Harlow: Addison-Wesley/Pearson.
Bundesamt für Bevölkerungsschutz und Katastrophenhilfe (BBK) (2017). Rahmenempfehlungen
für den Einsatz von Social Media im Bevölkerungsschutz.
http://www.bbk.bund.de/SharedDocs/Downloads/BBK/DE/Publikationen/Broschueren_Flyer/
Rahmenempf_Einsatz_Social_Media_BevS.html, Stand: 06.06.2017.
Buscaldi, D., & Rosso, P. (2008). A conceptual density-based approach for the disambiguation
of toponyms. International Journal of Geographical Information Science, 22 (3) (S. 301–313).
Castillo, C. (2016). Big crisis data: Social media in disasters and time-critical situations. New
York: Cambridge University Press.
Ebersbach, A., Glaser, M., & Heigl, R. (2016). Social Web (3. Auflage). Konstanz: UVK
Verlagsgesellschaft GmbH.
Faruqui, M., & Padó, S. (2010). Training and Evaluating a German Named Entity Recognizer
with Semantic Generalization. In: M. Pinkal, I. Rehbein, S. Schulte im WAlde, & A. Storrer
(Hrsg.), Proceedings of the Conference on Natural Language Processing 2010 (S. 129–133).
Feldman, R., & Sanger, J. (2007). The text mining handbook: Advanced approaches in analyzing
unstructured data. Cambridge, New York: Cambridge University Press.
Gelernter, J., & Balaji, S. (2013). An algorithm for local geoparsing of microtext. GeoInformatica,
17 (4) (S. 635–667).
17Sebastian Drost
Literaturhinweise
Habib, M. B., & van Keulen, M. (2013). Toponym Extraction and Disambiguation Enhancement
Using Loops of Feedback. In: A. Fred, J. L. G. Dietz, K. Liu, & J. Filipe (Hrsg.), Knowledge
Discovery, Knowledge Engineering and Knowledge Management. 4th International Joint
Conference (IC3K 2012) (S. 113–129). Berlin, Heidelberg: Springer.
Imran, M., Elbassuoni, S., Castillo, C., Diaz, F., & Meier, P. (2013). Extracting Information
Nuggets from Disaster-Related Messages in Social Media. In: T. Comes, F. Fiedrich, S.
Fortier, J. Geldermann, & L. Yang (Hrsg.), Proceedings of the 10th International ISCRAM
Conference.
Ingersoll, G. S., Morton, T. S., & Farris, A. L. (2013). Taming text: How to find, organize, and
manipulate it. Shelter Island, NY: Manning.
Kaufhold, M.-A., & Reuter, C. (2014). Vernetzte Selbsthilfe in Sozialen Medien am Beispiel des
Hochwassers 2013. i-com, 13 (1) (S. 20–28).
Manning, C. D., Raghavan, P., & Schütze, H. (2009). Introduction to information retrieval
(Reprinted.). Cambridge: Cambridge University Press.
Manning, C. D., Surdeanu, M., Bauer, J., Finkel, J., Bethard, S. J., & McClosky, D. (2014, June).
The Stanford CoreNLP Natural Language Processing Toolkit. In: Association for
Computational Linguistics (ACL) (Hrsg.), Proceedings of 52nd Annual Meeting of the
Association for Computational Linguistics: System Demonstrations (S. 55–60).
18Sebastian Drost
Literaturhinweise
Martin-Luther-Universität Halle-Wittenberg (2016). Gesamtziel von KUBAS. https://kubas.uni-
halle.de/projekt, Stand: 26.09.2017.
Russell, M. A. (2014). Mining the social web: [data mining Facebook, Twitter, Linkedin, Google+,
GitHub, and more] (2. ed.). Beijing: O'Reilly.
Sackmann, S., & Voßschmidt, S. (2016). Das Projekt KUBAS: Koordination ungebundener
Spontanhelfer. Bevölkerungsschutz, 2016 (4) (S. 22–24).
Scheffler, T. (2014). A German Twitter Snapshot. In: N. Calzolari, K. Choukri, T. Declerck, H.
Loftsson, B. Maegaard, J. Mariani, A. Moreno, J. Odijk, & S. Piperidis (Hrsg.), Proceedings of
the Ninth International Conference on Language Resources and Evaluation (LREC 2014) (S.
2284–2288).
Sebastiani, F. (2002). Machine Learning in Automated Text Categorization. ACM Computing
Surveys, 34 (1) (S. 1–47).
Vieweg, S., Hughes, A. L., Starbird, K., & Palen, L. (2010). Microblogging during two natural
hazards events. In: E. Mynatt, D. Schoner, G. Fitzpatrick, S. Hudson, K. Edwards, & T.
Rodden (Hrsg.), Proceedings of the SIGCHI Conference on Human Factors in Computing
Systems (S. 1079–1088). New York, NY, USA: ACM.
Witten, I., Frank, E., Hall, M. A., & Pal, C. J. (2017). Data Mining: Practical Machine Learning
Tools and Techniques. Amsterdam, Niederlande: Elsevier Science.
19Sebastian Drost
Top Related