Data Science: Memahami Perilaku Sosial Masyarakat Melalui Medsos
-
Upload
ismail-fahmi -
Category
Internet
-
view
324 -
download
2
Transcript of Data Science: Memahami Perilaku Sosial Masyarakat Melalui Medsos
Data Science:Memahami Perilaku Sosial
Masyarakat Melalui MedsosIsmail Fahmi, PhD.Drone Emprit
PT Media Kernels Indonesia
Seminar DwimingguanPusat Penelitian Informatika - LIPI, Bandung
21 Maret 2017
2
1992 – 1997 S1, Teknik Elektro, ITB2003 – 2004 S2, Computational Linguistics, Universitas Groningen, Belanda2004 – 2009 S3, Computational Linguistics, Universitas Groningen, Belanda
2000 – 2003 Inisiator IndonesiaDLN (Digital Library Network pertama di Indonesia)Mengembangkan Ganesha Digital Library (GDL)Mendirikan Knowledge Management Research Group (KMRG) ITBMembangun Digital Library ITB
2009 – Sekarang Engineer di Weborama, Perusahaan berbasis big data (Paris/Amsterdam)2012 – Sekarang Co-Founder Awesometrics, Media Monitoring & Analytics Company2014 – Sekarang Founder PT. Media Kernels Indonesia, a Natural Language Processing Company2015 – Sekarang Konsultan Perpustakaan Nasional, Inisiator Indonesia OneSearch
Ismail Fahmi, PhD.Direktur PT Media Kernels IndonesiaInisiator Indonesia [email protected]
Agenda
• Tentang Drone Emprit (Media Kernels) • Virality dan SNA• Twitterology• Case Study #1• Case Study #2• Case Study #3• Riset: Penyebaran Fake News dan Solusi• Kesimpulan
3
5
Social Media
YouTube
Sear
ch +
JSO
N
Detik (ID)
Reuters (EN)
Etc..RSS
+ H
TML
Gatra (ID)
Bloomberg (EN)
Etc..
HTM
L
Kaskus
Detik Forum
Etc..
HTM
L
Online News
Forums
Twitter Stream
JSO
N
Kompas
TEX
T
Warta Ekonomi
Etc..
PUSH
JSO
NSubscriber
Projects Storage
Search + AccountCrawler
RSS + HTMLCrawler
HTML Crawler
HTML Crawler
SOLR NodesShard 1
SOLR NodesShard N
Index Servers
Redis Queue
Cache Manager
Mentions Storage
Keywords + Accounts Filters
deletes
Sentiment Analysis
Sentiment Models
Backtrack Filters
Sentiment Analysis
Analyses
Control Room Screens
Smart phones, tablets
Desktops
Client(s)
Converter
System Architecture
Network Architecture
6
Database &Main Server
Hot Master SOLR Server
Crawler & Analytics 1
Crawler & Analytics 2
Crawler & Redis Server
Hot ArchiveSOLR Server
Database &Backup Server
• MK Dashboard• Mysql DB
(OPTIONAL)• MK Dashboard (backup)• Mysql DB (backup)
• All Shards SOLR Server (fordashboard queries)
• Active Shard SOLR Server (master)
• Store & Replicationonly
• Active Shard SOLR Server (slave)
• Twitter Crawler (max400 keywords)
• Facebook Crawler• Analytics Engine
(OPTIONAL)• Active Shard SOLR
Server (slave)• Twitter Crawler (max
400 keywords)• Facebook Crawler• News Crawler• Analytics Engine
• Twitter Crawler (max400 keywords)
• Facebook Crawler• News Crawler• Instagram Crawler• Youtube Crawler• Redis server
A complete Media Kernerls implementation requires minimum 5 servers
Virality dan Social Network AnalysisMelihat Peta Percakapan, Aktor, Relasi, dan Agenda di Media Sosial
7
Twitter: Kanal Deteksi Isu
• Kondisi saat ini:• Hanya Twitter yang masih menyediakan fasilitas ‘search’ ke seluruh
status/twit yang dimilikinya.• Facebook dan Instagram hanya menyediakan akses terhadap Public
Page saja.• WhatsApp tidak dapat ditangkap percakapan di dalamnya.
• Namun, melihat pola virality dan resonansi antar platform media sosial, kita bisa menggunakan Twitter sebagai ‘proxy’ untuk mengetahui apa yang terjadi di sosial media.
9
SNA: Social Network Analysis
• SNA adalah pemetaan terhadap relasi antar orang, organisasi, topik, lokasi, dan entitas informasi lainnya.• Node atau titik di dalam
jaringan menggambarkan orang, organisasi, lokasi, atau entitas informasi.• Garis sambungan antar titik
menggambarkan relasi antar titik.
10
Post-truth
16
Di era post-truth, orang tidakmencari kebenaran, tetapimencari affirmasi, konfirmasi, dan dukungan terhadapkeyakinan yang dimilikinya.
29
1 23
4
5
1
2
Arrahmahnews.com*Gara-gara Dukung Ahok, Jenazah Nenek 78 TahunDilarang Dishalatkan di Mushala*
3
4
5
Resonansi Isu dari Media Online ke Media Sosial10 – 11 Maret (dari jam ke jam)
Kumparan.comKesaksian Warga Setiabudi TentangJenazah Nenek Hindun yangDisalatkan
Tabloidbintang.comJenazah Nenek 78Tahun IniDilarang Dishalatkan diMushalaKarena Semasa Hidup MendukungAhok
30
12
3 4
1 Portal-islam.idBANTAHHOAXAHOKER,Kesaksian Warga Tentang JenazahNenek Hindun:Dishalatkan,Pemandi Mayat Malah dari PKS
2
3
Kumparan.comKeluarga:Jenazah NenekHindun Tetap Disalatkandan Diurus
4 Jawapos.comPolisi:Tidak Benar Warga TolakSalatkan Jenazah NenekHindun karena Dukung Ahok
Tirto.idSengkarut Pilkada DKIPadaJenazah Nenek Hindun
Resonansi Isu dari Media Online ke Media Sosial12 – 13 Maret (dari jam ke jam)
33
Media menjadi sumber utama proses cross-checking di forum Anti Hoax.
Ini menandakan, peran media masih sangat penting:• Menjadi produser
hoax• Menjadi hoax
buster
HasilpenelitiandarisebuahTimdariUniversitasKolumbia:DiTwittersphere,titik ungu =orangyg menyebar berita hoax.Titik kuning =orangyangmengcounter.Ternyata:diclusterkanan (tanpa counter)hoaxmenyebar luar biasa,diclusterkiri (dg2counter)hoaxlebih sedikit disebar.
Penelitian Hoax Buster
Hoax Buster
Google + Facebook = CrossCheck
39
CrossCheck:• Bring together
expertise from media and technology industries
• To debunk hoaxes, rumors and false claims
• To report misleading or confusing stories accurately.
CrossCheck
40
Masyarakat lapor dan bertanya tentang kemungkinan hoax dari:• Link berita dari
sebuah situs• Konten dari media
sosial
Wartawan dari berbagai media, lokal dan nasional yang bergabung, melakukan crosscheck dengan berbagi:• Informasi• Sumber daya• Pengalaman
Masyarakat mencari dan membaca laporan hasil crosscheck
Portal CrossCheck
Wartawanmenggunakan laporan hasil crosscheck sebagai sumber berita di situs masing-masing.
Road Map IOS
43
Tahap 1 (2015): OneSearch Portal
OneSearch Portal (Bibliografi)
• Software Indonesia OneSearch
• Harvesting data bibliografi• Protokol standard OAI-PMH• Repository: Katalog buku,
Jurnal Online, Repositoridigital
Tahap 2 (2016-2017): Text Analysis
Text Analysis (Full Teks)
• Crawling fullteks (PDF) TA, tesis, disertasi, laporan penelitin, danartikel jurnal dari Intitusi di Indonesia.
• Text analysis menggunakanteknologi NLP (Natural Language Processing)
• Information Extraction & Knowledge Mapping berbasisNLP
• Research Mapping antar Institusi
Tahap 3 (2018-2020): Layanan Anti PlagiarismNo Plagiarism (Services)
• Sistem dan LayananNoPlagiarism untuk karyaberbahasa Indonesia.
• Sumber: Wikipedia (Bahasa Indonesia), Online News, TA, Tesis, Disertasi, artikel jurnal, laporan penelitian (open access)
• Layanan online plagiarism checking untuk mahasiswa danpeneliti di Indonesia
Teknologi NLP
• Segmentation• Part-Of-Speech (POS) Tagging• Automatic Term Recognition (ATR)• Named Entity Recognition (NER)• Term Relationship Extraction• Syntax Analysis (S-P-O)
48
Unstructured Text
49
KANZ PHILOSOPHIA, Volume 3, Number 2, December 2013 201
KEWALIAN DALAM TASAWUF NUSANTARA
Artikel ini mendiskusikan dokrin Kewalian (al-walāyah) yang mempunyai basis yang kuatdalam al-Qur’an dan hadis dan isu ini secara sistematis dibahas melalui ajaran Ibn ‘Arabiyang kompleks.
Sementara dalam kajian tasawuf di Nusantara, sebutan wali ini sudah mulai dikenalbersamaan dengan masuknya Islam ke negeri ini yang mengacu kepada dua pengertian, wali sebagai orang yang memiliki kesaktian-kesaktian (occulties) sebagai implikasi darikekeramatan dan wali sebagai penguasa wilayah tertentu. Terlepas dari pengertian dancakupannya, ajaran kewalian yang sesungguhnya tidak lepas dari ajaran tentang kenabiandan kerasulan yang menyiratkan pesan bahwa dunia manusia bukan hanya dunia material yang identik dengan kenikmatan hedonis, tetapi di balik dunia fi sik terdapat dunia metafisik yang belum banyak diketahui manusia dan dari sanalah dunia fisik ini dikendalikan.
Kata-kata Kunci : wali, karamah, Nur Muhammad, kewalian, kenabian, penutup para waliFakultas Ushuluddin, UIN Syarif Hidayatullah. E-mail : [email protected]
Segmentation
50
=====page1=====-----------par----------KANZ PHILOSOPHIA, Volume 3, Number 2, December 2013 201-----------par----------KEWALIAN DALAM TASAWUF NUSANTARA-----------par----------Artikel ini mendiskusikan dokrin Kewalian (al-walāyah) yang mempunyai basis yang kuat dalam al-Qur’an dan hadis dan isu ini secara sistematis dibahas melalui ajaran Ibn ‘Arabi yang kompleks. -----------par----------Sementara dalam kajian tasawuf di Nusantara, sebutan wali ini sudah mulai dikenal bersamaandengan masuknya Islam ke negeri ini yang mengacu kepada dua pengertian, wali sebagai orang yang memiliki kesaktian-kesaktian (occulties) sebagai implikasi dari kekeramatan dan wali sebagaipenguasa wilayah tertentu. Terlepas dari pengertian dan cakupannya, ajaran kewalian yang sesungguhnya tidak lepas dariajaran tentang kenabian dan kerasulan yang menyiratkan pesan bahwa dunia manusia bukan hanyadunia material yang identik dengan kenikmatan hedonis, tetapi di balik dunia fi sik terdapat duniametafi sik yang belum banyak diketahui manusia dan dari sanalah dunia fi sik ini dikendalikan.-----------par----------Kata-kata Kunci : wali, karamah, Nur Muhammad, kewalian, kenabian, penutup para wali 1 FakultasUshuluddin, UIN Syarif Hidayatullah. E-mail : [email protected]
Part-of-Speech Tagging
51
----------- par ----------Sementara_SC dalam_IN kajian_NN tasawuf_VB di_IN Nusantara_NNP ,_Z sebutan_NNwali_NN ini_PR sudah_MD mulai_VB dikenal_VB bersamaan_VB dengan_IN masuknya_XIslam_NNP ke_IN negeri_NN ini_PR yang_SC mengacu_VB kepada_IN dua_CDpengertian_NN ,_Z wali_NN sebagai_IN orang_NN yang_SC memiliki_VB kesaktian-kesaktian_NN -LRB-_-LRB- occulties_FW -RRB-_-RRB- sebagai_IN implikasi_NN dari_INkekeramatan_NN dan_CC wali_NN sebagai_IN penguasa_NN wilayah_NN tertentu_PR ._Z
Terlepas_VB dari_IN pengertian_NN dan_CC cakupannya_NN ,_Z ajaran_NN kewalian_NNyang_SC sesungguhnya_RB tidak_NEG lepas_VB dari_IN ajaran_NN tentang_INkenabian_NN dan_CC kerasulan_NN yang_SC menyiratkan_VB pesan_NN bahwa_SCdunia_NN manusia_NN bukan_NEG hanya_RB dunia_NN material_NN yang_SC identik_JJdengan_SC kenikmatan_NN hedonis_JJ ,_Z tetapi_CC di_IN balik_NN dunia_NN fi_X sik_Xterdapat_VB dunia_NN metafi_VB sik_X yang_SC belum_NEG banyak_CD diketahui_VBmanusia_NN dan_CC dari_IN sanalah_NN dunia_NN fi_X sik_X ini_PR dikendalikan_VB ._Z
Kesimpulan
• Saat ini hanya Twitter yang bisa diambil datanya untuk mendapat gambaran umum perilaku netizen di media sosial.• Tren virality dan resonansi memungkinkan kita menggunakan Twitter
sebagai proxy untuk membaca pola perilaku netizen di media sosial.• SNA pada data Twitter dapat menggambarkan pola: agreement
(retweet) dan discussion (mention).• Beberapa contoh perilaku netizen terkait isu tertentu dapat
digambarkan oleh hasil analisis Drone Emprit.• Resonansi isu dari media online ke media sosial (dan sebaliknya) dapat
dilihat dari data Drone Emprit.• Penyebaran Fake News dapat ditahan dengan adanya hoax buster dan
situs fact check.
59