輿情分析 創造數據新價值 -...
82
Transcript of 輿情分析 創造數據新價值 -...
關於我
• 大數軟體有限公司創辦人
• 前趨勢科技工程師
• 大數學堂
http://www.largitdata.com/
• 粉絲頁
https://www.facebook.com/largitdata
• R for Data Science Cookbook
https://www.packtpub.com/big-data-and-business-
intelligence/r-data-science-cookbook
• Machine Learning With R Cookbook
https://www.packtpub.com/big-data-and-business-
intelligence/machine-learning-r-cookbook
Machine Learning With R Cookbook (机器学习与R语言实战) & R for Data Science Cookbook
Author: Yu-Wei (David) Chiu
社群媒體的興起
讓訊息的傳遞無遠弗屆
善用社群媒體
水能載舟，亦能覆舟
社群時代
公關危機處理您做好了嗎?
即使是再小的聲音
都可以讓危機在網路世界快速散佈
台灣拉糖選手出國比賽被航警破壞作品，航警後續
處理賠償2萬元！
你周遭的所有新聞-都在網路實境上演
咖啡連鎖店棄光泉換味全網友：不喝了！
超越499之亂！麥當勞買一送一店員：奧客多到崩潰
傳統的傳播模式
傳統的監測模式
傳統的監測模式
這是你看到的新聞
這是你看到的新聞
這是實際上發生的事
摘自「從求職天眼通負評事件，談企業應該預先準備好的社群公關危機策略」
負評的
即時動態大咖的動向
負評有無擴
散的跡象
誰是關鍵人
物
社群時代 – 公關危機處理策略不可少
事件爆發六小時內即時分析輿情
處理危機看到轉機
輿情系統架構
分散式CrawlerA2 等級-將近1T 流量
NoSQL StorageA2 等級-將近1T 流量
Search EngineA2 等級-將近500G 流量
ApplicationD2 等級- InfoMinerD1等級 - ETL 機
ETL
即時蒐集網路輿情透過分散式爬蟲每五分鐘蒐集最新輿情
唯有即時監控、處理危機才能避免公關危機
即時警示訊息只通知你每天最重要的大事
自動摘要當天重要新聞並透過EMAIL通知權責單位
如何快速整合分析不同的資料源
傳統分析著重在於
結構化資料分析
星星代表的意義?
內部的評論反應使用者的真正感覺?
But the serious problem is that there's no navigating bar supported
for Mac OsX
如何從大量的文字資料中
找出重點資訊?
從文字中挖掘價值
引用自壹週刊 2015/09/02 封面故事:http://www.nextmag.com.tw/magazine/news/20150902/25253358
當然，網路聲量解決不了任何問題
如何讓電腦讀懂文字?
把文字當數學問題解決
詞頻矩陣
文章單詞
s = "大巨蛋案對市府同仁下封口令？柯P否認"s1 = "柯P市府近來飽受大巨蛋爭議"
柯P vs 柯文哲
當柯P遇上柯文哲
同義詞建置
使用Word2Vec找出同義詞
Word2Vec 根據文字的脈絡，將文字轉換到一Ｋ維度空間，並藉由判斷文字於該向量空間的距離，判斷字詞之間的相似度
車道,ㄔㄜㄉㄠˋ,车行道,车道,行車線,車行道,車道,行车线避震器,ㄅㄧˋㄓㄣˋㄑㄧˋ,避震器,阻尼器渦輪,ㄨㄛㄌㄨㄣˊ,Turbine engine,渦輪發動機,涡轮,涡轮发动机,渦輪,透平,Turbine馬達,ㄇㄚˇㄉㄚˊ,摩打,馬達,电动马达,電動馬達,电动机,電動機,马达後照鏡,ㄏㄡˋㄓㄠˋㄐㄧㄥˋ,照后镜,後照鏡,后视镜,後視鏡,照後鏡,后照镜引擎,ㄧㄣˇㄑㄧㄥˊ,壓縮,排氣,排气,外燃機,压缩,機,内燃机,往復活塞式,進氣,动力,內燃機,引擎,旋转式,发动机,動力機,进气,旋轉式,机,动力机,往复活塞式,外燃机,動力煞車,ㄕㄚㄔㄜ,刹车,剎車,煞車,制动
機器學習
機器學習
創造新應用
正負情緒比(P/N Ratio)?
理解語意如何為文章畫上重點
自動摘要句子
為所有類似句子貼上同一摘要敘述
動力輸出順暢
发动机也能很快将动力传递到车轮上整个动力的输出就十分顺畅了再配合顺畅的动力输出和清晰的方向盘路感回馈覺得動力還蠻不錯外觀漂亮、動力不錯；懸掛感受無論駕乘都比較舒適
給定一個歸納後的標籤敘述
使用dependency parser
熱門議題摘要
大數據找出今天話題度排名高的人事物及相關分析
熱門議題摘要
大數據智慧語意分析￭每日熱門議題分群 ￭熱門關鍵字解析 ￭多報表解析 ￭自訂關鍵字組 ￭議題分群及解析
文大宿舍爭議案
文大宿舍爭議討論聲量
6/20,21 與 7/3 達到聲量高點7/3 [爆卦] 侯友宜：會與文大解約引起最多人討論
[ＦＢ] 文化大學大群館剝削學生居住權益事證
6/20 討論主題
笑死！文大學生講不出宿舍哪裡爛這個節目惱羞了
6/21 因為文大學生上綠黨節目講不出宿舍哪裡爛﹐廣泛引起討論
[爆卦] 侯友宜：會與文大解約
7/03 引發最多人討論的注目發言
文大宿舍爭議討論來源分析
7/3 之前都只有媒體在炒作該新聞7/3 [爆卦] 侯友宜：會與文大解約引起PTT真正廣泛討論該事件
文大宿舍爭議頻道來源分析
其中以PTT八掛版上擁有最多的討論數
文大宿舍爭議情緒分析
雙方正負攻防皆有，但普遍保持負面態度
文大宿舍爭議熱詞分析
普遍關鍵字為大群館，侯友宜，蘇貞昌，文大
文大宿舍爭議地理分析
多半討論熱點來自台灣但摻雜許多國外IP
議題懶人包
使用機器學習快速歸納主題
選舉輿情分析案例
韓國瑜政策討論聲量
母語說，受到最多人討論
韓國瑜政策正負情緒比
討論負向情緒高漲，但越罵聲勢越旺
韓國瑜政策社群討論度
母語說受到最多網民討論
韓國瑜討論聲量
相關文章都能引起網民廣泛討論
韓國瑜談立場
整理出重點立場談話
韓國瑜談經濟
整理出重點經濟談話
熱門人物排行
韓國瑜是近期討論的焦點
我現在也是網紅
我現在也是網紅
[高雄市長選情] 從大數據看韓國瑜
https://www.largitdata.com/blog/category/韓國瑜
網路民調分析案例
柯文哲的熱門字詞
丁守中的熱門字詞
我是個佛系候選人
姚文智的熱門關鍵字
我是個愛貓人士
利用情緒判斷民眾態度
柯文哲 丁守中 姚文智
描繪支持者性別柯P女性支持者比例較高
柯文哲 丁守中 姚文智
描繪支持者年齡柯P的支持者都較為年輕
描繪支持者興趣柯P支持者熱愛環保、藝人、遊戲
描繪支持者興趣丁守中支持者以軍警居多
描繪支持者興趣姚文智支持者以泛綠基本盤居多
輿情輔助投資決策
正負向情緒分析
使用Twitter正負評情緒指標判斷進場點
Mao, H., Counts, S., & Bollen, J. (2014). Quantifying the effects of online bullishness on international financial markets. InECBWorkshop on Using Big Data for Forecasting and Statistics,
Frankfurt, Germany.
利用Google Trends 輔助決策
https://www.google.com.tw/trends/
利用Google Trends 輔助決策
Quantifying Trading Behavior in Financial Markets Using Google Trends
Quantifying Wikipedia Usage Patterns Before Stock Market Moves
抓取Google Trend 關於感冒的資訊
https://trends.google.com.tw/trends/explore?q=%E6%84%9F%E5%86%92
根據三周移動平均決定進出
在A 點死亡交叉賣出在B 點黃金交叉買進
Google Trend三周均線
在台灣市場的實證
搜集Google Trends 的資訊
搭配訊息面的佐證
利用輿情訊息發現買賣先機
成功的輿情系統
即時了解網民的言論,避免社群抱怨變成一場公關危機
即時警示 找出意見領袖
了解誰在帶風向，風像往哪邊擴散，才能對症下藥，即時化解危機
強大的領域字典
了解各個領域的專有名詞，消除歧異，讓電腦正確判讀輿情
摘要大量資訊
利用機器學習快速將大量文章摘要出重點文句，讓使用者快速掌握重點資訊
利用內部數據決定成敗，再從輿情數據探討成因，方繩掌握成敗關鍵
與內部資料關聯
文字探勘的限制
歧異
例如：市議會拒絕許可遊行示威，因為他們害怕暴力
例如：特殊性關係 v.s. 特殊性關係
反諷 & 雙關
例如：這不就好棒棒?
例如：碎碎平安
• 穿衣服：冬天能穿多少穿多少，夏天能穿多少穿多少。
• 剩女產生的原因有個：一是誰都看不上，二是誰都看不上。
• 女孩給男朋友打電話：如果你到了我還沒到你就等著吧，如果我到了你還沒到你就等著吧。
• 單身的原因：原來是喜歡一個人，現在是喜歡一個人。
