- 158 -

新 世 代 網 路 應 用

大多數的使用者根本不知道巨量數據 (Big Data)到底是什麼，但不可否認的是巨量數據已經在全球掀起一場驚濤駭浪的討論。根據國外研究機構 IDC的分析，全球上的巨量數據正在以每兩年就翻倍的驚人速度增加中。這些巨量數據中有著珍貴的訊息，像是系統使用的成長趨勢、各系統

之間的相關性、未顯現的資訊可能埋藏著從未有人知道的知識跟應用等著被我們挖掘發現。但由

於巨量數據量太過龐大，流動速度太快，面對不斷擴張的驚人資料量，巨量數據 (Big Data) 的儲存、管理、處理、搜尋、分析與實際應用等處理資料的能力也將面臨新的挑戰，這些並不是傳統

的解決方案，而如何從巨量數據中萃取出那些有價值的 IT資訊，值得我們去進一步探討。

利用巨量資料運算的

即時日誌分析探討

一、 雲端虛擬化系統維運面臨的困難

多數雲端 Data Center的硬體架構都非常複雜，環

境內可能會有數百種不同的技術與裝置來提供商業

服務。依照過去經驗，普遍 IT管理者在這種網路環

境內進行維運時，往往都會遇到很大的問題。通常

一個 IT管理者可能同時負責管理好幾種設備或系

統，未必能夠定期查閱所有設備或系統事件記錄，

於是這樣的不健全維運狀況讓管理者維運上產生很

大的空窗漏洞。縱使雲端運算雖然帶來便利，但同

時也讓 Data Center維運上變得更為複雜，尤其是

當臨時發生系統中斷或效能問題時更是如此。

以下列舉幾項網路維運中最令管理者困擾的問題：

1. 管理者無法全面控管網路設備登入與修改紀錄，

無論面對稽核面或者執行面都是令人困擾的問

題。

2. 管理者無法瞭解網路攻擊狀況，因此更無法做進

一步的即時調整 FW或者 IPS來進行隔離管控。

3. 虛擬化環境發生異狀的狀況時，由於環境內的虛

擬主機眾多，若單純只靠人工進行判斷，需要花

費漫長的時間才能找到問題主機 。

依照過去的經驗，傳統 IT管理者維運上還會常遇到

機房資源的不當利用，資源分配及可用量的查詢困

難。其實主要是因為管理者並沒有即時針對 IT 設備

進行效能及可用性監控，尤其管理者時常為了使資

訊系統能正常運作給予過多的效能，造成多餘的資

源浪費。即使有使用網路監控設備，但其皆各自獨

立，當問題發生時並沒有一個整合平台可以讓管理

者直接進行查詢。這樣不完善的維運機制會使資訊

系統品質並沒有達到最大效益，進一步當然也會影

響到使用者的滿意度。

二、 運用巨量資料分析系統解決維運

的困擾

隨著「虛擬化」、「雲端運算」等技術的逐漸成熟

與企業的大量導入，在一切都要求快速、靈活、彈性

的 IT 維運環境下，傳統使用的網路架構與框架已經

不符使用，不論是在新設備的佈建、設定與維運上都

沒有辦法趕上新 IT 環境的需求。因此每一套 IT系統

或設備上線後，若是要做好完善維運作業，通常需

要仰賴有足夠的資訊來做判斷，例如設備告警紀錄、

系統運作記錄，來釐清設備運作期間是否出現了異常

的事件。假設若系統發生告警狀態，負責的 IT人員

蔡昇宏

- 159 -

虛

擬

化

趨

勢

技

術

資料中心與儲存

資訊安全與防護

新世代網路應用

高效能協作溝通

Network

則需要即時被通知，才能立即設法處理。

依照平均一個企業的日誌事件量一天可能高達幾十

GB，如此高的日誌量傳統解決方案無法做到。因此

以下跟大家分享設備日誌收容示意圖 (圖一 )，該架

構為日前協助客戶建置巨量日誌分析系統於網路攻

擊防護的經驗，提供給讀者參考。

1. 網路設備日誌收集

網路設備除了藉由 Syslog的方式之外，還可以藉

由 NetFlow或者 jFlow的方式將 Flow的資料彙整，

但由於 Flow的資料量很龐大，因此若直接藉由

NetFlow將資料傳至日誌分析系統，會造成系統負擔

過重。因此建議藉由一些套件做第一階段的過濾，

圖一 設備日誌收容示意圖

此專案是使用 nfdump這個套件，該套件可以支援收

集 NetFlow v5,v7,v9、jFlow的資訊，並且可以下參

數將網路設備的 Flow進行彙整或者過濾。進一步利

用撰寫 Script的方式，可排程定時定期將這些數據

匯出成 Text檔案。接著就可以藉由日誌分析系統的

Folder monitoring功能，持續監控產出的數據檔案。

圖二 Nfdump收集示意圖

Filter

tcp and port>1024(net172.16/16 or net 192.168.1/24)andpps > 1000

Output

Text

Binary

-s,-a -A -c-l -L -o

-w

nfdump

nfcapd.2006xx

Input<cmdarg>-f

-r -R -M

Binary

nfcapd.2006xx

- 160 -

新 世 代 網 路 應 用

除了利用第一層 Flow的防禦機制之外，另外我們還

可以藉由 Firewall、IPS、SLB、虛擬化系統的日誌

做更多利用。因為單純藉由單一層次的分析，是沒

有辦法完善阻擋網路攻擊。以下跟大家介紹如何藉

由環境內設備的日誌來做多層次防護。

2. Firewall、IPS

依照過去的經驗當遭受網路攻擊時，幾分鐘內的事

件量就可能高達幾百萬，這些巨量日誌是傳統日

誌分析軟體無法進行分析的。由於單純藉由設備內

的傳統日誌報表無法完善得知攻擊狀態，如果能將

日誌匯出至日誌分析系統，這樣就可以將所有的

Deny、Allow的巨量數據日誌進行統計，或者藉由

觸發的事件狀態，做進一步與其他設備的日誌關聯，

來評估是否遭受入侵並且有交叉感染的狀況。發生

網路攻擊事件後，我們其實最需要了解事件發生的

時間點，與遭受攻擊的損害範圍，這些都是可以藉

由日誌分析系統來做的事件回顧分析。

3. Server Load Balance (SLB)

Server Load Balance除了用於伺服器端的負載平衡

之外，我們還可以將 SLB內的 Connection數量進

行統計，舉例來說 Citrix就可以利用 Rate Limit的

功能，把每秒超過平均的連線數事件丟日誌分析系

統來做巨量日誌統計找出過度偏差的數值狀態。因

為遭受網路 DDOS攻擊時，SLB內的 Connection

數量會有明顯的上升徵兆，這樣的異常行為如果藉

由巨量日誌分析就可以即時被偵測出來。

4. 虛擬化環境 (Vmware)日誌收集

虛擬化環境內的主機眾多，利用 Vmware API的方

式與 Syslog的設定，讓管理者可以即時了解並管

理虛擬化環境的狀態，例如 CPU、記憶體、硬碟使

用量⋯等等資訊。這部分可參考圖三商業日誌分析

系統的架構，藉由 vCenter API TCP:443的方式經

DCN將其收集後轉換成 Log至日誌分析系統進行分

析，VMware預設只接受藉由 Syslog TCP:1514、

UDP:514 進行 Syslog，這部分要進去 Security

Profile進行設定才能傳送至 Syslog Server。

因此若想完整解決維運上的問題，可藉由日誌分析

系統來將日誌做進一步的分析利用，管理者只需要

藉由一個單一中央化介面就能夠了解所有 IT基礎建

設的設備及系統資料，快速幫助管理者將找出問題

原因所在的速度提升。

圖三 虛擬化環境資訊收集架構圖

Splunk for VMware-Required Connectivity

Physical VMware environmentTCP443

Splunk Environment

vCenter Server

DCN

API:TCP443TCP8089&8008

TCP9997

vCenter Logs:TCP9997

Syslog:TCP1514UDP514

TCP9997

SyslogServer

ESXi Hosts

SAN&NAS Networking

- 161 -

虛

擬

化

趨

勢

技

術

資料中心與儲存

資訊安全與防護

新世代網路應用

高效能協作溝通

Network

5. 日誌分析後的進階阻擋功能

企業發生網路攻擊時，除了即時的監控告警以外，

我們也藉由 PHP與 Script的方式撰寫一套資訊安全

封鎖程式，無須進入每台網路設備或者資訊安全設

備去設定阻擋控管。當日誌管理系統發現問題時，

網管人員可以快速的進行封鎖。尤其是當有大量需

要封鎖的 IP清單時，利用程式就可自動化進行封

鎖。甚至進一步還可以藉由資安設備的 API呼叫做

行為控管。

三、 巨量日誌分析 -應用案例分享

大部分的企業除了能利用巨量資料來解決 IT的問題

之外，其實巨量資料若妥善的利用可以幫助企業創

造更多利潤，進一步還能解決原本無法解決的問題。

以下整理國內外企業使用巨量日誌分析系統的實際

應用案例，提供大家日後規劃應用時參考。

1. 整合資訊安全的防護

目前國內企業已經陸續藉由日誌分析系統進行系統

狀態管理和變更記錄管理，這些管理機制就可以讓

企業即時發現異常的行為模式。並且當企業內發生

資安事件時，就能即時利用日誌分析系統內的數位

軌跡資料，幫助企業找出幕後的兇手。傳統企業的

IT防護面對 APT攻擊，屬於一面挨打的狀態，並沒

有辦法妥善的防護企業內部的系統。

圖四 資安封鎖系統範例畫面

2. 精準推薦與消費者行為洞察

網路購物網站消費者每一個點擊背後代表著一個動

作和意圖，因此購物網站藉由日誌分析即時對客戶

進行新產品的推薦搭配，進一步自動化控管存貨管

理，彙整銷售資料的追蹤來做更為精準的行銷。傳

統的訂單資料與會員系統沒辦法得知這些資訊，日

誌分析可以提高客戶服務與購物滿意度，達到分析

使用者行為的差異化行銷。

3. 運輸追蹤與物聯網結合

國外某知名運輸航空資料與物流業資料之間原本無

任何關聯，但在貨物內貼上 RFID晶片與飛機儀表

器及衛星的資料結合後，藉由將日誌進行關聯性分

析，讓客戶或者企業可以更了解目前貨物的飛航記

錄與運送狀況。未來也可以結合智慧的數位紅綠燈

- 162 -

新 世 代 網 路 應 用

號誌，預測物料配送的時間來做出較適當的配送路

線規劃。

4. 偵測網路不良行為與網路詐騙

網路上的詐騙方法日新月異，傳統的電信業與銀行

業只能處於被動處理，當發生詐騙案件經使用者通

報後才會做處理。國外知名電信服務業者目前已經

藉由日誌分析收集各式 IT設備的資訊，將網路與通

訊設備之間的紀錄交叉分析，可以找到詐騙集團使

用的發話地點與被詐騙的目標資料。有效識別詐騙

並採取必要的步驟防止詐騙事件持續的發生，事前

的預防可以避免日後更大的損失。

5. 個資偵查與預防外洩

個資法正式上線實施後，國內許多企業為了符合個

資法的規定與避免機密資料外洩問題需要透過日誌

分析系統，蒐集將所有個資流通的紀錄提供稽核者

或管理者查詢，還可比對事件的行為模式發出告警、

產出提供外部稽核與決策分析的報表。

6. 製造業提升製程良率

過去的半導體製程中，不同環節的產線機台均會產

生出不同的半結構化格式資料，過去 IT人員必須撰

寫對應的程式才能將資料儲存至傳統的關聯式資料

庫內。但是要將這些資料做更多的利用時，其資料

處理速度始終不盡理想。國外已經有知名半導體業

者藉由非傳統的關聯式資料庫將這些產線的機器日

誌進行即時分析，幫助企業提升良率、提升工作效

率、降低問題發生率，製造成本當然也隨之降低，

增加企業的競爭力。

結語

資訊科技的各式應用儼然已成為我們每個人日常生

活中的一部份，並且已經完全改變了人類的生活模

式，然令人擔憂的是資訊科技帶來的一連串雲端維

運與資訊安全的問題，因此這些議題也陸續成為各

企業關注的焦點。企業 IT部門時常花費許多金錢購

買各式工具來監控、分析和操作自動化設備，但是

這些工具經常只是單點的解決方案，無法擴充成可

任意處理資料分析的工具。隨著駭客的網路犯罪、

滲透企業、竊盜資料的手法不斷精進翻新，駭客經

常使用特製的 APT惡意軟體就可以輕鬆躲過單點設

備的偵測，駭客進入企業內盜取資訊如入無人之境，

傳統的資訊安全設備頓時失去用武之地。

因此如何提供安全、放心、可靠的網際網路使用環

境，並且掌握雲端運算優勢，朝向虛擬整合化內的

資訊安全保護，已成為邁向完整 IT環境的關鍵議

題。尤其是當企業在面臨個資法要求時，除了需要

做好設備與應用系統本身的事件記錄管理，也需要

保留各式的維運資料 (操作紀錄、電子郵件、視訊

紀錄 )。因此如何利用即時日誌分析系統讓企業從

巨量資料中進行資料探勘分析儼然成為未來 IT維運

上的重要一環。

（作者現任職於麟瑞科技）

參考文件：

1. Splunk官方網站 http://zh-hant.splunk.com/

2. HP ArcSight官方網站 http://www.hp.com/

3. Elasticsearch官方網站 http://www.elasticsearch.org/

4. 維基百科 http://zh.wikipedia.org/wiki

5. OpenStack https://www.openstack.org/