�!
Big Data, Big Challenge��Splunk \�¯��Big Data ´Ñ
[��pn� ×ýăù��Splunk ÄKÞÂ��ĞģĢ�
�!
»^Ð�FOÅA² Big Data�
�!
Big Data )Q�}�¶zª��´Ñ�
Data�Inpu
t�Output�
Processor�
Storage!Informa4on�
所謂巨量資料,就是用現有的一般技術難以管理的大量數據的集合 野村綜合研究所�
�!
Big Data )Q�}�¶zª��´Ñ�
生� 流� 存� 算� 用� 看�
�!
¶zª��ÍÑ}(¼��
生� 流� 存� 算� 用� 看�
我需要的資料從哪裡來?�
要怎麼收集資料?�資料收集能力?�資料格式的限制?�
資料如何ETL?�資料如何正規化?�
該如何呈現運算分析結果?�該用什麼工具呈現?�需要客製開發嗎?�
資料可否壓縮保存?�資料可否備份?�保存年限與生命週期管理?�
如何尋找與計算?�如何撰寫MR程式?�需要多久才能學會?�
如何輸出運算結果?�如何與其他系統整合?�
!
Hadoop Ecosystems Z¯��Ä,ÍÑ�
生� 流� 存� 算� 用� 看�
!
��?���¶z7�!wÌ�%J�,�����;�!����£[�l�#!!
�!
全球最佳 Big Data 創新應用公司
8!
�!
獲獎無數�
Big Data Innovator
2013 SIEM Magic Quadrant
LEADER
2012 Security Market Growth
#1 Worldwide
2012 IT Operations Market Growth
#3 Worldwide
Best SIEM North America
Best Enterprise Security Solution EMEA
#1 !
Most Innovative #4 !
��!
Splunk S�|�?¶z�tT¨,��
��!
Splunk 7R�?¶z3�~kl�� ÜEVĕă��»
!!;��Ġ ;�Ûo
DnD²S|ɳPă�
'@�
%<#+�
�(9F�
?!C4�
�1;>/�
Metadata!
報表與分析�
客製化�儀表板�
即時監視�與告警�
快速搜尋�
整合與介接�
2ĊDnD²�Å«�
資安分析�
系統維運�
用戶行為�
精準行銷�
萬物聯網�
商業分析�
��!
����Splunk H�lU ª� Big Data �ÍÑ�
生� 流� 存� 算� 用� 看�
��!
• .Å�¢Éă�Äó/ – B�llR�Å�ÈÁ⦼ó
• éïÄÃġôÉă� – Ĉ��z�ē�sĤéi� – C�^òġôÉă�êªn
• ìéïÄÃă��L�ă�ªn·ąđE� – �Ġg*_�îÂÉă�ªn$'�Å�
生� 流� 存� 算� 用� 看�
��!
Key-Value Pair (KVP) c�i�
• µ�_�ÿ-��� ETL • 9Ü®8�¡@ĝ�Q^Éă�Ü®�
��!
} GÂu�
• µ�_�ÿ-��� ETL • fÀÜ®��ñÁă�ßm
�!
��
• úsô¢µ�FÏ
�!
¶z��� Best Practices�
建立具有可讀性的資料�
��!
¶z��� Best Practices�
• Å Text ôÅ Binary – Ê= parsing
• -Å XML – JSON Cāw�ĭ
• Ē(�ÒWïă� • �ÅCāÉ
timestamp • ô�Å time offsets • Timestamp � 1ĥ
• Ç�UUID � Session ID – ă�Ĝċw
• ôæ~¤� – ă�#��¬7Èe – CøÔ�CqáÉ
• ,Ī,Ú
��!
�?¶z�h¨ÒB
19!
特性!!!
時間序列,時間順序性!!
純文字格式(Plain!Text)!!
內容產生後不再修改!!!!
日誌(Log/Event)!
紀錄(Record)!
封包資訊�
工業設備訊號�
感應器資料�
資料庫內的資料�
效能量測指標�
Message/Queue!
設定檔�
點擊紀錄�
系統畫面STDOUT!
API!輸出�
��!
�>]§wÌ9a�?¶z
20!
不用事先定義資料欄位,不用客製化連接器,不用資料庫,不需要事先過濾�
" Web!logs!" Log4J,!JMS,!JMX!" .NET!events!" Code!and!scripts!
" Configura4ons!" syslog!" SNMP!" neUlow!
" Configura4ons!" Audit/query!logs!
" Tables!" Schemas!
" Hypervisor!" Guest!OS,!Apps!" Cloud!
" Configura4ons!" syslog!" File!system!" ps,!iostat,!top!
" Registry!" Event!logs!" File!system!" sysinternals!
Logfiles! Configs!Messages! Traps!!!Alerts!
Metrics! Scripts! Tickets!Changes!
UNIX��Linux/Unix!
%���Windows!
#(&�Networking!
'��Databases!
��!"Applica4ons!
$��!&!) !Virtualiza4on!
" Click`stream!data!" Shopping!cart!data!" Online!transac4on!data!
����'�!'� �����'�!
" Manufacturing,!logis4cs…!
" CDRs!&!IPDRs!" Power!consump4on!" RFID!data!" GPS!data!
"��)����&���������� �� '����%/3�����)12"��.�
��!
• ă�É"Đê�ĠġæĘ� – �Ġg*��Éă��ĠÕĎ – �Ġg*��Éă�ĪS – "Đê�ĠÉ])w�Ð^wê�è
• ă�É ETL (Extract, Transform, Load) – ì�Å1Ćă�ªn�jÜ®8ªnĉlÖO – ħîÂÉġ¸�
生� 流� 存� 算� 用� 看�
��!
Splunk ¥wÌE�¶z ��
結構化資料 � 非結構化資料 �
關聯式資料庫�
半結構化資料�
Log� Email� XML� 聲音� 圖片� 影像�
Extract!Metadata�
��!
Splunk ¶zwÌ{a�彈性的資料收集方式,可使用代理程式或免用代理程式�
perf
shell code
Mounted File Systems!\\hostname\mount
syslog!TCP/UDP
WMI!Event Logs!Performance
Active !Directory
syslog compatible hosts!and network devices
Unix, Linux and Windows hosts (NFS, CIFS, SMB…etc.)
Windows hosts DB Connection, SNMP, REST API, STDOUT…etc.
Local File Monitoring!log files!config files!dumps and trace files
Windows Inputs!Event Logs!performance counters!registry monitoring!Active Directory monitoring
virtual!host
Windows hosts
Scripted!Inputs!shell scripts!custom parsers!batch loading
免安裝代理程式� Splunk Forwarder
��!
¶zwÌPÇ¥0
24!
Wė�ğ³/�Ăă�èĦ.�Ġ�[
壓縮與加密!!!日誌緩衝佇列�自動負載平衡�自動故障轉移�自動斷線重傳�
匿名化個資遮罩�傳輸頻寬管理�
分散式搜尋�
Forwarder� Forwarder� Forwarder�
��!
• ă�É ETL (Extract, Transform, Load) – ì�Å1Ćă�ªn�jÜ®8ªn·ąÖO – ETL cħîÂÉġ¸ – ă�îÂ¹Í ë�ěÉXdRĈĔ
• ă�É%[êÃJČ£Õ – öĈ�ă�¢Wėôç^ – hĘă�É!�ê!�Āĩ
生� 流� 存� 算� 用� 看�
�!
Splunk ¥A¶zwÌd+��M¢�
• C��ġ¸6|^ä�ġôɵ� • ��WÎg*:5^äµ� • èé6ÿ-WÎă�ªn�
– JSON, CSV, W3C…etc.
�!
Data Schema +}Ë/�
��!
�.���M¢X*�
��!
���Hadoop 42 ETL ����
��!
Splunk 6Ì��¶zÓ7�h�
• G�Hadoop \å • ă�ĭCÅw
– CéÆû^ Replication Factor �
• Multi-site Clustering – Ąă��u!�
• CéÆ´G�& – Cď PB ÓÚ�
��!
¶z�<¿���
��!
�����
Hot!Buckets!.��
���3F�
���Warm!Buckets!
)��
$7�
-B�2��8G�
658G.��"�
�E���H�
$7�
J:����6�,��"�
=��ID*'@�1��I�
A&� �
�0�3F����1�
��!
• \å�à�ėôæĘ – c�¬�þ�Time to Value �½rėô – ���b�Ĭ�
• �ěê�3�Ė��¥
生� 流� 存� 算� 用� 看�
��!
Search your IT infrastructure
J2EE exception Last 60 minutes
fail* password sshd
Last 30 minutes Last 60 minutes Last 3 hours Last 24 hours Last 7 days All time
Last 24 hours
�ÊÈI{af½r�Yƶz�
��!
tT½_���j�
��!
tT1¥��·Î��
• ĜęZ�b • µ��b • ¶õñËn(Regular
Expression)�b • ă�Ĝċ • Y©üê Join • ă�>¾(Lookup)
• ă�4gî • ă�čÔêÝø • ă�¯ú(Tag)ê��ĪS
(Event Type)Õ • ă�±S(Data Modeling)ê°Ù,§(Pivot)
• ħº,§ (Predictive Analysis)
�!
Splunk � Map Reduce ��
36!
�,�n�btD Indexer ?+ă���`ܨ�Æ Search Head q�
分散式搜尋�
Search!Head�
Map� Reduce�
Indexer� Indexer� Indexer� Indexer�
�!
�7�¸�Hadoop :�
37!
匯入�瀏覽�匯出�
.Å�Splunk Hadoop Connect ê�Hadoop ��ă�
Splunk'Hadoop''Connect'
HA'Indexes'and'Storage'
Commodity'Servers'
Hadoop'(MapReduce'&'HDFS)'
Report'and''analyze'
Custom''dashboards'
Monitor''and'alert'
Ad'hoc''search'
��!
m�¦µ�Hadoop!�°�!
可完全與 Hadoop!整合,運用 Hadoop 完成搜尋與計算�
能夠立即為�Hadoop!的導入帶來效益�
可直接使用已存在 Hadoop 內的資料�
搜尋與探索� 視覺化� 儀表板� 分享�分析�
NoSQL'and'Other'Data'Stores'
Hadoop!Client!Libraries! Streaming!Resource!Libraries!
保留 Splunk 全功能,操作方式與 Splunk 完全相同�
��!
8�=�Splunk q�x¤±¡ e�
�%��'
�� '
�%����'
�%'��!'
��!
• ă�É�ÅU���Ĝę – �É�ðġô2�vß – īNrėô�a¬ĨTêBig Data�ð
• čÔܨÉ.Åê�E – IÁ� – ºêÈ+ùx – êÑ��ØÝ���
生� 流� 存� 算� 用� 看�
��!
�?¶z7�o�"�Ô�
��!
避險!
節流!
開源!
日誌管理!資安稽核!法規遵循!個資法!ISO27001!/!ISO20000!資安監控!資安事件分析!
網站/App分析!使用者行為分析!Customer!Insight!
精準行銷!(CEM)用戶經驗管理!
商業情報分析!Business!Insight!
IT!與系統狀態監控!效能與資源監控!
應用系統管理/監控!
故障查找排除!異常問題調查!資源規劃!
!
��!
Splunk �l��¹ IT ¨ Business WÏ�
• SplunkÉ�ÅĨT – �lßčÕ – ă»ê�èÕ – ăù])Õ – kU,§êM¬�} – …
42!
Splunk 帶來「一份日誌,多重應用」的複合價值�
Mush up Web Apps�
網站管理團隊�
VPs of Infrastruct
ure�
��!
Á�|9�®©¨l��C«¨$«�
43!
網站維運分析�
應用系統管理� 商情分析�
資安與法規遵循�
LOB!Owners/!Execu4ves!
Customer!Support!
System!Administrator!
IT 維運管理�
Opera4ons!Teams!
Security!Analysts!
IT!!Execu4ves!
Development!!Teams! Auditors!
Website/Business!Analysts!
#+���������� ���(�*-�$&�!��0,��
(#��
��� �������$���
��� ��
��!
Splunk Apps µ�igÔ�VgÔ�
超過!500!種!Apps!提供各種應用方式�
REST!API!
XenApp!XenDesktop!
Server, Storage, Network
Server Virtualization
Operating Systems
Infrastructure Applications
Mobile Applications Cloud Services
Other Monitoring Ticketing/Help Desk
Custom Biz Applications
SDKs!
Web!Framework!
��!
Splunk s�N3��bh
REST API
Web Framework
開發人員可以利用熟悉的程式語言、SDK 介接其他系統或開發應用�
Web!!Framework!
JAVA'JavaScript'Python'
Data'Models'
Search'Extensibility'
Modular'Inputs'
SDKs'Simple'XML'
JavaScript'
Django'
Ruby'C#'PHP'
�!
ODBC driver s��Ey:�.�
�!
ºÀ DB Connect ¾ RDBMS �5�Hadoop ���
��!
Splunk ,-¨�Hortonworks ¨�Cloudera :��
��!
Splunk ¨ Tableau :��
��!
• Hadoop â <Ãg*�ġô�EVĕg*
• �0 vs. g*�ÉæĘ – ¿yÍm��Epw�IÁ�n – \å�à�Åć��ě�¥…
• Data Visualization �AV�ĚaĚ\Ì/íð – ùxHĘ�ã{�÷āè3…
�
生� 流� 存� 算� 用� 看�
��!
Splunk '`E�@«�不需要撰寫程式,即選即用�
��!
ºÀK¬ Apps Ã7�v&�
��!
m}y:DÄX*�
��!
Splunk }Ly�Yƶz¯�{��
生� 流� 存� 算� 用� 看�
完整成熟的解決方案,涵蓋巨量資料處理各階段會遭遇的挑戰�
成熟穩定的資料收集機制�
完善的資料格式處理能力�
妥善的資料生命週期管理�
強大的資料搜尋運算功能�
貼心的 Hadoop 整合應用�
開放彈性的資料整合開發平台�
優異便利的 資料視覺化工具�
��!
³�
Splunk!&!Hunk!是�Hadoop!的好朋友�
Splunk!是優異的機器資料應用平台�
從資料來源開始規劃,事半功倍�
Big!Data!議題不只是分散式或是計算的問題�
�!
Q & A�
Top Related