Post on 04-Jul-2015
description
www.fun.de Machen Sie mehr aus Ihren Daten www.fun.de Machen Sie mehr aus Ihren Daten!
www.fun.de Machen Sie mehr aus Ihren Daten www.fun.de Machen Sie mehr aus Ihren Daten!
Verborgene Datenschätze heben Mit Hunk und Hadoop von Maschinendaten zu
geschäftsrelevanten Einsichten
Big Data User Group
Stuttgart, 27.02.2014
Johannes Feulner, Geschäftsführer
fun communications GmbH
Log Management
und Big Data
Analytics save
the World
www.fun.de Machen Sie mehr aus Ihren Daten www.fun.de Machen Sie mehr aus Ihren Daten!
Agenda
Big Data
Log Management
Success Story
Creating a Big Data Platform
www.fun.de Machen Sie mehr aus Ihren Daten www.fun.de Machen Sie mehr aus Ihren Daten!
Wir über uns
Johannes Feulner
Geschäftsführer, Gesellschafter
Mitgesellschafter 35 Mitarbeiter Gründung Firmensitz
www.fun.de Machen Sie mehr aus Ihren Daten www.fun.de Machen Sie mehr aus Ihren Daten!
DATA
www.fun.de Machen Sie mehr aus Ihren Daten www.fun.de Machen Sie mehr aus Ihren Daten!
Big Data – Die Herausforderung
Datenvielfalt Datenmenge
Herkömmliche Werkzeuge
Erwartete Antwortzeit
Genau hier setzen
wir an!
www.fun.de Machen Sie mehr aus Ihren Daten www.fun.de Machen Sie mehr aus Ihren Daten!
Strukturierte vs. unstrukturierte Daten
Quelle: http://www.yalescientific.org/2012/03/hadapt-yale-startup/
www.fun.de Machen Sie mehr aus Ihren Daten www.fun.de Machen Sie mehr aus Ihren Daten!
Log Management
www.fun.de Machen Sie mehr aus Ihren Daten www.fun.de Machen Sie mehr aus Ihren Daten!
Grundanforderungen im Log Management
Sammeln
Zentrale
Speicherung
Langzeit-
speicherung
Suche Analyse
Reporting
Skalierbarkeit
www.fun.de Machen Sie mehr aus Ihren Daten www.fun.de Machen Sie mehr aus Ihren Daten!
Wie baue ich eine Big Data Plattform?
Ingestion
Wo sind meine
Datenquellen?
Wie kann ich darauf
zugreifen?
Persistenz
Müssen historische
Daten verfügbar
sein?
Gibt es durch-
laufende Daten?
Rechte/Rollen Welcher Nutzer darf
welche Daten
sehen?
Monitoring/Alerting
Wie werden
Erkenntnisse in
bestehende
Betriebsabläufe
integriert?
Compliance Welche Audits
müssen
revisionssicher
unterstützt werden?
Analytics Welche Tools sollen
integriert werden?
Reaktionszeit Wie schnell müssen
Auswertungen
erfolgen? Batch
oder Echtzeit?
Technologie Welche
Technologien
decken meine
Anforderungen am
besten?
Datenschutz Wo sind
schutzwürdige
Daten zu
anonymisieren oder
pseudonymisieren?
www.fun.de Machen Sie mehr aus Ihren Daten www.fun.de Machen Sie mehr aus Ihren Daten!
Die Herausforderung: Auswahl der richtigen Werkzeuge
HP ArcSight Logger
LogLogic
www.fun.de Machen Sie mehr aus Ihren Daten www.fun.de Machen Sie mehr aus Ihren Daten!
Unsere Sichtweise …
Log Management ist der zentrale Enabler mit Mehrwert für
viele Bereiche im Unternehmen.
www.fun.de Machen Sie mehr aus Ihren Daten www.fun.de Machen Sie mehr aus Ihren Daten!
Success Story
www.fun.de Machen Sie mehr aus Ihren Daten www.fun.de Machen Sie mehr aus Ihren Daten!
Problem
Mail-Empfänger
Spam und Phishing-Mails auf den ersten Blick
erkennen
Mail-Versender
Mails sollen Posteingang erreichen
Vertrauen des Kunden
Kennzahlen über Mail-Empfang
www.fun.de Machen Sie mehr aus Ihren Daten www.fun.de Machen Sie mehr aus Ihren Daten!
Lösung
Versender signiert E-Mails
E-Mail Provider prüft Signatur
E-Mail Provider kennzeichnet
vertrauenswürdige Mail
Zentrale Plattform zur
Auswertung und Abrechnung
www.fun.de Machen Sie mehr aus Ihren Daten www.fun.de Machen Sie mehr aus Ihren Daten!
Eckdaten
Dezentrale Absender-Authentifizierung und
Integritätsprüfung
Zentrale Analyse der „Logo-Events“ aller beteiligten Provider
Mehr als 2 Mrd. Logo-Events monatlich; Tendenz stark
wachsend
15 zentrale Server
4 Mail-Provider -> Reporting
Dutzende Newsletter-Versender -> Reporting
www.fun.de Machen Sie mehr aus Ihren Daten www.fun.de Machen Sie mehr aus Ihren Daten!
Historie
Klassischer Start mit einer Oracle-basierten Lösung
Bis 150 Mio. Logo-Events pro Monat
Berechnungszeit pro Tagesreport: > 24 h
www.fun.de Machen Sie mehr aus Ihren Daten www.fun.de Machen Sie mehr aus Ihren Daten!
Big Data Plattform
aufbauen
www.fun.de Machen Sie mehr aus Ihren Daten www.fun.de Machen Sie mehr aus Ihren Daten!
Revolution
Migration auf Hadoop
Cluster aus 7 Rechnern, 1 Master Node, 6 Slave Nodes
Mehrere Hive- und MapReduce-Skripte (Python)
Import der verdichteten Daten in Oracle DB
2 Mrd. Logo-Events pro Monat
Berechnungszeit pro Tagesreport: 3 h
www.fun.de Machen Sie mehr aus Ihren Daten www.fun.de Machen Sie mehr aus Ihren Daten!
… so what about ?
Then there came new questions …
www.fun.de Machen Sie mehr aus Ihren Daten www.fun.de Machen Sie mehr aus Ihren Daten!
www.fun.de Machen Sie mehr aus Ihren Daten www.fun.de Machen Sie mehr aus Ihren Daten!
www.fun.de Machen Sie mehr aus Ihren Daten www.fun.de Machen Sie mehr aus Ihren Daten!
www.fun.de Machen Sie mehr aus Ihren Daten www.fun.de Machen Sie mehr aus Ihren Daten!
www.fun.de Machen Sie mehr aus Ihren Daten www.fun.de Machen Sie mehr aus Ihren Daten!
www.fun.de Machen Sie mehr aus Ihren Daten www.fun.de Machen Sie mehr aus Ihren Daten!
www.fun.de Machen Sie mehr aus Ihren Daten www.fun.de Machen Sie mehr aus Ihren Daten!
www.fun.de Machen Sie mehr aus Ihren Daten www.fun.de Machen Sie mehr aus Ihren Daten!
www.fun.de Machen Sie mehr aus Ihren Daten www.fun.de Machen Sie mehr aus Ihren Daten!
www.fun.de Machen Sie mehr aus Ihren Daten www.fun.de Machen Sie mehr aus Ihren Daten!
www.fun.de Machen Sie mehr aus Ihren Daten www.fun.de Machen Sie mehr aus Ihren Daten!
www.fun.de Machen Sie mehr aus Ihren Daten www.fun.de Machen Sie mehr aus Ihren Daten!
www.fun.de Machen Sie mehr aus Ihren Daten www.fun.de Machen Sie mehr aus Ihren Daten!
www.fun.de Machen Sie mehr aus Ihren Daten www.fun.de Machen Sie mehr aus Ihren Daten!
www.fun.de Machen Sie mehr aus Ihren Daten www.fun.de Machen Sie mehr aus Ihren Daten!
Neue Fragen? Einfach ausprobieren!
Mail-Öffnungsstatistik nach Domains earliest="1/1/2012:0:0:0" latest="1/2/2012:0:0:0" cid
= "*" | rename cid as tdcheckid |join tdcheckid
[search tdcheckid="*" earliest="1/1/2012:0:0:0"
latest="1/2/2012:0:0:0" ] | chart count as total by
tddomain
Mittlere Öffnungszeiten source = "*tdlogos*" | transaction cid keepevicted="true"
maxspan="20m" | stats avg(duration)
www.fun.de Machen Sie mehr aus Ihren Daten www.fun.de Machen Sie mehr aus Ihren Daten!
Tutorial
Lessons Learned
www.fun.de Machen Sie mehr aus Ihren Daten www.fun.de Machen Sie mehr aus Ihren Daten!
Evolution
Migration to Hunk
Hunk = Analytics for Data on Hadoop
Customizing instead of Programmierung
Implementing 5 times faster
Free exploration, asking new questions
Graphic Reports out of the box
Roles and User Management out of the box
Time to calculate the daily reports: 3 h
www.fun.de Machen Sie mehr aus Ihren Daten www.fun.de Machen Sie mehr aus Ihren Daten!
„Das sind Abertausende, wenn nicht
Millionen Textzeilen. Aber ich muss
sie nicht alle persönlich durchsehen
… Ich habe eine … Software, die
jeder gratis im Internet bekommt.
Damit kann ich auch große Daten-
mengen verwalten“ (sagt Piero Manzano p. 496 f. und rettet die Welt)
http://www.fun.de/splunk
www.fun.de Machen Sie mehr aus Ihren Daten www.fun.de Machen Sie mehr aus Ihren Daten!
Johannes Feulner Geschäftsführer
johannes.feulner@fun.de
+49 721 96448-0
www.fun.de