Elastic Stack in A Day

Milano – 16 Giugno 2016

Let me introduce Elastic Stack

Stefano Pampaloni

• A cosa serve Elastic Stack

• I componenti dello Stack• X-Pack

Agenda

“Migliorare la cura dei pazienti grazie ad

analisi in tempo reale sui dati clinici”

“Combattere il problema del traffico

esseri umani.”

“Analizzare 3-4 miliardi di eventi al giorno a scopi di

security intelligence.”

“Ricerca e prenotazione camere

Analytics & prediction”

“Molti ambiti d’uso: • ottimizzazione del

trading • compliance • reclutamento risorse

umane”

Elastic Stack: contesti di utilizzo

Dati Complessi e Variegati

Casi d’uso Advance integration

Location

Machine/Log Files

User-Activity

Documents

Social Application Search

Embedded Search

Logging Security Analytics

Operational Analytics More …

Suggestion

Real-time big data

Prediction

Machine/Deep Learning

Language processing

ANALYTICSSEARCH

IT Operations Application Management

Security Analytics

Marketing Insights Business Development

Customer Sentiment

Website/App SearchInternal/Intranet Search

Applicazioni e sistemi ad uso interno Applicazioni e sistemi per utenti esterni

Developers IT/Ops Business Users

Rispondere a molte necessità di aziende differenti

Log Analysis Analytics SearchSecurity

Security

Monitoring

Alerting

Graph

X-Pack

KibanaUser Interface

ElasticsearchStore, Index,& Analyze

IngestLogstash Beats

+

Elastic Stack

I componenti dello Stack

Supporto Tecnico

Sviluppo

Produzione

Elastic Subscription: Prodotti + Supporto

Consulenza

Disegno di Architettura / Indici / Shard

Tuning del Cluster

Ottimizzazione delle Query

Upgrade Dev to Production

Starter Pack

2 business days response time

PRODOTTI

4 hours response time

For critical issues

1 hour response time

For critical issues

3 Named support contacts

EXPERTISE/SUPPORTO

Unlimited Support requests

Sviluppo Gold Platinum

Elastic Stack

X-Pack

Elastic Stack

X-PackSecurity

(Shield)Alerting (Watcher)

Monitoring (Marvel)

Elastic Stack

X-PackSecurity

(Shield) Field level security

Document level security Custom Realms

Alerting (Watcher)

Monitoring (Marvel)

Security (Shield)

Alerting (Watcher)

Monitoring (Marvel)

6 Named support contacts

8 Named support contacts

Unlimited Support requests

Unlimited Support requests

Pacchetti Elastic Subscription

11

Store, Index & Analyze

Distributed & Scalable

Developer Friendly

Search & Analytics

• Schemaless

• Native JSON

• Client libraries

• Apache Lucene

• Real-time

• Full-text search

• Aggregations

• Geospatial

• Multilingual

• Resilient; designed for scale-out

• High availability; multitenancy

• Structured & unstructured data

Store, index, analyze

13

Geo Location

14

User Interface

Esplorazione e Visualizzazione

Scoprire e analizzare

Personalizzare e condividere

Piattaforma per creare App

• Creare grafici a barre, linee e scatter plot, mappe e istogrammi

• Condividere ed integrare le dashboard

• Architettura modulare; creare dashboard e viste come App

• Gestione Sessioni, ACL e sicurezza

• Esplorare e analizzare i dati a qualsiasi livello di “profondità”

• Sfruttare facilmente le potenti capacità di Elasticsearch

Timelion

18

Ingest

Ingest

ES-Hadoop

• Piattaforma per costruire “data shipper” leggeri

• Invio di metriche e altri dati dai server e client a Elasticsearch

• Connettore bidirezionale per integrare ES con HDFS, Spark, MapReduce, etc.

• Abilita la ricerca real-time search sui dati in Hadoop

• Raccolta e arricchimento dei dati; 200+ plugin

• Pipeline di nuova generazione; micro-batch

Raccogli, arricchisci, e trasporta

Trasporto dati “leggero”

Libreria per inoltrare le metriche a Elasticsearch

Libbeat Packetbeat Topbeat

Analitiche in real-time per il traffico di rete: web, database, e ogni altro protocollo di rete

Raccoglie i dati di utilizzo degli host: CPU, RAM, disco ecc.

Logstash forwarder di nuova generazione per raccogliere, processare e inoltrare i file di log

Filebeat Winlogbeat {Future}beats

Informazioni di sistema, di applicazioni e di sicurezza dall’ event logger di Window

Molti altri beats creati dalla community : http, Redis, Nginx, Docker, Twitter, ecc

Elasticsearch Kibana

Elasticsearch for Hadoop

Indicizzazione diretta in Elasticsearch da Hadoop

Ricerche in Elasticsearch da Hadoop

Backup Elasticsearch in HDFS

23

X-Pack: Tutte le estensioni di ES

• Integrazione LDAP/AD • RBAC • Filtro IP • Cifratura traffico • Audit logging

Security (Shield)

• Metriche in real-time del cluster e i nodi

• Diagnosi problemi • Ottimizzazione performance

Monitoring (Marvel)

Security MonitoringAlerting Graph

X-pack

• Controlli sui dati ES • Notifiche automatiche • Input concatenati • Slack, Hipchat, JIRA, Pagerduty • Email • Elastic Monitoring

Alerting (Watcher)

Real-time Graph Analytics sui dati Elastic Stack

Graph

Monitoring

Graph

Security MonitoringAlerting Graph

X-pack

Real-Time Graph Analytics

• Combina la velocità e il ranking delle ricerche con l’esplorazione dei grafi

• Visualizza automaticamente visualizza le relazioni dei dati per identificare le connessioni più importanti

• Amplia i possibili casi d’uso – anti frode, cybersecurity, recommendations

• Mette a disposizione sia le API che una interfaccia web per l’esplorazione dei grafi

Graph

GRAZIE

stefano.pampaloni@seacom.it