igDataLab De Techniek van Big Data - BI-Podium...De techniek van Big Data: Agenda igDataLab Het is...

45
igDataLa De Techniek van Big Data Gerrit Slot BigDataLab B.V.

Transcript of igDataLab De Techniek van Big Data - BI-Podium...De techniek van Big Data: Agenda igDataLab Het is...

Page 1: igDataLab De Techniek van Big Data - BI-Podium...De techniek van Big Data: Agenda igDataLab Het is gewoon BI alleen met meer data Hoe krijg je het technisch voor elkaar Integrae van

igDataLab

DeTechniekvanBigData

GerritSlot

BigDataLabB.V.

Page 2: igDataLab De Techniek van Big Data - BI-Podium...De techniek van Big Data: Agenda igDataLab Het is gewoon BI alleen met meer data Hoe krijg je het technisch voor elkaar Integrae van

igDataLabDetechniekvanBigData:Agenda

HoekrijgjehettechnischvoorelkaarHetisgewoonBIalleenmetmeerdata

CMMenbeheersbaarheidIntegra@evanon-premisecompu@ngmetcloud

SchalenvantoepassingenGezondheidenouderenzorg

Page 3: igDataLab De Techniek van Big Data - BI-Podium...De techniek van Big Data: Agenda igDataLab Het is gewoon BI alleen met meer data Hoe krijg je het technisch voor elkaar Integrae van

igDataLabEenkleinequiz:

• WiedenktdatBigDataomTECHNIEKgaat?

• WiedenktdatBigDataomDATAgaat?

• WiedenktdatBigDataoverMENSENgaat?

Page 4: igDataLab De Techniek van Big Data - BI-Podium...De techniek van Big Data: Agenda igDataLab Het is gewoon BI alleen met meer data Hoe krijg je het technisch voor elkaar Integrae van

igDataLabAgendarevisited

• Hoezijnwijgekomenwaarwijzijn?• DebetekenisvanBigDatavooronsallemaal• DerolvantechniekinBigData• DegovernancevanBigData

Page 5: igDataLab De Techniek van Big Data - BI-Podium...De techniek van Big Data: Agenda igDataLab Het is gewoon BI alleen met meer data Hoe krijg je het technisch voor elkaar Integrae van

igDataLabBelangrijke mijlpalen in de evolutie

Page 6: igDataLab De Techniek van Big Data - BI-Podium...De techniek van Big Data: Agenda igDataLab Het is gewoon BI alleen met meer data Hoe krijg je het technisch voor elkaar Integrae van

igDataLabVuur

Page 7: igDataLab De Techniek van Big Data - BI-Podium...De techniek van Big Data: Agenda igDataLab Het is gewoon BI alleen met meer data Hoe krijg je het technisch voor elkaar Integrae van

igDataLabGereedschap

Page 8: igDataLab De Techniek van Big Data - BI-Podium...De techniek van Big Data: Agenda igDataLab Het is gewoon BI alleen met meer data Hoe krijg je het technisch voor elkaar Integrae van

igDataLabOrganisatie en infrastructuur

Page 9: igDataLab De Techniek van Big Data - BI-Podium...De techniek van Big Data: Agenda igDataLab Het is gewoon BI alleen met meer data Hoe krijg je het technisch voor elkaar Integrae van

igDataLabCommunicatie

Page 10: igDataLab De Techniek van Big Data - BI-Podium...De techniek van Big Data: Agenda igDataLab Het is gewoon BI alleen met meer data Hoe krijg je het technisch voor elkaar Integrae van

igDataLabKennisdeling

Page 11: igDataLab De Techniek van Big Data - BI-Podium...De techniek van Big Data: Agenda igDataLab Het is gewoon BI alleen met meer data Hoe krijg je het technisch voor elkaar Integrae van

igDataLabStandaardisatie en industrialisatie

Page 12: igDataLab De Techniek van Big Data - BI-Podium...De techniek van Big Data: Agenda igDataLab Het is gewoon BI alleen met meer data Hoe krijg je het technisch voor elkaar Integrae van

igDataLabGlobalisering

Page 13: igDataLab De Techniek van Big Data - BI-Podium...De techniek van Big Data: Agenda igDataLab Het is gewoon BI alleen met meer data Hoe krijg je het technisch voor elkaar Integrae van

igDataLabDemocratisering

Page 14: igDataLab De Techniek van Big Data - BI-Podium...De techniek van Big Data: Agenda igDataLab Het is gewoon BI alleen met meer data Hoe krijg je het technisch voor elkaar Integrae van

igDataLab

Page 15: igDataLab De Techniek van Big Data - BI-Podium...De techniek van Big Data: Agenda igDataLab Het is gewoon BI alleen met meer data Hoe krijg je het technisch voor elkaar Integrae van

igDataLabDe consequentie van onze evolutie? DepiramidevanMaslow:

•  BasisbehoeMesingevuld:•  Wereldgezondheidwasnognooitzohoog•  Wereldvoedselschaarstewasnognooitzolaag

•  Bestaanszekerheidgaran@esdoor:•  Democra@sering•  Sociaalrechtsstelsel•  Socialesolidariteit

•  SocialebehoeMeswordensteedsmeeringevuld:•  Socialecontactenwordenopwereldschaalonderhouden•  KennisisnaarbehoeMebeschikbaar•  Dewerkvloeriseensocialewerkplaats

•  Erkenningwiejebent:•  Discrimina@ewordthardbevochten•  Ongelijkebehandelingvanmannenenvrouwenis“not-done”•  Sexuelevoorkeurenzijninhetnieuws

Page 16: igDataLab De Techniek van Big Data - BI-Podium...De techniek van Big Data: Agenda igDataLab Het is gewoon BI alleen met meer data Hoe krijg je het technisch voor elkaar Integrae van

igDataLabZelfontwikkelingstaatinbeginstadiumVelevragen:• WatiserkenningbijhetontstaanvanMachineIntelligen@e?• Hoezithetmetkennisdeling?•  Standaardisa@ealseinddoel?• Watishetblijvendeffectvanglobaliseringendemocra@sering?• WatisderolvanKunstma@geintelligen@eenvirtualisa@e• DebetekenisvanBigData:Socialisa@eenHemelvaart(Ascension)?

Page 17: igDataLab De Techniek van Big Data - BI-Podium...De techniek van Big Data: Agenda igDataLab Het is gewoon BI alleen met meer data Hoe krijg je het technisch voor elkaar Integrae van

igDataLabExponenAelegroeidoorstapeleffecten

Page 18: igDataLab De Techniek van Big Data - BI-Podium...De techniek van Big Data: Agenda igDataLab Het is gewoon BI alleen met meer data Hoe krijg je het technisch voor elkaar Integrae van

igDataLabHoelangduurthetomdeAmsterdamArenAvoltelatenlopenalselkesecondehetaantaldruppelswaterverdubbelt?

28-10-2016

Page 19: igDataLab De Techniek van Big Data - BI-Podium...De techniek van Big Data: Agenda igDataLab Het is gewoon BI alleen met meer data Hoe krijg je het technisch voor elkaar Integrae van

igDataLabWatbetekentBigData?

• Onzeinterac@eisveranderd• Directensimplificerend• Context,normenenwaardenzijnimpliciet

• Organiserendvermogenisexplosiefgegroeidengebaseerdop:• Verantwoordelijkheid• Delegeren• Vertrouwen

• Hetcreërenvanwaardeuitdatastaatcentraal•  Ziepresenta@evanErwinenLevie

•  Zoekdemenselijkheidineensamenlevingmetintelligentesystemen•  Ziepresenta@evanJenny

Page 20: igDataLab De Techniek van Big Data - BI-Podium...De techniek van Big Data: Agenda igDataLab Het is gewoon BI alleen met meer data Hoe krijg je het technisch voor elkaar Integrae van

igDataLabDe“stateoftheart”vanBigData•  Steedscomplexerebouwblokken(switches,assembler,hogereprogrammeertalen,lisp,objec@veprogramming,nonlinearprogramming,neuralenetwerken)

•  Domainspecificlanguages,Modeldrivenarchitecture/programming,SOA,Micro-services

•  DevOpslanguages:automa@seringvandeautoma@sering(non-procedural(statedriven):puppet,ansible,andproceduralchef,salt)

•  Databasetheorieen:•  ACID•  CAPtheorema•  BASE

•  Voortschrijdendestandaardisa@eenmogelijkheidvankennisdeling(sequen@alfile,dbms,rdbms,NoSQL:paradigmaGraphDatabases)

•  Machinelearningendeeplearning(domain(a-)specificalgorithms)•  Robo@caenIoT•  Kunstma@geintelligen@e(IQ,EQenSQ)

Page 21: igDataLab De Techniek van Big Data - BI-Podium...De techniek van Big Data: Agenda igDataLab Het is gewoon BI alleen met meer data Hoe krijg je het technisch voor elkaar Integrae van

igDataLabVeelData!Schaalbaarheid

(sources:RandyBias/EMC

Page 22: igDataLab De Techniek van Big Data - BI-Podium...De techniek van Big Data: Agenda igDataLab Het is gewoon BI alleen met meer data Hoe krijg je het technisch voor elkaar Integrae van

igDataLabInvalshoek databases: CAP theorema

•  Eisenvoorgedistribueerdedata:1.  Consisten@ebehoud:naeen

opera@eisdatanogsteedsconsistent

2.  Beschikbaarheid:dataisal@jdbeschikbaar

3.  Par@@etoleran@e:bijonbetrouwbareverbindingenblijMhetsysteemfunc@oneren

28-10-2016

Page 23: igDataLab De Techniek van Big Data - BI-Podium...De techniek van Big Data: Agenda igDataLab Het is gewoon BI alleen met meer data Hoe krijg je het technisch voor elkaar Integrae van

igDataLabACID vs BASE

ACID(RDBMS) BASE (NoSQL)Atomic BasicallyAvailable

Consistency SoMstate Isola@on EventualconsistencyDurable

VoorbeeldenvanBASEsystemen:BigTable,Cassandra,SimpleDB

Page 24: igDataLab De Techniek van Big Data - BI-Podium...De techniek van Big Data: Agenda igDataLab Het is gewoon BI alleen met meer data Hoe krijg je het technisch voor elkaar Integrae van

igDataLabGoogle’ssolu@ons:Hadoop

Page 25: igDataLab De Techniek van Big Data - BI-Podium...De techniek van Big Data: Agenda igDataLab Het is gewoon BI alleen met meer data Hoe krijg je het technisch voor elkaar Integrae van

igDataLabHDFS

HadoopDistributedFilesystem:

" Brengtdedatabijdenodediehetverwerkt

" Rela@vehighlatency" Notop@mizedforsmallfiles

Page 26: igDataLab De Techniek van Big Data - BI-Podium...De techniek van Big Data: Agenda igDataLab Het is gewoon BI alleen met meer data Hoe krijg je het technisch voor elkaar Integrae van

igDataLabHDFS

HadoopDistributedFilesystem:

"  canbedeployedoncommodityhardware"  Sizecangrowon-the-flybyaddingnewnodes" op@mizedforstreaming(writeonce,readmany@mes)"  faulttolerantbyreplica@ngdatan@mes(defaultn=3)

" Rela@vehighlatency" Notop@mizedforsmallfiles

Page 27: igDataLab De Techniek van Big Data - BI-Podium...De techniek van Big Data: Agenda igDataLab Het is gewoon BI alleen met meer data Hoe krijg je het technisch voor elkaar Integrae van

igDataLabHDFSBlocks

• HDFSvolumeisdividedintoblocks.• Blocksizeissta@cbutconfigurable(default128Mb)

(source:HadoopforDummies)

Page 28: igDataLab De Techniek van Big Data - BI-Podium...De techniek van Big Data: Agenda igDataLab Het is gewoon BI alleen met meer data Hoe krijg je het technisch voor elkaar Integrae van

igDataLabAanleiding MapReduce

• Hoekanjeeenveelheidvantakenparallelverdelen?• Googlevoorbeeld:“indexeerhetinternet”

1.  Gaallewebsitesaf2.  Iden@ficeerentelallewoordenperURL

3.GroepeerperwoordenvermelddeURL’swaarzetevindenzijn4.SorteerdeURL’sinvolgordevanaantal/belangrijkheid

“Map”

“Reduce”

Page 29: igDataLab De Techniek van Big Data - BI-Podium...De techniek van Big Data: Agenda igDataLab Het is gewoon BI alleen met meer data Hoe krijg je het technisch voor elkaar Integrae van

igDataLabMapReduceworkflow

• Nogmeer

(source:DianaMacLean/AVeryBriefIntroduc@ontoMapReduce

Page 30: igDataLab De Techniek van Big Data - BI-Podium...De techniek van Big Data: Agenda igDataLab Het is gewoon BI alleen met meer data Hoe krijg je het technisch voor elkaar Integrae van

igDataLabMapReducepros&cons

Pro

" Gemaaktvoorparallellisa@e

" Gebruiktdatalokaal" Robuust

Con

"  Flinkeleercurvealsprogrammeeromgeving

"  Startlangzaamop,flinkeoverhead

" Batch-processingonly

Page 31: igDataLab De Techniek van Big Data - BI-Podium...De techniek van Big Data: Agenda igDataLab Het is gewoon BI alleen met meer data Hoe krijg je het technisch voor elkaar Integrae van

igDataLabVanHadoop1.0naar2.0Introduc@evanYARN

Page 32: igDataLab De Techniek van Big Data - BI-Podium...De techniek van Big Data: Agenda igDataLab Het is gewoon BI alleen met meer data Hoe krijg je het technisch voor elkaar Integrae van

igDataLabHadoop: de toolkit

• Pig–verlaagtdeleercurvevoorMapReduce• ApacheHive–BrengtSQLnaarHDFS•  Flume/Storm–Verwerkingvanreal@medata

• Ranger–DataManagement• Kerberos–Security•  Spark–BrengtStreamingenSta@s@csnaarHadoop

28-10-2016

Page 33: igDataLab De Techniek van Big Data - BI-Podium...De techniek van Big Data: Agenda igDataLab Het is gewoon BI alleen met meer data Hoe krijg je het technisch voor elkaar Integrae van

igDataLabApacheHiveWhatisHive?•  ApacheHiveisadatawarehouseinfrastructurebuiltontopofHDFSthattranslatesSQLqueriesintoMapReducejobstotakeadvantageofHadoop’sdistributedprocessingcapabili@es.

WhyHive?•  AllowsyoutousethestrengthsofHadoopthroughafamiliarinterface.

Page 34: igDataLab De Techniek van Big Data - BI-Podium...De techniek van Big Data: Agenda igDataLab Het is gewoon BI alleen met meer data Hoe krijg je het technisch voor elkaar Integrae van

igDataLabApacheSparkWhatisSpark?•  ApacheSparkisafastclustercompu@ngengineforlarge-scaledataprocessing

WhySpark?•  In-memorydataprocessing(advantageforitera@veprocessing

•  SparkStreaming©(supportforcon@nuousstreamprocessing)

Page 35: igDataLab De Techniek van Big Data - BI-Podium...De techniek van Big Data: Agenda igDataLab Het is gewoon BI alleen met meer data Hoe krijg je het technisch voor elkaar Integrae van

igDataLabSparkperformance

Page 36: igDataLab De Techniek van Big Data - BI-Podium...De techniek van Big Data: Agenda igDataLab Het is gewoon BI alleen met meer data Hoe krijg je het technisch voor elkaar Integrae van

igDataLabSparkcomponents

(source:TUMRABigDataScience)

Page 37: igDataLab De Techniek van Big Data - BI-Podium...De techniek van Big Data: Agenda igDataLab Het is gewoon BI alleen met meer data Hoe krijg je het technisch voor elkaar Integrae van

igDataLabSpark:Detoekomst?

28-10-2016

(source:Datanami)

Page 38: igDataLab De Techniek van Big Data - BI-Podium...De techniek van Big Data: Agenda igDataLab Het is gewoon BI alleen met meer data Hoe krijg je het technisch voor elkaar Integrae van

igDataLabErvaringenenresultatenmet“massiveparallelprocessing”

Detechnischetoolboxhebbenwijbesproken:•  NoSQL•  Hadoop•  Spark

Daarnaastnognodig:•  Ontwerpvanintelligentealgoritmenenmodellen(DataScien@sts)•  DataWranglingtools•  Visualisa@etools

Nognietbesprokenelementen:•  Agileontwikkelmethodenhebbenhunwaardebewezen

•  LeanenSCRUMopmicroniveau•  Spo@fymodelopmacroniveau

•  DevOps:BehoeMeaanautoma@seringvandeployment

Page 39: igDataLab De Techniek van Big Data - BI-Podium...De techniek van Big Data: Agenda igDataLab Het is gewoon BI alleen met meer data Hoe krijg je het technisch voor elkaar Integrae van

igDataLabAgileontwikkelen:Scrummethode

28-10-2016

Page 40: igDataLab De Techniek van Big Data - BI-Podium...De techniek van Big Data: Agenda igDataLab Het is gewoon BI alleen met meer data Hoe krijg je het technisch voor elkaar Integrae van

igDataLabSpoAfyorganisaAemodel

28-10-2016

Page 41: igDataLab De Techniek van Big Data - BI-Podium...De techniek van Big Data: Agenda igDataLab Het is gewoon BI alleen met meer data Hoe krijg je het technisch voor elkaar Integrae van

igDataLabDevOps:Thesimpleview

28-10-2016

Page 42: igDataLab De Techniek van Big Data - BI-Podium...De techniek van Big Data: Agenda igDataLab Het is gewoon BI alleen met meer data Hoe krijg je het technisch voor elkaar Integrae van

igDataLabDevOps:Everythingiscode(virtualisaAe)

28-10-2016

Autoscaling•  Scaleup•  Scaledown

Page 43: igDataLab De Techniek van Big Data - BI-Podium...De techniek van Big Data: Agenda igDataLab Het is gewoon BI alleen met meer data Hoe krijg je het technisch voor elkaar Integrae van

igDataLabSamenva]ng:Hoekrijgjehetwerkend?•  DeGovernancevanBigData

•  Focusophetprobleemdatjegaatoplossenmetalsvoornaamstefactoren:•  Bedrijfsmodel,•  Concurren@eposi@e•  Privacy,•  Security,•  IntegriteitenPR•  Ziepresenta@evanErwinenLieve

•  Hoemanagejededata?•  Ziepresenta@eDonnaBurbank

•  Voortbrengingsproces:Projectaanpakvolgensagilemethoden•  4fasen:

•  Innova@e•  Explora@e•  Ontwikkeling•  Produc@e

•  Spo@fymodeloporganisa@eniveau•  Scrumalsontwikkelmodel

Page 44: igDataLab De Techniek van Big Data - BI-Podium...De techniek van Big Data: Agenda igDataLab Het is gewoon BI alleen met meer data Hoe krijg je het technisch voor elkaar Integrae van

igDataLabSamenva]ng:Hoekrijgjehetwerkend?•  TechniekenAnaly@cszijnhulpmiddelen

•  Geenprimairprocesbehalvewaardomeinkennisisvereist

•  DataScienceiseennieuwe,opzichzelfstaandediscipline•  Eigenspecialisa@es•  Somsmetensomszonderdomeinkennis

•  DataEngineeringontwikkelingengaanrazendsnel•  Hetisingewikkeldomhetopera@oneeltehouden

•  Hadoopclustersvoorbatchanalysezijnheeldynamischenkortlevend•  Real-@meinrich@ngenzijnsta@schermitsautoma@schschalend•  Securityinrich@ngiscomplex

•  Houaanslui@ngbijdeOpenSourcecommunity•  Buybeforemake

•  StayAgile•  Klacht:hetlandschapisverwarrendendatklopt.Hetzalvoorlopignietsimpelerworden•  Distribu@eszijnnietallemaalhetzelfde

•  HortonworksishetdichtstbijOpenSource•  MapR,Cloudera,Azure,IBMbaserenzichopopensource

•  Vendorsvoegenproprietaryelemententoe•  Eenmooionderwerpvooreenanderekeer

28-10-2016

Page 45: igDataLab De Techniek van Big Data - BI-Podium...De techniek van Big Data: Agenda igDataLab Het is gewoon BI alleen met meer data Hoe krijg je het technisch voor elkaar Integrae van

igDataLabLastbutnotleast:ScopeisEverything

28-10-2016