HBase - zonder notities
-
Upload
wibren-van-assche -
Category
Documents
-
view
120 -
download
1
Transcript of HBase - zonder notities
HBaseGebracht door: Jonas Cristens, Arno Cuyckens, Wibren Van Assche en Vincent Van Dyck
Wat is HBase?
Voor je begint met HBase
▪ Voldoende gegevens
▪ Geen functionaliteiten als in RDBMS
▪ Veel hardware
Architectuur
Kenmerken van HBase
▪ Opensource
▪ CP
▪ Draait bovenop HDFS
▪ Column-oriented
▪ Grote hoeveelheden data
▪ Automatische sharding
▪ Crash recovery
Kenmerken van HBase
▪ Geschikt voor analytics
▪ Veel geheugen vereist
▪ “Single point of failure“
CAP Theorem
▪ Geen availability
▪ Zeer consistent systeem
▪ Network partitioning
HDFS
▪ HBase draait bovenop HDFS
▪ Data replicatie
Column-oriented
▪ ↔ row-oriented
▪ Minder rekenkracht nodig
▪ Geschikt voor aggregaties
▪ Compressie
▪ Column families
Grote hoeveelheden data
▪ Snelle verwerking
▪ Makkelijk uitbreidbaar
▪ RegionServers
Hoe werken RegionServers?
▪ WAL
▪ Memstore
▪ HFile
▪ Minor compaction
▪ Major compaction
Automatische sharding
▪ Verdeling van regions in child regions
▪ Automatische load balancing
Crash recovery
▪ RegionServer crash
▪ ZooKeeper
▪ HMaster
▪ WAL
▪ Region balancing
▪ Complex en traag
Geschikt voor analytics
▪ Locatie in cache▪ Snelle random read access
▪ Makkelijke aggregatie
▪ Combineren met MapReduce
Veel geheugen vereist
▪ Memstores▪ Eerste opslag
▪ Flush
“Single point of failure”
▪ NameNode in HDFS▪ Oplosbaar
▪ Checkpoint
▪ HMaster ▪ Oplosbaar
Wanneer moet je HBase niet gebruiken?
▪ Ter vervanging van een RDBMS▪ Verwacht geen joins
▪ Geen geavanceerde queries
▪ Weinig data
▪ Weinig hardware
Wanneer wel HBase?
▪ Grote datasets▪ Miljoenen kolommen en miljarden rijen
▪ Snelle analyses
▪ Wanneer consistentie belangrijk is
▪ Voorbeeld:▪ Facebook Messenger