Valos ideju megoldasok realtime ods és database in memory tapasztalatok
-
Upload
sef-daniel -
Category
Software
-
view
107 -
download
0
Transcript of Valos ideju megoldasok realtime ods és database in memory tapasztalatok
![Page 1: Valos ideju megoldasok realtime ods és database in memory tapasztalatok](https://reader031.fdocument.pub/reader031/viewer/2022022203/5872ec9f1a28abfa548b755f/html5/thumbnails/1.jpg)
Valós idejű megoldások: Realtime ods és Database In-
Memory tapasztalatok
Pusztai PéterIT fejlesztési senior menedzser – Magyar Telekom
Sef DánielSzenior IT tanácsadó– T-Systems Magyarország
2016. április 6.
![Page 2: Valos ideju megoldasok realtime ods és database in memory tapasztalatok](https://reader031.fdocument.pub/reader031/viewer/2022022203/5872ec9f1a28abfa548b755f/html5/thumbnails/2.jpg)
amiről szó lesz…
Siebel Replica – ODS rendszer születésének körülményei a Magyar Telekomban
A rendszer felhasználási céljai, lehetőségei
Oracle Database In-Memory esettanulmány
Tapasztalatok, összegzés
![Page 3: Valos ideju megoldasok realtime ods és database in memory tapasztalatok](https://reader031.fdocument.pub/reader031/viewer/2022022203/5872ec9f1a28abfa548b755f/html5/thumbnails/3.jpg)
Több forrásból származó, integrált adatokra épített adatszolgáltatások
Online lekérdezések (extrém gyors válaszidővel történő kiszolgálás)
Ad-hoc riporting
Nagy számításigényű feladatok elvégzése
Nagy adattömegű, batch adatszolgáltatások
Siebel audit logok biztonságos és elkülönített gyűjtése
Meghatározott tulajdonságok alapján történő adatirányítás
Érzékeny adatokhoz történő hozzáférés korlátozása
Valós időben épülő adattörténet
a születés körülményeimilyen igények híVták életre a siebel replica-t
Éles Siebel tehermentesítése
3
Érzékeny adatok és Siebel audit logok kezelése
2
Adattárház táplálása
1
a születést köVetően újabb igények jelentek meg:
![Page 4: Valos ideju megoldasok realtime ods és database in memory tapasztalatok](https://reader031.fdocument.pub/reader031/viewer/2022022203/5872ec9f1a28abfa548b755f/html5/thumbnails/4.jpg)
Felhasználási célok, Funkciók
Számos felhasználási lehetőség:
• valósidejűség kihasználása: online adattörténet építés, perces gyakoriságú batch feldolgozások futtatása
• vissza-irányú interfészek: a forrás rendszer egyben az adatbázis replikában feldolgozott adatok fogadó rendszere
• teljes adattörténetre épülő adatszolgáltatások: hatósági adatszolgáltatás, ahol minden változás átadása szükséges
• front-end-ek felől érkező online lekérdezések kiszolgálása (jobb válaszidővel, mint amire a forrásrendszer képes)
• operatív (és ad-hoc) riportok: riporting keretrendszer
![Page 5: Valos ideju megoldasok realtime ods és database in memory tapasztalatok](https://reader031.fdocument.pub/reader031/viewer/2022022203/5872ec9f1a28abfa548b755f/html5/thumbnails/5.jpg)
miért jó ez a magyar telekomnak?
• Valós idejű ODS lehetősége
• Tehermentesíti a produktív rendszereket
• A dobozos CRM rendszer lehetőségeit kiterjeszti
• A replikált adatbázison közvetlenül lehet fejleszteni
• Ütemezett batch feldolgozások
• Webszolgáltatások implementálásának lehetősége
• Ad-hoc riportolás
![Page 6: Valos ideju megoldasok realtime ods és database in memory tapasztalatok](https://reader031.fdocument.pub/reader031/viewer/2022022203/5872ec9f1a28abfa548b755f/html5/thumbnails/6.jpg)
a Valós idejű inFormáció Vonzereje
![Page 7: Valos ideju megoldasok realtime ods és database in memory tapasztalatok](https://reader031.fdocument.pub/reader031/viewer/2022022203/5872ec9f1a28abfa548b755f/html5/thumbnails/7.jpg)
esettanulmány - perFormancia jaVítássiebel replika Felhasználási célok mentén
• Index karbantartás
• OLTP indexek
• Analitikus indexek
• Batch feldolgozások
• Riporting Rendszer
OLTP és Analitikus
terhelés
![Page 8: Valos ideju megoldasok realtime ods és database in memory tapasztalatok](https://reader031.fdocument.pub/reader031/viewer/2022022203/5872ec9f1a28abfa548b755f/html5/thumbnails/8.jpg)
• 1000GB Diszk
• 60 GB Memória
• AMD Opteron(tm) Processor 6128
• 8 core CPU
• Siebel Replika fejlesztői környezetéhez hasonló struktúra
• Generált tesztadatok
T-Systems szerveren – Generált tesztadatok segítségével
tesztkörnyezet
![Page 9: Valos ideju megoldasok realtime ods és database in memory tapasztalatok](https://reader031.fdocument.pub/reader031/viewer/2022022203/5872ec9f1a28abfa548b755f/html5/thumbnails/9.jpg)
OLTP és Analitikus terhelés
Valós idejű elemzés Bevezetés az
alkalmazás
változtatása nélkül
100x
Oracle Database In-Memory célok
![Page 10: Valos ideju megoldasok realtime ods és database in memory tapasztalatok](https://reader031.fdocument.pub/reader031/viewer/2022022203/5872ec9f1a28abfa548b755f/html5/thumbnails/10.jpg)
• Sor és Oszlop alapú elemzés ugyanarra a táblára
• Konzisztens adattárolás
• Elemzés és Riporting kiszolgálás Oszlop alapú tárolással
• OLTP kiszolgálás sor alapú tárolással
Buffer Cache Column Store
ORDER ORDER
RowFormat
ColumnFormat
ORDER
adatbázis tárolási módok
![Page 11: Valos ideju megoldasok realtime ods és database in memory tapasztalatok](https://reader031.fdocument.pub/reader031/viewer/2022022203/5872ec9f1a28abfa548b755f/html5/thumbnails/11.jpg)
1. Memória méret konfigurálása: inmemory_size = XX GB
2. Táblák vagy partíciók konfigurálása: alter table | partition … inmemory;
3. OLTP gyorsítás: eldobhatóak az analitikus indexek
Oracle Database In-Memory beállítás
![Page 12: Valos ideju megoldasok realtime ods és database in memory tapasztalatok](https://reader031.fdocument.pub/reader031/viewer/2022022203/5872ec9f1a28abfa548b755f/html5/thumbnails/12.jpg)
OLTP és Analitikus Indexek
• Index nyilvántartás SiebelReplikában: legtöbb index komplex OLTP adatbázisok esetén analitikus lekérdezéseket szolgál ki
• Új sor beszúrása a táblába => 10-20 analitikus indexek frissítése =>Lassú!
• Ad-hoc analitika támogatása
Tábla1 – 3 OLTP
Indexek
10 – 20 Analitikus
Indexek
![Page 13: Valos ideju megoldasok realtime ods és database in memory tapasztalatok](https://reader031.fdocument.pub/reader031/viewer/2022022203/5872ec9f1a28abfa548b755f/html5/thumbnails/13.jpg)
In-Memory Végrehajtási terV
2016.04.06.– Strictly confidential, Confidential, Internal – Author / Presentation title 13
![Page 14: Valos ideju megoldasok realtime ods és database in memory tapasztalatok](https://reader031.fdocument.pub/reader031/viewer/2022022203/5872ec9f1a28abfa548b755f/html5/thumbnails/14.jpg)
Analitikus SQL tesztek
Analitikus SQL:
8 millió soros lekérdezés 6 percről 7 másodpercre
Real Time Analitika Bevezetés az
alkalmazás
változtatása nélkül
Ad-Hoc lekérdezések Oracle Database In-Memory segítségéVel
![Page 15: Valos ideju megoldasok realtime ods és database in memory tapasztalatok](https://reader031.fdocument.pub/reader031/viewer/2022022203/5872ec9f1a28abfa548b755f/html5/thumbnails/15.jpg)
?
![Page 16: Valos ideju megoldasok realtime ods és database in memory tapasztalatok](https://reader031.fdocument.pub/reader031/viewer/2022022203/5872ec9f1a28abfa548b755f/html5/thumbnails/16.jpg)
köszönjüka
figyelmet!