Post on 06-Aug-2019
- Podatkovni centar
• Srce - najstarija infrastrukturna ustanova akademske i istraživačke zajednice u području primjene
informacijskih i komunikacijskih tehnologija (ICT)
• središnje čvorište e-infrastrukture sustava znanosti i visokog obrazovanja i Sveučilišta u Zagrebu
• središte za obrazovanje i podršku u području primjene ICT
• podatkovni centar u Srcu
• 60+ mrežnih i poslužiteljskih ormara, 185 m2
• mrežna oprema
• 160+ fizičkih i 130+ virtualnih poslužitelja
• diskovna spremišta (FC + iSCSI SAN)
• tračna knjižnica (LTO Ultrium)
• računalni klaster Isabella – najmoćniji u HR
Korisnici i zahtjevi (1)
• sustavi i aplikacije
• VMware vSphere – središnja virtualizacijska platforma u Srcu
– klaster 8 poslužitelja, 130+ VM-ova, 15 TB (6 x 2,5 TB VMFS)
• ISVU – IBM Informix, Oracle Solaris OS; MS SQL, Windows Server OS; Linux OS
– ISVU upisi, ispiti – 100+ visokoškolskih ustanova; 10.000 predavača i administrativno osoblje
– 130.000 studenata; 1.000.000 prijava i 400.000 ispita mjesečno u veljači, lipnju i rujnu
– 2.200.000 transakcija u bazi mjesečno, baza 130 GB
• ISSP – MS SQL, Windows Server OS
– 45.000 računa (180.000 transakcija) dnevno cijelu ak. godinu; 95.000+ korisnika, baza 40 GB
• IPISVU – ERP (SAP with Oracle), Linux OS
– 5 produkcijskih + 4 testne Oracle instance, ukupno 1,2 TB
Korisnici i zahtjevi (2)
• sustavi i aplikacije
• DOMUS – udomljavanje internetskih servisa, Linux OS
– DNS, web, MySQL, e-mail, LDAP itd. – 22 visoke škole i instituta; 16 udruga – 13.000+ korisnika, 12.000 e-mailova dnevno, ukupno 2 TB
• Nagios + Zabbix + OCS + GLPI – središnji sustav Srca za nadzor mreže, poslužitelja, aplikacija + inventar
IT opreme, MySQL + PostgreSQL, Linux OS
– ujednačeno opterećenje 24/7/365 – ukupno baze 53 GB
• Backup/Archive za Srce – IBM TSM, Linux OS
– baza 95 GB, 170+ klijenata, dnevni backup od 18:00 do 06:00, 2 TB, 400.000 datoteka
Zamjena “Tier 1” diskovnog spremišta
• Tier 1 spremište nabavljeno 2007. godine
• entry-level enterprise, 24 TB neto, 12.000 IOPS, kraj službene podrške
• analiza – zahtjevi za novo “Tier 1” spremište
• high midrange ili entry-level enterprise segment (cijena!)
• najmanje 48 TB neto uz mogućnost proširenja
• poželjno najmanje 5% kapaciteta na SSD diskovima
• tvrdi diskovi 2,5” SAS 10 k rpm
• najmanje 32 GB cache (R/W operacije)
• najmanje 30.000 IOPS (polovica na HDD diskovima)
• sučelja FC (8 Gb/s) + iSCSI (10 Gb/s)
• tehnologije: tiering, thin provisioning, wide striping
• potpuna integracija s VMware vSphere platformom
• nadzor, analiza, upravljanje kapacitetom i djelovanjem sustava
• manja potrošnja električne energije, itd.
Javna nabava – IBM Storwize V7000 (2076)
• isporučena konfiguracija
• klaster dva IBM Storwize V7000 node-a
• 80 x 900 GB 2,5” SAS 10 k rpm diskova (72.000 GB)
• 24 x 200 GB 2,5” SSD diskova (4.800 GB)
• 32 GB R/W cache
• 16 x FC (8 Gb/s) + 8 x iSCSI (10 Gb/s)
• ukupno samo 12 RU
Instalacija i testiranje
• instalacija
• u dva susjedna ormara radi jednostavnijeg proširivanja, spojeno na 4 FC switch-a zbog migracije
• testiranje prije produkcije – prosječne vrijednosti (Linux naredba dd i IOzone benchmark)
4 Gb/s – limit FC switch-a
32 GB R/W cache – slični rezultati
SSD – RAID6
(7D+2P)
SSD – RAID5
(6D+1P)
HDD – 3xRAID6
(8D+2P)
HDD – 5xRAID5
(7D+1P)
Seq R/W - MB/s(Linux naredba dd)
387 / 340 353 / 368 366 / 298 369 / 257
Rnd R/W - MB/s(IOzone benchmark)
260 / 180 253 / 162 257 / 182 256 / 179
Seq R/W – IOPS(IOzone benchmark)
9777 / 2798 9759 / 2977 9735 / 2733 10013 / 2978
Rnd R/W – IOPS(IOzone benchmark)
9648 / 4837 9667 / 4881 9536 / 4903 9884 / 4908
Konfiguracija
Storage Pool MDISK-ovi (RAID grupe) GB Easy Tier
St1_R6_pool_01 3 x HDD RAID6(8D+2P)
1 x SSD RAID10(2D+2D)
20.480,26 Da
St2_R6_pool_01 3 x HDD RAID6(8D+2P)
1 x SSD RAID10(2D+2D)
20.480,26 Da
St1_R5_pool_01 1 x HDD RAID5(7D+1P) 5.865,02 Ne
St2_R5_pool_01 1 x HDD RAID5(7D+1P) 5.865,02 Ne
St1_R5_ssd_01 1 x SSD RAID5(6D+1P) 1.114,86 Ne
St2_R5_ssd_01 1 x SSD RAID5(6D+1P) 1.114,86 Ne
Iskoristivo ukupno: 53,63 TB
Migracija na IBM Storwize V7000
• 130+ virtualnih poslužitelja
• 120 bez prekida
• od 2 do 30 minuta po VM-u
• 7 fizičkih uz minoran downtime
• VMware – 15 TB (6 x 2,5 TB VMFS)
• OS – Linux, Windows
• baze – IBM Informix, Oracle, MySQL, PostgreSQL, MS SQL
• servisi – web, e-mail, LDAP, DNS itd.
Iskustva u produkciji
• novi RAID5(6D+1P) SSD LUN vs stari RAID10(2D+2D) HDD LUN
• IBM TSM baza podataka – svakodnevni primjer (IBM TSM Expiration process)
• 10 x IOPS i 10 x propusnost (45 minuta umjesto 8 sati)
• prosječno 2.000.000 operacija
• VMware
• pokretanje VM-ova – sad je 2 do 5 puta brže (gotovo svi Windows VM-ovi ispod 10 sekundi)
• Storage Vmotion – prije 70 MB/s, sad 300 MB/s
• Firmware nadogradnja
• izrazito jednostavno, bez prekida naravno :-)
• potrošnja električne energije
• klaster dva IBM Storwize V7000 node-a – 11.887 kWh/god
• zamijenjeno staro spremište – 30.610 kWh/god
Upravljanje i nadzor
• IBM SVC engine – upravljanje kroz GUI i command line
• osnovni nadzor ugrađen u SVC engine
• IBM Tivoli Storage Productivity Center Select Edition
– nadzor, analiza, povijesni prikaz, upravljanje kapacitetom i djelovanjem sustava ...