Koncepcia HSM

V dobre upratanej komore sú málo používané veci na horných poličkách úplne

vzadu. Predpokladom je vedieť o tom. To platí aj pre storage systémy a dáta.

S t o r a g e Co n s .r .o ,Co n s u l t in g ,Co n c e p t ,Co n t r o l

Jaroslav Pudelka„To Show Quality“

Hierarchical Storage Management – HSM

Hierarchical Storage Management je koncept prevzatý z Mainframe prostredia. V tomto prostredí bolo zdieľanie file systému riešené na úrovni operačného systému, stručne povedané bolo bez problémov. Trochu ťažšia situácia je v oblasti Open systems takže aplikácia HSM tu má niekoľko úskalí. Jedným z nich je transparentnosť file systému pod správou HSM pri jeho súčasnom zdieľaní. Riešením je stopa po súbore tzv. „stub-files“. Ak je daný objekt odmigrovaný na páskové médium, je tam odmigrované jeho telo, ktoré tvorí gro dátového objemu objektu. Hlavička objektu zostáva na natívnom file systéme, pričom obsahuje vitálne atribúty. V prípade užívateľského prístupu je telo objektu obnovené celé alebo po blokoch a sprístupnené užívateľskej požiadavke. Užívateľ alebo aplikácia však vôbec nevie, kde je telo objektu, natívny file systém sa totiž pri použití „stub-files“ javí úplne konzistentne. Zvykne sa tomu hovoriť aj Virtual File Systém alebo Infinity Storage.

Zatiaľ čo implementačné špecifikácie sa líšia od dodávateľa k dodávateľovi, všetky HSM systémy poskytujú veľmi podobné schopnosti a vlastnosti. Storage zariadenia s podobnými charakteristikami sú obvykle zoskupované do tzv. storage pools. HSM katalóg zaznamenáva metadáta o storage subsystéme. Napr. storage pool definície, metadáta o off-line zariadeniach a médiách a o umiestnení záložných kópií dát sú zaznamenané v katalógu. HSM software pracuje a riadi dáta v storage pools na základe používateľských definícii (storage management policies), ktoré sú taktiež uložené v katalógu. Politika pre riadenie storage definuje zálohovanie, archiváciu, migráciu a bezpečnostné pravidlá pre uplatnenie pomocou HSM. Táto politika pre riadenie storage môže definovať také veci ako:

o ako často má byť vykonaná záloha alebo archivácia

o ak súbory na vysoko rýchlostných diskoch neboli používané posledných 90 dní, budú automaticky migrované do páskovej robotizovanej knižnice

o kto je oprávnený pristupovať a obnovovať staršie verzie dát a ako má byť obnova

vykonaná

HSM – jeden zo základných kameňov ILM

Storage hierarchia

Cena za uloženie dát

July 6, 20116

Jemne o ILM

C D P - k o n t i n u á l n ao c h r a n a d á t

S l u ž b y a r c h í v u V i r t u a l i z a č n é s l u ž b y

S t o r a g e a p l i k á c i e - D a t aM a n a g e m e n t E n g i n e

S l u ž b y i n f r a š t r u k t ú r y - S t o r a g eM a n a g e m e n t E n g i n e

A c t i v e S t o r a g e S p a c e - T i e r e d S t o r a g e

July 6, 20117

5 pilierov ILM

ILM je postavené na 5 základných pilieroch

● BRCP – Business Requirements Converting to Policy

● DAE – Data Allocation Engine

● DME – Data Management Engine

● SME – Storage Management Engine

● ASS/TS – Active Storage Space/Tiered Storage

BRCP – Bussiness Requirements Converting to Policy

- Dnes len v polohe vízie- Uplatňuje sa až v stupni Proactive a vyššie

B u s s i n e s s p o ž i a d a v k a

M o d u l B R C P

B C K p o l i t i k a

D M E a S M E

A S SI L M

D R p o l i t i k a H S M p o l i t i k a O A I S p o l i t i k aS M E p o l i t i k a

Business Interface

DAE – Data Allocation Engine – Vision

- DAE vychádza z koncepcie SMS- Je to automatizované, alokačnou politikou riadené primárne ukladanie novovznikajúcich dát- Storage zdroje sú postavené ako Active Storage Space/Tiered Storage

DAE dnes reálne funguje len v prostredí MainFrame

D B , F i l e s y s t e m s , . . .

S A T A / F A T A

O n l i n e S t o r a g e

I n l i n e S t o r a g e

M A I D / V D L

L o n g l i n e S t o r a g e

N e a r l i n e S t o r a g e

Dat

a A

lloc

atio

n E

ngi

ne

/ p

olic

y

Dat

a M

ovin

g E

ngi

ne

T a p e l i b r a r y / V T L

A l l o c a t i o n a t t r i b u t e s :

- f i l e n a m e- f i l e t y p e- o w n e r - m e a n s T C P I P , U s e r i d , . . .- c r e a t i n g t i m e- . . . .

M o v i n g a t t r i b u t e s :

- f i l e a g e- f r e q u e n c y o f u s e- f i l e s i z e- f i l e c o n t a i n s - v i s i o n- f r e e d i s c s p a c e- . . . .

DME – Data Management Engine

-DME je aj HSM-Migračná politika je nastavená podľa

●Vonkajších atribútov●Vnútorných atribútov – vision

D B , F i l e s y s t e m s , . . .

S A T A / F A T A

P r i m a r y S t o r a g e

I n l i n e S t o r a g e

M A I D / V D L

L o n g l i n e S t o r a g e

N e a r l i n e S t o r a g e

Inli

ne

Sto

rage

Nea

rlin

e S

tora

ge

On

lin

e S

tora

ge

Hie

rarc

hic

al S

tor

age

Man

ager

Bac

ku

p a

nd

Rec

over

y

T a p e l i b r a r y / V T L

-DME je BCK-DME je OAIS-DME je management dát podľa ich klasifikácie

SME – Storage Management Engine

E n t e r p r i s e M a n a g e m e n t + S e c u r i t y

A p p l i c a t i o n s

C o m m o n C o n t r o l S y s t e m I n t e r f a c e - C C S I

E n t e r p r i s e S A N - E S A N

S t o r a g e M a n a g e m e n t S A N m a n a g e m e n t

S t o r a g eM a n a g e m e n t

A d m i n

S A NM a n a g e m e n t

A d m i n

F S 1

F S 2

F S 3F S 4

F S 5

F S 6F S 7

F S n

F 1

F 2 F 3

F n

F 4

F 5

F C p o r t sE S a n d C D S

FC

Director

K9 0 0 0

K9 00 0

K9 00 0

K9 00 0

M o n i t o r i n gT u n i n gR e p o r t i n gA n a l y z i n gM i r r o r i n gT a p e m i r r o rC l o n i n gS h a r i n gM e d i a m n g tD a t a s t r i p i n gR A I DR A I LR A I TV i r t u a l i s a t i o nS e c u r i t yM e s s a g i n gA l e r t sB C KL T SH S M

F C p o r t s

H B A

H B A

H B A

H B A

S M A d m i n S A N m n g t A d m i n

E M A d m i n S e c . A d m i n

E n t e r p r i s e P o l i c y E n t e r p r i s e P o l i c y

ASS/TS – Active Storage Space/Tiered Storage

Tiered Storage

- Online – E disk- Inline – SATA/FATA/PATA disk- Nearline – MAID/VDL- Longline – Tape, VTL

Applications

Data presentation layer FS, DB

HSM BCK OAIS DR

ILMDAE DME SME

CCSICommon Control System

Interface

3

FSP 3000

Enterprise disks - online storage SATA/FATA disks Inline storage Tape library - Longline storage

1 5,6,742

MAID disksNearline Storage

July 6, 201113

Klasifikácia dát

Tape library with capacity centric drives

Local copiesNon-critical data – cca 40 percent

Tape library, MAID

Local/remote copies, journaling, logs, backupSensitive data – cca 25 percent

Virtual tape, SATA disks

PIT, Snapshot, incr., diff, can be used sec storageVital data – cca 20 percent

Enterprise disks

Hot standby, mirroring on the same disks, full PIT copies – mirrorStoreMission critical data – cca 15 percent

Technológie na ochranu dátDátová trieda

July 6, 201114

Klasifikácia dát – Mission critical

Mission critical

Táto skupina dát sú najdôležitejšie dáta v spoločnosti. Predstavujú v priemere okolo 15% všetkých dát, ktoré sú uložené na storage zariadeniach. Tieto dáta sú tie, ktoré treba v prípade výpadku informačného systému obnoviť najskôr a sú nevyhnutné na pokračovanie business procesu. Väčšinou z bezpečnostného pohľadu sú tieto dáta klasifikované ako „TAJNÉ“. Strata mission critical dát predstavuje stratu tržieb, potencionálnu stratu zákazníkov a ohrozenie fungovania spoločnosti.

July 6, 201115

Klasifikácia dát – Vital

VitalTieto dáta sú používané v bežnom business procese, ale nevyžadujú okamžitú obnovu pre zachovanie chodu spoločnosti. Z bezpečnostného pohľadu môžu byť tieto dáta klasifikované ako „TAJNÉ“. Akceptovateľný čas obnovy týchto dát sa pohybuje od sekúnd do niekoľko minút.

July 6, 201116

Klasifikácia dát – sensitive

Sensitive

Tieto dáta sú používané v bežnom business procese a ich obnova môže trvať od desiatok minút do niekoľko hodín. Neprítomnosť týchto dát počas doby obnovy vážne neohrozuje prevádzku.

July 6, 201117

Klasifikácia dát – Non-critical

Non-critical

V priemere asi 40% všetkých online uložených dát, čo tvorí najväčšiu kategóriu v tejto klasifikácii. Tieto dáta majú nízke bezpečnostné nároky a väčšinou existujú vo viacerých duplicitných kópiách. Stratené, poškodené, alebo zničené dáta môžu byť bez väčších nákladov alebo úsila znovu obnovené. Doba obnovy sa pohybuje rádovo niekoľko dní. Príkladom týchto dát sú Emailové archívy, digitalizované audio/video nahrávky, alebo osobné dátové súbory.

A p p l i c a t i o n so n

D BO R A C L E

F i le

s y st e

m s

O n l i n e f i l e

M i g r a t e d f i l e - s t u b f i l ea n d f r e e s p a c e o n d i s k

HSM

age

ntH

SM disk cache

H S M t a p e

M i g r a t i o n o n d i s k c a c h e

M i g r a t i o n o n t a p e l i k eb a c k g r o u n d p r o c e s s

D i r e c t m i g r a t i o n s t o t a p e

R e c a l l f r o m d i s k c a c h e

R e c a l l f r o m H S M t a p e

C o l l a b o r a t i o n o f H S M a g e n t a n d H S M s e r v e r .A g e n t i s m o n i t o r i n g r e c a l l r e q u i r e m e n t s ,

c o m m u n i c a t i n g w i t h H S M s e r v e r a n da f t e r r e c a l l i s d o n e u n l o c k f i l e s f o r a p p l i c a t i o n s

F i l e s y s t e m H S M - v i r t u a l f i l e s y s t e m

Hierarchical Storage Management – HSM

Hierarchical Storage Management v OS

D B , F i l e s y s t e m s , . . .

S - A T A / C e n t e r a

P r i m a r y S t o r a g e

S e c o n d a r y S t o r a g e

M A I D

L o n g T e r m S t o r a g e

S h o r t T e r m S t o r a g eIn

lin

e S

tora

geN

earl

ine

Sto

rage

On

lin

e S

tora

ge

Hie

rarc

hic

al S

tora

ge M

anag

er

Bac

ku

p a

nd R

ecov

ery

-Klasické HSM●Migrácia●Recall●Backup●Archív●Vonkajšie atribúty

-HSM ako časť ILM●Migrácia●Recall●Moving●Interné atribúty

HSM v OS je server centric riešenie

July 6, 201120

Hierarchical Storage Management - LOB

Tablespace 1

LOB

Tablespace 2

Tablespace

LOB uložené na OS datových souborech

Datové souboryz Tablespace

Datové souboryz Tablespace 1

Datové souboryz Tablespace 2

Interní LOBOut-of-line LOB Externí LOB

Bfile

July 6, 201121

Hierarchical Storage Management -aplikácia

Particiační klíč

Řádky "APLL"

- CIUCTU_KR- CIUCTU_DB- TRANSACTION_DATE- .......... Od 01.01.2001

do31.03.2001

Od 01.04.2001do

30.06.2001

Od 01.07.2001do

30.09.2001

Od 01.10.2001do

31.12.2001

Rozsah klíčeparticií Jména particií

Particie tabulek uloženéna online discích a HSM

páskach

CDR tabulka

Q1

Q2

Q3

Q4

July 6, 201122

Hierarchical Storage Management – setup

Class_Oracle Class_Aplikace_xx Class_MS SQLClass_DR_

UNIXClass_DR_W

IN NTL

ogic

al s

tora

ge u

nit

_lib

rary

Logical storage u

nit_d

isk_cache

HSM

Volume_set_STK 9840_...._ML1 Volume_set_STK 9940_...._ML2 Volume_set_...._...._HSM DR

Move on background

Migrace datz diskové cachena pásky

Migrace dat

přímo na páskyHSM

July 6, 201123

Hierarchical Storage Management – tiered storage

Reset

H EW LE TTP A C K A RD NetSer ver 5/100 LH.

1 2

1 2 3

10GB 10GB

4 5 6

Tape Clean

JetStore 6000

HEWLETTPACKARD

10GB

Servery a klienti

HSM SW HSM katalog

HSM politika

Farma Diskov

Access Centric pásky

Capacity Centric pásky Offsite kopie pro DR

HSM server

ASS/TS – Active Storage Space/Tiered Storage

Tiered Storage

- Online – E disk- Inline – SATA/FATA/PATA disk- Nearline – MAID/VDL- Longline – Tape, VTL

Applications

Data presentation layer FS, DB

HSM BCK OAIS DR

ILMDAE DME SME

CCSICommon Control System

Interface

3

FSP 3000

Enterprise disks - online storage SATA/FATA disks Inline storage Tape library - Longline storage

1 5,6,742

MAID disksNearline Storage

Metadáta – základ riadenia

C a p t u r e s y s t e m

S t a t i c d e f i n i t i o n

D y n a m i c d e f i n i t i o n

I n d e x i n g

S p l i t t o l o g i c a l r e p o r t

D i s t r i b u t i o n

S t o r a g e M a n a g e m e n t

A r c h i v e c o p yp h y s i c a l d a t a

I n p u t d a t a f o r a r c h i v i n g

L o g i c a l v i e w

U s e r a c c e s s

S t o r a g eM a n a g e m e n t

I n t e r f a c e

A d m i n a c c e s s

T e c h n i c a l m e t a d a t a

U s e r m e t a d a t a

A d m i n m e t a d a t a

Administrátorské metadáta – informácie potrebné pre administrátorov Aktívneho Archívu.

Technické metadáta – informácie potrebné pre administrátorov a čiastočne aj užívateľov Aktívneho Archívu

Užívateľské metadáta – obsahujú množinu informácií potrebných pre užívateľskú prácu s archivovanými dátami. Dôležité sú najmä údaje o integrite dát, pôvode dát, a autentičnosti dát.

C a p t u r e s y s t e m

S t a t i c d e f i n i t i o n

D y n a m i c d e f i n i t i o n

I n d e x i n g

S p l i t t o l o g i c a l r e p o r t

D i s t r i b u t i o n

S t o r a g e M a n a g e m e n t

A r c h i v e c o p yp h y s i c a l d a t a

I n p u t d a t a f o r a r c h i v i n g

L o g i c a l v i e w

U s e r a c c e s s

S t o r a g eM a n a g e m e n t

I n t e r f a c e

A d m i n a c c e s s

T e c h n i c a l m e t a d a t a

U s e r m e t a d a t a

A d m i n m e t a d a t a

July 6, 201126

Ako to použiť?

Datacenter Complexity Factor – DCF

„Datacenter Complexity Factor - DCF“. DCF = počet serverov * počet klientov * počet aplikácií * počet network elementov * počet storage elementov * počet pripojení * počet dodávateľov Platí jedna podmienka, žiaden z faktorov sa nesmie rovnať nule, čo v podstate technicky nie je dosiahnuteľné. Ďalej platí, čím vyššia je hodnota DCF tým zložitejšie je riadenie celej infraštruktúry IT. To podčiarkujú aj štatistické údaje podľa ktorých až 30 % IT rozpočtov je alokovaných do riadenia a manažovania elementov infraštruktúry. Nie je sice explicitne vyjadrený vzťah medzi hodnotou DCF a percentom nákladov IT rozpočtu, určite však platí priama úmera medzi DCF a IT rozpočtom. Riešenie je zdanlivo jednoduché, znižovať celkovú hodnotu DCF znižovaním jednotlivých hodnôt. Tu sa však dostávame do protikladu s požiadavkami firmy ako jednotky existujúcej z úspešného obchodu. IT je dnes neoddeliteľnou súčasťou obchodných procesov firmy a ako neskôr uvidíme veľmi dôležitou a to až existenčne. Pre riešenie problematiky DCF platí:

- Nikdy sa nedá vyriešiť problém automatizovaním zlých procesov. Vysvetlenie je stručné. Pri zálohovaní je úspešnosť procesov okolo 70-80 percent. Je jedno či zálohujeme ručne alebo cez páskovú automatizáciu. Čiže automatizovaním nedokonalého procesu neriešime problém, zvyšujeme však hodnotu DCF. Vložením diskového elementu do zálohovacieho procesu zvýšime úspešnosť až na 99.9 percenta. Takže problém sme vyriešili zmenou procesu, nie len jeho automatizovaním. Z pohľadu DCF sme sice zvýšili počet storage elementov vo forme diskového priestoru, avšak môžeme znížiť počet páskových mechaník, čo sa prejaví zmenšením počtu storage elementov a počtu pripojení do SAN. V konečnom dôsledku sme hodnotu DCF znížili.

- Vzhľadom na komplexnosť dnešnej infraštruktúry IT a najmä so zreteľom na procesné postavenie IT vo firme je žiadúce voliť strategické riešenie zasahujúce a ovplyvňujúce všetky faktory definované v rovnice pre DCF. Preto rozhodne platí motto: „Hope is not a strategy“.

July 6, 201128

Future of Storage IntelligenceWindows UNIX LINUX zOS

Intelligent storage gateway

Disk arrayTier 1

Disk arrayTier 2

Tape Library/Virtual tapeTier 3

Storage Interface switch/converter

1 2 3 41 - Fibre channel (blocks)2 - SCSI/SAS (blocks)3 - IP storage (files,blocks)4 - FICON, ESCON

Data movement

Storage functionsSAN virtualization

HSM/Backup/RecoverySecurity

DeduplicationReplication

Servers?

Switch?

Storage subsystem?

Storage virtualization

Backup/recovery

Data migration

Security

Common Tiered StorageCTSTier1Tier2

Data Migrationbetween Tiered

Storage

VirtualLevel 2

Data Migrationbetween Tiered

Storage

Common Tiered Storage

July 6, 201130

Tiered Backup

ENV_PRD

ENV_TST

ENV_DEV

MNGT_LPAR

SAN

ILM Data classification/Tiered backup

SAN

Disk mirrorExternal Storage

BCK Storage pool

Real Tape Driveoptional Virtual tape

Writing to tapeafter split mirror

Writing to tapeas backgroundproces

D2D

2T backup

Tiered 1 backup - mision critical data

Tiered 2 backup - critical data

Tiered 3 backup - vital and non-critical data

Application serverApplication classificationRTO - based on SLARPO - based on SLA

Archivácia cez Hierarchical Storage Management

D B O r a c l e

A p p l i c a t i o n

A r c h i v eS t o r a g e

H S M S e r v e r

H S Mc l i e n t s

M i g r a t i o n

Reca

ll

Reca

ll

H S M p o l i c y i s b a s e d o n A r c h i v i n g p o l i c y

Archivácia cez Hierarchical Storage Management - HSM

• Archivácia nástrojmi HSM SW• Archív nie je riadený• Objekty sú vo formáte HSM SW alebo aplikácie• Prístup na objekty cez HSM klienta• Prístup na objekty aj cez nástroje aplikácie• Žiadna indexácia• Závislosť na verzii HSM SW a/alebo aplikácii

Archivácia aplikačne s podporou HSM

D B O r a c l e

A p p l i c a t i o n A p p l i c a t i o n A p p l i c a t i o n

H S M s e r v e r

H S Mc l i e n t

H S Mc l i e n t

H S Mc l i e n t

R e c a l l

M i g r a t i o n b a s e d o n H S M p o l i c y

A r c h i v ea n d

B a c k u pS t o r a g e

R e c a l l R e c a l l

M i g r a t i o n / R e c a l l

Archivácia s archivačným SW a podporou HSM

D B O r a c l e

A p p l i c a t i o n A p p l i c a t i o n A p p l i c a t i o n

A r c h i v es e r v e r

A r c h i v ea n d

B a c k u pS t o r a g e

A c c e s s w i t h P C A r c h i v c l i e n t

H S M s e r v e r

R S D A P IH S Mc l i e n t

R S D A P IH S Mc l i e n t

R S D A P IH S Mc l i e n t

1 Y e a r

A l l D a t a

July 6, 201135

Diskusia