LNL CMS M.Biasotto, Roma, 22 novembre 2001 1 I Tier2 in CMS Italia Massimo Biasotto - LNL.

M.Biasotto, Roma, 22 novembre 2001M.Biasotto, Roma, 22 novembre 2001 11

LNL

CMS

I Tier2 in CMS ItaliaI Tier2 in CMS Italia

Massimo Biasotto - LNLMassimo Biasotto - LNL


LNL

CMS

SommarioSommario

Stato attuale delle farm italianeStato attuale delle farm italiane

Il Tier2 di riferimento a Legnaro/PadovaIl Tier2 di riferimento a Legnaro/Padova

Il servizio di analysis farm da implementare a LNLIl servizio di analysis farm da implementare a LNL

ConclusioniConclusioni


LNL

CMS

Le farm italianeLe farm italiane

Tier2+Tier2+ Tier2Tier2 Tier3Tier3Tier1Tier1


LNL

CMS

Stato attualeStato attuale

SezioneSezione # CPU# CPU SI 95SI 95 Storage (TB)Storage (TB)

BariBari 2020 840840 2.3 2.3

BolognaBologna 2828 14001400 1.61.6

CataniaCatania 44 170170 0.30.3

FirenzeFirenze 50 (shared: 17)50 (shared: 17) 1900 (shared: 630)1900 (shared: 630) 1.71.7

LegnaroLegnaro 8888 44004400 1010

PadovaPadova 3030 11001100 2.72.7

PerugiaPerugia 1616 800800 11

PisaPisa 3131 15001500 2.42.4

RomaRoma 2525 11001100 1.51.5

TorinoTorino 66 280280 0.50.5

TotaleTotale 260260 1220012200 2424


LNL

CMS

Evoluzione 2002Evoluzione 2002

SezioneSezione SI95 - 2001SI95 - 2001 SI95 - 2002SI95 - 2002 Storage-2001Storage-2001 Storage-2002Storage-2002

BariBari 840840 +300+300 2.3 2.3 +2+2

BolognaBologna 14001400 -- 1.61.6 +2+2

CataniaCatania 170170 +300+300 0.30.3 +1.2+1.2

FirenzeFirenze 630630 +300(?)+300(?) 1.71.7 +2(?)+2(?)

LegnaroLegnaro 44004400 +3000(?)+3000(?) 1010 +6+6

PadovaPadova 11001100 +1000+1000 2.72.7 --

PerugiaPerugia 800800 -- 11 --

PisaPisa 15001500 -- 2.42.4 --

RomaRoma 11001100 ?? 1.51.5 +1.5(?)+1.5(?)

TorinoTorino 280280 +200+200 0.50.5 +2+2

TotaleTotale 1220012200 +5100(?)+5100(?) 2424 +16.7(?)+16.7(?)


LNL

CMS

Riepilogo CPURiepilogo CPU

SI95

0

1000

2000

3000

4000

5000

6000

7000

8000

BA BO CT FI LNL PD PG PI RM TO

2001

2002


LNL

CMS

Riepilogo StorageRiepilogo Storage

Storage (TB)

0

2

4

6

8

10

12

14

16

18

BA BO CT FI LNL PD PG PI RM TO

2001

2002


LNL

CMS

Layout tipicoLayout tipico

Notevole uniformita’ delle Notevole uniformita’ delle farm sia nell’architettura che farm sia nell’architettura che nel software (grazie anche al nel software (grazie anche al toolkit di installazione)toolkit di installazione)

Architettura tipica:Architettura tipica:

– 1 gateway (accesso 1 gateway (accesso esterno, home utenti, sw esterno, home utenti, sw applicativo)applicativo)

– storage centralizzato su 1 storage centralizzato su 1 o piu’ disk servers in o piu’ disk servers in GigaEthernetGigaEthernet

– N nodi di calcolo in N nodi di calcolo in FastEthernetFastEthernet

SWITCH

DISKSERVER

GE

FE

GATEWAY

N2

N1

Nx

NODI DICALCOLO

LAN


LNL

CMS

Storage: SCSI / EIDEStorage: SCSI / EIDE

Attualmente:Attualmente:– EIDE a BO, CT, LNL, PD, PG, PI, TOEIDE a BO, CT, LNL, PD, PG, PI, TO– SCSI a BA, FI, RMSCSI a BA, FI, RM

Costo per GB favorevole all’EIDECosto per GB favorevole all’EIDE– SCSI 22k/GB (HD da 160)SCSI 22k/GB (HD da 160)– EIDE 9k/GB (HD da 80)EIDE 9k/GB (HD da 80)

In arrivo per gli SCSI HD da 320GB, ma anche per gli EIDE In arrivo per gli SCSI HD da 320GB, ma anche per gli EIDE HD da 160HD da 160

I controller RAID per EIDE (3ware Escalade 6000, Adaptec I controller RAID per EIDE (3ware Escalade 6000, Adaptec 2400) offrono performance equivalenti agli SCSI nel RAID02400) offrono performance equivalenti agli SCSI nel RAID0Per il RAID 5 invece rimane la superiorita’ degli SCSI, Per il RAID 5 invece rimane la superiorita’ degli SCSI, specialmente in scrittura (EIDE: ~15MB/s, SCSI: ~45MB/s), specialmente in scrittura (EIDE: ~15MB/s, SCSI: ~45MB/s), ma la situazione potrebbe evolverema la situazione potrebbe evolvere


LNL

CMS

CPUCPU

Attualmente tutte le farm con Intel PIII (tipicamente 1GHz). Attualmente tutte le farm con Intel PIII (tipicamente 1GHz). Anche negli acquisti in corso si e’ rimasti sul PIII, nella Anche negli acquisti in corso si e’ rimasti sul PIII, nella versione Tualatin con 512MB di cache (a 1.13 o 1.26 GHz)versione Tualatin con 512MB di cache (a 1.13 o 1.26 GHz)

Nessuno ha “rischiato” nel provare le alternative (Intel Nessuno ha “rischiato” nel provare le alternative (Intel Xeon o AMD Athlon) che offrono frequenze di clock Xeon o AMD Athlon) che offrono frequenze di clock maggiori, fino a 2GHzmaggiori, fino a 2GHz

A Padova nell’ambito del WP4 di INFNGRID stanno A Padova nell’ambito del WP4 di INFNGRID stanno acquistando alcune di queste macchine: sarebbe acquistando alcune di queste macchine: sarebbe interessante provare il software CMS per verificare se la interessante provare il software CMS per verificare se la maggiore velocita’ teorica corrisponde a reali benefici nella maggiore velocita’ teorica corrisponde a reali benefici nella pratica.pratica.


LNL

CMS

NetworkNetwork

GRIDGRID

PI

RM

PGPD

TO

BABO

CT

FI

LNL

12Mb 12Mb

4Mb

4Mb

8Mb

28Mb16Mb

16Mb

32Mb

12Mb

34Mb

GPOPPD

GPOPPD

~ 2 Gb

~ 10 Gb


LNL

CMS

Layout Farm LNLLayout Farm LNL

FFastastEEthth

32 – GigaEth 1000 BT32 – GigaEth 1000 BT

SWITCHSWITCH

N1N1FFastastEEthth

SWITCHSWITCH

11 88

S1S1 S16S16

NN2424 N1N1 NN2424

Nx – Computational NodeNx – Computational NodeDual PIII – 1 GHzDual PIII – 1 GHz512 MB512 MB3x75 GB Eide disk + 1x20 GB for O.S.3x75 GB Eide disk + 1x20 GB for O.S.

Sx – Disk Server NodeSx – Disk Server NodeDual PIII – 1 GHzDual PIII – 1 GHzDual PCI (33/32 – 66/64 512 MBDual PCI (33/32 – 66/64 512 MB4x75 GB Eide Raid disks (exp up to 10) 4x75 GB Eide Raid disks (exp up to 10) 1x20 GB disk O.S.1x20 GB disk O.S.

FFastastEEthth

SWITCHSWITCH

N1N1 22 NN24242001200134 Nodes34 Nodes8 TB8 TB

2001-2-32001-2-3up to 190up to 190NodesNodes

S10S102001200110 Servers10 Servers3 TB3 TB

To WANTo WAN34 Mbps 200134 Mbps 2001~ 1Gbps 2002~ 1Gbps 2002

200120014400 SI954400 SI95


LNL

CMS

Farm LNLFarm LNL

7 m

10 m

max 16 PC (5 kW)max 16 PC (5 kW)x shelf modulex shelf module

max 64 PC (20 kW)max 64 PC (20 kW)x shelf (4 modules)x shelf (4 modules)~ 6 KSI95 Now~ 6 KSI95 Now

19” rack (5 kW)19” rack (5 kW)for network for network Equipments,Equipments,Disks, etc.Disks, etc.

Max 200 BoxMax 200 Box

T2+ Prototype T2+ Evolution

max 30 1Umax 30 1U PC (10 kW) x rackPC (10 kW) x rack

Replacing old shelfs with 19” racksMax 1000 Boxes

~ 3 KSI95 Now

~ 25 TB Now

2001

2001

2002

2002

T2+ Rif.~ 70 KSI95~ 250 TB


LNL

CMS

Farm LNLFarm LNL


LNL

CMS

Espansione Farm LNLEspansione Farm LNL

Acquisti in corso con i finanziamenti 2002 anticipati al Acquisti in corso con i finanziamenti 2002 anticipati al 2001:2001:– 3TB dischi EIDE nei server gia’ esistenti3TB dischi EIDE nei server gia’ esistenti– ~ 30 PC (computing nodes)~ 30 PC (computing nodes)– 3TB dischi SCSI + 3 PC disk-servers3TB dischi SCSI + 3 PC disk-servers– Tape Library StorageTek L80 LTO (8TB in linea) Tape Library StorageTek L80 LTO (8TB in linea)

finanziata dalla comm. calcolofinanziata dalla comm. calcolo Nei 3 servers con 3TB sara’ installato il DB che raccogliera’ Nei 3 servers con 3TB sara’ installato il DB che raccogliera’

tutte le produzioni fatte (non solo LNL ma tutta CMS Italia)tutte le produzioni fatte (non solo LNL ma tutta CMS Italia) Con questo DB si potra’ avviare un servizio di Analysis Con questo DB si potra’ avviare un servizio di Analysis

Farm, inizialmente per la comunita’ italiana e poi per tutta Farm, inizialmente per la comunita’ italiana e poi per tutta CMS.CMS.


LNL

CMS

Layout farm LNL 2002: produzione + analisiLayout farm LNL 2002: produzione + analisi

FFastastEEthth

32 – GigaEth 1000 BT32 – GigaEth 1000 BT

SWITCHSWITCH

N1N1FFastastEEthth

SWITCHSWITCH

S1S1 S11S11

NN2424 N1N1 NN2424FFastastEEthth

SWITCHSWITCH

N1N1 NN2424

S10S10

To WANTo WAN34 Mbps 200134 Mbps 2001~ 1Gbps 2002~ 1Gbps 2002

S12S12 S13S13

ProductionProductioncomputingcomputing

nodesnodes

AnalysisAnalysiscomputingcomputing

nodesnodes

ProductionProductionserversservers

AnalysisAnalysisserversservers


LNL

CMS

La farm di analisiLa farm di analisi

Come implementare il servizio di analisi per gli utenti CMS?Come implementare il servizio di analisi per gli utenti CMS? Negli ultimi mesi esperienza limitata (muoni PD + altri) con Negli ultimi mesi esperienza limitata (muoni PD + altri) con

account locali per gli utenti: non puo’ andar bene su scala account locali per gli utenti: non puo’ andar bene su scala piu’ estesapiu’ estesa

Servizio su piu’ livelli:Servizio su piu’ livelli:– gennaio 2002 (quando arriva l’hardware): installazione e gennaio 2002 (quando arriva l’hardware): installazione e

creazione del DBcreazione del DB accesso remoto al DB: AMS su WANaccesso remoto al DB: AMS su WAN

– gennaio 2002: installazione GDMPgennaio 2002: installazione GDMP possibilita’ di copia del DB via GDMPpossibilita’ di copia del DB via GDMP

– inizio 2002: grid toolsinizio 2002: grid tools sottomissione remota di jobs di analisi in esecuzione sottomissione remota di jobs di analisi in esecuzione

locale su parte della farmlocale su parte della farm


LNL

CMS

Grid tools per la farm di analisi (I)Grid tools per la farm di analisi (I)

Utilizzo dei tools di grid per:Utilizzo dei tools di grid per:– autenticazione e autorizzazione utenti remoti (certificati autenticazione e autorizzazione utenti remoti (certificati

personali, VO LDAP server di CMS)personali, VO LDAP server di CMS)– sottomissione remota di jobs (WP1 tools, anche senza sottomissione remota di jobs (WP1 tools, anche senza

Resource Broker)Resource Broker)– data moving (WP2 tools: GDMP, GridFTP, ...)data moving (WP2 tools: GDMP, GridFTP, ...)

Gia’ avviati i test di questi tools, in concomitanza col Gia’ avviati i test di questi tools, in concomitanza col Testbed di DatagridTestbed di Datagrid

In parallelo ed oltre ai test ufficiali per Datagrid, in alcuni In parallelo ed oltre ai test ufficiali per Datagrid, in alcuni siti CMS/Grid (LNL, PD, BO, ...) prove specifiche per siti CMS/Grid (LNL, PD, BO, ...) prove specifiche per verificare la corrispondenza dei tools alle nostre esigenzeverificare la corrispondenza dei tools alle nostre esigenze


LNL

CMS

Grid tools per la farm di analisi (II)Grid tools per la farm di analisi (II)

RESOURCEBROKER

COMPUTING ELEMENT COMPUTING ELEMENT

LNL PD

CMS LDAPSERVER

REPLICACATALOGSERVER

CNAFREPLICACATALOGSERVER

CMS LDAPSERVER

GATEKEEPER

STORAGEELEMENT

GATEKEEPER

STORAGEELEMENT

USER

- - -


LNL

CMS

Grid tools per la farm di analisi (III)Grid tools per la farm di analisi (III)

Completati i test, installazione sulla farmCompletati i test, installazione sulla farm Inizialmente con numero limitato di utenti. E’ necessario Inizialmente con numero limitato di utenti. E’ necessario

procedere per gradi perche’ si tratta di una cosa nuova (mai procedere per gradi perche’ si tratta di una cosa nuova (mai sperimentata neanche da altri)sperimentata neanche da altri)– efficienza dei tools in un ambiente reale?efficienza dei tools in un ambiente reale?– impatto sulla farm di produzione?impatto sulla farm di produzione?

L’evoluzione successiva dipendera’ naturalmente dai L’evoluzione successiva dipendera’ naturalmente dai riscontri via via ottenutiriscontri via via ottenuti

Se i risultati saranno positivi si potra’ pensare all’utilizzo Se i risultati saranno positivi si potra’ pensare all’utilizzo dei grid tools anche per le produzionidei grid tools anche per le produzioni


LNL

CMS

ConclusioniConclusioni

Il modello estremamente Il modello estremamente distribuito del calcolo di CMS distribuito del calcolo di CMS Italia rappresenta da una parte un Italia rappresenta da una parte un problemaproblema– necessita’ di sviluppare necessita’ di sviluppare

efficaci strategie e tools di efficaci strategie e tools di coordinamentocoordinamento

Grid tools, Impala, Boss, ...Grid tools, Impala, Boss, ...

Ma dall’altra una grande Ma dall’altra una grande opportunita’opportunita’– ampia base di esperienzeampia base di esperienze

stima rapporto ottimale stima rapporto ottimale CPU/Disco (0.1*e, 0.5<e<1)CPU/Disco (0.1*e, 0.5<e<1)

stima rapporto ottimale stima rapporto ottimale Server/Computing nodes (1:7)Server/Computing nodes (1:7)

– possibilita’ di esplorare possibilita’ di esplorare nuove ideenuove idee

LNL CMS M.Biasotto, Roma, 22 novembre 2001 1 I Tier2 in CMS Italia Massimo Biasotto - LNL.

Documents

Transcript of LNL CMS M.Biasotto, Roma, 22 novembre 2001 1 I Tier2 in CMS Italia Massimo Biasotto - LNL.