1 M. Biasotto – Legnaro, 22 Dicembre 2005 Prototipo Tier 2 di Legnaro-Padova INFN Legnaro.
-
Upload
enrichetta-catalano -
Category
Documents
-
view
217 -
download
0
Transcript of 1 M. Biasotto – Legnaro, 22 Dicembre 2005 Prototipo Tier 2 di Legnaro-Padova INFN Legnaro.
1M. Biasotto – Legnaro, 22 Dicembre 2005
Prototipo Tier 2di Legnaro-Padova
INFN Legnaro
2M. Biasotto – Legnaro, 22 Dicembre 2005
● 2000: Prototipo farm Linux LNL– 10 nodi di calcolo (vecchi PC
riciclati), 1 disk server, 1 gateway
– Esperienza setup e gestione farm: installazione automatica, monitoring, batch system, ecc.
– In produzione da gennaio 2001
– Mantenuta negli anni in parallelo al prototipo T2
– Utenti LNL: Auriga, Prisma, Gasp, N_TOF, Garfield, Div. Acceleratori, ecc.
Foto farm LNL
3M. Biasotto – Legnaro, 22 Dicembre 2005
Prototipo T2: 2001
● Setup e avvio Farm CMS-INFNGRID
● 34 nodi di calcolo, 10 disk server: 44 box, 88 CPU, ~35 kSI2000, ~3 TB
● infrastruttura logistica– stanza di 70mq, 30 KW (iniziali, poi espansi a 90), UPS e
raffreddamento
– scaffali e PC minitower al posto di rack
● Tools di installazione e gestione– installazione automatica, batch system (LSF)
– monitoring (MRTG)
4M. Biasotto – Legnaro, 22 Dicembre 2005
Prototipo T2: 2001
5M. Biasotto – Legnaro, 22 Dicembre 2005
Prototipo T2: 2001
6M. Biasotto – Legnaro, 22 Dicembre 2005
Prototipo T2: 2002
• + 24 nodi di calcolo (+12 ksi2000)• + 3 server nuovi, + upgrade vecchi (+6 TB)• nuovo tool di monitoring (Ganglia)
05
101520253035404550
2001 2002 2003 2004 2005
012345678910
CPU (KSI2000) Disk (TB)
7M. Biasotto – Legnaro, 22 Dicembre 2005
Prototipo T2: 2003
• + 14 nodi di calcolo dual Xeon 2.4GHz • + 1 BladeCenter IBM (14 nodi calcolo)• + 2 disk server da 5TB (HD IDE + RAID 3ware)• Attivato il link 1Gbps verso il GARR
0
20
40
60
80
100
120
140
2001 2002 2003 2004 2005
02468101214161820
CPU (KSI2000) Disk (TB)
8M. Biasotto – Legnaro, 22 Dicembre 2005
Prototipo T2: 2004
• + 4 Blade Centers Intel • + disk server da 5TB• + 1 switch 48 porte GE• - dismissione vecchie macchine
0
50
100
150
200
250
300
2001 2002 2003 2004 2005
0
5
10
15
20
25
30
35
CPU (KSI2000) Disk (TB)
9M. Biasotto – Legnaro, 22 Dicembre 2005
Prototipo T2: 2005
• no upgrade hardware• dismissione vecchie macchine• piccolo upgrade adesso per inizio 2006: 6 nodi di
calcolo dual-core e nuovo storage SATA-FC\
0
50
100
150
200
250
300
2001 2002 2003 2004 2005
0
5
10
15
20
25
30
35
CPU (KSI2000) Disk (TB)
10M. Biasotto – Legnaro, 22 Dicembre 2005
11M. Biasotto – Legnaro, 22 Dicembre 2005
Remstats example
12M. Biasotto – Legnaro, 22 Dicembre 2005
Remstats vs MRTG
13M. Biasotto – Legnaro, 22 Dicembre 2005
14M. Biasotto – Legnaro, 22 Dicembre 2005
Configurazione
GATEWAY
SERVERS COMPUTING NODES
OS
DATA
OS
LOCALDATA
RAID 0 HW
Users homeApp. software
OS
RAID 1 HW
RAID 0 SW
NFS
15M. Biasotto – Legnaro, 22 Dicembre 2005
LCFG: sviluppo futuro
ldxprof
LoadProfile
Generic
Component
ProfileObject
rdxprof
ReadProfile
LCFG ObjectsLocal cache
Client nodes
Web Server
HTTP
XML Profile
LCFG Config Files
Make XMLProfile
Server
SoftwareRepository
(RPMs)
Installation Server(DHCP, kernel images
installroot)NFS
SoftwareRepository
(RPMs)
FTPHTTP
NMA Objects
NMAConfigCache
ManagerConfiguration
DataBase
BootstrapService
Images PXETFTP
DHCP
UserInterface
16M. Biasotto – Legnaro, 22 Dicembre 2005
Attivita’ CMS: 2001
● Produzione MC e analisi per CMS (quanti eventi? chiedere a Lacaprara)
17M. Biasotto – Legnaro, 22 Dicembre 2005
Attivita’ CMS: 2002
● Spring 2002 Production: 1.2 milioni di eventi simulati a LNL per un totale di 1.5 TB di dati
● Analisi in locale e trasferimento al CERN
● CMS-EDG stress test
18M. Biasotto – Legnaro, 22 Dicembre 2005
Attivita’ CMS: 2003
● PCP03 Production: oltre 5 milioni di eventi simulati a LNL (10% del totale)
● Analisi in locale e trasferimento al CERN
19M. Biasotto – Legnaro, 22 Dicembre 2005
Attivita’ CMS: 2004
● L’attivita’ di produzione in CMS comincia a spostarsi su grid
● Produzioni MC in locale: 3.2 M eventi, per la maggior parte DST di dataset prodotti l'anno prima
● Produzioni MC via grid (quanti job o eventi?)
● “Publishing” dei dati locali (PubDB) per analisi a tutto CMS via grid tools: ~5 TB di dati
20M. Biasotto – Legnaro, 22 Dicembre 2005
Attivita’ CMS: 2005
● Produzioni MC locali: 1M eventi DST + 4M Hit+Digi cosmici
● Produzioni MC via grid (quanti job o eventi?)
● Service Challenge 3: trasferimenti T1CNAF-T2LNL in entrambe le direzioni (alcuni TB di dati, rate ~20MB/s), test DPM
21M. Biasotto – Legnaro, 22 Dicembre 2005
22M. Biasotto – Legnaro, 22 Dicembre 2005
Layout farm LNL 2002: produzione + analisi
FFastastEEthth
32 – GigaEth 1000 BT32 – GigaEth 1000 BT
SWITCHSWITCH
N1N1FFastastEEthth
SWITCHSWITCH
S1S1 S11S11
NN2424 N1N1 NN2424FFastastEEthth
SWITCHSWITCH
N1N1 NN2424
S10S10
To WANTo WAN34 Mbps 200134 Mbps 2001~ 1Gbps 2002~ 1Gbps 2002
S12S12 S13S13
ProductionProductioncomputingcomputing
nodesnodes
AnalysisAnalysiscomputingcomputing
nodesnodes
ProductionProductionserversservers
AnalysisAnalysisserversservers
23M. Biasotto – Legnaro, 22 Dicembre 2005
Configurazione farm “ibrida”
FastEthFastEth
GE backboneGE backbone
SWITCHSWITCH
N1FastEthFastEth
SWITCHSWITCH
S1S1 SE1SE1
N24
FastEthFastEth
SWITCHSWITCH
SnSn
To WANTo WAN
SE2SE2 SE3SE3
ComputingComputingNodesNodes
ComputingComputingNodesNodes
LocalLocalServersServers
Grid StorageGrid StorageElementsElements
GWGW G1G1 UIUI
LocalLocalGatewayGateway
LocalLocalLoginLogin
CECE
N1 N1N24 N24
24M. Biasotto – Legnaro, 22 Dicembre 2005
Layout farm CMS: production + analysis + grid
FFastastEEthth
32 – GigaEth 1000 BT32 – GigaEth 1000 BT
SWITCHSWITCH
N1N1FFastastEEthth
SWITCHSWITCH
S1S1 S10S10
NN2424 N1N1 NN2424FFastastEEthth
SWITCHSWITCH
N1N1 NN2424
S9S9
To WANTo WAN34 Mbps 200134 Mbps 2001~ 1Gbps 2002~ 1Gbps 2002
S11S11 S12S12
ProductionProductioncomputingcomputing
nodesnodes
AnalysisAnalysiscomputingcomputing
nodesnodes
ProductionProductionserversservers
AnalysisAnalysisserversservers
GWGW G1G1 G2G2
CECE
S10S10 S11S11 SESE
N1N1 NN2424 N1N1 NN2424N1N1 NN2424
UIUI