Curso de Postgrado ‘GRIDS y e-Ciencia’ ” UTILIZACION DE UNA INFRAESTRUCTURA GRID”
description
Transcript of Curso de Postgrado ‘GRIDS y e-Ciencia’ ” UTILIZACION DE UNA INFRAESTRUCTURA GRID”
Curso de Postgrado ‘GRIDS y e-Ciencia’
” UTILIZACION DE UNA INFRAESTRUCTURA GRID”
J. SaltGrupo de GRID Computing del IFIC
IFCA, Santander; 21-23 de Junio de 2004
Contenidos
Descripcion de GoG ( la Infraestructura GRID del IFIC)Utilizacion en I+D de tecnologias GRIDUtilizacion como infraestructura de ProduccionConclusiones y Perspectivas
• Participacion esencial del Servicio de Informatica del IFIC en la operacion del GoG
• Grupo: F. Fassi, A. Fernandez, S. Gonzalez, V.Lara, J. Lozano, L. March, J. Salt, J. Sanchez
1.-DESCRIPCION DE GOG,LA INFRAESTRUCTURA GRID
DEL IFIC
Ordenadores de cálculo
192 Ordenadores (134 IFIC + 58 ICMOL)
96 Atlhon 1.2 GHz 1Gbyte SDRAM
96 Athlon 1.4 GHz 1Gbyte DDR
Disco duro local de 40 GBytes
FastEthernet agregando con gigabit ethernet.
Adquisiciones recientes
Robot STK L700e700 4 Servidores de disco
2 Servidores de cinta
Almacenamiento discodiscos para
datos
contr CPU Network Capacidad
RAID 1
gse01 20x80GB
2x120GB
IDE 2x Atlhon 1.5 GHz 1x100Base-T
1x1000Base-SX
920 GB
gse02 16x120GB SATA 2 x XEON 2.0 GHz 1x1000Base-T
1x1000Base-SX
960 GB
gse03 12x160GB SATA 2 x XEON 2.8 GHz 2x1000Base-T 960 GB
gse04 12x160GB SATA 2 x XEON 2.8 GHz 2x1000Base-T 960 GB
gse05 12x160GB SATA 2 x XEON 2.8 GHz 2x1000Base-T 960 GB
gse06 12x160GB SATA 2 x XEON 2.8 GHz 2x1000Base-T 960 GB
5720 GB
Almacenamiento en cintaceldas Lectores interface Capacidad
(sin comp.)
IBM 3583 54 1 x LTO Gen1
100 GB (sin compr.)
SCSI 5.4 TB
STK L700e700 690 4 x LTO Gen2
200 GB (sin compr.)
FibreChannel 138 TB
interface CPU Network
tpsrv1 SCSI 1x Athlon 1.5 GHz 1x100Base-T
tpsrv2 FC 2 x XEON 2.8 GHz 2x1000Base-T
tpsrv3 FC 2 x XEON 2.8 GHz 2x1000Base-T
Almacenamiento de datos
En septiembre de 2002 se instaló CASTOR con: 1 TapeServer 1 Compaq TL891DLX (1 lector DLT8000, 10 slots)
CASTOR en producción desde entonces.
Durante el 2003 migración a la librería IBM 3583.
Diciembre de 2003 se añadio la librería de STK y los dos nuevos servidores de cinta.
2.- UTILIZACION PARA EL I+D DE TECNOLOGIAS GRID
CROSSGRID: Resource Broker
Hace de punto único donde enviar los trabajos.•Un Usuario debe describir las necesidades de su trabajo y el RB se encargará del envío y recogida de resultados cuando finalice.• Selección autómatica de recursos donde correr los trabajos.•Reenvio de trabajos en caso de fallo.•Mantiene historia de las distintas fases por las que pasa un trabajo (Logging & Bookeping)•Cuando acaba el trabajo, recoge los resultados que serán guardados hasta que el usuario los requiera.
CROSSGRID: Helpdesk
User Support del Proyecto: desarrollo, implementacion y mantenimiento de un Helpdesk
Ver la presentacion de Farida Fassi
EGEE: Organizaciones Virtuales
•Las Organizaciones Virtuales (VO) agrupan usuarios de diferentes dominios. que desean compartir sus recursos•Un Usuario debe pertenecer al menos a una VO.•Los diferentes Recursos deben soportar la VO para poder mandar trabajos:
RB debe aceptar trabajos de esa VOUn Computing element (CE), representando
un conjunto de recursos soporta una o más Vos, que permiten el correr trabajos
de las mismas.
•Un Storage Element (SE) servira archivos a las VO’s ‘soportadas’•Los Servicios de Replica (RLS) tambien deben soportar las VO’s que efectuen consultas
.
3.- UTILIZACION COMO INFRAESTRUCTURA DE
PRODUCCION
El Reto de la Computación en LHC
Almacenamiento- Ratio de registro de datos 0.1 – 1
GBytes/sec
Acumulando a 5-8 PetaBytes/year
10 PetaBytes de disco
Procesamiento 200,000 de los PC’s más rápidos actuales
* El GoG en Pre-Grid
En el IFIC se ha realizado producción de Monte Carlo para los experimentos: ATLAS, LHCb y CMS.En ATLAS se ha producido tanto
simulación, como reconstrucción (IFIC).En LHCbLHCb solo se ha producido simulación
(UB)En CMS tanto generación, como
simulación (IFCA)
Simulación y Reconstrucción en números para ATLAS
Tipo de sucesos
Tamaño por
suceso (MB)
Con pile-up a baja lumi (MB)
Con pile-up a alta
lumi (MB)
Tiempo por
suceso (s)
Tiempo por
suceso a baja
lumi (s)
Tiempo por
suceso a alta lumi
(s)
Di-jets 2.5 3 - 250 30 -
WHgg
2.5 3.6 10 200 30 130
WHbb
2.5 3.7 7.5 200 30 150
Simulación y Reconstrucción en números, para ATLAS
Colaboración
(Pentium III 500 MHz)
IFIC
(Athlon 1.4 GHz)
Número de sucesos
50x106 2.2x106
Ficheros 35 000 2 500
Horas de CPU 1722K horas 30K horas
Capacidad 30 Tbytes 3 Tbytes
Contribución a los Data Challenge 1 de
ATLAS por parte del IFICContribution (%) per country(37 institutes in 18 countries)
1,43
0,02
10,89
28,60
0,00
1,379,572,375,00
10,69
2,21
3,23
4,41
1,91
4,06
14,25
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16
ValenciaIFIC
5*107 events generated1*107 events simulated3*107 single particles30 Tbytes
35 000 files
1: Australia2: Austria3: Canada4: CERN5: Czech Republic6: France7: Germany8: Israel9: Italy10: Japan11: NorduGrid (Denmark, Norway, Sweden)12: Russia13: Spain (Valencia)14: Taiwan15: UK16: USA
Resumen para ATLAS en el IFIC
Sucesos simulados: 890 Kevt
Sucesos reconstruidos: 250 Kevt
Volumen de datos almacenados en disco: 1.5 TB
Volumen de datos almacenados en cinta: 4 TB
Los datos han sido volcados tanto al CERN (20%) como a Lyon (70%)
Generación y Simulación en números para CMS
Sucesos generados en el IFIC: 100
Sucesos simulados en el IFIC: 100 Kevt
Horas de CPU: 4400 horas
Tiempo por suceso: 160 s
Tamaño por suceso: 0.46 MB
Volumen de datos producidos: 46 GB
Los sucesos se transfieren al IFCA
**El GoG en modo GRID
80% del GoG en LCG-2
Ejercicio del Data Challenge 2 (DC2) de ATLAS en LCG-2Coordinacion ‘centralizada’ del envio de
trabajos
Mover a los usuarios del IFIC al modo GRID
Modo Grid *EN PRUEBAS* Grid *EN PRUEBAS* para usuarios de GoGpara usuarios de GoG
Guia para el usuario; Obtencion de los certificados Alta en la Organización Virtual de ATLAS
Se ha ejecutado ATLAS-6.0.4 a la grid (versión dada en la release del Grid)
Se ha utilizado la distribución estándar de RPM’s usada en los DC1.
Se puede hacer tanto simulación como reconstrucción.
La simulación ha corrido bien en todos los sitios:
4.- CONCLUSIONES Y PERSPECTIVAS
Actividades I+D en GRID OK , in progress
Explotacion (EGEE) de comienzo reciente: ‘in progress’
Buen funcionamiento de los DC1 (pre-GRID): OK
Ejercicio del Data Challenge 2 (DC2) de ATLAS en LCG-2: muchos problemas, ‘in progress’
Analisis Distribuido de datos LHC (ATLAS). Prototipo de Sistema de Analisis. Problema complejo, primeros pasos
Mover a los usuarios del IFIC al modo GRID opinion: El éxito reside en enseñar bien el
nuevo sistema y minimizando el aprendizaje de la capa GRID para aquellos que no lo necesiten)
Iniciativa IRISGRID: e-Ciencia en España
Iniciativas a nivel autonomico