Grid a Perugia Modifiche ad INFN-GRID per permetterne il funzionamento con Worker Nodes su rete...
-
Upload
leonardo-durante -
Category
Documents
-
view
213 -
download
0
Transcript of Grid a Perugia Modifiche ad INFN-GRID per permetterne il funzionamento con Worker Nodes su rete...
Grid a PerugiaGrid a Perugia
Modifiche ad INFN-GRID per Modifiche ad INFN-GRID per permetterne il funzionamento con permetterne il funzionamento con Worker Nodes su rete nascostaWorker Nodes su rete nascosta
Truncellito FrancescoTruncellito Francesco
Mariotti MirkoMariotti Mirko
Leonello ServoliLeonello Servoli
Installazione standard di INFN GRID 2.0.0Installazione standard di INFN GRID 2.0.0
F. Truncellito, L. Servoli, M. Mariotti F. Truncellito, L. Servoli, M. Mariotti INFN Workshop 2004 INFN Workshop 2004
L’installazione standard di INFN GRID 2.0.0, prevede che tutti gli L’installazione standard di INFN GRID 2.0.0, prevede che tutti gli elementi costituenti un sito abbiano una sola interfaccia di rete ed un elementi costituenti un sito abbiano una sola interfaccia di rete ed un IP pubblico.IP pubblico.
Vantaggi:Vantaggi:
facilità di installazione;facilità di installazione;
Svantaggi:Svantaggi:
sono necessari svariati IP pubblici;sono necessari svariati IP pubblici;
occorre maggior cura per la sicurezza;occorre maggior cura per la sicurezza;
Introduzione ed obiettivi (1/4)Introduzione ed obiettivi (1/4)
F. Truncellito, L. Servoli, M. Mariotti F. Truncellito, L. Servoli, M. Mariotti INFN Workshop 2004 INFN Workshop 2004
Installazione standard di INFN GRID 2.0.0Installazione standard di INFN GRID 2.0.0
Introduzione ed obiettivi (2/4)Introduzione ed obiettivi (2/4)
NETWORKNETWORK
CONFIGURATIONCONFIGURATION
GRIDGRID
WN1WN1
INFN LANINFN LAN
WN2WN2
WN3WN3
CECE
SESE
UIUI
DNSDNS
LCFG - DHCPLCFG - DHCP
PRIVATE LANPRIVATE LAN INFN LANINFN LANPRIVATE LANPRIVATE LAN
F. Truncellito, L. Servoli, M. Mariotti F. Truncellito, L. Servoli, M. Mariotti INFN Workshop 2004 INFN Workshop 2004
Installazione custom di INFN GRID 2.0.0Installazione custom di INFN GRID 2.0.0
Introduzione ed obiettivi (3/4)Introduzione ed obiettivi (3/4)
La nostra installazione prevede:
• WNs su rete privata;
• CE e SE su rete pubblica.
WN1WN1
WN2WN2
WN3WN3
SESE
UIUI
CECE
F. Truncellito, L. Servoli, M. Mariotti F. Truncellito, L. Servoli, M. Mariotti INFN Workshop 2004 INFN Workshop 2004
Possiamo suddividere gli interventi apportati per questo Possiamo suddividere gli interventi apportati per questo tipo di installazione in tre gruppi:tipo di installazione in tre gruppi:
1.1. Modifiche in pre-configurazione:Modifiche in pre-configurazione: riguardano i riguardano i servizi di rete (DNS, DHCP);servizi di rete (DNS, DHCP);
2.2. Modifiche in configurazione:Modifiche in configurazione: sono le modifiche sono le modifiche fatte attraverso LCFG;fatte attraverso LCFG;
3.3. Modifiche in post-configurazione:Modifiche in post-configurazione: riguardano riguardano principalmente il batch system ed i problemi principalmente il batch system ed i problemi sorti a causa della tipologia di installazione;sorti a causa della tipologia di installazione;
Introduzione ed obiettivi (4/4)Introduzione ed obiettivi (4/4)Modifiche fatte:Modifiche fatte:
F. Truncellito, L. Servoli, M. Mariotti F. Truncellito, L. Servoli, M. Mariotti INFN Workshop 2004 INFN Workshop 2004
Pre-Configurazione (1/10)Pre-Configurazione (1/10)
Gli interventi apportati in pre-configurazione sono stati:Gli interventi apportati in pre-configurazione sono stati:
1.1. Connessioni di rete del server LCFG;Connessioni di rete del server LCFG;
2.2. Aggiunta di un server DNS per la rete interna;Aggiunta di un server DNS per la rete interna;
3.3. Configurazione del DHCP per servire 2 reti;Configurazione del DHCP per servire 2 reti;
4.4. Networking dei Worker Nodes.Networking dei Worker Nodes.
F. Truncellito, L. Servoli, M. Mariotti F. Truncellito, L. Servoli, M. Mariotti INFN Workshop 2004 INFN Workshop 2004
Connessione di rete del server LCFGConnessione di rete del server LCFG
Pre-Configurazione (2/10)Pre-Configurazione (2/10)
Il server LCFG deve poter servire due reti distinte:Il server LCFG deve poter servire due reti distinte:
1.1. La rete LAN INFN (come per l’installazione La rete LAN INFN (come per l’installazione standard);standard);
2.2. La rete privata dei nodi;La rete privata dei nodi;
Per questo motivo il server LCFG deve avere almeno Per questo motivo il server LCFG deve avere almeno due interfacce di rete.due interfacce di rete.
PRIVATE LANPRIVATE LAN Rete PubblicaRete Pubblica
F. Truncellito, L. Servoli, M. Mariotti F. Truncellito, L. Servoli, M. Mariotti INFN Workshop 2004 INFN Workshop 2004
Pre-Configurazione (3/10)Pre-Configurazione (3/10)
Connessione di rete del server LCFGConnessione di rete del server LCFG
WN1WN1
WN2WN2
WN3WN3
INFN LANINFN LAN
SESE
UIUI
CECE
LCFGLCFG
F. Truncellito, L. Servoli, M. Mariotti F. Truncellito, L. Servoli, M. Mariotti INFN Workshop 2004 INFN Workshop 2004
Aggiunta di un server DNSAggiunta di un server DNS
Pre-Configurazione (4/10)Pre-Configurazione (4/10)
Ad installazione ultimata i Worker Nodes non Ad installazione ultimata i Worker Nodes non saranno risolvibili dall’esterno;saranno risolvibili dall’esterno;
Affinchè lo siano internamente alla rete privata, Affinchè lo siano internamente alla rete privata, abbiamo inserito un DNS;abbiamo inserito un DNS;
ÉÉ stato creato il sottodominio “cmsgrid.pg.infn.it”; stato creato il sottodominio “cmsgrid.pg.infn.it”; La posizione del server LCFG lo rende il candidato La posizione del server LCFG lo rende il candidato
ideale per ospitare il server DNS;ideale per ospitare il server DNS; La configurazione del DNS è standard per una rete La configurazione del DNS è standard per una rete
privata;privata;
F. Truncellito, L. Servoli, M. Mariotti F. Truncellito, L. Servoli, M. Mariotti INFN Workshop 2004 INFN Workshop 2004
Aggiunta di un server DNSAggiunta di un server DNS
Pre-Configurazione (5/10)Pre-Configurazione (5/10)
Rete PubblicaRete Pubblica
LCFGLCFG
DNSDNS
PRIVATE LANPRIVATE LANRete PrivataRete Privata
WN1WN1
WN2WN2
WN3WN3
INFN LANINFN LAN
SESE
UIUI
CECE
F. Truncellito, L. Servoli, M. Mariotti F. Truncellito, L. Servoli, M. Mariotti INFN Workshop 2004 INFN Workshop 2004
Pre-Configurazione (6/10)Pre-Configurazione (6/10)
I profili pubblicati da LCFG devono essere notificati I profili pubblicati da LCFG devono essere notificati sia alla rete privata, sia alla LAN INFN;sia alla rete privata, sia alla LAN INFN;
I profili risulteranno appartenenti a due domini I profili risulteranno appartenenti a due domini diversi:diversi:
pg.infn.itpg.infn.it cmsgrid.pg.infn.itcmsgrid.pg.infn.it
Il server DHCP deve rispondere a due reti diverse;Il server DHCP deve rispondere a due reti diverse;
Configurazione del server DHCPConfigurazione del server DHCP
F. Truncellito, L. Servoli, M. Mariotti F. Truncellito, L. Servoli, M. Mariotti INFN Workshop 2004 INFN Workshop 2004
Pre-Configurazione (7/10)Pre-Configurazione (7/10)Configurazione del server DHCPConfigurazione del server DHCP
Rete PubblicaRete Pubblica
LCFGLCFG
DNS – DHCPDNS – DHCP
PRIVATE LANPRIVATE LANRete PrivataRete Privata
WN1WN1
WN2WN2
WN3WN3
INFN LANINFN LAN
SESE
UIUI
CECE
DHCPDHCP
F. Truncellito, L. Servoli, M. Mariotti F. Truncellito, L. Servoli, M. Mariotti INFN Workshop 2004 INFN Workshop 2004
Configurazione del server DHCPConfigurazione del server DHCP
Pre-Configurazione (8/10)Pre-Configurazione (8/10)
03 deny unknown-clients;05 not authoritative;09 option dhcp-class-identifier "PXEClient";10 option vendor-encapsulated-options 01:04:00:00:00:00:ff;11 filename "pxelinux.0";12 subnet 193.205.222.0 netmask 255.255.255.0 {13 option routers 193.205.222.101;14 option domain-name-servers 193.205.222.2, 192.168.254.5;
31 host cmsgridgk {32 option user-class "http://cmslcfg.pg.infn.it/profiles";33 hardware ethernet 00:20:ED:xx:xx:xx;34 fixed-address 193.205.222.231;35 }
.....................15 } 16 subnet 192.168.254.0 netmask 255.255.255.0 {17 option routers 192.168.254.1;18 option domain-name-servers 192.168.254.5;19
20 host node17 {21 option user-class "http://cmslcfg.cmsgrid.pg.infn.it/profiles/";22 hardware ethernet 00:20:ED:xx:xx:xx;23 fixed-address 192.168.254.17;24 } .....................40 }
F. Truncellito, L. Servoli, M. Mariotti F. Truncellito, L. Servoli, M. Mariotti INFN Workshop 2004 INFN Workshop 2004
Pre-Configurazione (9/10)Pre-Configurazione (9/10)
Occorre scegliere un gateway per i Worker Nodes che Occorre scegliere un gateway per i Worker Nodes che dovrà essere opportunamente configurato;dovrà essere opportunamente configurato;
La scelta è ricaduta sul server LCFG per i seguenti La scelta è ricaduta sul server LCFG per i seguenti motivi:motivi:
1.1. Gestisce già il networking del sito (DNS, DHCP);Gestisce già il networking del sito (DNS, DHCP);
2.2. Semplicità di configurazione;Semplicità di configurazione;
3.3. Non partecipa direttamente nell’esecuzione di job Non partecipa direttamente nell’esecuzione di job Grid;Grid;
Abbiamo mascherato la rete privata utilizzando NAT.Abbiamo mascherato la rete privata utilizzando NAT.
Networking dei nodiNetworking dei nodi
F. Truncellito, L. Servoli, M. Mariotti F. Truncellito, L. Servoli, M. Mariotti INFN Workshop 2004 INFN Workshop 2004
Pre-Configurazione (10/10)Pre-Configurazione (10/10)Struttura finale del sitoStruttura finale del sito
Rete PubblicaRete PubblicaPRIVATE LANPRIVATE LANRete PrivataRete Privata
WN1WN1
WN2WN2
WN3WN3
INFN LANINFN LAN
SESE
UIUI
CECE
LCFGLCFG
DNSDNS ·· DHCPDHCP ·· NATNAT NATNAT
F. Truncellito, L. Servoli, M. Mariotti F. Truncellito, L. Servoli, M. Mariotti INFN Workshop 2004 INFN Workshop 2004
Configurazione (1/7)Configurazione (1/7)
La nostra configurazione prevede due tipi di elementi:La nostra configurazione prevede due tipi di elementi:
1.1. I Worker Nodes:I Worker Nodes: hanno una sola interfaccia di hanno una sola interfaccia di rete;rete;
2.2. Computing Element, Storage Element ad User Computing Element, Storage Element ad User Interface:Interface: hanno due interfacce di rete; hanno due interfacce di rete;
I due tipi di elementi hanno configurazione diversa, sia I due tipi di elementi hanno configurazione diversa, sia per quanto riguarda i parametri di rete, sia per la per quanto riguarda i parametri di rete, sia per la presenza fisica delle due interfacce.presenza fisica delle due interfacce.
Modifiche ai file di configurazione dei nodi sul Modifiche ai file di configurazione dei nodi sul server LCFGserver LCFG
F. Truncellito, L. Servoli, M. Mariotti F. Truncellito, L. Servoli, M. Mariotti INFN Workshop 2004 INFN Workshop 2004
Configurazione (2/7)Configurazione (2/7)
I Worker Nodes appartengono alla sola rete locale;I Worker Nodes appartengono alla sola rete locale;I parametri di rete sono definiti in un proprio “site-cfg.h”:I parametri di rete sono definiti in un proprio “site-cfg.h”:
Parametri di rete dei Worker NodesParametri di rete dei Worker Nodes
/* Computing Element & Storage Element hostname */#define CE_HOSTNAME cmsgridgk.pg.infn.it#define SE_HOSTNAME cmsgridse.pg.infn.it
#define SITE_LOCALDOMAIN cmsgrid.pg.infn.it#define SITE_MAILROOT [email protected]#define SITE_GATEWAYS 192.168.254.5#define SITE_ALLOWED_NETWORKS 127.0.0.1, 193.205.222, 192.168.254.#define SITE_NAMESERVERS 192.168.254.5#define SITE_NETMASK 255.255.255.0#define SITE_NETWORK 192.168.254.0#define SITE_BROADCAST 192.168.254.255
#define SITE_LCFG_SERVER cmslcfg.cmsgrid.pg.infn.it
#define SITE_CE_HOSTS CE_HOSTNAME#define SITE_SE_HOSTS SE_HOSTNAME#define SITE_WN_HOSTS node*.SITE_LOCALDOMAIN#define SITE_GIIS infn-pg#define SITE_GIIS_HOSTNAME CE_HOSTNAME
#define SITE_BDII_HOST ibm140.cnaf.infn.it #define SITE_BDII_PORT 2170#define CE_IP_RUNTIMEENV LCG2 PERUGIA MPICH
F. Truncellito, L. Servoli, M. Mariotti F. Truncellito, L. Servoli, M. Mariotti INFN Workshop 2004 INFN Workshop 2004
Configurazione (3/7)Configurazione (3/7)
Nel Computing Element, nello Storage Element e nella Nel Computing Element, nello Storage Element e nella User Interface vanno attivate le interfacce di rete che sono User Interface vanno attivate le interfacce di rete che sono collegate alla rete privata.collegate alla rete privata.
Le modifiche (per quanto riguarda il CE), sono inserite in:Le modifiche (per quanto riguarda il CE), sono inserite in:
1.1. ComputingElement-local-cfg.h;ComputingElement-local-cfg.h;
2.2. cmsgridgk (file di configurazione principale);cmsgridgk (file di configurazione principale);
(Analoghe modifiche si hanno per SE ed UI)(Analoghe modifiche si hanno per SE ed UI)
Modifiche al CE, SE ed UI:Modifiche al CE, SE ed UI:
seconda interfaccia di reteseconda interfaccia di rete
/* ComputingElement-local-cfg.h ========================================================================= COMPUTING ELEMENT LOCAL RESOURCES DEFINITION*/
+hardware.modlist eth1 eth0+hardware.modlist eth1 eth0hardware.mod_eth1 alias eth1 e100hardware.mod_eth1 alias eth1 e100
+network.interfaces lo eth1 eth0+network.interfaces lo eth1 eth0+network.gatewaydev eth1+network.gatewaydev eth1+network.hostname_eth1 HOSTNAME+network.hostname_eth1 HOSTNAME+network.netmask_eth1 SITE_NETMASK+network.netmask_eth1 SITE_NETMASK+network.network_eth1 SITE_NETWORK+network.network_eth1 SITE_NETWORK+network.broadcast_eth1 SITE_BROADCAST+network.broadcast_eth1 SITE_BROADCAST
+network.ipaddr_eth0 INT_IP+network.ipaddr_eth0 INT_IP+network.netmask_eth0 INT_NETMASK+network.netmask_eth0 INT_NETMASK+network.network_eth0 INT_NETWORK+network.network_eth0 INT_NETWORK+network.broadcast_eth0 INT_BROADCAST+network.broadcast_eth0 INT_BROADCAST
/* COMPUTING ELEMENT *//* Host specific definitions */
#define HOSTNAME cmsgridgk#define INT_IP 192.168.254.3#define INT_NETMASK 255.255.255.0#define INT_NETWORK 192.168.254.0#define INT_BROADCAST 192.168.254.255
F. Truncellito, L. Servoli, M. Mariotti F. Truncellito, L. Servoli, M. Mariotti INFN Workshop 2004 INFN Workshop 2004
Configurazione (4/7)Configurazione (4/7)Modifiche al CE, SE ed UI: seconda interfaccia Modifiche al CE, SE ed UI: seconda interfaccia
di rete:di rete:ComputingElement-local-cfg.hComputingElement-local-cfg.hcmsgridgkcmsgridgk
F. Truncellito, L. Servoli, M. Mariotti F. Truncellito, L. Servoli, M. Mariotti INFN Workshop 2004 INFN Workshop 2004
Configurazione (5/7)Configurazione (5/7)site-cfg.hsite-cfg.h per Computing Element, Storage per Computing Element, Storage
Element ed User InterfaceElement ed User Interface
I parametri in site-cfg.hsite-cfg.h per Computing Element, Storage Element ed User Interface, sono gli stessi di una configurazione standard;
Le eccezioni sono:
1. Nella definizione dei Worker Node che risultano in un’altra rete;
2. Che il DNS è il server LCFG;
/* ComputingElement hostname */#define CE_HOSTNAME cmsgridgk.pg.infn.it/* StorageElement hostname */#define SE_HOSTNAME cmsgridse.pg.infn.it
#define SITE_LOCALDOMAIN pg.infn.it#define SITE_MAILROOT [email protected]
#define SITE_GATEWAYS 193.205.222.101#define SITE_ALLOWED_NETWORKS 127.0.0.1, 193.205.222, 192.168.254.
#define SITE_NAMESERVERS 193.205.222.49
#define SITE_NETMASK 255.255.255.0#define SITE_NETWORK 193.205.222.0#define SITE_BROADCAST 193.205.222.255
#define SITE_LCFG_SERVER cmslcfg.pg.infn.it#define SITE_CE_HOSTS CE_HOSTNAME#define SITE_SE_HOSTS SE_HOSTNAME#define SITE_WN_HOSTS node*.cmsgrid.SITE_LOCALDOMAIN#define SITE_GIIS infn-pg#define SITE_GIIS_HOSTNAME CE_HOSTNAME
F. Truncellito, L. Servoli, M. Mariotti F. Truncellito, L. Servoli, M. Mariotti INFN Workshop 2004 INFN Workshop 2004
Configurazione (6/7)Configurazione (6/7)site-cfg.hsite-cfg.h per Computing Element, Storage per Computing Element, Storage
Element ed User InterfaceElement ed User Interface
F. Truncellito, L. Servoli, M. Mariotti F. Truncellito, L. Servoli, M. Mariotti INFN Workshop 2004 INFN Workshop 2004
Configurazione (7/7)Configurazione (7/7)I due I due “site-cfg.h”“site-cfg.h” a confronto a confronto
VARIABILE NEI WORKER NODES IN CE, SE e UICE_HOSTNAMESE_HOSTNAMESITE_LOCALDOMAINSITE_MAILROOTSITE_GATEWAYSSITE_ALLOWED_NETWORKSSITE_NAMESERVERSSITE_NETMASKSITE_NETWORKSITE_BROADCAST
SITE_LCFG_SERVERSITE_CE_HOSTSSITE_SE_HOSTSSITE_WN_HOSTSSITE_GIISSITE_GIIS_HOSTNAMESITE_BDII_HOSTSITE_BDII_PORTCE_IP_RUNTIMEENV
cmsgridgk.pg.infn.itcmsgridse.pg.infn.itcmsgrid.pg.infn.itgrid-prod@pg.infn.it192.168.254.5127.0.0.1, 193.205.222,192.168.254.192.168.254.5255.255.255.0192.168.254.0192.168.254.255
cmslcfg.cmsgrid.pg.infn.itCE_HOSTNAMESE_HOSTNAMEnode*.SITE_LOCALDOMAINinfn-pgCE_HOSTNAMEibm140.cnaf.infn.it 2170LCG2 PERUGIA MPICH
cmsgridgk.pg.infn.itcmsgridse.pg.infn.itpg.infn.itgrid-prod@pg.infn.it193.205.222.101127.0.0.1, 193.205.222, 192.168.254.193.205.222.49255.255.255.0193.205.222.0193.205.222.255
cmslcfg.pg.infn.itCE_HOSTNAMESE_HOSTNAMEnode*.cmsgrid.SITE_LOCALDOMAINinfn-pgCE_HOSTNAMEibm140.cnaf.infn.it 2170LCG2 PERUGIA MPICH
route add –host cmsgridgk.pg.infn.it gw cmsgridgk.cmsgrid.pg.infn.it
Routing sui nodiRouting sui nodi
ROUTEROUTE
$clienthost localhost$clienthost cmsgridgk.pg.infn.it$clienthost cmsgridgk.cmsgrid.pg.infn.it$restricted cmsgridgk.pg.infn.it
/var/spool/pbs/mom_priv/config/var/spool/pbs/mom_priv/config
Reti riconosciuteReti riconosciute
PBSPBS
F. Truncellito, L. Servoli, M. Mariotti F. Truncellito, L. Servoli, M. Mariotti INFN Workshop 2004 INFN Workshop 2004
Post-Configurazione (1/2)Post-Configurazione (1/2)Gli interventi apportati in post-configurazione sono Gli interventi apportati in post-configurazione sono legati ad openPBS:legati ad openPBS:
1.1. Modifiche alla configurazione di openPBS;Modifiche alla configurazione di openPBS;
2.2. Routing statico verso il CE nei nodi;Routing statico verso il CE nei nodi;
Post-Configurazione (2/2)Post-Configurazione (2/2)
La fase di testing ha portato alla luce la presenza di La fase di testing ha portato alla luce la presenza di alcuni problemi minori che abbiamo risolto con piccoli alcuni problemi minori che abbiamo risolto con piccoli interventi manuali:interventi manuali:
1.1. Definizione errate Definizione errate delledelle variabili variabili LCG_GFAL_INFOSYS in LCG_GFAL_INFOSYS in etc/profile.d/lcgenv.sh – lcgenv.csh ;etc/profile.d/lcgenv.sh – lcgenv.csh ;
2.2. Package edg-lcfg-uicmnconfig-1.0.6-Package edg-lcfg-uicmnconfig-1.0.6-edg1.noarch.rpm danneggiato;edg1.noarch.rpm danneggiato;
Problemi minori risolti:Problemi minori risolti:
F. Truncellito, L. Servoli, M. Mariotti F. Truncellito, L. Servoli, M. Mariotti INFN Workshop 2004 INFN Workshop 2004
Conclusioni eConclusioni esviluppi futuri (1/2)sviluppi futuri (1/2)
Entrata nella griglia di Entrata nella griglia di produzione INFN:produzione INFN:
Site view Geo view Gris view
Grid-it
Il 22 marzo 2004, alle 00:15 il sito Grid di Perugia ha pubblicato i suoi servizi, entrando ufficialmente a far parte del progetto INFN-Grid, ed è stato certificato dal CMT;
F. Truncellito, L. Servoli, M. Mariotti F. Truncellito, L. Servoli, M. Mariotti INFN Workshop 2004 INFN Workshop 2004
Conclusioni eConclusioni esviluppi futuri (2/2)sviluppi futuri (2/2)
Il futuro di INFN GRID Perugia:Il futuro di INFN GRID Perugia:
Nel prossimo futuro è nostra intenzione aumentare il Nel prossimo futuro è nostra intenzione aumentare il numero di Worker Nodes, sia tramite l’acquisizione di numero di Worker Nodes, sia tramite l’acquisizione di nuove macchine, sia tramite la migrazione di farm locali nuove macchine, sia tramite la migrazione di farm locali verso il progetto GRID.verso il progetto GRID.
Per migliorare la gestibilità del sito creato, stiamo Per migliorare la gestibilità del sito creato, stiamo cercando di integrare le modifiche apportate cercando di integrare le modifiche apportate manualmente direttamente tramite LCFG.manualmente direttamente tramite LCFG.