GNU/Linux (e il software libero) nella fisica delle ...ferrari/conferenze/linuxday2011.pdf · rete,...
Transcript of GNU/Linux (e il software libero) nella fisica delle ...ferrari/conferenze/linuxday2011.pdf · rete,...
![Page 1: GNU/Linux (e il software libero) nella fisica delle ...ferrari/conferenze/linuxday2011.pdf · rete, storage, database, fogli elettronici, … versioning, documentazione … “event](https://reader035.fdocument.pub/reader035/viewer/2022071009/5fc6a42ede8324013f191e50/html5/thumbnails/1.jpg)
GNU/Linux (e il software libero) nella fisica delle particelle elementari
Roberto FerrariParma GLUG
GNU/Linux Day 201122 ottobre 2011
![Page 2: GNU/Linux (e il software libero) nella fisica delle ...ferrari/conferenze/linuxday2011.pdf · rete, storage, database, fogli elettronici, … versioning, documentazione … “event](https://reader035.fdocument.pub/reader035/viewer/2022071009/5fc6a42ede8324013f191e50/html5/thumbnails/2.jpg)
Parma, 22 ottobre 2011 2
ACRONIMI:
INFN:Istituto Nazionale di Fisica Nucleare
CERN:European Organization for Nuclear Research
![Page 3: GNU/Linux (e il software libero) nella fisica delle ...ferrari/conferenze/linuxday2011.pdf · rete, storage, database, fogli elettronici, … versioning, documentazione … “event](https://reader035.fdocument.pub/reader035/viewer/2022071009/5fc6a42ede8324013f191e50/html5/thumbnails/3.jpg)
Parma, 22 ottobre 2011 3
Coordina e finanzia la ricerca in fisica
nucleare e sub-nuclearein Italia
sezionegruppolaboratorio
l'INFN
![Page 4: GNU/Linux (e il software libero) nella fisica delle ...ferrari/conferenze/linuxday2011.pdf · rete, storage, database, fogli elettronici, … versioning, documentazione … “event](https://reader035.fdocument.pub/reader035/viewer/2022071009/5fc6a42ede8324013f191e50/html5/thumbnails/4.jpg)
Parma, 22 ottobre 2011 44
il CERN
Laboratorio europeo per la fisica delle particelle
![Page 5: GNU/Linux (e il software libero) nella fisica delle ...ferrari/conferenze/linuxday2011.pdf · rete, storage, database, fogli elettronici, … versioning, documentazione … “event](https://reader035.fdocument.pub/reader035/viewer/2022071009/5fc6a42ede8324013f191e50/html5/thumbnails/5.jpg)
Parma, 22 ottobre 2011 55
dal CERN al Gran Sasso (INFN)
punto medio ~ monte Maggiorasca (confine Parma-Piacenza-Genova) vicino a Bardi
![Page 6: GNU/Linux (e il software libero) nella fisica delle ...ferrari/conferenze/linuxday2011.pdf · rete, storage, database, fogli elettronici, … versioning, documentazione … “event](https://reader035.fdocument.pub/reader035/viewer/2022071009/5fc6a42ede8324013f191e50/html5/thumbnails/6.jpg)
Parma, 22 ottobre 2011 6
dove è nato il Web ?
nel 2009 ha festeggiato i 20 anni http://info.cern.ch/www20
![Page 7: GNU/Linux (e il software libero) nella fisica delle ...ferrari/conferenze/linuxday2011.pdf · rete, storage, database, fogli elettronici, … versioning, documentazione … “event](https://reader035.fdocument.pub/reader035/viewer/2022071009/5fc6a42ede8324013f191e50/html5/thumbnails/7.jpg)
Parma, 22 ottobre 2011 7
LHC
![Page 8: GNU/Linux (e il software libero) nella fisica delle ...ferrari/conferenze/linuxday2011.pdf · rete, storage, database, fogli elettronici, … versioning, documentazione … “event](https://reader035.fdocument.pub/reader035/viewer/2022071009/5fc6a42ede8324013f191e50/html5/thumbnails/8.jpg)
Parma, 22 ottobre 2011 88
ATLAS: un microscopio alto 22 e lungo 46 m
Barrel Toroid
Muon Detectors SolenoidElectromagnetic
Calorimeter End Cap Toroid
Shielding
Inner DetectorHadronic
Calorimeter
Forward Calorimeter
![Page 9: GNU/Linux (e il software libero) nella fisica delle ...ferrari/conferenze/linuxday2011.pdf · rete, storage, database, fogli elettronici, … versioning, documentazione … “event](https://reader035.fdocument.pub/reader035/viewer/2022071009/5fc6a42ede8324013f191e50/html5/thumbnails/9.jpg)
Parma, 22 ottobre 2011 99
~ 3000 scienziati di 174 istituti da 38 paesi diversipiù di 1000 studenti di dottorato!
![Page 10: GNU/Linux (e il software libero) nella fisica delle ...ferrari/conferenze/linuxday2011.pdf · rete, storage, database, fogli elettronici, … versioning, documentazione … “event](https://reader035.fdocument.pub/reader035/viewer/2022071009/5fc6a42ede8324013f191e50/html5/thumbnails/10.jpg)
Parma, 22 ottobre 2011 10
Dati 2011
~ 400 eventi/s1 evento ~ 1.5 MB
-50% “zip” in volo~ 1 TB/ora
live time ~ 33%→
~3 PB/anno[ 4 miliardi di eventi ]
![Page 11: GNU/Linux (e il software libero) nella fisica delle ...ferrari/conferenze/linuxday2011.pdf · rete, storage, database, fogli elettronici, … versioning, documentazione … “event](https://reader035.fdocument.pub/reader035/viewer/2022071009/5fc6a42ede8324013f191e50/html5/thumbnails/11.jpg)
Parma, 22 ottobre 2011 11
il Calcolo in ATLAS/LHC
- ONLINE: interattivo / real time (?)1. selezione e acquisizione dati (DAQ)
2. trasferimento e storaggio
- OFFLINE: ~ non interattivo (code batch)3. ricostruzione eventi
4. analisi5. simulazione
![Page 12: GNU/Linux (e il software libero) nella fisica delle ...ferrari/conferenze/linuxday2011.pdf · rete, storage, database, fogli elettronici, … versioning, documentazione … “event](https://reader035.fdocument.pub/reader035/viewer/2022071009/5fc6a42ede8324013f191e50/html5/thumbnails/12.jpg)
Parma, 22 ottobre 2011 12
Problematiche
- ONLINE → efficienza, velocità, robustezza, stabilità,
enormi flussi di dati, controllo strumentazione
- OFFLINE → precisione, ripetibilità
rete, storage, database, fogli elettronici, …versioning, documentazione … “event display”
![Page 13: GNU/Linux (e il software libero) nella fisica delle ...ferrari/conferenze/linuxday2011.pdf · rete, storage, database, fogli elettronici, … versioning, documentazione … “event](https://reader035.fdocument.pub/reader035/viewer/2022071009/5fc6a42ede8324013f191e50/html5/thumbnails/13.jpg)
Parma, 22 ottobre 2011 13
Real Time ?
REAL TIME O.S. :massimo ritardo di risposta definito
Il kernel “standard” UNIX non è real time: una chiamata di sistema può richiedere
un tempo lungo a piacere ...
![Page 14: GNU/Linux (e il software libero) nella fisica delle ...ferrari/conferenze/linuxday2011.pdf · rete, storage, database, fogli elettronici, … versioning, documentazione … “event](https://reader035.fdocument.pub/reader035/viewer/2022071009/5fc6a42ede8324013f191e50/html5/thumbnails/14.jpg)
Parma, 22 ottobre 2011 14
UNIX “Real-Time”
Low-latency patch (Ubuntu Studio): linux kernel interrompibile
RTAI: il kernel linux gira come una applicazione a priorità maggiore
![Page 15: GNU/Linux (e il software libero) nella fisica delle ...ferrari/conferenze/linuxday2011.pdf · rete, storage, database, fogli elettronici, … versioning, documentazione … “event](https://reader035.fdocument.pub/reader035/viewer/2022071009/5fc6a42ede8324013f191e50/html5/thumbnails/15.jpg)
Parma, 22 ottobre 2011 15
S.L.C. (x86)
Scientific Linux: release creata e mantenuta da FermiLab e Cern (più altre università e laboratori nel mondo)
Nata nel 2004 a Fermilab
“Red Hat Enterprise Linux” ricompilata e integrata con pacchetti specifici:
https://www.scientificlinux.org/
Scientific Linux Cern: sottovariante CERNhttp://linux.web.cern.ch/linux/scientific.shtml
![Page 16: GNU/Linux (e il software libero) nella fisica delle ...ferrari/conferenze/linuxday2011.pdf · rete, storage, database, fogli elettronici, … versioning, documentazione … “event](https://reader035.fdocument.pub/reader035/viewer/2022071009/5fc6a42ede8324013f191e50/html5/thumbnails/16.jpg)
Parma, 22 ottobre 2011 16
DAQ @ ATLAS
Selezione eventi “on-line”
- Elettronica e computer dedicati
- migliaia di processori in parallelo (hardware)
- decine di migliaia di processi da controllare (software)
![Page 17: GNU/Linux (e il software libero) nella fisica delle ...ferrari/conferenze/linuxday2011.pdf · rete, storage, database, fogli elettronici, … versioning, documentazione … “event](https://reader035.fdocument.pub/reader035/viewer/2022071009/5fc6a42ede8324013f191e50/html5/thumbnails/17.jpg)
Parma, 22 ottobre 2011 17
la Sala di Controllo
i Rack
![Page 18: GNU/Linux (e il software libero) nella fisica delle ...ferrari/conferenze/linuxday2011.pdf · rete, storage, database, fogli elettronici, … versioning, documentazione … “event](https://reader035.fdocument.pub/reader035/viewer/2022071009/5fc6a42ede8324013f191e50/html5/thumbnails/18.jpg)
Parma, 22 ottobre 2011 18
SFO = Online Storage (cache)6 macchine: 24 dischi 1 TB = 144 TB 2x4 core (16 “processori”
ind.) 24 GB RAM
![Page 19: GNU/Linux (e il software libero) nella fisica delle ...ferrari/conferenze/linuxday2011.pdf · rete, storage, database, fogli elettronici, … versioning, documentazione … “event](https://reader035.fdocument.pub/reader035/viewer/2022071009/5fc6a42ede8324013f191e50/html5/thumbnails/19.jpg)
Parma, 22 ottobre 2011 19
fra la via Emilia e il WestE4 Computer Engineering - Scandianohttp://www.e4company.com/
![Page 20: GNU/Linux (e il software libero) nella fisica delle ...ferrari/conferenze/linuxday2011.pdf · rete, storage, database, fogli elettronici, … versioning, documentazione … “event](https://reader035.fdocument.pub/reader035/viewer/2022071009/5fc6a42ede8324013f191e50/html5/thumbnails/20.jpg)
Parma, 22 ottobre 2011 20
Software ...Trasferimento, processamento, monitoraggio dati:
C/C++ (protocolli di rete: UDP, TCP)GUI: Java / JS / Qt / Python (tk/tcl)Sistema Esperto: Common LispInter Process Communication: CORBAConfigurazioni/Calibrazioni/Allineamenti/Geometrie:
file, OKS (xml), COOL, ORACLE, SQLITE, Python …largo uso di Proxy
Documentazione, gestione problemi: WWW, Twiki, Savannah
... Nagios (monitoraggio !), IPMI (controllo !) ...
Parole chiave: Macchine a Stati Finiti, Scalabilità, Partizionabilità, Configurabilità, Sicurezza
![Page 21: GNU/Linux (e il software libero) nella fisica delle ...ferrari/conferenze/linuxday2011.pdf · rete, storage, database, fogli elettronici, … versioning, documentazione … “event](https://reader035.fdocument.pub/reader035/viewer/2022071009/5fc6a42ede8324013f191e50/html5/thumbnails/21.jpg)
Parma, 22 ottobre 2011 21
Run ControlMacchina a Stati Finiti
![Page 22: GNU/Linux (e il software libero) nella fisica delle ...ferrari/conferenze/linuxday2011.pdf · rete, storage, database, fogli elettronici, … versioning, documentazione … “event](https://reader035.fdocument.pub/reader035/viewer/2022071009/5fc6a42ede8324013f191e50/html5/thumbnails/22.jpg)
Parma, 22 ottobre 2011 22
Monitoraggio Online Information Service
![Page 23: GNU/Linux (e il software libero) nella fisica delle ...ferrari/conferenze/linuxday2011.pdf · rete, storage, database, fogli elettronici, … versioning, documentazione … “event](https://reader035.fdocument.pub/reader035/viewer/2022071009/5fc6a42ede8324013f191e50/html5/thumbnails/23.jpg)
Parma, 22 ottobre 2011 23
JavaScript + Web
![Page 24: GNU/Linux (e il software libero) nella fisica delle ...ferrari/conferenze/linuxday2011.pdf · rete, storage, database, fogli elettronici, … versioning, documentazione … “event](https://reader035.fdocument.pub/reader035/viewer/2022071009/5fc6a42ede8324013f191e50/html5/thumbnails/24.jpg)
Parma, 22 ottobre 2011 24
System Management
![Page 25: GNU/Linux (e il software libero) nella fisica delle ...ferrari/conferenze/linuxday2011.pdf · rete, storage, database, fogli elettronici, … versioning, documentazione … “event](https://reader035.fdocument.pub/reader035/viewer/2022071009/5fc6a42ede8324013f191e50/html5/thumbnails/25.jpg)
Parma, 22 ottobre 2011 25
Offline
O(1 miliardo) di eventi all'anno da ricostruire e analizzare~ Altrettanti da simulare
STORAGE~3 PB/anno
CPU ~ 7000 kSi2k*anno
![Page 26: GNU/Linux (e il software libero) nella fisica delle ...ferrari/conferenze/linuxday2011.pdf · rete, storage, database, fogli elettronici, … versioning, documentazione … “event](https://reader035.fdocument.pub/reader035/viewer/2022071009/5fc6a42ede8324013f191e50/html5/thumbnails/26.jpg)
Parma, 22 ottobre 2011 26
Analisi Eventi
Ambiente complesso … ogni livello richiede competenze specifiche:
Dall'online arrivano informazioni “grezze” (numeri): → misure di tempi, cariche elettriche, tensioni
Ricostruzione a più stadi (attività centralizzata): → informazioni fisiche (posizioni, velocità) → identificazione particelle, energia, quantità di moto
Analisi fisica (attività caotica): → criteri di separazione fondo / segnale (selezione eventi) → analisi statistica
![Page 27: GNU/Linux (e il software libero) nella fisica delle ...ferrari/conferenze/linuxday2011.pdf · rete, storage, database, fogli elettronici, … versioning, documentazione … “event](https://reader035.fdocument.pub/reader035/viewer/2022071009/5fc6a42ede8324013f191e50/html5/thumbnails/27.jpg)
Parma, 22 ottobre 2011 27
Simulazione, Ricostruzione e Analisi Dati
Attività distribuita verticalmente e orizzontalmente::Tier-0 (CERN) Tier-1 (grossi centri nazionali) →
→ Tier-2 (centri regionali) Tier-3 (istituti)→
Ampio uso della virtualizzazione
Dati distribuiti con ridondanza (almeno due copie di ogni dataset)
Cataloghi (database) per tenerne traccia
Esecuzione delocalizzata: nuovo strato software (middleware) che indirizza gli eseguibili dove si trovano i dati, raccoglie e assembla i risultati
la GRID
![Page 28: GNU/Linux (e il software libero) nella fisica delle ...ferrari/conferenze/linuxday2011.pdf · rete, storage, database, fogli elettronici, … versioning, documentazione … “event](https://reader035.fdocument.pub/reader035/viewer/2022071009/5fc6a42ede8324013f191e50/html5/thumbnails/28.jpg)
Parma, 22 ottobre 2011 28
la Griglia (GRID)
• WWW: accesso a informazione archiviata in diverse località geografiche
• GRID: accesso a risorse di calcolo e di archiviazione dati distribuite su tutto il pianeta
• Dati LHC equivalenti a ~20 milioni di CD (una pila alta 20 km) all’anno
• Per l'analisi necessari ~100mila dei più veloci processori odierni
![Page 29: GNU/Linux (e il software libero) nella fisica delle ...ferrari/conferenze/linuxday2011.pdf · rete, storage, database, fogli elettronici, … versioning, documentazione … “event](https://reader035.fdocument.pub/reader035/viewer/2022071009/5fc6a42ede8324013f191e50/html5/thumbnails/29.jpg)
Parma, 22 ottobre 2011 29
il Middleware
un ulteriore livello di astrazione:connette applicazioni, componenti, sistemi, su
scale regionali, nazionali, internazionalihardware software middleware→ →
permette di analizzare dati o eseguire applicazioni su macchine distribuite in tutta la rete
![Page 30: GNU/Linux (e il software libero) nella fisica delle ...ferrari/conferenze/linuxday2011.pdf · rete, storage, database, fogli elettronici, … versioning, documentazione … “event](https://reader035.fdocument.pub/reader035/viewer/2022071009/5fc6a42ede8324013f191e50/html5/thumbnails/30.jpg)
Parma, 22 ottobre 2011 30
Tier-1: CNAF (Bologna) unico per tutti gli esperimenti LHC (e non solo)
Tier-2: ~10 (Roma, Legnaro, Torino, Napoli, Catania, CNAF, Pisa, Milano)
Investimento (ad oggi) ~ 30 M Euro (incluse infrastrutture CNAF)
+ molti anni uomo di sviluppo sw (anche grazie a finanziamenti europei)
Il Calcolo LHC in Italia
![Page 31: GNU/Linux (e il software libero) nella fisica delle ...ferrari/conferenze/linuxday2011.pdf · rete, storage, database, fogli elettronici, … versioning, documentazione … “event](https://reader035.fdocument.pub/reader035/viewer/2022071009/5fc6a42ede8324013f191e50/html5/thumbnails/31.jpg)
Parma, 22 ottobre 2011 31
Il Portale di Monitoring
![Page 32: GNU/Linux (e il software libero) nella fisica delle ...ferrari/conferenze/linuxday2011.pdf · rete, storage, database, fogli elettronici, … versioning, documentazione … “event](https://reader035.fdocument.pub/reader035/viewer/2022071009/5fc6a42ede8324013f191e50/html5/thumbnails/32.jpg)
Parma, 22 ottobre 2011 32
Italian Grid Infrastructure
http://www.italiangrid.org
![Page 33: GNU/Linux (e il software libero) nella fisica delle ...ferrari/conferenze/linuxday2011.pdf · rete, storage, database, fogli elettronici, … versioning, documentazione … “event](https://reader035.fdocument.pub/reader035/viewer/2022071009/5fc6a42ede8324013f191e50/html5/thumbnails/33.jpg)
Parma, 22 ottobre 2011 33
La GRID in casaBOINC : http://boinc.berkeley.edu/
Open-source software for volunteer computing and grid computing.
Note: if your computer is equipped with a Graphics Processing Unit (GPU), you may be able to use it to compute faster.
![Page 34: GNU/Linux (e il software libero) nella fisica delle ...ferrari/conferenze/linuxday2011.pdf · rete, storage, database, fogli elettronici, … versioning, documentazione … “event](https://reader035.fdocument.pub/reader035/viewer/2022071009/5fc6a42ede8324013f191e50/html5/thumbnails/34.jpg)
Parma, 22 ottobre 2011 34
Il Valore Aggiunto della Collettività …
Risultati altrimenti impensabili possono essere raggiunti grazie al contributo di tutti …
BOINC Berkeley Open Infrastructure for Network Computing
es:http://milkyway.cs.rpi.edu/milkyway/http://einstein.phys.uwm.edu/
… ricerche in campo medico, farmacologico, …
![Page 35: GNU/Linux (e il software libero) nella fisica delle ...ferrari/conferenze/linuxday2011.pdf · rete, storage, database, fogli elettronici, … versioning, documentazione … “event](https://reader035.fdocument.pub/reader035/viewer/2022071009/5fc6a42ede8324013f191e50/html5/thumbnails/35.jpg)
Parma, 22 ottobre 2011 35
TheoPhys/TheoMPI
![Page 36: GNU/Linux (e il software libero) nella fisica delle ...ferrari/conferenze/linuxday2011.pdf · rete, storage, database, fogli elettronici, … versioning, documentazione … “event](https://reader035.fdocument.pub/reader035/viewer/2022071009/5fc6a42ede8324013f191e50/html5/thumbnails/36.jpg)
Parma, 22 ottobre 2011 36
dalla Fisica Teoricaal Super-Computing
ovvero il progetto APEN. Cabibbo
Calcolo Parallelo ...
![Page 37: GNU/Linux (e il software libero) nella fisica delle ...ferrari/conferenze/linuxday2011.pdf · rete, storage, database, fogli elettronici, … versioning, documentazione … “event](https://reader035.fdocument.pub/reader035/viewer/2022071009/5fc6a42ede8324013f191e50/html5/thumbnails/37.jpg)
Parma, 22 ottobre 2011 37
QUOnG: GPU-based HPC system
•QUantum chromodynamics ON Gpu
PC clusters + GPU + 3D network APEnet+ boards
•42U rack system:•60 TFlops/rack peak•25 kW/rack (i.e. 0.4 kW/TFlops)•300 k€/rack (i.e. 5 k€/TFlops)
![Page 38: GNU/Linux (e il software libero) nella fisica delle ...ferrari/conferenze/linuxday2011.pdf · rete, storage, database, fogli elettronici, … versioning, documentazione … “event](https://reader035.fdocument.pub/reader035/viewer/2022071009/5fc6a42ede8324013f191e50/html5/thumbnails/38.jpg)
Parma, 22 ottobre 2011 38
High Performance Supercomputing
![Page 39: GNU/Linux (e il software libero) nella fisica delle ...ferrari/conferenze/linuxday2011.pdf · rete, storage, database, fogli elettronici, … versioning, documentazione … “event](https://reader035.fdocument.pub/reader035/viewer/2022071009/5fc6a42ede8324013f191e50/html5/thumbnails/39.jpg)
Parma, 22 ottobre 2011 39
Conclusioni
- il mondo gnu/linux/free sw ha un legame doppio con la ricerca in fisica delle particelle elementare
- è una formidabile piattaforma di crescita sia individuale che collettiva
- la condivisione della conoscenza è un valore primario che si riflette anche nelle modifiche delle politiche di accesso alle pubblicazioni scientifiche “Open Access”→
- la condivisione delle risorse permette di ottenere risultati significativi sia dal punto di vista scientifico che da quello sociale