ATLAS High Level Trigger/DAQ

62
CSN1 - 6/4/2004 ATLAS High Level Trigger/DAQ S.Falciano - INFN Roma1

description

ATLAS High Level Trigger/DAQ. S.Falciano - INFN Roma1. La presentazione è rivolta essenzialmente ad illustrare il piano finanziario 2004-2009 del sistema HLT/DAQ di ATLAS, discusso con i Referee della CSN1 negli ultimi mesi (se ne chiede l’approvazione in vista del RRB di Aprile). Outline. - PowerPoint PPT Presentation

Transcript of ATLAS High Level Trigger/DAQ

Page 1: ATLAS High Level Trigger/DAQ

CSN1 - 6/4/2004 S.Falciano - INFN Roma1

ATLAS High Level Trigger/DAQ

S.Falciano - INFN Roma1

Page 2: ATLAS High Level Trigger/DAQ

CSN1 - 6/4/2004 S.Falciano - INFN Roma1

La presentazione è rivolta essenzialmente ad illustrare il piano finanziario 2004-2009 del sistema HLT/DAQ di ATLAS, discusso con i Referee della CSN1 negli ultimi mesi (se ne chiede l’approvazione in vista del RRB di Aprile).

Page 3: ATLAS High Level Trigger/DAQ

CSN1 - 6/4/2004 S.Falciano - INFN Roma1

Outline• Breve riassunto delle caratteristiche del TDAQ di ATLAS :

rates, bandwidth, performance, etc. • Criteri che hanno portato al disegno attuale : TDR “Baseline

architecture”• Scenari di LHC per lavorare per il TDR -> Trigger menu• Cosa è cambiato

• Presentazione del piano di spesa HLT/DAQ • “Baseline architecture” e Costi Globali• Piano finananziario CORE proposto per l’INFN

– Addendum al MoU per il RRB del 26 Aprile 2004• Problema dei “deferrals” e documenti disponibili

• Risposte alle domande dei Referee• Meeting telefonico del 20 febbraio 2004• Incontro del 16 e 17 marzo 2004

• Aggiornamento sul piano di lavoro per il 2004• Conclusioni

Page 4: ATLAS High Level Trigger/DAQ

CSN1 - 6/4/2004 S.Falciano - INFN Roma1

ATLAS Trigger / DAQ Architecture

Level 1

Level 2

Event Filter

Detectors

Front-endPipelines

ReadoutBuffers

EventBuilder

Buffers &ProcessingFarms

DataStorage

Readout Drivers

RoI PointersRoI Pointers

1 GHz interaction rate /

<75 (100) kHz

O(1) kHz output rate

O(100) Hz output rate

2s latency

O(10) ms latency

~ seconds latency

40 MHz bunch-crossing rate

HLTHLT

LVL2 Region-of-

Interest (RoIRoI) concept Specialized algorithms Fast selection with

early rejection

EF Full event available Offline derived algorithms Seeding by LVL2 Best calibration /

alignment Latency less demanding

LVL1 Hardware based

(FPGA and ASIC) Coarse calorimeter

granularity Trigger muon

detectors

Page 5: ATLAS High Level Trigger/DAQ

CSN1 - 6/4/2004 S.Falciano - INFN Roma1

DATAFLOW

EB

ROSH

L

T

LVL1

DE

T RO

ROD

LVL2

Trigger DAQARCHITECTURE

2.5

s

~ 10 ms

40 MHz

75 kHz

~2 kHz

~ 200 Hz

Calo MuTrCh Other detectors

SFI

SFO

EBN

EFN

FE Pipelines

Read-Out Drivers

Read-Out Sub-systems

Dataflow Manager

Sub-Farm Input

Sub-Farm Output

Event Filter N/work

ROIB

L2P

L2SV

L2N

Event Filter

DFM

EFPEFP

EFPEFP

RoI Builder

L2 SupervisorL2 N/work

L2 Proc Unit

RoI

RoI data = 1-2%

RoI requests

Lvl2 acc = ~2 kHz

Event Building N/work~ sec

Lvl1 acc = 75 kHz

40 MHz

120 GB/s

~ 300 MB/s

~2+4 GB/s

Event FilterProcessors

120 GB/s

~4

GB

/s

EFacc = ~0.2 kHz

Read-Out Buffers

Read-Out Links

ROB

ROB

ROB

Event Builder

Page 6: ATLAS High Level Trigger/DAQ

CSN1 - 6/4/2004 S.Falciano - INFN Roma1

Strategia di selezione online degli eventi (1)

Il trigger di ATLAS si basa sul concetto di “physics objects” (muoni, elettroni, jet, …)

Oggetti “candidati” sono tipicamente identificati prima al LVL1 dove si ricostruiscono localmente (Calorimetri e Spettrometro per Muoni)

Gli HLT raffinano la ricostruzione, rigettano i “fake” e migliorano la precisione sui parametri misurati dell’oggetto (pT, …)

Gli oggetti vengono ricostruiti sia a livello di singolo rivelatore (come nel LVL1) sia attraverso una ricostruzione combinata di più rivelatori (HLT)

Gli oggetti vengono combinati insieme (Trigger menus) per formare delle “ipotesi di fisica”.

La derivazione dei Trigger Menus e delle soglie parte da un’analisi dei requirements di fisica, seguita da una verifica della capacità di reiezione ai vari livelli e infine prende in considerazione stime della bandwidth totale disponibile negli HLT (procedura iterativa).

Page 7: ATLAS High Level Trigger/DAQ

CSN1 - 6/4/2004 S.Falciano - INFN Roma1

Strategia di selezione online degli eventi (2)

• Differenti Trigger Menus sono previsti per il programma iniziale alla luminosità di picco di 2x1033 cm-1s-1 :

• Inclusive physics triggers : formano il bulk della selezione online e sono scelti per garantire la copertura di gran parte del programma di fisica

• Pre-scaled physics trigger : estendono la copertura del programma di fisica di Atlas includendo selezioni inclusive con soglie più basse al fine di allargare i sample di eventi utili per lo studio del fondo e delle performance dei rivelatori.

• Exclusive physics triggers : estendono anche essi la copertura del programma di fisica.

• Dedicated monitor & calibration triggers

Page 8: ATLAS High Level Trigger/DAQ

CSN1 - 6/4/2004 S.Falciano - INFN Roma1

Gli scenari per lo “start-up” di LHC (2002)

• Fino al 2001 (base per l’elaborazione del TP per HLT/DAQ/DCS)– 3 anni a 1x1033 “low luminosity”– più anni a 1034 “design luminosity”

• Approccio semplificato, ma ipotesi di lavoro stabili

• Nel 2001 e 2002 :– Nuovi scenari proposti a ritmi sempre più frequenti

• Scenario di Ottobre 2002 (LHCC minutes, R. Cashmore note)– Statistica: ~10 fb-1 ottenibili dal primo run di fisica– Durata: ~200 giorni di presa dati– Duty cycle: ~60% (14 h di durata di un fill, 10 h per

refill)– Luminosità: 2x1033

Page 9: ATLAS High Level Trigger/DAQ

CSN1 - 6/4/2004 S.Falciano - INFN Roma1

LVL1 Trigger menus

Adjusting of some thresholds to obtain similar output rate at 2x1033 as was foreseen at 1x1033

Page 10: ATLAS High Level Trigger/DAQ

CSN1 - 6/4/2004 S.Falciano - INFN Roma1

HLT rates for 2x1033

SelectionSelection 22101033 33 cmcm-2-2ss-1-1 Rates (Hz)Rates (Hz)

Electron e25i, 2e15i ~40

Photon 60i, 220i ~40

Muon 20i, 210 ~40

Jets j400, 3j165, 4j110 ~25

Jet & ETmiss j70 + xE70 ~20

tau & ETmiss 35 + xE45 ~5

b-physics 26 with mB /mJ/ ~10

Otherspre-scales, calibration, …

~20

Total ~200

Page 11: ATLAS High Level Trigger/DAQ

CSN1 - 6/4/2004 S.Falciano - INFN Roma1

Selection signatures @L = 2·1033 cm-2s-1

Object Examples of physics coverage Nomenclature

ElectronsHiggs (SM, MSSM), new gauge bosons,

extra dimensions, SUSY, W, tope25i, 2e15i

Photons Higgs (SM, MSSM), extra dimensions, SUSY 60, 220i

Muons

Higgs (SM, MSSM), new gauge bosons, extra dimensions, SUSY, W, top

20i, 210

Rare b-decays (BX, BJ(’)X)26 + + - + mass

cut

Jets SUSY, compositeness, resonances j400, 3j165, 4j110

Jet+missing ET SUSY, leptoquarks j70 + xE70

Tau+missing ET Extended Higgs models (e.g. MSSM), SUSY 35i + xE45

+ pre-scaled, monitor, calibration triggers

Page 12: ATLAS High Level Trigger/DAQ

CSN1 - 6/4/2004 S.Falciano - INFN Roma1

Lo scenario di “deferral/staging” (2002)• “Staging” iniziale del detector

– Alcune componenti rilevanti per le trigger performance mancheranno

• layer medio dei pixel, wheels più esterni del TRT, parte dei readout drivers (ROD) del LAr, …

– Significanza ridotta per la scoperta dell’ Higgs leggero (~ -10%) • Compensata da un aumento di ~ 20% di luminosità integrata

– Massima rate al LVL1 di 50 kHz (LAr RODs)• Al TDAQ è stato chiesto nel 2002 cosa succederebbe se si

operassero tagli drastici alle proprie spese per finanziare gli extra-costi dei progetti comuni – Comporterebbe tagli drastici al sistema iniziale di HLT/DAQ

(rimarrebbe solo 1/3- 1/2 del CORE budget)• Rimandare l’acquisto di componenti commerciali di network / processori

– Restringerebbe in maniera severa la capacità di rate/bandwidth• Meno di 1/2 di design rate capability (30-35 kHz peak LVL1 rate)

– limiterebbe la B-physics & metterebbe a rischio parte della fisica di high-pT

• Meno di 1/5 di design rate capability (10-15 kHz peak LVL1 rate )– comporterebbe tagli drastici al programma di fisica di high-pT

Page 13: ATLAS High Level Trigger/DAQ

CSN1 - 6/4/2004 S.Falciano - INFN Roma1

Preparazione del TDR

Si è assunto uno scenario di start-up ed evoluzione di LHC tale che : 2007 – start-up a 2x1033 cm-2 s-1 per un anno 2008 – luminosità nominale di 1x1034 cm-2 s-1

Si è assunto che il piano di spesa dovesse tenere conto del “Completion Plan” di Atlas

Page 14: ATLAS High Level Trigger/DAQ

CSN1 - 6/4/2004 S.Falciano - INFN Roma1

Evoluzione del sistema e staging

• Il sistema TDAQ è stato disegnato tale che dimensioni e performance evolvano in funzione della disponibilità delle risorse. Le performance finali corrispondono ad una trigger rate di Livello-1 di 100 kHz.

• La stima dei costi del TDAQ di ATLAS è basata su un modello dettagliato del numero di componenti in funzione della rate di trigger di Livello-1 (e.g. 37.5 kHz, 75 kHz, 100 kHz).

• Fattori di sicurezza sono applicati soprattutto nel tenere conto delle performance degli HLT (tempo di processamento degli eventi e fattori di reiezione) e del costo di componenti “custom” (come ad esempio i ROBin) e “commerciali” (come ad esempio i processori).

• Si è arrivati a definire un profilo temporale di spesa che è un’evoluzione del sistema a partire dal commissioning del detector fino alla realizzazione di un TDAQ con le sue performance finali

Page 15: ATLAS High Level Trigger/DAQ

CSN1 - 6/4/2004 S.Falciano - INFN Roma1

Part 1 - Global View1. Overview2. Parameters3. System Operations4. Physics selection strategy5. Architecture6. Fault tolerance and error handling7. Monitoring

Part 2 - System Components8. Data-flow9. High-level trigger10. Online Software11. DCS12. Experiment Control

Part 3 - System Performance13. Physics selection and HLT performance14. Overall system performance and validation

Part 4 - Organisation and Plan15. Quality assurance and development process16. Costing17. Organisation and resources18. Workplan and schedule

Page 16: ATLAS High Level Trigger/DAQ

CSN1 - 6/4/2004 S.Falciano - INFN Roma1

TDR “Baseline architecture”La scelta dell’architettura si è basata sui seguenti criteri :

• La copertura del programma di fisica prevista da ATLAS• L’esistenza di prototipi funzionanti• Misure di “performance” che soddisfano o le specifiche finali di ATLAS o

possono essere tranquillamente estrapolate alle performance richieste sulla scala dei tempi reali (CPU speed dei PC, ….)

• La chiarezza di come evolvere dallo scenario iniziale di set-up ridotto, quale quello utilizzato su testbeam, al sistema completo ad alta luminosità

• Uno scenario dei costi che parte dallo “staged detector” fino al completamento del sistema

• La possibilità di trarre vantaggio dall’evoluzione della tecnologia mentre l’esperimento è in corso

L’architettura proposta potrebbe essere costruita oggi con le tecnologie attuali e raggiungere le performance richieste. Poichè sono previsti avanzamenti significativi nel campo del networking e computing, ciò ci aiuterà a semplificare ulteriormente alcuni aspetti complessi del sistema.

Page 17: ATLAS High Level Trigger/DAQ

CSN1 - 6/4/2004 S.Falciano - INFN Roma1

CERN/LHCC 2003-069/G-067:

‘The LHCC finds both the technology adopted and the procedures proposed for the ATLASHLT/DAQ/DCS to be adequate to achieve thephysics goals stated in the Technical Proposal,and congratulates the ATLAS Collaboration onthe quality of the work presented in the TDR.’

‘The LHCC therefore recommends general approval of the ATLAS HLT/DAQ/DCS TDR.’

Una milestone importante per ATLAS è statala conclusione positiva del processo di review del TDR di HLT/DAQ/Control alla fine del 2003

Page 18: ATLAS High Level Trigger/DAQ

CSN1 - 6/4/2004 S.Falciano - INFN Roma1

Cosa non è cambiato rispetto al TP

• L’architettura TDAQ di Atlas è basata su tre livelli di trigger

• Il primo Livello (LVL1) è un trigger implementato in hardware, il secondo (LVL2) e terzo (Event Filter) sono trigger software

• Il secondo Livello funziona sul concetto di Region-of-Interest

Page 19: ATLAS High Level Trigger/DAQ

CSN1 - 6/4/2004 S.Falciano - INFN Roma1

• C’è una corrispondenza semplice tra :

region <-> ROB number(s) (per ciascun rivelatore)

-> per ciascuna RoI, i processori di LVL2 possono identificare rapidamente la lista dei ROB con i correspondenti dati di ciascun rivelatore

• Questo meccanismo fornisce un modo potente ed economico per avere un importante fattore di reiezione prima dell’ Event Building completo

4 RoI addresses

==> ATLAS RoI-based Level-2 trigger

… ~ ReadOut network più piccolo di un ordine di grandezza …… al costo di un maggiore

traffico di controllo …

Meccanismo delle RoI - Implementazione

Page 20: ATLAS High Level Trigger/DAQ

CSN1 - 6/4/2004 S.Falciano - INFN Roma1

Level-2 Trigger

Three parameters characterise the RoI-based Level-2 trigger:

the amount of data required : 1-2% of totalthe overall CPU time : 10 ms average

the rejection factor: x 30

Page 21: ATLAS High Level Trigger/DAQ

CSN1 - 6/4/2004 S.Falciano - INFN Roma1

Cosa è cambiato (1)

• L’implementazione della parte di Read-out accoppiata ai Rivelatori : ROS, ReadOut System

– ROD Crate (responsabilità Hw/Sw : Rivelatore)– ROS (responsabilità Hw/Sw : DAQ)

– Nuova implementazione Hw del ROS basata su PC invece che VME

– Nuova implementazione del Sw del ROD Crate (ROD Crate DAQ) ora di responsabilità DAQ. Ciò uniforma la DAQ Locale nel ROD Crate per tutti i Rivelatori (supporto centralizzato per local processing, configurazione, event sampling, etc.)

Page 22: ATLAS High Level Trigger/DAQ

CSN1 - 6/4/2004 S.Falciano - INFN Roma1

VME bus

•Total number of ROD crates: 90•Total number of ROS PCs : 144•Total number of racks : ~15”==>All in USA15 (underground)

F.E. ElectronicsF.E. Electronics

… ROD Crates

ROD CrateWorkstation

LAN (GbEth.)

GbEth.

… ROS PCs

ROD Fragments

ROB FragmentsROS Fragments

Event Fragments (Detector specific)

L2 & Event Builder NetworksL2 & Event Builder Networks

ROLs

RCD and ROS

… PCI bus

Config & Control

Event sampling & Calibration data

NIC

RO

BIN

RO

BIN

RO

BIN

RCP

ROD

ROD

ROD

ROD

Config & Control

Event sampling & Calibration data

Page 23: ATLAS High Level Trigger/DAQ

CSN1 - 6/4/2004 S.Falciano - INFN Roma1

The ROBin Prototype

Page 24: ATLAS High Level Trigger/DAQ

CSN1 - 6/4/2004 S.Falciano - INFN Roma1

Cosa è cambiato (2)

• L’ I/O path del ReadOut System (ROS)

– Opzione 1 : Bus Based path (il BUS è il PCI)– Opzione 2 : Switched Based path (GEth)

– La preoccupazione è quella di aggiungere scalabilità al sistema

Page 25: ATLAS High Level Trigger/DAQ

CSN1 - 6/4/2004 S.Falciano - INFN Roma1

I/O path for Read-Out System

• In TDR (30 June 2003):– “The optimisation of the ROS architecture will be

the subject of post-TDR studies” using a Read-Out Buffer (ROBIN) prototype implementing bus-based (PCI) and switched-based (GEth) I/O paths

• Schedule and milestones to match ATLAS commissioning– ROBIN Final Design Review completed LHCC 31.05.04– Final decision on ROS Input/Output path EB 31.12.03

RO

BIN

S-Links

GbE

PCI bus

Page 26: ATLAS High Level Trigger/DAQ

CSN1 - 6/4/2004 S.Falciano - INFN Roma1

I/O path for Read-Out System

• On 11 Dec 2003, TDAQ decision was made:Bus-Based (BB) with Switch-Based (SB) as option for increased scalability

– ROBIN : 3 Slink input - PCI and GEth output• Max input retaining max output functionality• High potential for scalability and upgrades

– The baseline implementation of the ROS would be BB with an upgrade path to combined BB and SB I/O or only SBI/O for future upgrades.

Full assessment of the potential of theSB Read-Out will be done as soon aspossible (planning in preparation), so as to be ready with a viable upgradeif and when needed.

PCI bus RO

BIN

RO

BIN

RO

BIN

GbEthernet

L2 & Event Builder NetworksL2 & Event Builder Networks

NIC

Increased

scalability

if/when needed

RO

BIN

S-Links

GbE

PCI bus

Page 27: ATLAS High Level Trigger/DAQ

CSN1 - 6/4/2004 S.Falciano - INFN Roma1

Cosa è cambiato (3)

- Organization & resources

Page 28: ATLAS High Level Trigger/DAQ

CSN1 - 6/4/2004 S.Falciano - INFN Roma1

Contributi italiani al TDR• Studio e validazione delle componenti DAQ

– Data Flow (Data Collection e Event Filter)– Online software (Configurazione, Monitoring, Run Control)– Detector software (ROD Crate DAQ, Data Format, Monitoring)

• Studio e validazione degli HLT– Software framework (Athena)– Algoritmi di livello-2 (Pixel e Muoni)– Algoritmi di filtro e calibrazione ottenuti dai programmi offline (e.g.

MOORE per la ricostruzione e CALIB per la calibrazione dei muoni)– Uso online dello schema di acceso ai dati dei rivelatori e alla loro

geometria secondo l’Event Data Model (definizione e sviluppo software dei formati ByteStream dei dati dei rivelatori utilizzati e della loro definizone ad oggetti, Raw Data Objects utile per gli algoritmi di trigger)

• Contributo alla scrittura e al coordinamento di importanti capitoli del TDR (vedi PESA)

Sono state prodotte dai gruppi italiani o in collaborazione con altri gruppi più di 20 note ATLAS quali documenti di supporto al TDR.

Page 29: ATLAS High Level Trigger/DAQ

CSN1 - 6/4/2004 S.Falciano - INFN Roma1

Presentazione del piano di spesa

• L’INFN si era impegnato a dare 3.3 MCHF per il sistema HLT/DAQ.

• Al RRB del 26 Aprile si chiederà all’INFN di mantenere questo impegno a fronte del lavoro svolto dai gruppi italiani e di una definizione abbastanza dettagliata dell’architettura, delle sue componenti e dei suoi costi presentata nel recente TDR.

• A fronte di questa richiesta i gruppi italiani si sono impegnati nella preparazione di un documento che mostra la congruità di questa cifra e presenta una suddivisione in categorie di spesa versus gli impegni della collaborazione.

• Questo documento è stato presentato e discusso prima nel TDAQ Resource Committee (Resource Coordinator + Rappr. delle FAs) e poi presentato ai Referee e al Presidente della CSN1.

• I profili di spesa globali e i finanziamenti delle FAs sono parte integrante dell’Addendum al MoU che verrà presentato al RRB di Aprile.

Page 30: ATLAS High Level Trigger/DAQ

CSN1 - 6/4/2004 S.Falciano - INFN Roma1

New MoU tableHLT/DAQ (Initial

System)

HLT/DAQ funds

required by ATLAS Completio

n Plan

HLT/DAQ Total

HLT/DAQ (Initial

System)

HLT/DAQ funds

required by ATLAS

Completion Plan

HLT/DAQ Total

Armenia Morocco

Australia Netherlands 325 325 650

Austria 300 300 Norway

Azerbaijan Poland 160 160

Belarus Portugal 300 300

Brazil Romania

Canada RussiaChina (NSFC+MST) JINR 100 100

Czech Republic 40 40 Serbia

Denmark 500 500 1000Slovak Republic

France IN2P3 Slovenia

France CEA Spain

Georgia SwedenGermany BMBF 955 840 1795 Switzerland 2000 2000 4000

Germany MPI Taipei

Greece Turkey

Israel 60 60United Kingdom 1110 1110 2220

Italy 1650 1650 3300US DoE + NSF 1983 1983 3965

Japan 750 750 1500 CERN 2950 2950 5900

Total 13183 12108 25290

Page 31: ATLAS High Level Trigger/DAQ

CSN1 - 6/4/2004 S.Falciano - INFN Roma1

HLT/DAQ system cost profile (unit is kCHF) as published in the

TDRUp to2003

2004 2005 2006 2007 2008 2009 Total

DCS 296 1624 489 294 422 0 0 3125

Pre-series 0 1048 0 0 0 0 0 1048

Detector R/O 0 0 3049 606 0 405 0 4060

LVL2 RoI 0 0 400 230 238 868 16 1752

LVL2 Proc 0 0 0 450 899 1348 899 3596

Event Builder 0 0 100 526 274 910 274 2084

Event Filter 0 0 0 1375 2863 4351 2862 11451

Online 0 0 208 622 0 0 0 830

Infrastructure 0 0 0 508 508 508 508 2032

Total 296 2672 4246 4611 5204 8390 4559 29978

Total (no DCS) 0 1048 3757 4317 4782 8390 4559 26853

Page 32: ATLAS High Level Trigger/DAQ

CSN1 - 6/4/2004 S.Falciano - INFN Roma1

Costi HLT/DAQ

Architettura scalabile-> implementazione ottimale del piano di

deferral dei finanziamenti e di upgrade futuri

Page 33: ATLAS High Level Trigger/DAQ

CSN1 - 6/4/2004 S.Falciano - INFN Roma1

Premessa

• La Collaborazione italiana HLT/DAQ è costituita da 230 membri : 32 di questi sono di istituti italiani (firme TDR) e rappresentano il 14% del totale.

• Consideriamo dunque appropriato un contributo finanziario al progetto proporzionale a questa frazione e infatti 3.3 MCHF rappresentano circa il 14% del costo totale del sistema.

Page 34: ATLAS High Level Trigger/DAQ

CSN1 - 6/4/2004 S.Falciano - INFN Roma1

“Aree di attività” dei gruppi italiani

• Algoritmi di trigger di Livello-2

• Studi di performance del Livello-2 su Testbeds

• Algoritmi di Event Filter

• Studi di performance dell’Event Filter su Testbed e sviluppo dell’Event Filter Data Flow

• DAQ

• Detector Monitoring (anche su EF farm) per Pixel, Lar, Tile, MDT e RPC.

• Trigger Monitoring per LVL1 e HLT

• Detector/TDAQ integration ai Test Beam e nei Test Labs.

Page 35: ATLAS High Level Trigger/DAQ

CSN1 - 6/4/2004 S.Falciano - INFN Roma1

Criteri per la selezione di aree funzionali e componenti da finanziare (1)

• L’attività italiana è fortemente Detector-oriented. Il lavoro sui Test Beam ha rafforzato questo concetto poiché diversi step d’integrazione Detector-Readout-TDAQ sono stati portati avanti insieme.

• Il lavoro sui Testbeds per sviluppare e testare prototipi DAQ e HLT è stato per noi molto importante.

• Inoltre l’implementazione di algoritmi di trigger basati sui rivelatori in costruzione in Italia è stata una frazione molto grande della nostra attività.

• Infine va ricordato che l’implementazione della simulazione completa di una slice verticale del trigger di muoni (LVL1-LVL2-EF) è stata possibile anche grazie al lavoro portato avanti nell’INFN sul trigger di muoni di primo livello.

Page 36: ATLAS High Level Trigger/DAQ

CSN1 - 6/4/2004 S.Falciano - INFN Roma1

Criteri per la selezione di aree funzionali e componenti da finanziare (2)

• La scelta delle aree da finanziare deve tenere conto di tutto ciò.

• Perciò sembra appropriato finanziare le seguenti categorie di spesa:– Pre-serie (partecipazione ai test di validazione del sistema finale

HLT/DAQ)– Detector Read-Out (Rack based, PC based, un rack contiene 11 PCs,

un local file server, un local switch, un rack controller, power e cooling distribution. Il costo di un rack è di 110 kCHF. Vogliamo finanziare :• 11 ROSes per i Pixel• 16 ROSes per lo Spettrometro a Muoni• 8 ROSes per il TilePer un totale di 5 racks (5 x 110 kCHF = 550 kCHF, 13% del R/O totale).

– Processori di LVL2 e EF (Rack mounted, PC sono Dual-CPUs con Linux, 18% di contributo per il LVL2, 11.4% per l’EF)

Page 37: ATLAS High Level Trigger/DAQ

CSN1 - 6/4/2004 S.Falciano - INFN Roma1

Pre-serie di HLT e DAQ • Include una versione su piccola scala del sistema allo scopo di validare

l’implementazione del TDAQ (e.g. 10% di Detector R/O, 1 switch per LVL2, 1 switch per EF, 2 sub-farm nella loro versione a “rack” di ATLAS e 5% del sistema online)

• Il dimensionamento è stato fatto essenzialmente su criteri di “funzionalità”

• E’ un sistema di dimensioni superiori ai testbed di cui disponiamo attualmente utilizzati per fare sviluppi e misure di performance. All’uopo si possono aggregare i due switch e le due sub-farm per provare solo il LVL2 o solo l’EF in una configurazione più estesa

• Si basa sulle tecnologie finali • Userà il software finale del Data Flow e dell’Online• L’uso previsto è in laboratorio, ma in caso di necessità si potrà utilizzare

per far partire il commissioning del Tile Calorimeter (primo rivelatore ad installarsi)

Richiesta sblocco s.j. a settembre.

Page 38: ATLAS High Level Trigger/DAQ

CSN1 - 6/4/2004 S.Falciano - INFN Roma1

Criteri per la selezione di aree funzionali e componenti da finanziare (3)

– EF I/O (gli SFI sono PC come quelli dell’EF, rack mounted. La partecipazione italiana al Data Flow e al Monitoring giustifica un contributo del 13%)

– Online (include le farm di processori per l’Online software, ossia Run_control, inizializzazione, etc. e dovrebbe rappresentare anche la frazione di monitoring dei rivelatori. Proposta di contributo del 20%)

– Infrastruttura – Common items (si considera ragionevole fissare un piccolo fondo per item comuni che difficilmente ricadono nelle categorie precedenti quali licenze software, link al centro di calcolo, etc. Si pensa che esso debba essere di circa il 6% per l’INFN).

Page 39: ATLAS High Level Trigger/DAQ

CSN1 - 6/4/2004 S.Falciano - INFN Roma1

Requested INFN funds for the HLT/DAQ system (unit is kCHF)

TDR ItalyPercentag

e (%)More details on funded items

Pre-series 1048 140 13.4

Detector R/O 4060 550 13.5Detector R/O - ROS racks

only

LVL2 Proc 3596 650 18.1 LVL2 racks

Event Builder 2084 280 13.4 EB - EFIO (SFI, SFO)

Event Filter 11451 1300 11.4 EF racks

Online 830 180 21.7Online racks - Control &

Monitoring

Infrastructure 2032 200 9.8 ~ 6% of total INFN funds

Total 25101 3300 13.1HLT/DAQ (no DCS) is

26853 kCHF

Page 40: ATLAS High Level Trigger/DAQ

CSN1 - 6/4/2004 S.Falciano - INFN Roma1

2004 2005 2006 2007 2008 2009 Total

Pre-series 140 0 0 0 0 0 140

Detector R/O * 0 275 275 0 0 0 550

LVL2 Proc 0 0 65 195 230 160 650

Event Builder 0 0 50 50 110 70 280

Event Filter 0 0 170 180 570 380 1300

Online 0 45 135 0 0 0 180

Infrastructure 0 0 80 80 20 20 200

INFN Total 140 320 775 505 930 630 3300

TDR Total 1048 3357 4087 4544 7522 4543 25101

INFN Percentage(%) 13.4 9.5 19.0 11.1 12.4 13.9 13.1

INFN cost profile (unit is kCHF) for the chosen categories

(*) The funds for the staged part of the detectors (such as the Pixels) should fall in the year 2008. Therefore they might be subtracted from those of the years 2005-2006, which correspond to the full detector, and moved in 2008.

Page 41: ATLAS High Level Trigger/DAQ

CSN1 - 6/4/2004 S.Falciano - INFN Roma1

Documenti disponibili(alla CSN1 e al RRB del 26 aprile 04)

• INFN funds for ATLAS HLT/DAQ– INFN Genova, LNF, Lecce, Napoli, Pavia, Pisa*, Roma1, Roma3

• Addendum to MoU • HLT/DAQ Common Items • ATLAS Agreement N°144/03

– Recognition and Use of the TDAQ Deferral Funding

• HLT/DAQ Funding Profiles• DCS Cost Sharing

* Al momento la Sezione di Pisa non è inclusa nella collaborazione TDAQ.

Page 42: ATLAS High Level Trigger/DAQ

CSN1 - 6/4/2004 S.Falciano - INFN Roma1

Infrastructure - “Common Items”

• Documento che stabilisce le regole di spesa degli items di infrastruttura

• Fondi gestiti attraverso un Team account speciale al CERN• Si richiede alle FAs di approvare la spesa• Il TDAQ Resource Coordinator informa le FAs e l’IB sulle

spese del Team.

Approvato all’IB del 25 feb. 2004.

Page 43: ATLAS High Level Trigger/DAQ

CSN1 - 6/4/2004 S.Falciano - INFN Roma1

Documento che stabilisceun meccanismo di controllosui “deferral” (agreementtra ATLAS e Funding Agency) :

- Obligations of the Parties- Return of deferred funds to TDAQ (decided by the TDRC, in line with the work plan defined in the TDR and in agreement with the TDIB and ATLAS management).

Page 44: ATLAS High Level Trigger/DAQ

CSN1 - 6/4/2004 S.Falciano - INFN Roma1

Risposte ad alcune domande dei Referee (1)

• Costo di HLT/DAQ del TDR vs MoU

– Saclay e Turchia si sono ritirate portando via

rispettivamente 3.9 MCHF+CFs e 150 kCHF. – Queste mancanze non sono state ripristinate e quindi il

costo inferiore del sistema deve essere riassorbito dalle altre FAs

– I 27000 kCHF sono la somma di 25500 kCHF delle FAs e 1500 kCHF di CFs

Page 45: ATLAS High Level Trigger/DAQ

CSN1 - 6/4/2004 S.Falciano - INFN Roma1

Risposte ad alcune domande dei Referee (4)

• Chiarimenti sui costi del DCS

– Atlas-Italia non contribuisce al DCS centrale.– Il costo del DCS e' rimasto invariato rispetto al passato (1800

kCHF + Common Funds). Poiche' nel TDR sono stati riportati anche i Common Funds allocati al DCS (e non nel capitolo TDAQ del MoU), cio' appare come un aumento.

– In conclusione, la divisione dei fondi per il DCS e', ed e' sempre stata:

CERN 1600. kCHF, NIKHEF 200. kCHF, Common Funds 1325. kCHF.

Page 46: ATLAS High Level Trigger/DAQ

CSN1 - 6/4/2004 S.Falciano - INFN Roma1

Risposte ad alcune domande dei Referee (2)

• Criteri per la scelta del profilo temporale di spesa

– Abbiamo disegnato un sistema che evolve in funzione delle risorse disponibili, che va da un sistema iniziale con una rate massima di LVL1 di circa 40 kHz ad uno finale con una rate massima di 100 kHz

2004 : Acquisto e messa in opera della pre-serie fatta con le componenti

finali del TDAQ (commissioning del Tile?)2005 : Inizia il commissioning dei detector e di HLT/DAQ. Ai detector serve il

75% dei Detector Readout.2006 : Commissioning. Run di cosmici.2007 : LHC start-up. 37% circa delle farm HLT disponibili. 37.5 kHz è la rate

di LVL1 sostenibile. Mancano il 25% dei ROD.2008 : LHC alla lminosità nominale, 75 kHz di rate di LVL1. Questo è il

momento in cui cominciano a tornare indietro i deferral.2009 : Sistema completo con le performance per cui è stato disegnato,

ossia rate di LVL1 di 100 kHz.

Nota : nella fase iniziale la priorità viene data agli aspetti DAQ perche’ essi servono per il commissioning del rivelatore, mentre le farm HLT e in particolare il LVL2, vengono dimensionate al minimo.

Page 47: ATLAS High Level Trigger/DAQ

CSN1 - 6/4/2004 S.Falciano - INFN Roma1

Workplan and schedule (TDR)

Page 48: ATLAS High Level Trigger/DAQ

CSN1 - 6/4/2004 S.Falciano - INFN Roma1

Risposte ad alcune domande dei Referee (3)

• Stabilità dei costi

– Abbiamo lavorato tenendo conto delle migliori stime, ad oggi, sull’evoluzione dei processori.

– Il progetto GRID e il gruppo Cern di technology tracking ha osservato che il comportamento delle performance dei processori è sotto la curva aspettata.

– Poiché anche i tempi e le modalità di funzionamento della macchina sono indicativi ed esistono incertezze sui tempi di processamento degli eventi, si è scelto di fissare la potenza dei processori a un valore indicativo che rappresenta la media delle prestazioni aspettate nell’intervallo 2006-2009.

– Si è assunto una Dual-CPU (high-end) a 8 GHz al costo indicato nel rapporto GRID del Cern, ossia 4 kCHF. E’ stato applicato un fattore di sicurezza del 30% per tenere conto delle incertezze.

Page 49: ATLAS High Level Trigger/DAQ

CSN1 - 6/4/2004 S.Falciano - INFN Roma1

Risposte ad alcune domande dei Referee (5)

• Chiarimenti sui costi M&O-A e Common Items

Nel documento : "Memorandum of Understanding for Maintenance and Operation of

the ATLAS Detector", ATLAS LHC Meeting 14. CERN-RRB-2002-035, CERN 5 April 2002 (disponibile sul web). In esso, all'Annex 9 : Category A Headings for ATLAS M&O, Cost

Categorization, troviamo:

Online Computing (no recording media)System managementData storage, (temporary on disk)Detector controlsComputer/processors/LANsSoftware licencesCommon desktop infrastructure

Page 50: ATLAS High Level Trigger/DAQ

CSN1 - 6/4/2004 S.Falciano - INFN Roma1

Risposte ad alcune domande dei Referee (5 cont)

– La differenza sta nel fatto che i costi dei nostri Common Items sono "costi iniziali", mentre quelli di M&O-A sono "costi ricorrenti", ossia le possibili integrazioni/sostituzioni/update/etc. che saranno sicuramente necessarie per il sistema.

– I fondi M&O non possono essere utilizzati per comprare inizialmente un sistema o una parte di esso, ma servono per mantenerlo funzionante nel tempo con le stesse prestazioni.

Page 51: ATLAS High Level Trigger/DAQ

CSN1 - 6/4/2004 S.Falciano - INFN Roma1

Programmi di HLT/DAQ nel 2004

• ROD Crate DAQ per tutti i rivelatori (H8 e Commissioning)• Integrazione completa di tutte le componenti del LVL1 ad H8

(Muon+MUCTPI, Calo, CTP)• Integrazione del LVL2 e EF nel Test Beam Combinato ad H8• Integrazione ad H8 di LVL1+LVL2+EF con elx dei rivelatori e il DAQ;

run a 25 ns con trigger di primo livello generato dall’elettronica che funzionerà in ATLAS (LVL1 Calo+Muon + CTP) (“pipelined” mode).

• Test finali in laboratorio utilizzando la pre-serie.

In parallelo :• Sviluppi degli algoritmi di trigger per Muoni (Muon Slice) e Pixel• Studi di Trigger Performance (rates, capacità di reiezione del fondo,

etc.)

Page 52: ATLAS High Level Trigger/DAQ

CSN1 - 6/4/2004 S.Falciano - INFN Roma1

GE data switch

SBC

SLink

CDR

FE ctrl switch

ROS PCCERNnet

OnlWS

Tilecal

ROD

SFIO PCDFM

CBTB

Tilecal Combined

ROD

SBC

ADC

TIMID

TDC

ROS PC

SBC

ADC

TDC

SLink

SLink

LASERCrate

CommonCaloCrate

Page 53: ATLAS High Level Trigger/DAQ

CSN1 - 6/4/2004 S.Falciano - INFN Roma1

Timing, Trigger, Control (TTC)

ROD_BUSY LTP

Central Trigger Processor (CTP)

Timing, Trigger, Control (TTC)

ROD_BUSY LTP

Beam Pick-ups:Filled-bunch signal

Endcap trigger

Interaction-trigger signal (if available)

LHC machine:Clock, Orbit

Calorimeter trigger

DAQ

LVL2

MUCTPI

Barrel trigger

LVL1: Muon + Calo + CTP

Page 54: ATLAS High Level Trigger/DAQ

CSN1 - 6/4/2004 S.Falciano - INFN Roma1

Combined Test Beam Readout (DAQ)

RCC

ROD

2*ROL

ROS

Tile

RCC

ROD

ROL

ROS

MDT

ROD

ROL

RCC

RODS

8*ROL

2*ROS

LVL1 Calo

RCC

RB

ROL

ROS

RPC

RCC

ROD

ROL

ROS

Pixel

RCC

ROD

ROL

ROS

SCT

RCC

ROD

ROL

ROS

TRT

RCC

ROD

4*ROL

ROS

LAr

ROD

4*ROL

RCC

ROD

TGC

RCC

RODS

ROL

ROS

LVL1MUCTPI

RCC

RODS

ROL

LVL1CTP

QuickTime™ and aTIFF (Uncompressed) decompressor

are needed to see this picture.DFM

SFI

SFO

SFI

SFO

RCC

T/ADC

ROL

Mu-Beam

R/OB

Mini-MAGNI

ROD

2*ROL

RCC

ROL

ROS

Tile-LASER

RCC

T/ADC

ROL

Calo-Beam

T/ADC

Remote Farms

ROS

Page 55: ATLAS High Level Trigger/DAQ

CSN1 - 6/4/2004 S.Falciano - INFN Roma1

Readout, DAQ and EF setup

MAGNI cluster

Page 56: ATLAS High Level Trigger/DAQ

CSN1 - 6/4/2004 S.Falciano - INFN Roma1

EF Data Flow

EFP EFD InputTask

Sorting

Task

ExtPTs

Task

ExtPTs

Task

Output

Task

Counting

Task

Histogr.Task

PreProc.

Task

PostProc.

Task

PT

PT

PT

PT

PT

SFI

SFO

InputHandler

Event Selectio

nThreads

LVL1Result

LVL2 Processing Task

EventQueue

LVL2Result

LVL1Result

LVL2Supervisor

LVL2 Processing Unit

Page 57: ATLAS High Level Trigger/DAQ

CSN1 - 6/4/2004 S.Falciano - INFN Roma1

LVL1-LVL2-EF-DAQ vertical slice

Event Filter MAGNI cluster

CTP RoIBLVL1A

HLT mini-rack

RCC

ROD

ROD…

ROL ROL

RCC

ROD

ROD…

ROL ROL

ROS ROS

SFI SFO

DFM

FileServer

L2 Supervisors

L2 Processors

EF Processors

pROS

Switch

L1 Muon L1 CaloLVL1

Detector

LVL2

Event Filter Control+ EB

EF

Page 58: ATLAS High Level Trigger/DAQ

CSN1 - 6/4/2004 S.Falciano - INFN Roma1

Conclusioni• La collaborazione italiana HLT/DAQ ha contribuito in maniera sostanziale

alla scrittura del TDR di questo sistema (sviluppo di algoritmi di trigger, studi di physics performance e sviluppi DAQ) e ha un programma di lavoro per l’immediato futuro che prevede la validazione del sistema finale prima su Testbeam e poi su Testbed (“pre-serie”) prima di affrontare la fase di commissioning del TDAQ e dei rivelatori in costruzione.

• La richiesta è di mantenere gli impegni finanziari (3.3 MCHF) verso il sistema HLT/DAQ di ATLAS.

• Il profilo di spesa mostrato, nella percentuale del 13% del totale, è necessario per contribuire all’acquisto della “pre-serie” nel 2004, all’acquisto del “sistema iniziale” per gli anni 2005-2007 e, successivamente nel 2008-2009, a “completare il sistema” per affrontare il più ampio programma di fisica alla luminosità di disegno di LHC.

• Il piano finanziario da noi elaborato in termini di “deliverables” non tiene conto della richiesta di ATLAS di anticipare i “deferral” al 2004 (50% dei costi), richiesta che verrà discussa nel RRB di aprile tra ATLAS e le Funding Agencies.

Page 59: ATLAS High Level Trigger/DAQ

CSN1 - 6/4/2004 S.Falciano - INFN Roma1

Riserve

Page 60: ATLAS High Level Trigger/DAQ

CSN1 - 6/4/2004 S.Falciano - INFN Roma1

Definizione dei sub-system HLT e DAQ• DAQ :

– Detector R/O : ROBin, ROS, Infrastruttura– Event Builder : Data Flow Manager, Switch Farm Interface, EB network, Switch

Farm Output con local storage– Online (Farm di processori per il software di controllo e monitoring, Network

centrale, Infrastruttura relativa)– Infra-structure (switch, link, prodotti software, network management tools, etc.)

• HLT : • Livello-2 (ROIBuilder, LVL2 Supervisor, Farm di processori di LVL2,

Network, Infrastruttura) – Event Filter (Farm di processori EF, Network interno, Infrastruttura)

• Pre-serie di HLT e DAQ :– include una versione su piccola scala del sistema allo scopo di validare

l’implementazione del TDAQ (e.g. 10% di Detector R/O, 1 switch per LVL2, 1 switch per EF, 2 sub-farm e 5% del sistema online).

• La maggior parte delle componenti è basata su COTS : commodity computer e communication hardware (e.g. PCs e Gigabit Ethernet) e strumentazione relativa.

Page 61: ATLAS High Level Trigger/DAQ

CSN1 - 6/4/2004 S.Falciano - INFN Roma1

Attività italiane

• Trigger di Livello-1 muoni (barrel) (Napoli, Roma1, Roma2)

• Trigger di Livello-2 muoni (barrel) (Pisa, Roma1)

• Trigger di Livello-2 pixel (Genova)• Event Filter (Lecce, Napoli, Pavia, Roma3)• DAQ (LNF, Pavia, Roma1)• DAQ testbeam (TDAQ + gruppi detector)

Page 62: ATLAS High Level Trigger/DAQ

CSN1 - 6/4/2004 S.Falciano - INFN Roma1

OperatorIF

DataViewer

AlarmIF

ConfigDB

ConditionsDB

DCS_IS

DIPMagnet

CERN

LHCDSS DAQ IS

DAQ MRS

DAQ RC

DCS Back-End ArchitectureDCS Back-End Architecture

CIC

Global Control Station(GCS)

Tile Pixel SCT TRT LArMDT TGC RPC (CSC)

OP

C

LCSEB-

LCSB-

LCSB+

LCSEB+

Cooling LV HV Misc.

LCS

HECHV

OP

C

LCS

TempO

PC

LCS

ISEGHV

OP

C

LCS

FECrates

OP

C

HV/LV

OP

C

PC

Purity

OPCPVSS CAN

DDC

Local Control Stations (LCS)

Subdetector Control Stations (SCS)