ATLAS Trigger/DAQ

Gruppo1 - 24/06/2003 S.Falciano - INFN Roma1

ATLAS Trigger/DAQ

S.Falciano - INFN Roma1


Outline presentazione

• Progetto, partecipazione, milestones 2003• HLT/DAQ

• TDR : stato e contributi italiani• Testbeam• “Baseline architecture” e Costi• Conclusioni (1)

• Trigger LVL1• Stato della costruzione• Verifiche in corso (test d’irraggiamento e testbeam)• Stato degli extra-costi : tabelle riassuntive• Conclusioni (2)


Struttura del progetto TDAQ– LVL1

Muon (barrel + endcap), MuCTPI• Calorimeter• CTP (Central Trigger Processor)

– HLT Detector slices LVL2/EF Infrastructure

PESA (Physics and Event Selection Architecture)

– DAQData FlowOnline SoftwareDCS (Detector Control System)

– Common activities• Architecture• Sw releases etc.....


Attività italiane

• Trigger di Livello-1 muoni (barrel) (Napoli, Roma1, Roma2)

• Trigger di Livello-2 muoni (barrel) (Pisa, Roma1)

• Trigger di Livello-2 pixel (Genova)• Event Filter (Lecce, Pavia, Roma3)• DAQ (LNF, Pavia, Roma1)• DAQ testbeam (TDAQ + gruppi detector)


Incarichi nel progetto TDAQ• A.Nisati (Roma1) -> IB Chairperson e Coordinatore algoritmi muoni in PESA

• V.Vercesi (Pavia) -> Coordinatore PESA (Physics and Event Selection Architecture)

• F.Parodi (Genova) -> Coordinatore algoritmi b-tagging in PESA

• S.Veneziano (Roma1) -> Coordinatore trigger LVL1 muoni barrel+endcap+MUCTPI

• S.Falciano (Roma1) -> Coordinatore Detector Readout nel DIG e Detector HLT slices

... e per i testbeam• P.Morettini (Genova) -> Coordinatore DAQ testbeam H8 pixel

• E.Pasqualucci (Roma1) -> Coordinatore DAQ testbeam H8 muoni


Milestones 2003• Marzo

– Scrittura del nuovo software di Data Flow dell'Event Filter e Monitoring.

– Integrazione completa del software di calibrazione delle camere MDT nell'EF/DAQ del Testbeam.

• Aprile – Integrazione e test "slice" verticale LVL1/HLT/DAQ/DCS per un

rivelatore ATLAS (e.g. rivelatore di muoni) in laboratorio.• Giugno

– Sottomissione al LHCC del Technical Design Report di HLT/DAQ/DCS.

– Produzione 5% elettronica on-detector per il trigger di primo livello terminata.

• Settembre – FDR elettronica off-detector per il trigger di primo livello.

• Dicembre – Inizio produzione 100% dell'elettronica del trigger di primo livello.


• Marzo– Scrittura del nuovo software di Data Flow dell'Event Filter e

Monitoring.

100% Il software, il cui disegno era iniziato nel 2002, e‘ stato completamente sviluppato ed e' ora utilizzato su testbeam.

– Integrazione completa del software di calibrazione delle camere MDT nell'EF/DAQ del Testbeam. 100% Anche questa integrazione, iniziata nel 2002, è stata effettuata ed e' operativa nell'attuale testbeam.

• Aprile – Integrazione e test "slice" verticale LVL1/HLT/DAQ/DCS per un

rivelatore ATLAS (e.g. rivelatore di muoni) in laboratorio.

100% Integrazione effettuata in laboratorio per LVL1/RPC/TGC e camere MDT (elettronica di lettura e software di acquisizione e

trigger). Il testbed e' stato particolarmente utile per la messa a punto del software e di parte dello hardware per il testbeam del 2003.

Stato Milestones 06/2003


• Giugno – Sottomissione al LHCC del Technical Design Report di HLT/DAQ/DCS.

Milestone in corso di completamento (30/6/2003). Il TDR è pronto per la stampa. I contributi italiani sono stati notevoli ed hanno riguardato il DAQ e i trigger di alto livello (LVL2 per Pixel e Muoni, adattamento programmi di ricostruzione offline all'Event Filter, framework software e responsabilità di alcuni capitoli importanti quali quello di PESA).

– Produzione 5% elettronica on-detector per il trigger di primo livello terminata.100% Pre-produzione Splitter Box terminata. I test iniziano entro il mese di giugno.

0% Pre-produzione delle PAD legata alla situazione finanziaria del LVL1 (vedi documento di E.Petrolo e S.Veneziano /Roma1 e A.Aloisio/Napoli).

Stato Milestones 06/2003 (cont.)


• Algoritmi di trigger di LVL2 basati sui rivelatori Pixel, TileCal, RPC e MDT

• Valutazione dei programmi di ricostruzione e calibrazione offline dei muoni (MOORE e CALIB) come candidati per i programmi di filtro e calibrazione online

• Calcolo delle trigger rate• Software framework per HLT (CORE software)• Core software per l’Event Filter • Software per Data Flow (Data Collection e Monitoring)• Sviluppi DAQ per testbeam• Slice verticale di LVL1 + HLT per i muoni

Attività HLT/DAQ


LVL1TriggerSystem

DataCollection

PESA

EventStore

ReadoutSubsystem

HLTDataflow

datafragments

datarequests

data requests+ decisions

ROIs + events

events

events

algorithms

OnlineSoftware

DataflowSystem

control &monitoring

TTC

LVL1 result

LVL1 output

Detector

detectordata

Flusso dei datiin LVL1/HLT/DAQ

Lavoro caratterizzato da :•Attenzione verso i detector•Integrazione con il LVL1 •Validazione delle scelte Hw e Sw attraverso Testbeam e Testbed


“Even

t Filte

r”

Local SF1

Local SFn

Back-End

Ethernet

LDAQ

TRG

CORBO

EBIF

ROB0

ROB1

ROC1ROB2

RODCC

ROD crateROD0

PEB

ROD1

PEB

CORBO

RODCC

RODCC

Beam crate

TTCVi

ADCs

TDCs

CORBO

BEAMCC

CANI/F

TTC

Tilecal

LDAQ

SFIO

SFC1

CDR

Back-End

Ethernet

RODCC

ROD crateCSM0

CORBO

RODCC

RODCC

ADC

CAMAC

ADC

ADC

Trigger crate

RODCC

Beam crate

ADCs

TDCs

CORBO

BEAMCC

CCAI/F

LDAQ

SFIO

SFC1

CDR

LDAQ

TRGEBIFROB

ROC1

TileCal

Muon

DAQ DAQ Control RoomControl Room

SWITCH

OnlineOnlineCalibrationCalibration

Remote SF1

Remote SFn

B.Di Girolamo


Pixel

GPM

RODs

…SBC

ROD Crate

GPM

ROD

…SBC

SCT

ROD Crate

GPM

ROD

…SBC

TRT

ROD Crate

GPM

ROD

…SBC

Tilecal

ROD Crate

GPM

GPM

…SBC

Tilecal

Beam Crate

GPM

ROD

…SBC

MDT

ROD Crate

GPM

GPM

…SBC

Muons

Beam Crate

* n

GPM

ROD

…SBC

LAr

ROD Crate

* n

* n

GPM

ROD

…SBC

ROD Crate

RPC

ID ROS

LAr ROS

Tilecal ROS

Muon ROS1

Muon ROS2

LVL1 Calo ROS

CTP ROS

ROD

ROD

…SBC

LVL1 Calo

ROD Crate

ROD

ROD

…SBC

CTP & CTPI

ROD Crate

To EB/EF

Com

bin

ed

ru

n 2

004

- G

lob

al

layou

t


Contributi al TDR

• Studio e validazione delle componenti DAQ– Data Flow (Data Collection e Event Filter)– Online software (Configurazione, Monitoring, Run Control)– Detector software (ROD Crate DAQ, Data Format, Monitoring)

• Studio e validazione degli HLT– Software framework (Athena)– Algoritmi di livello-2 (Pixel e Muoni)– Algoritmi di filtro e calibrazione ottenuti dai programmi offline (e.g.

MOORE per la ricostruzione e CALIB per la calibrazione dei muoni)– Uso online dello schema di acceso ai dati dei rivelatori e alla loro

geometria secondo l’Event Data Model (definizione e sviluppo software dei formati ByteStream dei dati dei rivelatori utilizzati e della loro definizone ad oggetti, Raw Data Objects utile per gli algoritmi di trigger)

• Contributo alla scrittura e al coordinamento di importanti capitoli del TDR (vedi PESA)


Fast physicsperformance

HLT TP, layout M HLT TDR, layout P

Perfect match of the two resolutions for pt = 20 GeV

HLT TP, layout M


MOORE – Event Filter muon reconstruction

Risoluzione in impulso Efficienza


Evoluzione del sistema e staging

• Il sistema TDAQ è stato disegnato tale che dimensioni e performance evolvano in funzione della disponibilità delle risorse. Le performance finali corrispondono ad una trigger rate di Livello-1 di 100 kHz.

• La stima dei costi del TDAQ di ATLAS è basata su un modello dettagliato del numero di componenti in funzione della rate di trigger di Livello-1 (e.g. 25-30 kHz, 75 kHz, 100 kHz).

• Fattori di sicurezza sono applicati soprattutto nel tenere conto delle performance degli HLT (tempo di processamento degli eventi e fattori di reiezione) e del costo di componenti “custom” (come ad esempio i ROBin) e “commerciali” (come ad esempio i processori).

• Si è arrivati a definire un profilo temporale di spesa che è un’evoluzione del sistema a partire dal commissioning del detector fino alla realizzazione di un TDAQ con le sue performance finali


TDR Baseline architectureTrigger DAQ

Event Building N/work

DATAFLOW

EVB

R/OSYSTEM

H

L

T

LVL1

DE

T R/OROD

LVL2

2.5

s

~ 10 ms

40 MHz

75 kHz

~2 kHz

~ 200 Hz

Calo MuTrChOther detectors

ROB

IOM

SFI

SFO

RRC

RRM

EBN

EFN

FE Pipelines

Read-Out Drivers

ROD-ROB Connection

Read-Out Buffers

ROD-ROS Merger

I/O Manager

Dataflow Manager

Sub-Farm Input

Sub-Farm Output

Event Filter N/work

ROIB

L2P

L2SV

L2N

Event FilterDFM

EFPEFP

EFPEFP

RoI Builder

L2 SupervisorL2 N/work

L2 Proc Unit

RoI

RoI data = 2%

RoI requests

Lvl2 acc = ~2 kHz

~ sec

Lvl1 acc = 75 kHz

40 MHz

120 GB/s

~ 300 MB/s

~3+3 GB/s

Event FilterProcessors

120 GB/s

~3

GB

/s

EFacc = ~0.2 kHz


Definizione dei sub-system HLT e DAQ• DAQ :

– Detector R/O : ROBin, ROS, Infrastruttura– Event Builder : Data Flow Manager, Switch Farm Interface, EB network, Switch

Farm Output con local storage– Online (Farm di processori per il software di controllo e monitoring, Network

centrale, Infrastruttura relativa)– Infra-structure (switch, link, prodotti software, network management tools,

etc.)

• HLT : – Livello-2 (ROIBuilder, LVL2 Supervisor, Farm di processori di LVL2, Network,

Infrastruttura) – Event Filter (Farm di processori EF, Network interno, Infrastruttura)

• Pre-serie di HLT e DAQ :– include una versione su piccola scala del sistema allo scopo di validare

l’implementazione del TDAQ (e.g. 10% di Detector R/O, 1 switch per LVL2, 1 switch per EF, 2 sub-farm e 5% del sistema online).

• La maggior parte delle componenti è basata su COTS : commodity computer e communication hardware (e.g. PCs e Gigabit Ethernet) e strumentazione relativa.


…R

OB

in

RO

Bin

PCI busPCI bus

…

RO

Bin

RO

Bin

PCI busPCI bus

…

GbEGbE GbEGbE

GbE GbE

…

RCC

ROD

ROD

…

ROD

ROD

RCC

ROD

ROD

…

ROD

ROD

ROLROL ROL ROL ROLROL ROL ROL

GbE Links to SDX15 (surface)

All in USA15 (underground) - TDAQ present allocation : 11 racks (52 U) Bus-based ROS : 564 U

Network R/O (ROB-VME) : 512 Uhttp://documents.cern.ch/cgi-bin/setlink?base=agenda&categ=a03434&id=a03434s1t1/moreinfo

100 kHz LVL1 - Full TTC partitioningD

ata

flow

s/w

su

ppor

ts b

oth

I/O

pat

h

QuickTime™ and a TIFF (Uncompressed) decompressor are needed to see this p icture. QuickTime™ and a TIFF (Uncompressed) decompressor are needed to see this p icture.

GbE GbE

GbE GbE GbEGbE

http://documents.cern.ch/cgi-bin/setlink?base=agenda&categ=a03434&id=a03434s1t1/moreinfo













Costi di HLT/DAQ (approx.) in kCHF

2004 2005 2006 2007 2008 2009 Totale(kCHF)

Profilo 1000 3800 4900 4800 8200 4300 27000

Deferral(13% -> )

13500(1755)

Coommon Funds

1500

NuovoProfilo

14500 3800 4900 2300 0 0

INFN(13%)

130 +1755

494 637 299 0 0 3315

PRELIMINARE !!!!


Costi di HLT/DAQ (approx.) in kEuro

2004 2005 2006 2007 2008 2009 Totale(kEuro)

Profilo 684 2599 3352 3283 5609 2941 18468

Deferral(13% -> )

9234(1200)

Coommon Funds

1026

NuovoProfilo

9918 2599 3352 1573 0 0

INFN(13%)

89 +1200

338 436 204 0 0 2267

PRELIMINARE !!!!


Item & Sub-system breakdown

PRELIMINARE !!!!


Richieste CORE e alcuni commenti

• Si chiede di mantenere gli impegni INFN verso il sistema HLT/DAQ di ATLAS soprattutto a fronte della qualità del lavoro svolto e programmato per il futuro dai gruppi italiani che operano in questo sub-system.

• Si chiede di approvare il profilo di spesa citato nella percentuale del 13% del totale, con la necessità assoluta di mantenerlo invariato negli anni 2005-2007 e di contribuire alla spesa della pre-serie nel 2004 in modo da partecipare ai primi test del sistema completo del DAQ sui testbed del Cern e su Testbeam

• L’allungamento del profilo di spesa su piu’ anni rispetto al profilo di spesa già approvato, dovrebbe consentire all’INFN di distribuire meglio le risorse negli anni di picco, sebbene ci sia una richiesta di Atlas di anticipare i “deferral” al 2004.


Trigger di Livello-1 barrel• Studio delle prestazioni del trigger e sviluppo del codice di

simulazione

• Sviluppo elettronica on-detector– connessioni del Front-End con trigger e readout– ASIC Matrice di Coincidenza– PAD e Splitter Boxes– Link ottico (Tx)

• Sviluppo elettronica off-detector– Readout Driver– Sector Logic– Link ottico (Rx)

• Il sistema d trigger di Livello-1 nel barrel è anche il sistema di lettura degli RPC.


Overview

On-detectorOff-detector

870 splitter boxes

430 Low Pt boxes

430 High Pt boxes

350,000 canali

16 crates VME

35 kW


Stato del sistema• In laboratorio e' stata installata una slice del sistema al fine di:

– Identificare le modifiche necessarie per la versione finale;– preparare il testbeam.– (Milestone 2003)

• I protitipi on-detector di una slice, con tutte le funzionalità e richieste sul numero di canali finali, sono attualmente ad H8.

– Il software di inizializzazione e controllo ha tutte le funzionalità minimali per essere usato su test beam.

• I prototipi dell'elettronica off-detector sono a livello di dimostratori, e ci permetteranno di acquisire su fascio durante l'estate.

– L'integrazione con il DAQ è iniziata nel laboratorio di Roma ad Aprile.


Link

Splitter

Off detector RX SL demonstrator

boards boards e motherboard


Sistemi di test per la produzione• Tutte le schede di test necessarie per la produzione sono state

sviluppate in casa e dalla CAEN all'interno del progetto 5%.

● Il software JTAG e' stato aggiornato


Slice test

VME RX

LowPt

High Pt

VME TTC

Trigger

CAN

Power

RX TX

TTCRxELMB

TTCRxELMB


Test beam ad H8-CERN• Maggio – settembre. Il Livello-1 ha una settimana a maggio dedicata

al run a 25 ns (solo TGC e MUCTPI). Gli RPC hanno un periodo dedicato a fine luglio di circa dieci giorni, ma la presa dati sarà possibile per quasi tutto il periodo.

• Si stanno attualmente cablando ed equipaggiando con il readout la metà inferiore di due camere BML e BOL, che realizzano due torri di trigger complete (BB5).

• Con questo Testbeam si vogliono collaudare:– Tutte le schede alloggiate nella Splitter Box– Tutte le schede alloggiate nella PAD– E ottenere un input per la seconda versione del prototipo ASIC

• Tutta la catena di trigger/readout è stata già integrata e collaudata in laboratorio. Il successo di questo Testbeam è importante per lanciare la produzione dell’elettronica on-detector. Abbiamo bisogno di missioni per lavorare a questo test, come documentato ampiamente nella richiesta inviata ai Referee.

• Importanza del Run Combinato del 2004 per il Trigger di Livello-1 : – Integrazione elettronica on-detector e off-detector per il Barrel Muon

Trigger– Integrazione Barrel e Endcap Muon Trigger con MUCTPI – Muon + Calo Trigger con CTP (LVL1 Central Trigger Processor)


Test beam 2003Gli sforzi sono stati rivolti ad una prima integrazione a maggio dell'elettronica presente a marzo in laboratorio, in attesa della seconda versione delle PAD e CM, da usare nel periodo dedicato di luglio e settembre.

• Set-up ad H8 :1 Splitter e 1 PAD per low-pT1 Splitter e 1 PAD per high-pTROD Crate : SBC, TDC, TTCvi, RX, BUSY

PC con LDAQ per Config via CANBUS


Test d'irraggiamento• Test effettuati :

– 9-11 maggio PSI– 2-3 giugno Lovanio– 17-19 giugno ISS

• I componenti irraggiati sono quelli della tabella e i risultati mostrano che sono in grado di tollerare la radiazione equivalente a 10 anni di run di LHC (3 krad, 1011p/cm2)

• S.Veneziano e R.Vari


Milestones 2003• Finalizzazione elettronica off-detector e inizio produzione

elettronica on-detector (integrazione RPC-MDT)– (AT) 31 gennaio PRR PAD-OR e SPLITTER (ok)– (AT) 31 marzo PRR PAD motherboard (rinviato) , CM boards (no) e

Optical Link (ok)– Aprile integrazione e test slice verticale LVL1/DAQ/DCS in

laboratorio (ok)– (AT) 30 aprile radiation tests of all on-detector components (ok)– Giugno: fine produzione preserie elettronica on-detector (Splitter

ok)– (AT) 30 giugno preserie on-detector electronics available– Giugno-settembre: test beam per validare la slice on-detector. In

produzione solo se il test avra' successo.– (AT) 30 settembre RPC integration start, FDR SL e ROD, PRR of

CM ASIC– (AT) 31 ottobre, fine del system test della on-detector electonics

before mass production– (AT) Dicembre: inizio produzione 100% elettronica on-detector


Schedula ATLAS 2004-2007

• Estate 2004: test beam full trigger-readout slice.• (AT) Ottobre 2004: RPC pronti all'istallazione• (AT) Ottobre 2004: off-detector electronics system

test before mass-production end.• (AT) Novembre 2004: 100% on-detector electronics

available• (AT) Febbraio 2005: 100% off-detector electronics

available• Marzo-Novembre 2005: Muon-barrel trigger

commissioning• (AT) Dicembre 2005: Muon Barrel trigger available• (AT) Agosto 2006: ATLAS Commissioning starts


Commenti introduttivi ai profili di spesa

• I progetti delle schede sono partiti nell’ambito del progetto 5% (partner industriale). Tali finanziamenti hanno coperto:• 2002

• Prototipo PAD motherboard low pt• Prototipo PAD motherboard high pt• Prototipo PAD OR• Schede di test per PAD e Splitter• Prima versione link TX-RX ed FPGA.• Prototipo finale PAD• Prototipi schede CM Phi e CM Eta

• 2003• Preproduzione PAD, schede CM (preserie)

• Lo sviluppo e il profilo di spesa presentati nel documento seguono la schedula d’installazione del detector.


Stato degli extra-costi

• Recentissima revisione (17/06/2003) del costo di alcuni componenti dovuta a :– un’offerta della collaborazione di contribuire con 400 kCHF

(-> Splitter)– Nuova offerta e cambio favorevole tra dollaro e euro (->

ASIC)– Ulteriore possibile riduzione (141 kEuro) del costo NRE (->

PAD)

• Inoltre si propone l’acquisto del sistema di basse tensioni nel 2005 e 2006, acquistando il primo anno un sistema minimale e i cavi.


Livello 1 – Summary table (kEuro)


Contributi agli extra-costi• Splitter (322 -> 543-259 -> 284 kEuro)

– Introdotti in corso d’opera (per conversione segnale dal front-end al processore di trigger) sono circa 11800 schede. Questa introduzione ha comportato anche aumenti CORE per power supplies, connettori e cavi. Una pre-produzione di 38 schede completamente equipaggiate è stata gia’ finanziata con 30 kEuro. Le schede sono già a BB5. Per ridurre i costi della produzione finale il gruppo gestirà l’acquisto dei componenti e la produzione, tutti i test verranno eseguiti “in casa”.

• PAD (851 -> 1523 kEuro)– Essenzialmente costo industriale (fattore 1,48). Costo del

materiale 1080 kEuro. La differenza copre la gestione della produzione e i test che altrimenti devono essere gestiti dal gruppo

(questa seconda scelta ha comunque un impatto sul manpower INFN e quindi sulla schedula d’installazione).


• Link (215 -> 415 kEuro)– L’aumento dei costi è stato rivisto di recente e per contenerlo si sono

dimezzati i link (mux dati di trigger e readout) che purtroppo ha complicato l’elettronica off-detector e modificato il firmware della PAD, ha avuto un impatto sulla latenza.

• Cavi (181 -> 415 kEuro)– L’introduzione delle Splitter box ha aumentato il numero dei cavi di un

fattore circa 3. Al CERN si stanno cercando fornitori diversi per abbassare i costi.

• Low Voltage (100 -> 668 kEuro)– Stima da rivedere nel 2004, basata inizialmente su un unico fornitore (le

richieste al sistema si sono evolute nel tempo, e.g. rad tolerant, etc.). • Nuovi item (90 kEuro)

– Si sono accumulati nelle revisioni recenti delle interfaccie al sistema. Sono Crate Procesors, CAN driver cards, CAN cables, PAD-Splitter control cables, ROL source cards.

Contributi agli extra-costi (cont.)


Livello 1 – Profilo di spesaItem 2002 2003 2004 2005 2006

Splitter 30 (292)254PAD 250 (80)1273ASIC (65)352Link 29 216Off-detector 155TTCrx 56ELMB 2 46Mechanics 30 53Cables 150 265Low Voltage 250 418Crates 71New items 90Total 280 (437)2090 791 411 418

Current budget 280 61 - - To be financed 0 2029 791 411 418


Conclusioni Livello-1• Nell’ultima revisione dei costi (V 2.0) si e’ cercato di presentare più

scenari e, per alcuni di essi, le possibili riduzioni dei costi e il carico di lavoro che esse implicano per il gruppo (vedi Splitter, PAD e Link)

• Si è anche cercato di capire come diluire la spesa nel tempo per alcuni item che possono attendere (Low Voltage si potrebbe in parte spostare al 2006)

• Cifra CORE richiesta per il 2003 : – sblocchi sj per far partire le gare fino ad un massimo delle intere cifre

richieste; in particolare il sj per lASIC serve per il secondo run;– finanziamenti per l’acquisto dei cavi da istallare nello Spettrometro

prima dell’istallazione del detector.

• Cifra CORE richiesta per il 2004 : – tutte le cifre in tabella.

ATLAS Trigger/DAQ

Documents

Transcript of ATLAS Trigger/DAQ