LNL G. Maron, Presentazione Sadirc2000, LNL, 16 giugno 1999 Sadirc2000 Proposta di esperimento al...

17
G. Maron, Presentazione Sadirc2000, LNL, 16 giugno 1999 LNL Sadirc2000 Proposta di esperimento al gr. 5 - Risultati principali esperimento SADIRC - Programma approvato per il 1999 - Sadirc2000 - sezioni INFN e partecipanti - attivita’ nel 2000 - attivita’ nel 2001 - Richieste finanziarie

Transcript of LNL G. Maron, Presentazione Sadirc2000, LNL, 16 giugno 1999 Sadirc2000 Proposta di esperimento al...

Page 1: LNL G. Maron, Presentazione Sadirc2000, LNL, 16 giugno 1999 Sadirc2000 Proposta di esperimento al gr. 5 - Risultati principali esperimento SADIRC - Programma.

G. Maron, Presentazione Sadirc2000, LNL, 16 giugno 1999

LNL

Sadirc2000

Proposta di esperimento al gr. 5

- Risultati principali esperimento SADIRC

- Programma approvato per il 1999

- Sadirc2000- sezioni INFN e partecipanti- attivita’ nel 2000- attivita’ nel 2001

- Richieste finanziarie

Page 2: LNL G. Maron, Presentazione Sadirc2000, LNL, 16 giugno 1999 Sadirc2000 Proposta di esperimento al gr. 5 - Risultati principali esperimento SADIRC - Programma.

G. Maron, Presentazione Sadirc2000, LNL, 16 giugno 1999

LNLObiettivi di Sadirc

- Sadirc e’ stato proposto e approvato come esperimento biennale (1997 e 1998) per lo studio di reti a commutazione da utilizzare come event builder veloci nei sistemi di acquisizione dati negli esperimenti di fisica delle alte energie e di fisica nucleare. La proposta Sadirc e’ nata come esigenza comune di persone che afferivano ad esperimenti di fisica diversi: CMS, Euroball ed Icarus.

- Altri obiettivi di Sadirc sono stati:

- progettazione di controllori intelligenti di I/O veloci

- realizzazione di micro sistemi di acquisizione dati per il test di rivelatori sia in laboratorio che sotto fascio.

Page 3: LNL G. Maron, Presentazione Sadirc2000, LNL, 16 giugno 1999 Sadirc2000 Proposta di esperimento al gr. 5 - Risultati principali esperimento SADIRC - Programma.

G. Maron, Presentazione Sadirc2000, LNL, 16 giugno 1999

LNL

Il problema dell’event Builder nei moderni esperimenti di fisica

40 MHz

105 Hz

102 Hz

100 Tbyte/s

100 Gbyte/s

100 Mbyte/s

Level 1Trigger

Event Manager

Detector Frontend

Event Builder

Computing Services

Controls

Readout

Filter

Collision rate 40 MHzLevel-1 Maximum trigger rate 100 kHzAverage event size 1 MbyteNo. of In-Out units (200-5000 byte/event) 1000Event builder (512-512 switch) bandwidth 500 Gbit/sEvent filter computing power 5 106 MIPSData production Tbyte/dayNo. of readout crates 250No. of electronic boards 10000

Collision rate 40 MHzLevel-1 Maximum trigger rate 100 kHzAverage event size 1 MbyteNo. of In-Out units (200-5000 byte/event) 1000Event builder (512-512 switch) bandwidth 500 Gbit/sEvent filter computing power 5 106 MIPSData production Tbyte/dayNo. of readout crates 250No. of electronic boards 10000

Units

Units

Page 4: LNL G. Maron, Presentazione Sadirc2000, LNL, 16 giugno 1999 Sadirc2000 Proposta di esperimento al gr. 5 - Risultati principali esperimento SADIRC - Programma.

G. Maron, Presentazione Sadirc2000, LNL, 16 giugno 1999

LNL

Reti a commutazione studiate da Sadirc

Sadirc ha studiato le seguenti reti a switch:- ATM (155 Mbit/s)- Fibre Channel Standard (1 Gbit/s)- GigaEthernet (1 Gbit/s)- Myrinet (TriDAS/CMS Cern) (1 Gbit/s)

I risultati piu’ incoraggianti sono venuti da GigaEthernet e Myrinet.

0

20

40

60

80

100

120

Packet Size (Byte)

Rela

tive

Speed (

%)

ATM GE

FCS NGE

Page 5: LNL G. Maron, Presentazione Sadirc2000, LNL, 16 giugno 1999 Sadirc2000 Proposta di esperimento al gr. 5 - Risultati principali esperimento SADIRC - Programma.

G. Maron, Presentazione Sadirc2000, LNL, 16 giugno 1999

LNLGigaEthernet Tests

GE Switch

READOUTUNIT

READOUTUNIT

SFI SFI

EVENTMANAGER

LV-1

LV-2

FarmRequest

SFI

READOUTUNIT

SFI

READOUTUNIT

GE Switch

- A GigaEthernet based 4x4 Event Builder test bed has been set up

- Both Ru and FU are based on PII - 400 MHz commodity PC

- All the nodes run vxWorks 5.3

- Two 7 ports Intel Express Gigabit Switch are used

- Intel Pro 1000 PCI/GE interfaces are used

- Both RCN and FCN are implemented using GE itself (and exploiting its full duplex features)

- A standard vxWorks driver has been implemented according to the Pro 1000 specifications

- Optimised software for Event Manager, Readout Unit and SFI has been written.

Page 6: LNL G. Maron, Presentazione Sadirc2000, LNL, 16 giugno 1999 Sadirc2000 Proposta di esperimento al gr. 5 - Risultati principali esperimento SADIRC - Programma.

G. Maron, Presentazione Sadirc2000, LNL, 16 giugno 1999

LNLGigaEthernet: Event Builder Summary

B C DA

0

10

20

30

40

50

60

70

80

90

500 1000 1500 2000 2500 3000 3500

Fragment Size (Bytes)

Receiv

er E

vent

Rate

(kH

z)

1x1

2x2

3x3

4x4

0

20

40

60

80

100

120

140

160

180

500 1000 1500 2000 2500 3000 3500

Fragment Size (Bytes)

Receiv

er

Tim

e (

ms)

1x1

2x2

3x3

4x4

0

10

20

30

40

50

60

70

80

90

100

500 1000 1500 2000 2500 3000 3500

Fragment Size (Bytes)

Rece

iver

Ban

dw

idth

(M

Byte

/s)

1x1

2x2

3x3

4x4

Page 7: LNL G. Maron, Presentazione Sadirc2000, LNL, 16 giugno 1999 Sadirc2000 Proposta di esperimento al gr. 5 - Risultati principali esperimento SADIRC - Programma.

G. Maron, Presentazione Sadirc2000, LNL, 16 giugno 1999

LNLGigaEthernet: Point to Point 4x1x4

READOUTUNIT

READOUTUNIT

SFI SFI SFI

READOUTUNIT

SFI

READOUTUNIT

0

200

400

600

800

1000

1200

1400

68 200 400 600 800 1000 1200 1400 1522

Packet Size (Bytes)

Pack

et R

ate

(kH

z)

0

20

40

60

80

100

120

140

68 200 400 600 800 1000 1200 1400 1522

Packet Size (Bytes)

Ban

dwid

th (

MByt

e/s)

Test Point

Page 8: LNL G. Maron, Presentazione Sadirc2000, LNL, 16 giugno 1999 Sadirc2000 Proposta di esperimento al gr. 5 - Risultati principali esperimento SADIRC - Programma.

G. Maron, Presentazione Sadirc2000, LNL, 16 giugno 1999

LNL

GigaEthernet: Event Builder Latency Time

GE Switch

READOUTUNIT

READOUTUNIT

SFI SFI

EVENTMANAGER

LV-1

LV-2

SFI read Request SFI

READOUTUNIT

Event Builder Latency timeTime is taken from the SFI event read Request to the completion of the building of the relative event into the same SFI

0

50

100

150

200

250

300

500 1000 1500 2000 2500 3000 3500

Fragment Size (Bytes)

Eve

nt B

uild

er la

tenc

y ti

me

(s) 1x1

2x1

3x1

4x1

READOUTUNIT

GE Switch

SFI

Page 9: LNL G. Maron, Presentazione Sadirc2000, LNL, 16 giugno 1999 Sadirc2000 Proposta di esperimento al gr. 5 - Risultati principali esperimento SADIRC - Programma.

G. Maron, Presentazione Sadirc2000, LNL, 16 giugno 1999

LNLPrima generazione IOP di Sadirc

The i960RD IOP is based on:- a RISC core of 50 MIPS- 2 PCI bridges with DMA (33/32)- 1 PCI to PCI bridge- a local bus at 33 MHzIt is I2O compliant.

Primary PCI

Local Memory

i960RDPMC-1

PMC-2 Fast

Ethernet

CMS -IOPi960RD at 66 MHz32 Mbyte EDO RAMEmbedded FastEthernet2 PMC slot available2 form factor available:- standard PCI- VME/PMC to be connected to VME/RUM

Data Transfer

0

20

40

60

80

100

120

140

64 128 256 512 1024 2048 4096 8192 16384 32768 65536Block Size (Bytes)

Sp

eed

(M

Byt

e/s)

IOP DDU

RUI

RUM

LV-1

I960 Test

Trigger Rate

0

50

100

150

200

250

300

350

64 128

256

512

1024

2048

4096

8192

1638

4

3276

8

6553

6

Block Size (Bytes)

Trig

ger

Rat

e (K

H)

Page 10: LNL G. Maron, Presentazione Sadirc2000, LNL, 16 giugno 1999 Sadirc2000 Proposta di esperimento al gr. 5 - Risultati principali esperimento SADIRC - Programma.

G. Maron, Presentazione Sadirc2000, LNL, 16 giugno 1999

LNLSeconda generazione IOP di Sadirc

Local Bus

PPC860T

CUSTOMFPGA

MEMORY PLX 9054

Custom I/Oor

PCI2

PCI Host Bus

ATX-CMS

Standard PMC connectors for PCI Host

Standard PMC connectors for Custom I/O or PCI2

- Form Factor PMC- CPU PPC 860T (Embedded Fast Ethernet)- Local Bus at 50 MHz- Memory- PLX 9054 PCI to Local Bus Bridge. I2O queues- FPGA for custom I/O (100 lines) or secondary PCI

Status of the project- 3 prototypes exist (pre-production)- 1 board fully mounted and running (ethernet and pci test in progress)-vxWorks ported and running (no ethernet)

This board has been designed by Atenix (Verona-Italy) underspecification of TriDAS group. Some part of the project aredeveloped in collaboration with LNL (secondary PCI, OS porting, etc.)

PowerQUICC II MPC 8260200 MHz EC603e core3 FastEthernetembedded 32 bit PCI bus

PowerQUICC II MPC 8260200 MHz EC603e core3 FastEthernetembedded 32 bit PCI bus

PLX 9610 64 bit/66 MHz PCI chipPLX 9610 64 bit/66 MHz PCI chip

EvolutionEvolution

Page 11: LNL G. Maron, Presentazione Sadirc2000, LNL, 16 giugno 1999 Sadirc2000 Proposta di esperimento al gr. 5 - Risultati principali esperimento SADIRC - Programma.

G. Maron, Presentazione Sadirc2000, LNL, 16 giugno 1999

LNLI “micro” sistemi DAQ di Sadirc

Level 1Trigger

Event Manager

Detector Frontend

Event Builder

Computing Services

Controls

Readout

Filter

Units

Units

ReadoutUnit

VME Readout Unit(OS vxWorks, Linux)

PC Readout Unit(OS vxWorks, Linux) Filter

Unit

PC/WKS Filter Unit(OS Solaris, Linux)

INPUTPCIMXIETHERNET

OUTPUTETHERNETSCSI

Run Control based on Web

Analysis

Storage

PPC

VMEADCsTDCs

Lv-1PMC

PMCLv-2

EthernetEvents

MXI

TTL/NIMCAMAC

Lv-1

Lv-2

Events

MXITTL/NIM

PII

Ethernet

SCSIIDE

- New Gasp- Prisma- CMS muon chamber- Icarus 60 t

Page 12: LNL G. Maron, Presentazione Sadirc2000, LNL, 16 giugno 1999 Sadirc2000 Proposta di esperimento al gr. 5 - Risultati principali esperimento SADIRC - Programma.

G. Maron, Presentazione Sadirc2000, LNL, 16 giugno 1999

LNLEstensione dell’attivita’ al 1999

4 PC Pentium III 500 MHz 6 Ml4 PC PIII Dual Proc/Dual Bus 24 Ml8 Interfacce GigaEthernet 12 Ml

_________Totale (con IVA) 51 Ml

4 PC Pentium III 500 MHz 6 Ml4 PC PIII Dual Proc/Dual Bus 24 Ml8 Interfacce GigaEthernet 12 Ml

_________Totale (con IVA) 51 Ml

Configurazione di Test

GigaEthernet Switch

1 2 3 4 5 6 7 8

a b c d e f g h

EVM

Readout Units(standard Desktoprunning vxWorks)

Switch Farm Interfaces(Dual Proc/Dual Bus PCs

running vxWorks)

Sub-Farm PCs(standard Desktop

running Linux)

- I PC Readout unit ed EVM vengono recuperati dal prototipo funzionante e presentato in questa nota

- Si comprano 4 PC standard desktop

- Si comprano 4 PC dual proc/dual bus per provare la distribuzione degli eventi alle subfarm

- Lo switch a 17 porte viene fornito dalla Intel sotto accordo “beta site” approvato.

- I PC Readout unit ed EVM vengono recuperati dal prototipo funzionante e presentato in questa nota

- Si comprano 4 PC standard desktop

- Si comprano 4 PC dual proc/dual bus per provare la distribuzione degli eventi alle subfarm

- Lo switch a 17 porte viene fornito dalla Intel sotto accordo “beta site” approvato.

45 Ml

Page 13: LNL G. Maron, Presentazione Sadirc2000, LNL, 16 giugno 1999 Sadirc2000 Proposta di esperimento al gr. 5 - Risultati principali esperimento SADIRC - Programma.

G. Maron, Presentazione Sadirc2000, LNL, 16 giugno 1999

LNLLa proposta Sadirc2000

La proposta Sadirc2000 si articola nel seguente modo:

– Anno 2000:

• Testare GigaEthernet 1000 Base T. GigaEthernet su cavi cat. 5 (1000 Base T) e’ stato approvato recentemente come standard internazionale. Per fine anno 1999 ci saranno i primi prodotti. I prezzi saranno competitivi con fastethernet. GigaEthernet a 100$ a porta potrebbe essere la soluzione per i grossi esperimenti con event builder a migliaia di nodi. 1000 Base T usa gli stessi chip di interfaccia dell’attuale GE in fibra. Ci aspettiamo quindi medesime prestazioni, ma prezzi, a regime, anche 10 volte inferiori.

• Realizzare un dimostratore di event building 16x16 (16 sorgenti e 16 destinazioni) basato su 1000 Base T. Questo dimostratore estende i test positivi effettuati su GE in fibra (8x8), ne puo’ dimostrare la scalabilita’ , diventa un test significativo per verificare i simulatori (che poi scaleranno i risultati a 512x512 nodi). Il prezzo, se comparato al caso in fibra, e’ contenuto.

• Realizzazione di sub-farm basate su Linux seguendo lo stesso schema del 1999, ma utilizzando uno switch giga/fastethernet

– Anno 2001:

• Studio di sistemi dedicati all’IO molto efficienti che potrebbero sostituire i nodi Readout Unit e SFI. Seguire lo sviluppo tecnologico sulle nuove architetture di macchine con particolare riferimento a NGIO e Future IO. Realizare dei prototipi di readout unit e sfi basati su queste tecnologie

Page 14: LNL G. Maron, Presentazione Sadirc2000, LNL, 16 giugno 1999 Sadirc2000 Proposta di esperimento al gr. 5 - Risultati principali esperimento SADIRC - Programma.

G. Maron, Presentazione Sadirc2000, LNL, 16 giugno 1999

LNLNuove Architetture di IO

Ci sono almeno 2 iniziative promosse da grandi ditte produttrici di PC che sembrano molto interessanti per i nostri event filter. Queste iniziative hanno lo scopo didisegnare una nuova architettura di macchina nel tentativodi superare il bottleneck rappresentato dal modello a bus diIO condiviso (PCI).

Queste iniziative si chiamano Next Generation IO (NGIO promosso da Intel, Sun, Dell, Hitachi, NEC e Siemens) e Future IO (promosso da Adaptec, Compaq, HP, IBM e 3COM)

Le due proposte, a parte anche sostanziali differenze implementative, sono dal punto di vista architetturale moltosimili

MemCntrl

Mem

ChannelAdapter

Switch

IOCntrl

IOCntrlCPU

Ch

an

nel

Ad

ap

ter

Il Bus di IO diventa uno Switch

Il Bus di IO diventa uno Switch

Non ci sono piu’ slot, ma linksNon ci sono piu’ slot, ma links

Il bridge di IO diventa un DMA Engine

Page 15: LNL G. Maron, Presentazione Sadirc2000, LNL, 16 giugno 1999 Sadirc2000 Proposta di esperimento al gr. 5 - Risultati principali esperimento SADIRC - Programma.

G. Maron, Presentazione Sadirc2000, LNL, 16 giugno 1999

LNLPartecipanti a Sadirc2000

• Laboratori Nazionali di Legnaro– Luciano Berti (50%)– Michele Gulmini (50%)– Gaetano Maron (50%)– Nicola Toniolo (50%)– Gabriele Vedovato (50%)– XiaoQing Yang (50%)

• Sezione di Padova– Marina Passaseo (30%)– Donatella Pascoli (25%)– Sandro Ventura (25%)

Page 16: LNL G. Maron, Presentazione Sadirc2000, LNL, 16 giugno 1999 Sadirc2000 Proposta di esperimento al gr. 5 - Risultati principali esperimento SADIRC - Programma.

G. Maron, Presentazione Sadirc2000, LNL, 16 giugno 1999

LNLRichieste Finanziarie 2000

Laboratori Nazionali di Legnaro

Inventario:4 PC dual bus/dual processor 24 Ml12 PC standard 36 Ml

totale (con IVA) 72 Ml

Consumo32 interfacce GE - 1000 Base T 32 Ml8 hard disc per macchine Linux 4 Ml

totale (con IVA) 44 Ml

Trasferte Estero (3 persone equivalenti) 30 MlTrasferte Interno 4 Ml

150 MLSezione di Padova

Inventario:1 Swtich Ge/FastEthernet 8 Ml1 Switch Ge 72 Ml

totale (con IVA) 96 Ml

Consumovarie 4 Ml

totale (con IVA) 4 Ml

Trasferte Estero (0.5 persone equivalenti) 5 MlTrasferte Interno 1 Ml

106 ML

Page 17: LNL G. Maron, Presentazione Sadirc2000, LNL, 16 giugno 1999 Sadirc2000 Proposta di esperimento al gr. 5 - Risultati principali esperimento SADIRC - Programma.

G. Maron, Presentazione Sadirc2000, LNL, 16 giugno 1999

LNLRichieste Finanziarie 2001

Laboratori Nazionali di Legnaro

Prototipi Readout Unit basati su NGIO 50 Ml

Sezione di Padova

Prototipi SFI basati su NGIO 50 Ml