Approvazione Tier2 di ATLAS

Referaggio Tier2
Frascati
INFN - Laboratori Nazionali di Frascati
20/06/2011
Agenda
2
 Il gruppo di ATLAS dei LNF
 Attività del gruppo in breve
 Computing Model di ATLAS
 Movimentazione dei dati
 Cloud italiana
 Accounting e performance del Tier2 di Frascati
 La sala calcolo
 Infrastruttura di rete
 La farm di Frascati
 Stima di crescita
LNF - 20/06/2011
Il gruppo ATLAS LNF
3
A. Annovi, M. Antonelli(Resp.), M.M. Beretta, H. Bilokon, E. Capitolo (Tech.),
F. Cerutti, V. Chiarella, M. Curatolo, M. Dreucci, B. Esposito, M.L. Ferrer, C.
Gatti, P.F. Laurelli, G. Maccarrone, A. Martini, G. Nicoletti, R. Di Nardo, G.
Pileggi (Tech.), B. Ponzio(Tech.), V. Russo(Tech.), A. Castegnaro(Laur), A.
Sansoni, M. Testa (Ass.Ric.), T. Vassilieva (Tech.),
E. Vilucchi, G. Volpi
 In sostanza :
 Ricercatori 12.8 FTE
 Tecnologi 3.1 FTE
 Tecnici
 Laureandi
LNF - 20/06/2011
Attività molto in breve
4
 Si tratta di un gruppo storico(~20 anni) di ATLAS che
ha dato un contribuito molto rilevante nel:
 progetto, costruzione, test e installazione dello
spettrometro a m di ATLAS
 Trigger DAQ e calcolo
 Recentemente l’attività si è naturalmete riversata su
 analisi dei dati, algoritmi di ricostruzione e
ottimizzazioni prestazioni del rivalatore
 upgrade con trigger all’inizio del 2o livello con
ricostruzione veloce di tracce (FTK)
 manutenzione dello spettrometro
LNF - 20/06/2011
ATLAS MDT: from LNF to CERN
5
94 BML (Barrel Medium Large) High Precision Chambers of
the ATLAS Muon Spectrometer built in LNF with about
26000 tubes .
Installation and commissioning of the barrel spectrometer:
Overall coordination + Physicists &Technicians contribution
ATLAS management deputy project leader MS
assembling
LNF group developed the full
mechanical chamber project
used by many other institutes
Fully automatic
wiring machine
BML installation
LNF - 20/06/2011
Performances & Physics
6
0.003
Barrel ID ( |h|<1.05 )
0.0025
T
s(1/p ) [GeV -1]
Relevant contribution to m spectrometer
performances study: efficiency, calibration,
resolution
Muon Analysis Task Force coordination
Leading role of coordination and papers
editing
0.002
Data
s= 7 TeV
ò L = 40 pb
-1
Extrapolation
Simulation
ATLAS Preliminary
Cosmics
0.0015
Relevant contributions to missing ET
reconstruction
Energy Flow package responsibility
Important role in conf/note and papers
0.001
0.0005
0
0
20
40
60
80 100 120 140 160 180 200
p [GeV]
T
LNF - 20/06/2011
Performances & Physics
7
Relevant contribution and paper editing for
the measurement of J/ suppression in
Pb-Pb collisions
Measurement of the inclusive muon
cross section and pT spectrum
LNF - 20/06/2011
Two time-consuming jobs in tracking:
Pattern recognition & Track fitting
8
 Pattern recognition – find track candidates with enough Si hits
 109 prestored patterns (roads) simultaneously see the silicon hits leaving the detector at full speed.
 Based on the Associative Memory chip (content-addressable memory) initially developed for the CDF Silicon
Vertex Trigger (SVT).
Sviluppo di un nuovo AMchip a 65nm (M. Beretta)
Sviluppo di nuove tecniche di pattern matching a risoluzione variabile (G. Volpi, A. Annovi)
[G. Volpi, ANIMMA 2011, "A new Variable Resolution Associative Memory for High Energy Physics"]
LNF - 20/06/2011
Computing Model originale
9
 Modello di calcolo
gerarchico a Tier basato
sul paradigma Grid
 Un Tier0 (Cern)
 10 Tier1
 ~70 Tier2
 Numerosi Tier3
 I dati vengono distribuiti
gerarchicamente dal Tier0
ai Tier1 e dai Tier1 ai Tier2.
 I Tier1 comunicano tra
loro. I Tier2 ricevono solo
dati dal proprio Tier1
 I job vanno dove sono i
dati
LNF - 20/06/2011
Attività dei Tier
10
 Tier0 (CERN)




Acquisizione dei dati RAW e archivio su nastro
Calibrazione e allineamento
Primo processamento
Distribuzione dei dati ai Tier1
 Tier1
 Memorizza su nastro una percentuale dei dati RAW
 Effettua un riprocessamento dei dati (nuovo software, nuove
costanti di calibrazione)
 Simulazione
 Ospita job di analisi dei gruppi di fisica e degli utenti
 Distribuisce i dati ai Tier2
 Tier2
 Più Tier2 collegati allo stesso Tier1 formano una cloud
 Attività di simulazione
 Analisi utenti e di gruppo
 Tier3
 Test di software, analisi dati, produzione, analisi interattiva
(ROOT, Proof) e sviluppo codice.
LNF - 20/06/2011
Computing Model:
evoluzioni
11
 Sistema di popolarità dei dati per stabilire quali sono i
dati più acceduti,
 Sistema di cancellazione dei dati (data deletion) in
base alla loro popolarità e alla disponibilità di spazio
disco (i dati secondari vengono cancellati quando lo
spazio disco scende sotto una certa quota)
 PD2P: Panda Dynamic Data Placement: sistema di
replica dei dati popolari per l’analisi ai Tier2.
 Quando lo spazio disco del Tier2 scende sotto una
certa soglia il sistema di cancellazione libera spazio in
base alla popolarità. I Tier2 diventano delle cache di
dati.
LNF - 20/06/2011
Computing Model dinamico
12
 Ulteriore evoluzione: i Tier2
saranno collegati con i Tier1
e Tier2 delle altre cloud.
 Alcuni Tier2 di grandi
dimensioni, affidabili e con
connessioni di rete tali da
garantire un buon
throughput, non saranno
solo cache di dati, ma
anche sorgenti per il PD2P
con il preplacement di una
quota di dati: Tier2 Direct
(T2D) (18 siti tra cui i tre Tier2
italiani approvati).
LNF - 20/06/2011
Distribuzione dei dati
13
 Il sistema di movimentazione dei dati è il DDM:
Distributed Data Management. L’architettura del
DDM è implementata negli attuali tool del DQ2.
 Il DDM si fa carico di distribuire i dati, aggregati in
dataset, tra i Tier, catalogarli, cancellarli, fornire
agli utenti i tool per utilizzarli, ecc…
 Nei siti i file sono organizzati in aeree chiamate
space token.
 Gli utenti possono chiedere la replicazione dei
dataset in un sito specifico nello space token
LOCALGROUPDISK.
LNF - 20/06/2011
Cloud Italiana
14
 Tier1
 CNAF
 Tier2




Frascati proto-Tier2
Milano
Napoli
Roma1
 Tier3 “Grid enabled”





Genova
Roma3
Trieste/Udine
Bologna
Due Tier3 sudafricani: ZA-UJ, ZA-WITS
LNF - 20/06/2011
Attività della cloud italiana
15
 Gestione e monitoraggio delle attività di computing di
ATLAS nei siti italiani
 Gestione locale dei siti e confronti su problematiche
riscontrate, cercando soluzioni comuni del middleware
e dell’hardware
 Supporto all’analisi degli utenti
 Studi delle ottimizzazione dei sistemi comuni, es:
 I batch system: tre siti hanno PBS/Torque e Maui, test delle
diverse configurazioni del fair share
 Milano e il CNAF hanno Storm
 Roma1 e il CNAF hanno LSF
 Studio e confronto dei test effettuati nei siti:




Test di funzionalità della rete
Test di funzionalità di analisi: Hammer Cloud test
Test di trasferimento dati
Si tratta di test quotidiani rilevanti al fine dell’attività del sito
(balcklist)
LNF - 20/06/2011
Attività della cloud italiana
16
 Studio e implementazione di nuove soluzioni al Tier1
e Tier2 per:
 Attività continua per trovare le soluzioni più performanti
per I siti, per hardware e software. Esempio: studio con
le HC dell’architettura di rete interna.
 Minimizzare le inefficienze della cloud. Esempio: replica
con Oracle Data Guard del servizio LFC del CNAF a
Roma1
 Migliorare l’uso delle risorse dei siti. Esempio: studio e
implementazione delle Job Priorities, share delle CPU
per job con Panda
 Analisi dell’accesso e movimentazione dei dati:




Replica dei dati
Cancellazione dei dataset
Problemi nell’accesso ai file
Gestione delle sottoscrizioni all'interno della cloud e
informazione degli utenti
LNF - 20/06/2011
Attività della cloud italiana
17
 Organizzazione supporto cloud:
 Phone conference quindicinali per coordinare
l’attività della cloud
 Shift a rotazione per controllare:
 lo stato dei siti e dei servizi offerti
 i trasferimenti
 le attività di produzione, analisi, re-processing,
ecc…
 Mailing list:
 [email protected]: federazione dei Tier2
italiani
 [email protected]: supporto alla
cloud italiana
 [email protected]: utenti di ATLAS italiani
LNF - 20/06/2011
Attività della cloud italiana
18
 Gare comuni per gli acquisti per i Tier2 e Tier1
 Test su hardware proposti per gli acquisti:
 Misure di throughput storage
 Benchmack cpu
 Successiva verifica, per tutti i siti, dello stato delle
installazioni, test e messa in produzione delle
risorse acquistate
 Preparazione di presentazioni per conferenze:
Chep, IEEE, ecc…
LNF - 20/06/2011
Partecipazione di Frascati
alla cloud Italiana
19
 Il personale del proto-Tier2 di Frascati fin dall’inizio
ha partecipato attivamente a tutte le attività
della cloud italiana precedentemente elencate,
dando un contributo al calcolo dell’esperimento
che va oltre l’amministrazione della farm di
Frascati
 Inoltre, il personale inserito nelle attività di
computing può meglio supportare l’attività del
gruppo di analisi locale.
LNF - 20/06/2011
Il Tier2 di Frascati
20
 Il Tier2 di Frascati è più piccolo degli altri Tier2
(poco meno di un terzo), ma ha sempre
partecipato a tutte le attività dell’esperimento
riportando alti valori di performance e
availability/reliability.
 È stato quindi pienamente utilizzato
dall’esperimento come dimostrano i plot di
accounting
Sito a maggio 2011
Hep Spec 06
TB
Frascati
2331
260
Milano
7374
874
Napoli
8078
872
Roma1
7878
872
LNF - 20/06/2011
Il Tier2 di Frascati:
availability e reliability
Frascati
100%
80%
60%
40%
20%
0%
Rel
21
Ava
 Availability e reliability del
Tier2 di Frascati negli ultimi
12 mesi
 Novembre 2009 e
settembre 2010 sono stati
casi particolari in cui si
sono presentati problemi
dovuti ad apparati vecchi
ora in via di dismissione
 Alti valori di availability e
reliability per il 2011
LNF - 20/06/2011
Il Tier2 di Frascati:
accounting
22
 Wall clock time dei job
eseguiti nell’ultimo anno
confrontato con le risorse del
sito. La linea rossa
corrisponde alle risorse
effettivamente installate
senza aver abilitato
l’hypertreading, la lineaa blu
corrisponde al numero di jobslot disponibili con hypertreading abilitato, ma a volte,
per problemi di spazio disco, il
numero di job slot assegnato
è stato inferiore.
 Accounting dell’ultimo mese
LNF - 20/06/2011
Il Tier2 di Frascati:
efficienza
23
 Efficienza della cloud italiana,
nell’ultimo anno, per i job di
simulazione. Il sito di Frascati
riporta tra le efficienze più alte.
 # job succ/# job totali
 Efficienza per tutti I job,
periodo aprile-giuno,
superirore al 90%
 CPU time/wall time
LNF - 20/06/2011
Il Tier2 di Frascati:
uso delle risorse
24
 Sharing delle risorse dei siti
italiani per la produzione
 Sharing delle risorse dei siti
italiani per l’analisi
 I plot si riferiscono al numero di
job negli ultimi dodici mesi
 Frascati contribuisce per un
terzo degli altri siti, avendo
dimensioni anche minori
LNF - 20/06/2011
Il Tier2 di Frascati:
uso delle risorse
5
INFN-FRASCATI
25
 Wall clock time
(perido aprile-giugno)
per tutti I job
LNF - 20/06/2011
Il Tier2 di Frascati:
uso delle risorse
26
47,430
INFN-FRASCATI
65,489
 Job eseguiti nel
periodo aprile-giugno
INFN-MILANO-ATLASC
LNF - 20/06/2011
Il Tier2 di Frascati:
uso delle risorse
27
 Processing share
 Oltre alla buona
percentuale di share,
notare anche la
continuità di attività
del sito
LNF - 20/06/2011
Il Tier2 di Frascati:
la sala calcolo
Altri
experim
Calcolo
Nastri
utenti
Tier 2
28
Kloe
Garr
LNF - 20/06/2011
Il Tier2 di Frascati:
la sala calcolo
Altri
experim
Calcolo
29
Kloe
QE
Nastri
utenti
Garr
Blindosbarre
Tier 2
Fancoils
QE
Quadro Elettrico
LNF - 20/06/2011
Il Tier2 di Frascati:
infrastruttura di rete
30
+5 6#"62&
F>?G&
45 ,06*&70*&&
8) = < &9>??@&
45 ,06*&70*&
! "#$%&' ( &
) *#++,+&- .) "#++&
45 ,06*&70*&&
45 ,06*&70*&&
8) = < &9>??@&
4"/ 0&2A&
4"/ 0&2A&
3) &
3) &
3) &
3) &
3) &
3) &
3) &
3) &
3) &
3) &
70*&
70*&
70*&
70*&
70*&
70*&
70*&
70*&
70*&
70*&
' / +0&2& ' / +0&1
' / +0&8
' / +0&9 ' / +0&:
4"/ 0&2A&
4"/ 0&2A&
B5 ,C&
B5 ,C&
! "#$%&;! < &
' &) *#++,+&
45 ,06*&70*&
45 ,06*&70*&&
H,+E&+%IJ %I&
3) &
3) &
3) &
3) &
3) &
3) &
3) &
3) &
3) &
3) &
70*&
70*&
70*&
70*&
70*&
70*&
70*&
70*&
70*&
70*&
' / +0&2& ' / +0&1
' / +0&8
H,+E&+%IJ %I&
 Rack dei server: switch
3Com 4500G, 48 porte,
Gigabit Ethernet e due
uplink a 10 Gigabit
Ethernet per
interconnessione tra i
rack.
' / +0&9 ' / +0&:
 In uno switch
configurate ulteriori
porte a 10 Gbps per
collegare i server di
2&@K- +&
disco, mentre l’altro è
2?&@K- +&
connesso allo switch
D#6E&2&
D#6E&1&
centrale del servizio di
 Dedicata network IP pubblica di classe C per la
calcolo tramite una
raggiungibilità sulla rete Internet (indirizzo 192.84.128.0/24)
porta Gigabit Ethernet.
e una privata per l’accesso alle console e la gestione
LNF - 20/06/2011
degli apparati (indirizzo 192.168.222.0/24).
4"/ 0&2A&
4"/ 0&2A&
4"/ 0&2A&
4"/ 0&2A&
4"/ 0&2A&
Il Tier2 di Frascati:
connettività verso la rete
geografica dei LNF
31
 Per la connettività verso la rete geografica, i
Laboratori hanno il POP GARR nell’edificio Calcolo.
La connessione fisica è in fibra ottica (1 Gbps,
aumentabile a 2Gbps) e la banda impegnata è
mediamente 500 Mbps (BGA). Il POP GARR a sua
volta è connesso al nodo di Roma con 2 link di
backbone a 2.5 Gb/s.
 È prevista l’upgrade del nodo del GARR a GARR-X,
che prevede un’infrastruttura di backbone a 1040Gbps con capacità di accesso a 10Gbps.
LNF - 20/06/2011
Connettività verso la rete
geografica dei LNF
32
Swkloe1 – Swkloe2
2 x Cisco 6509
HSRP
Garr
VLAN 26
GigabitEthernet 1Gb/s
Verso il GARR
VLAN 2 – Kloe
Altre VLAN
Swlat
Cisco 6006
VLAN 3 (Tier2)
Swcalc1 – Cisco 6509
Swcalc2 – Cisco 6506
HSRP
Lnfgw
Cisco 7606
VLAN 192, 195 e 197
VLAN 130
VLAN 80 – LNF network principale
VLAN 131
Swlabmaster – Cisco 4506
VLAN 228
VLAN 160
VLAN 161
LNF - 20/06/2011
Il Tier2 di Frascati:
la farm
33
 Risorse computazionali:
 26 WNs Blade/Twin, Intel Xeon E5430 2.66 GHz, E5520 2.27 GHz,
E5620 2.4 GHz
 352 job slot, 2321 HepSpec
 Sistema di storage
 Tre sistemi configurati in RAID6 e file system XFS su volumi di ~ 9TB,
per un totale di 192TB raw, ~150TB netti attualmente installati
 260 TB netti con l’ultima gara effettuata
 Middleware: gLite 3.1/3.2 (su SL4/5), release INFN-Grid
 Servizi ospitati







CE: lcg-CE, CREAM CE
SE: DPM con 4 pool node
Batch system: torque
Site-BDII
HLR: accounting (D-GAS)
UI
Ganglia e Nagios (del calcolo e del CNAF) per monitoring e
allarmistica
LNF - 20/06/2011
La farm di Frascati:
calcolo locale
34
 Il gruppo locale ha a disposizione una user interface
collegata a disco non inserito nella Grid
 La UI ha:
 Tool dq2 per il data management: gli utenti possono
gestire dati nella Grid
 Tool per sottomettere job di analisi distribuita tramite il
WMS: Ganga
 Tutti i tool della Grid per sottomettere job, recuperare
dati, consultare l’IS, ecc…
 Gli utenti possono
 Sottomettere job in interattivo
 Sottomettere job alla Grid
 Movimentare dati della Grid e salvare gli output dei job
sulla Grid o sul disco locale
 A breve: sottomettere job ad un sistema di code locali
LNF - 20/06/2011
Il Tier2 di Frascati:
ipotesi di sviluppo
35
 Share della cloud italiana: ~10%
 In base alle previsioni di calcolo dei prossimi anni
possiamo ipotizzare, per il Tier2 di Frascati, la
seguente crescita fino al 2013
 I numeri per il 2012/13 sono i valori medi di un
Tier2 italiano e sono stati usati per dimensionare
la sala
2011
2012
2013
CPU (Hep Spec 06)
2321
7000
8000
Disco (TB)
260
1000
1300
LNF - 20/06/2011
Il Tier2 di Frascati:
ipotesi di sviluppo
36
 Ipotizziamo per gli apparati di calcolo e di
storage i consumi sotto riportati:
 Server dual quad-core: circa 300W;
 Server di calcolo twin pari a due macchine dual
quad-core con 200 HS di capacità di calcolo,
oppure pari a due macchine dual esa-core con 300
HS di capacità di calcolo: circa 500W;
 Sistema raid da 108 dischi da 2TB completo di
quattro server (cioè circa 170TB netti): circa 3kW.
2011
2012
2013
CPU(kW)
5.8
13.6
15.3
Disco (kW)
4.6
17.6
23
TOTALE kW
10.4
31.2
38.3
Contingenza del
20% per switch,
vecchi apparati,
ecc…
13
38
46
LNF - 20/06/2011
Il Tier2 di Frascati:
Conclusioni
37
 Il sito di Frascati ha dimostrato di essere
performante e a livello dei migliori siti di ATLAS per
numerosi anni (2005)…
 L’esperimento è soddisfatto del suo
funzionamento…
 Abbiamo un’infrastruttura che potrà ospitare un
Tier2…
 …qundi siamo pronti per essere un Tier2
ufficilale!!!
LNF - 20/06/2011
Backup
38
LNF - 20/06/2011
Computing Model:
limitazioni
39
 Eccessiva richiesta di spazio disco
 Eccessiva proliferazione di formati di dati,
 Repliche di dati mai utilizzati che vengono solo
copiati e cancellati,
 Impossibilità a fornire tutti I dati ad ogni cloud
(sopratutto le più piccole),
 Trasferimenti tra le cloud attraverso salti multipli
tra i Tier
 Non viene ottimizzato l’uso delle CPU
LNF - 20/06/2011
Distributed Data
Management: DDM/DQ2
40
 L’architettura del DDM è implementata negli attuali tool del
DQ2
 L’unità di storage che viene trasferita è il dataset
 Un dataset contiene tutti i file con eventi statisticamente equivalenti
 DDM si fa carico di:









Distribuire i dati prodotti nel Tier0 ai Tier1 e Tier2
Distribuire i dati simulati e riprocessati prodotti nei Tier1 e Tier2
Distribuire i dataset richiesti dagli utenti e dai gruppi
Gestire la movimentazione dei dati generata dall’attività di
produzione
Catalogare i dataset (file, dimensione, sito, ecc…)
Verificare la consistenza tra i cataloghi di ATLAS LFC, I database
degli SRM locali e I file realmente residenti su dischi e nastri
Fornire informazioni sull’uso di ciscuna replica di dataset: popolarità
Cancellare repliche di dataset obsolete o non necessarie dai dischi
se non usate
Fornire agli utilizzatori finali tool per lavorare con I dataset
(import/export, move, ecc…)
LNF - 20/06/2011
Come sono organizzati I dati
nei siti
41
 I dati sono aggregati in dataset e container di dataset e
possono essere trasferiti solo come parte di un dataset
attraverso un servizio di sottoscrizioni per copiare una replica
in un determinato sito
 I file memorizzati nei siti sono organizzati in aeree chiamate
space token:
 DATADISK/DATATAPE
 GROUPDISK
gruppi di fisica)
 HOTDISK
 LOCALGROUPDISK
 MCDISK/MCTAPE
 PRODDISK
 SCRATCHDISK
 real data
 group analysis data (dati di analisi dei
 dati a cui si accede spesso
 dati del gruppo di analisi locale
 dati Monte Carlo (risultati delle
simulazioni)
 buffer per i dati di produzione (input)
 dati temporanei per l’analisi
 Gli utenti possono chiedere la replicazione dei dataset nello
space token LOCALGROUPDISK
 I risultati dei job di analisi devono essere memorizzati nello
space token SCRATCHDISK, gli utenti poi sono responsabili
della replicazione dei dataset nei siti
LNF - 20/06/2011
Test dei siti
42
 I siti sono continuamente testati sia come siti in Grid
che come siti ATLAS
 In quanto siti in Grid, un server Nagios controlla lo
stato dei servizi pubblicati
 Come sito ATLAS viene validato per l’analisi
distribuita con functional test e stress test:
 I functional test vengono eseguiti attraverso la
machinery GangaRobot, che esegue continuamente
dei brevi job di analisi in tutti i siti. I risultati finiscono nella
pagina SAM dei test ed il sito va in una black list se
fallisce
 I test delle HammerCloud sono usati per fare stress test
on-demand su più siti; quindi vengono usati per il
commissioning di nuovi siti, per ottimizzare le
performance dei siti esistenti e fare confronti con i siti di
riferimento
LNF - 20/06/2011