M. Mazzucato - INFN - Istituto Nazionale di Fisica Nucleare

Sviluppi internazionali e nazionali di
GRID
La grid Europea: EGI
La grid nazionale: IGI
Il Middleware Europeo:gLite e EMI
Consiglio di Sezione INFN-PD
Padova
10 Febbraio 2010
Mirco Mazzucato
Coordinatore INFN Grid
Direttore CNAF
Mirco Mazzucato CD INFN
1
EGI e Sostenibilita’
• Le attivita’ dei progetti correnti (EGEE) vengono
progressivamente trasformate in servizi che EGI offre a
pagamento ai propri utenti/Istituzioni
– Utenti di EGI sono le comunita’/Istituzioni scientifiche e chiunque
voglia usare i servizi di EGI (ad. Es Protezione Civile, PA etc…)
• All’interno di EGI vale lo stesso modello:
– EGI.eu si sostiene a regime in buona parte con il pagamento dei
servizi che offre alle NGIs
– Le NGIs’ si sostengono con i servizi che offrono a pagamento alle
proprie comunita’/Istituzioni di utenti (come per la rete)
• Un’eccezione:
– Le attivita’ di coordinamento di EGI.eu sono finanziate inizialmente
con la quota contributiva in modo da garantire il controllo politico di
EGI.eu da parte del Council di EGI
• Il contributo EC: un incentivo necessario
– Per estendere ed incentivare l’innovazione e la condivisione di
risorse a livello pan Europeo .
– La Ricerca deve essere fonte d’innovazione per I paesi
Mirco Mazzucato CD INFN
3
La struttura di EGI
EGI.eu
2. EGI_DS Review
www.eu-egi.eu
4
Mirco Mazzucato CD INFN
4
L‘EGI Council
• 9 July 2009:
1mo EGI Council Meeting, Amsterdam
• Composto di NGIs and EIROs, che hanno firmato l‘ EGI
MoU (Incluso INFN come coordinatore IGI)
– 8 July 2009:
23 NGIs + CERN
– 16 Sept 2009: 28 NGIs + CERN + EMBL
– 24 Ottobre 2009 33 NGIs + CERN + EMBL
http://web.eu-egi.eu/partners/
egi-council-members/
• 2do e 3zo EGI Council Meeting, Barcelona e Bruxelles
• Preparazione progetto Europeo EGI InSPIRE (25 M€)
• Discussione statuti EGI.eu
2. EGI_DS Review
www.eu-egi.eu
5
Mirco Mazzucato CD INFN
5
EGI Council Members
(16-Sett-2009)
2. EGI_DS Review
www.eu-egi.eu
6
Mirco Mazzucato CD INFN
6
Stato di EGI.eu
• Lo statuto di EGI.eu che definisce la nuova
organizzazione europea ha preso forma
– Approvato nell’ultimo EGI Council di Amsterdam il 3-2-2010
– V7 trasmessa agli uffici legali dei paesi membri
– Da firmare per adesione entro il 3 Marzo 2010 per gestire EGI.eu
• Fondazione no profit di diritto Olandese denominata
• “Stichting” European Grid Initiative
• Un Council formato dai rappresentanti dei paesi membri
agisce come un’Autorita’ di supervisione e controllo
• Un Executive Board costituito da membri eletti dal
Council gestisce le attivita’
– Sono I Fondatori della Fondazione per la legge Olandese
Mirco Mazzucato CD INFN
7
Le National Grid Initiatives
• Una NGI:
– Gestisce la grid nazionale ed il suo aggiornamento
– Ha un mandato politico dalla comunita’ grid nazionale di parlare a
nome di questa ied e’ la sola organizzazione che ha questo mandato e
che quindi rappresenta il solo punto di contatto a livello europeo per
un paese
– Ha la capacita’ di firmare gli statuti di EGI e di prendere con questo i
relativi impegni finanziari
 NGI -> a regime nuova Entita’ Legale (Consorzio, Associazione…)
– Ha un budget che consente di pagare la quota associativa e gli
eventuali servizi che richiede a EGI se ne ha bisogno .
– Ha una struttura sostenibile a livello nazionale in modo da prendere
impegni a lungo termine con EGI
– Fornisce direttamente o indirettamente (ad es. attraverso i suoi
membri) le risorse di calcolo e storage assieme ai servizi necessari
per poterle condividere e usare a livello Europeo
– Stabilizza il nucleo di competenze sviluppato con la serie di progetti
Europei
Mirco Mazzucato CD INFN
8
Grid e “Cloud Computing”
• “Cloud Computing” indica un’offerta via un WEB service di risorse di
calcolo e storage con un ambiente virtuale creato secondo le
esigenze degli utenti in un dominio amministrativo unico
• Amazon, Google, IBM…. offrono gia’ in pratica questo servizio con
software proprietario che fidelizza gli utenti
• Cloud: Rende semplice e flessibile l’accesso a hardware, software e
storage grazie a una nuova interfaccia WEB e l’offerta di ambienti virtuali
• Infrastruttura GRID = Servizi per condividire risorse ICT (anche
virtuali) e/o strumenti posti in domini amministrativi diversi (tipici
dell’Europa) . Supporto attivita’ collaborative e-Science (WLCG)
• Servizi basati su Protocolli Generali e Standard e Open Source:
• GRID e Cloud: una sfida ancora formidabile
• La Grid Integrata con Cloud e Virtualizzazione permette
l’allargamento dell’uso dell’infrastruttura dalla Ricerca a
potenzialemente ogni utente (PA e Aziende)
Mirco Mazzucato CD INFN
9
Funzionalita’ del Cloud
• La funzionalita’ nei servizi clouds puo’ essere descritta
in molti modi e dipende dai tipi di astrazione
• Tipicamente queste astrazioni sono:
– Hardware as a Service (HaaS), focusing on making hardware
available to customers.
– Software as a Service (SaaS), focusing on providing ready-touse software services.
– Data as a Service (DaaS), focusing on the provisioning of
access to data, available from various sources
• Queste astrazioni possono essere viste collettivamente
come l’offerta di una Platform as a Service (Paas), o,
piu’ in generale, di una Infrastructure as a Service
(IaaS)
• L’infrastruttura (come IGI) diventa un servizio che si
compra e si vende facilmente via WEB
Mirco Mazzucato CD INFN
10
Uno sviluppo recente:
INFN WNOD
Worker Node on Demand (WNOD)
WNOD: Selezione dinamica di risorse virtuali via grid Jobs
L’utente puo’ scegliere l’ambiente di lavoro
Mirco Mazzucato CD INFN
11
La proposta INFN
Convergenza di Grid and Cloud Services su
Dynamically Provisioned Resources
New USER
PC, PA
IGI diventa un’ IaaS
Mirco Mazzucato CD INFN
12
La NGI Italiana : IGI
• L’Italian Grid Infrastructure (IGI)
– Oggi e’ una EU Joint Research Unit
– Costituita con un MoU firmato da tutti i partner in
dicembre 2007
 Aperto al contributo di nuovi partner
–
–
–
–
Riconosciuta e sostenuta con lettera dal MUR
Riconosciuta dalla Commissione Europea
Interfaccia unica verso l’EU a livello Italiano
Governance comune dell’e-Infrastruttura Italiana
• Deve al piu’ presto diventare un’entita’ legale per
firmare lo statuto di EGI.eu
• Deve stabilizzare le competenze grid disponibili
Mirco Mazzucato CD INFN
13
I partners attuali di IGI
• Istituto Nazionale di Fisica Nucleare (INFN),
• Ente per le Nuove tecnologie, l’Energia e
l’Ambiente (ENEA),
• Consiglio Nazionale delle Ricerche (CNR)
• Istituto Nazionale di Astrofisica (INAF),
• Istituto Nazionale di Geofisica e Vulcanologia
(INGV),
• Università degli Studi di Napoli Federico II,
• Università degli Studi della Calabria,
• Sincrotrone Trieste S.C.p.A. (ELETTRA),
• Consorzi PON COMETA, COSMOLAB, SPACI,
• Consortium GARR
• L’Universita’ di Perugia
• L’Universita’ del Piemonte Orientale
• Caspur, Sissa + Cilea, CERM…
• 51 centri; 15.000 cores; INFN 60-70%
Mirco Mazzucato CD INFN
14
Il Nuovo Consorzio IGI
• OBIETTVO 1:
• Gestione, controllo, e supporto del'infrastuttura Grid
nazionale (risorse e servizi)
• Servizi di supporto agli utenti
• Supporto e sviluppo del middleware e servizi aggiuntivi
• Gestione amministrativa della struttura IGI e disseminaz.
• OBIETTIVO 2
• Avviare la sperimentazione e la realizzazione di un
servizo di “Cloud pubblico Nazionale” IaaS su larga scala
che possa ospitare on demand i servizi necessari per
l’informatizzazione delle Pubblica Amministrazione e di
tutto il settore pubblico,
• Bozza di statuto approvata dai partner della JRU in corso
di finalizzazione con INFN e MIUR
Mirco Mazzucato CD INFN
15
I bisogni
attività
Personale necessario (FTE)
Gestione infrastruttura (gruppo 1)
30
Servizi per gli utenti (gruppo 2)
10
Sviluppo e pianificazione (gruppo 3)
8
Amministrazione e disseminazione (gruppo 4)
3
TOTALE
51
Supporto del MIUR per procedere celermente in modo da
poter firmare lo statuto di EGI entro il 3 marzo
Delega del MIUR all’INFN per costituire di IGI Consorzio
entro 1 anno
Mirco Mazzucato CD INFN
16
Il MWare in EGI: EMI
• Uno dei compiti principali di EGI e’ quello di offrire
come servizio generale alle NGIs la release, il
mantenimento ed il supporto delle componenti
di middelware in una
– Unified Middleware Distribution (UMD)
• UMD conterra’ quanto necessario per abilitare le
NGIs a condividere le proprie risorse a livello
Europeo ed Internazionale
• Lo sviluppo e il mantenimento di UMD e’ fatto
dai 3 Consorzi (EGI, UNICORE e ARC) + teams
di sviluppatori di prodotti addizionali richiesti da
EGI che insieme costituiscono:
• L’European Middleware Inititiave (EMI)
Mirco Mazzucato CD INFN
17
EMI
•
•
•
•
•
EMI mette insieme:
gLite (EGEE:250 centri),
UNICORE( 11 Centri HPC) e
ARC (30 Centri Nord Europa)
Cioe’ i teams appartenenti all’Accademia e alla
Ricerca che hanno sviluppato I prodotti in uso con un
co-finanziamento della Commissione Europea
• Non e’ prevedibile che nessun prodotto commerciale
con le funzionalita’ richieste possa apparire in un
futuro prossimo sul mercato mondiale
• EMI si pone come un’aggregatore dei produttori di
middleware Open Source rilasciato sotto una licenza
molto aperta
• Potrebbe divenire in futuro una fondazione per
l’Open Source in Europa
Mirco Mazzucato CD INFN
18
La nuova Collaborazione
“gLite”
Un’opportunita’ per le
Istituzioni di ricerca e le
imprese Europee
Gli Obiettivi
• Creare un’organizzazione autonoma a sostegno del
software base Open Source gLite e della sua
evoluzione dopo EGEE
• Creare un soggetto a cui aziende e individui
possano contribuire risorse con la certezza che
queste vengano usate per l’interesse comune
• Proteggere il marchio gLite, applicato ai propri
prodotti software, dall’abuso da parte di altre
organizzazioni
• Definire una doppia struttura tipica Open Source:
– gLite Collaborazione no-profit
– gLite Services for profit (srl)
Mirco Mazzucato CD INFN
20
Il modello di riferimento
Institution
Institution
Enti di
ricerca
Consorzio
No-profit
Institution
Institution
Aziende
Nuovi Servizi
Generali
Internet
Licenza
Open Source
Institution
Institution
Comunità
Sviluppatori
Institution
Institution
Servizi per
Imprese
• Un Consorzio no-profit
– Con partner Profit e no-profit
• Alcune attività di sviluppo comuni e-Infrastructures
• Una licenza open source
Mirco Mazzucato CD INFN
21
Stato Collaborazione gLite
• Collaboration Agreement firmato da parte delle attuali
Istituzioni di gLite
• Entita’ che hanno firmato il CA:
• Sviluppatori:
• CERN, INFN/IT , CESNET/CZ , SWITCH/CH ,
NIKHEF/NL, UH-HIP/FI, STFC-RAL/UK
• Certificatori di qualita’ e testers:
• PNPI/RU, CESGA /SP, CSIC/SP , ASGC/TW, TCD/IE,
GRNET/GR, KISTI/KR. UCY/Cyprus, UAB/SP
• Prevede Collaboration Board e Technical Board
• Il CB costituito dalle Istituzioni che hanno firmato il CA
ha eletto il 6 Novembre M.Mazzucato Chair
Mirco Mazzucato CD INFN
22
Conclusioni
• In Europa si sta costruendo un unico eco-sistema che
comprende risorse HTC-EGI e HPC-DEISA/PRACE e
Archivi di dati che fornira’ un’infrastruttura generale per il
mondo della ricerca e oltre con governance sostenibile
• EGI.eu fornisce il framework di coordinamento europeo
per la gestione di questa infrastruttura
– Statuto di EGI eu in fase di discussione e approvazione
• Le NGI come IGI devono trasformarsi in organizzazioni
legali per consolidare le competenze esistenti e diventare
sostenibili allargando l’offerta (PA, PC..)
– Bozza di Statuto IGI concordata tra I partners
– Necessario supporto MIUR al piu’ presto altrimenti dovra’ essere
l’INFN che firma lo statuto di EGI.eu come coordinatore JRU
• Il CA di Glite e’ stato fimato
– Nuovo progetto Europeo EMI con ARC e UNICORE agli hearings
Mirco Mazzucato CD INFN
23