Slides - Agenda

EGI-InSPIRE
Progetti legati
all'infrastruttura GRID
nazionale ed europea
Luciano Gaido, Paolo Veronesi
agenda
• Il progetto EGI-InSpire
–
–
–
–
–
–
NA - Networking Activities
JRA1 - Joint Research Activities
Provisioning the Software Infrastructure - SA2
Services for the Heavy User Communities - SA3
Servizi EGI/IGI – Operations – SA1
EGI-InSPIRE Project Extension
• L’infrastruttura e le attività di IGI
–
–
–
–
Utilizzo delle risorse – VO catch all gridit
Attività di supporto a nuovi utenti
HPC in IGI
IGI Portal
• Conclusioni
31/05/2013
Workshop CCR 2013
2
Le e-Infrastrutture a livello europeo
Credits: https://agenda.infn.it/materialDisplay.py?contribId=16&materialId=slides&confId=5455
• European Data Grid (EDG)
– Primo sviluppo middleware e realizzazione di testbed
• Enabling Grid for E-sciencE (EGEE) I-II-III
– Dal prototipo all’infrastruttura di produzione
• European Grid Infrastructure (EGI)
– L’infrastruttura Grid verso un modello regionale
ruolo chiave delle National Grid Initiative (NGI)
31/05/2013
Workshop CCR 2013
3
The European Grid Infrastructure
400,000 CPU cores
271,000 from EGI-Inspire partners/Council (+13%)
122 PB disk and 128 PB tape
352 Resource Centres
323 from EGI-Inspire partners/Council
108 supporting MPI (+12.5%)
56 Countries
42 EGI-Inspire partners/Council
MW: ARC, gLite, Globus, UNICORE
•27 National Operations Centres
• 9 Federations
• 1 EIRO (CERN)
Availability/Reliability : 94.8%/95.6%
Canada
EGI_InSPIRE: A 4 year
project with €25M EC
contribution
Workshop CCR 2013
Latin America and
31/05/2013
4
Caribbean
region
4
NA - Networking Activities
Overall Strategy
• The networking activities presented in the following sections are
designed to:
• Ensure the management of the project and the administration of the
consortium.
• Coordinate the development of policies for a sustainable European eInfrastructure both, internally within EGI and externally, with
collaborating projects and initiatives.
• Liaise with EGI‘s user communities, including both, those organized
within VRCs and those without, to collect feedback on the EGI
services and the community‘s future infrastructure requirements.
31/05/2013
Workshop CCR 2013
5
Connessione EGI.eu - NGI
In IGI queste attività sono svolte nell’Unità formazione e Supporto agli Utenti
31/05/2013
Workshop CCR 2013
6
Attività EGI
 NGI International Liasons (NIL) (http://www.egi.eu/about/ngis/NILs.html)
 Creazione di un network umano per lo scambio di informazioni circa le attività
di User Support nell’NGI
 Reportistica e aggiornamento informazioni in appositi tool
Virtual Team (VTs) (https://wiki.egi.eu/wiki/Virtual_Team_Projects)
 Gruppi di lavoro temporanei su temi specifici
• CMMST VRC: Creazione della Virtual Reasearch Community per la Computational
Chemistry and Material Science and Technology (Coord)
• CTA User Requirements: Raccolta requirement e match con servizi EGI per il
Cherenkov Telescope Array ESFRI project (Coord INAF, Claudio)
• Environmental & Biodiversity
• Collaboration between EGI/NGIs and large ESFRI project ELIXIR
• MPI within EGI
• Federated Identity Providers within the EGI
• ESFRI Contact List
• VAPOR miniproject: collaboration between IGI/COMCPHEM and France
Grilles/BIOMED
 Champions (http://www.egi.eu/community/egi_champions/)
Ambasciatori (circa 10) di EGI in comunità di riferimento
• per l’Italia: S. Pardi
31/05/2013
Workshop CCR 2013
7
JRA1 - Joint Research Activities
Objectives
• This activity provides for the continual evolution of the operational tools
used by the production infrastructure, including:
– The ongoing maintenance and further development of the deployed operational
tools
– The development of the operational tools to support a national deployment model
(tool regionalization)
– Accounting for the use of different resources within the production
infrastructure
– Providing an integrated operations portal for the staff running the production
infrastructure
Task:
–
–
–
–
31/05/2013
TJRA1.2 Maintenance and development of the deployed operational tools
TJRA1.3 Supporting National Deployment models
TJRA1.4 Accounting for usage of different resource types
TJRA1.5 Integrated Operations Portal
Workshop CCR 2013
8
Provisioning the Software
Infrastructure - SA2
• Objectives
• This activity will coordinate the external provision of software
required by EGI to form the production infrastructure. It will:
– Establish agreements with key software providers
– Maintain the UMD Roadmap
– Define general and component specific quality criteria to be applied to software
components
– Verify the software components against these criteria
– Provide a repository for the software components within UMD and the related
support tools
– NEW TASK (Y4): EGI-Cloud Federation
• INFN/IGI partecipa con WNoDeS, con l'esperienza acquisita nelle soluzioni
Cloud IaaS aperte (con Cloud Marche e PRISMA) e con il portale
Con la fine del progetto EMI il software dei Product Team sarà rilasciato
nella release UMD.
31/05/2013
Workshop CCR 2013
9
Services for the Heavy User
Communities - SA3
Objectives
• This activity provides continued support for activities currently supported
by EGEE while they transition to a sustainable support model within
their own community or within the production infrastructure by:
– Supporting the tools, services and capabilities required by different heavy user
communities (HUCs)
– Identifying the tools, services and capabilities currently used by the HUCs that can
benefit all user communities and to promote their adoption
– Migrating the tools, services and capabilities that could benefit all user communities
into a sustainable support model as part of the core EGI infrastructure
– Establishing e a sustainable support model for the tools, services and capabilities that
will remain relevant to single HUCs
• The work in SA3 has many benefits to other HUCs (e.g. EIRO and
ESFRI) and more broadly the general DCI community.
Attività conclusa ad Aprile 2013.
31/05/2013
Workshop CCR 2013
10
Servizi EGI/IGI – Operations – SA1
–
–
–
–
TSA1.1 Coordinamento Europeo – Internazionale
TSA1.2 Security
TSA1.3 Staged Rollout, Interoperability
TSA1.4 Operational tools
• GOCDB, Monitoring e Allarmistica
–
–
–
–
TSA1.5 Accounting
TSA1.6 Regional Helpdesk
TSA1.7 Supporto Comunita’ e site manager
TSA1.8 Gestione servizi Grid CORE;
• WMS, VOMS, TOP-BDII, LFC, MyProxy, Portale (IDP, CA
ONLINE), CVMFS
31/05/2013
Workshop CCR 2013
11
EGI-InSPIRE Project Extension
PY4
Workpackage
NA1
Mgmt
Redirected
EGI
NGI
Other
Redirected
PY5
EGI
Mgmt
Redirected
NGI
Redirected
NA2
Redirected
Continues
Redirected
External
SA1
Continues
Continues
Redirected
External
SA2
Continues
Continues
SA1+NA1
Continues
SA4
JRA1
Other
Continues
Continues
SA1
• At the EGI-InSPIRE PMB and CB meetings in Manchester in April 2014 an extension
to EGI-InSPIRE for 6 months was discussed by the consortium.
• Redirected: Effort levels are reduced and work is focused on a revised set of
activities
• External: Activity becomes the responsibility of national funding streams
• Future projects: Continued activity in this area would be dependent on new EC
projects being awarded.
31/05/2013
Workshop CCR 2013
12
PY4 and PY5
• NA1
– Technical Management will be reduced in effort by focusing on the execution of the
project as opposed to its expansion. This activity will be moved to NA2 and be
undertaken through Virtual Team projects as the community as required.
• NA2
– The Community Engagement work package will refocus its efforts around establishing
and supporting EGI’s Human Networks (the NGI International Liaisons, the recently
established EGI Champions, the Geek Squad (technology experts) and the NGI
Operations Managers as bi-directional communication channels alongside other
communication mechanisms as the website, newsletters and exhibition stands.
• SA1
– All NGI based activity (not linked to an EGI Global Task) becomes voluntary
best effort and other EGI Global Tasks may change or stop
– INFN
• TSA1.7 (Support Teams including DMSU) will continue with:
– Ticket triage and assignment (9.0/PM @ INFN)
– 1st Level Support (18.3PM/year @ CESNET, INFN, JUELICH, LIU)
– 2nd Level Support (18.3PM/year @ INFN, JUELICH, LIU, CESNET)
31/05/2013
Workshop CCR 2013
13
IGI – The Italian Grid Infrastructure
Service Grid based on Scientific Linux
Clusters:
55 NUMBERS
Sites
IGI N
32000
30 PB
10 PB
1100
260M
• Resources are accessible to
members of VOs
• The owner of the resources
decides which VOs are
authorized
31/05/2013
Workshop CCR 2013
Cores
Disk Storage
Tape Storage
Users
CPU hrs in 2012
50
VOs
10 Application Domains
2 National VOs for new
users
14
IGI Usage (con WLCG)
WCT hours per VO
31/05/2013
Workshop CCR 2013
15
IGI Usage (No WLCG)
WCT hours per VO
31/05/2013
Workshop CCR 2013
16
HPC support in IGI
 Recently IGI improved the support to medium size HPC
applications through a collaboration between:
- Grid Managers
- Site Managers
- user communities from different scientific domains
 Increased the number of sites in production supporting
MPI/OMP
 Took advantage of:
•New multicore architectures
•New gLite features and attributes
•The effort of EGI in this field
- EGI Virtual Team on MPI (link)
31/05/2013
Workshop CCR 2013
17
Sites supporting MPI jobs in IGI
TEST OK
 NAMD APOA1 Test
 Using the GRIDIT national VO
Workshop CCR 2013
18
TEST FAILED
IB = InfiniBand
31/05/2013
IGI: Formazione e Supporto Utenti
Support to new user communities in Application
Porting
Consultancy in building computing models
Organise the Italian User Forum
 User requirements gathering
 Training organisation
 Reference at European level for these activities
Unità Formazione e
Servizi di Supporto agli
Utenti di IGI
(IGI-FUS)
Coordinated by a rota of a senior chosen
from the User Communities:
05/2010-04/2011 – Claudio Vuerli (INAF)
05/2011-04/2012 - Antonio Laganà (UNIPG)
05/2012-04/2013 – Laura Perini (INFN)
05/2013-04/2014 –
31/05/2013
Workshop CCR 2013
19
FUS: attività (1/3)
 Miglioramento del supporto ai job paralleli da parte dell’infrastruttura usando
le VO general purpose
- ISGC13: http://indico3.twgrid.org/indico/contributionDisplay.py?sessionId=45&contribId=184&confId=370
- PDP13: http://doi.ieeecomputersociety.org/10.1109/PDP.2013.42
Supporto alla comunità della chimica computazionale (Coord UNIPG)
 Creazione della VRC (VT)
 Supporto al porting di varie applicazioni richieste da gruppi di università e
CNR (NAMD, DL_POLY, CRYSTAL, GAUSSIAN)
 Supporto alla gestione di workflow misti HPC/HTC
- Interazione CINECA e XSEDE
(https://indico.egi.eu/indico/contributionDisplay.py?sessionId=10&contribId=189&confId=1222)
0
0
HPC run
Scalar or small
20
parallel
run
31/05/2013
Workshop CCR 2013
FUS: attività (2/3)
 Comunità Earth Science
 Supporto adll’ESFRI EMSO (infrastruttura distribuita di stazioni sperimentali
sottomarine)
- Coord INGV (Paolo Favali), l’INFN partecipa per l’utilizzo della stessa
infrastruttura di NEMO
- Attività pilota per griddificare i dati provenienti dalla stazione Western Ionian
- Attività sospesa in attesa della creazione dell’EMSO ERIC, riprendiamo il 16
con una riunione a Catania
 Collaborazione con CNR-ISAC Bologna per porting del loro modello di
circolazione globale GLOBO
-Produzione da 150k CPU hrs completata
 Collaborazione con INGV (Bologna) per porting modello oceanografico
NEMO
- Attività sospesa
 New: Collaborazione con CNR-IMATI (Genova) per porting di applicazioni di
idrodinamica su macchine virtuali (WNoDES??) e applicazioni parallele per
simulazioni atmosferiche (i.e. WRF)
- Riunione la prossima settimana a Genova
- Progetto DRIHM
31/05/2013
Workshop CCR 2013
21
FUS: attività (3/3)
 Comunità BioComputing
 Biocomputing Group UNIBO (Rita Casadio)
- Porting applicazioni basate su allineamento di sequenze (BLAST)
- Produzione da 750k CPU hrs iniziata (40%)
 Altri contatti a Bari, Milano, Modena, Napoli che non hanno portato ad
attività significative
 INFN
 INFN-LNL (gruppo SPES)
- Porting di ANSYS, gestione licenze e creazione interfaccia portale - in
produzione
-Sottomesso ICCSA 2013 (accettato), varie presentazioni ai forum
di EGI
- Porting di MCNPX – iniziato ora
 GERDA, ICARUS
- Training iniziale
31/05/2013
Workshop CCR 2013
22
Training & Dissemination
 Training
 Training personalizzato a utenti di varie comunità: INGV, INFN,
astrofisici UNIBO, CNR-ISOF(BO)
 In preparazione scuola porting per applicazioni di chimica
computazionale (Settembre 2013)
Dissemination
- 2012:
• seminario INGV
• seminario Mario Negri
• presentazione BITS
• scuola Grid a Sofia per evento COST ACTION CM0901 – Detailed
Chemical Kinetic Models for Cleaner Combustion
31/05/2013
Workshop CCR 2013
23
Portale di accesso
• E’ una delle attività innovative di IGI in EGI-InSPIRE
• Serve a semplificare l’accesso alla grid:
– Identificazione tramite federazione di identità (IDEM e
EDUGAIN)
– CA online
– Varie funzionalità integrate (accesso a cloud e data
movement)
• Demo al Technical Forum di EGI-InSPIRE (Praga 17-21
settembre 2012) e all’EGI Community Forum (Manchester
8-12 Aprile 2012)  entrambe premiate come miglior
demo
31/05/2013
Workshop CCR 2013
24
Solution: the IGI grid access portal
Portal: Grid web access point, based on
federated authentication
CA Bridge: service based on federated
access authentication has 3 main tasks:
CA access point, Proxy creation and VO
registration request
Online CA: Entity that signs certificates,
accessible only through CA bridge
CA Bridge
Portal
MyProxy: server where the long term
proxies are stored
VOMS: service for a VO registration
31/05/2013
Workshop CCR 2013
VOMS
MyProxy
25
Online CA
Il portale di IGI
• la CA online è in fase di accreditamento
• un prototipo è funzionante da parecchi mesi (consente di precaricare il
proprio certificato X509)
• realizzato in primo luogo per i teorici (beneficiando del lavoro di
improvement di MPI realizzato con il contributo di R. Alfieri)
• consente di gestire workflow (WS-Pgrade)
• servizio di data management integrato
• usato da utenti di Duck (progetto in Emilia Romagna), ANSYS, NEMO
(INGV)
• Realizzata interfaccia basata su OCCI per accesso alle risorse cloud
della TF di EGI (demo all’EGI-CF di Manchester)
• Partecipazione “Evaluation of Liferay Social Office and Sync for EGI ”
• comunita’ interessate: chimici, biocomp
31/05/2013
Workshop CCR 2013
26
Conclusioni
• la maggior parte delle attività di Operations non sono state
menzionate in dettaglio  ma sono fondamentali per il
funzionamento dell’infrastruttura Grid
• attività cloud non menzionate esplicitamente (vedi
presentazione sui progetti cloud INFN)
• molte attività importanti per il supporto a nuove comunità di
utenti  benefici da tool come ad es. il portale di IGI
• in definizione una strategia per la prosecuzione delle attività
fondamentali di EGI, oltre la fine di EGI-InSPIRE e nella
prospettiva dei bandi Horizon 2020
• da definire la relazione INFN-GARR per la prosecuzione delle
attività di IGI (anche nel quadro di DHTCS)
31/05/2013
Workshop CCR 2013
27