Diapositiva 1 - Agenda Catania

Trinacria Grid Virtual Laboratory
Paradigma del Grid Computing e progetto
TriGrid Virtual Laboratory
Fabio Scibilia
INFN – Catania
Tutorial ITIS, Acireale
04/05/2007
FESR
www.trigrid.it
La Griglia e Internet
• La Griglia
– E’ il prossimo
passo
nell’evoluzione dei
sistemi di calcolo
distribuiti
– Si basa su
Internet come rete
globale per lo
scambio di
informazioni
– E’ considerata
l’equivalente
computazionale
del World Wide
Web (WWW)
2
La Griglia da una semplice analogia
Centrali elettriche disperse
sul territorio producono
energia elettrica
Un utente ha
bisogno di
energia elettrica
per i propri
consumi
Firma un
contratto con la
società che
gestisce la rete
Adesso
l’utente può
usare l’energia
elettrica per I
propri
consumi
La società
elettrica
fornisce un
punto per
accedere alla
rete elettrica
L’energia elettrica
viene distribuita
tramite opportune
reti elettriche
3
Nel caso di rete elettrica
•
La società elettrica
– Produce energia elettrica in grosse quantità adottando le
tecnologie di produzione che ritiene più opportune
– Distribuisce l’energia tramite una appropriata rete elettrica
di distribuzione
– Definisce i termini e le condizioni di contratto per accedere
alla rete elettrica
– Può modificare le tecnologie di produzione/distribuzione in
qualunque momento secondo necessità
•
Il consumatore
– Può richiedere di allacciarsi alla rete elettrica accettando e
firmando un contratto con la società elettrica
– Accede alla rete elettrica utilizzando semplicemente un
opportuno punto per l’allacciamento fornito dalla società
elettrica
– Non necessita di conoscere tutta la tecnologia che sta
dietro la produzione/distribuzione dell’energia elettrica
4
Analogamente
Alcuni siti forniscono
potenza di calcolo e/o
spazi per i dati
Un utente ha
bisogno di
grosse potenze
di calcolo
Si registra
presso una
organizzazione
virtuale che
fornisce servizi
di griglia
Adesso l’utente
è autorizzato ad
accedere alla
griglia
Internet
La potenza viene
messa a
disposizione sulla
rete Internet
L’organizzazione fornirà una
interfaccia per accedere
all’infrastruttura di griglia
insieme a opportuni strumenti di
sistema
5
La Griglia Computazionale
• Una Virtual Organization (VO)
– Fornisce una determinata potenza di calcolo mettendo a
disposizione cluster di computer
– Fornisce una determinata quantità di spazio per
l’immagazzinamento dei dati
– Mette a disposizione tali risorse accessibili tramite la rete
globale Internet
– Definisce i termini e le condizioni per accedere a tali
risorse
Internet
• Un utente di griglia
– Necessita di grosse potenze computazionale e opportuni
spazi per i dati
– Accede alle risorse indipendentemente da dove si
trovino (ubiquità) utilizzando gli strumenti forniti
dall’organizzazione virtuale (User Interface)
– Non necessita di conoscere l’architettura che sta dietro
la User Interface
6
Perché le Griglie adesso ?
•
Perché la quantità di risorse di
calcole necessarie alle
applicazioni cresce a dismisura
Migliaia di CPU che
lavorano per ottenere un
risultato comune
•
Perché l’ammontare dei dati
richiede sistemi di
immagazzinamento sempre più
complessi
Da centinaia di Gigabytes a
Petabytes (milioni di
gigabytes) di dati da
immagazzinare
•
Per rendere più semplice la
collaborazione tra persone e
risorse appartenenti a diverse
organizzazioni
Persone di organizzazioni
diverse che lavorano per
raggiungere i medesimi scopi
•
Per accedere a strumentazioni che
non che non sono facilmente
accessibili in altro modo
Perchè non possono essere
spostate, replicate o i costi per
far ciò sono troppo alti
•
Perché è la naturale evoluzione
della computazione distribuita
Per creare un nuovo mercato
di servizi di calcolo su Internet
7
Organizzazioni virtuali
• Una Organizzazione Virtuale (VO)
– E’ un insieme di persone e risorse che concorrono a raggiungere il
medesimo obiettivo
– Normalmente abbraccia sottoinsiemi di persone e risorse di domini
amministrativi diversi
• Un utente
– Può appartenere a più VO allo stesso tempo
– Deve registrarsi e ottenere appositi certificati per essere identificato
– Può avere conoscenze informatiche di base
8
Virtual Laboratory
• Un nuovo modo di
concepire gli esperimenti
• Una piattaforma che
consente a persone di
diverse organizzazioni di
lavorare nello stesso
laboratorio “virtuale”
Dispositivi
?
?
Dati
• Fortemente correlato con
il concetto di
Organizzazione Virtuale.
Ad ogni Laboratorio
Virtuale si associa una
Organizzazione Virtuale
Grid Infrastructure
Strumenti
Persone
Calcolo
9
Proprietà delle Griglie
•
Trasparenza
– Gli utenti di griglia non hanno bisogno di conoscere i dettagli architetturali
– Gli utenti devono avere la percezione di aver a disposizione un supercomputer
virtuale
– In termini di geografia delle risorse
– In termini di tolleranza ai guasti
•
Apertura
– Ogni sottosistema è un sistema a sé e può essere acceduto direttamente
•
Scalabilità
– Nuove risorse di griglia possono aggiunte all’infrastruttura in qualunque
momento
•
Tolleranza ai guasti
– La Griglia deve continuare a funzionare anche se uno o più nodi cadono
•
Concorrenza
– Differenti processi devono poter lavorare su differenti nodi nello stesso
momento
•
Ubiquità
– Tutti i servizi devono poter acceduti da un utente indipendentemente da dove
egli si trova
10
Problematiche di Griglia (i)
• Sicurezza
–
–
–
–
Autenticazione di un utente e autorizzazione ad accedere alle risorse
Integrità
Riservatezza e non ripudio
Single Sign On (SSO)
• Sistemi di Informazione e Monitoraggio
– Per localizzare e monitorare le risorse di Griglia
– Per accertarsi dello stato di salute delle risorse
– Per verificare le condizioni di carico attuali delle risorse
• Gestione dei file
– Creazione, modifica e cancellazione dei file
– Replicazione dei file su più sistemi di storage e mantenimento della
consistenza
– Accesso ai file di Griglia in remoto evitando di spostarli dalle postazioni
in cui si trovano
11
Problematiche di Griglia (ii)
• Amministrazione
– Gestione delle risorse di griglia che non interferisca con le politiche
degli amministratori di tali risorse
• Gestione del Carico (Workload Management System)
– Per schedulare i task della griglia sulle varie risorse disponibili
– Per allocare le risorse seguendo criteri di ottimizzazione e rispetto dei
vincoli specificati dagli amministratori
• Servizi di Naming
– Gestione dei nomi delle risorse in modo da garantire la non ambiguità
• Interfacce User Friendly
– Perché la maggior degli utenti di griglia non hanno conoscenze
avanzate di informatica
– Adozione di Graphical User Interfaces (GUIs)
– Adozione di Grid Portals (Web Portals)
– Adozione di Command Line Interfaces (CLIs) per gli utenti esperti
12
La Globus Alliance
• Globus Alliance
– E’ una comunità di persone e organizzazioni coinvolte nella
progettazione e nello sviluppo di tecnologie di griglia
– Università dell’Illinois, Argonne National Laboratory, University of
Edinburgh, EPCC, etc…
• Il Globus Toolkit (GT)
–
–
–
–
E’ uno standard di fatto
E’ un insieme di servizi
E’ stata rilasciata la 4° release
Adesso adotta interfacce Web Services
• Il Global Grid Forum (GGF)
–
–
–
–
E’ un forum per ricercatori in ambito di tecnologie di griglia
Lavora alla definizione di standard e protocolli per tecnologie di griglia
E’ diviso in Work Groups (WGs)
http://www.ggf.org
13
Il Modello a clessidra di Globus
• Il modello a clessidra
– Accettato come modello di riferimento
per la costruzione di infrastrutture di
griglia
– Similare al modello ISO/OSI usato
dagli sviluppatori di reti
• Tre livelli di servizi
– Local Operating Systems: Gestione
di una miriade di tipi di risorse, sistemi
di schedulazione e così via
– Core Globus Services: Pacchetti di
servizi per creare le infrastrutture di
griglia
– Diverse Global Services:Vere e
proprie applicazioni di griglia
14
Più in dettaglio. . .
•
Fabric
– Gestisce le risorse localmente
•
Connectivity
– Comunicazione (IP, DNS, etc. )
– Sicurezza: autenticazione . . .
– Single Sign On
•
Resource
Collective
–
–
–
–
•
Collective
Resource
– Allocazione, prenotazione e monitoraggio di
risorse
– Accesso e trasporto dei dati
– Collezione di informazioni sulle risorse
•
Application
Vista dei servizi come collezioni
Scoperta e allocazione di servizi
Replica e catalogazione dei dati
Gestione del flusso di lavoro
Application
Connectivity
Fabric
– Applicazioni utente
– Tool e interfacce
15
Servizi Globus
Community
Scheduler
Framework
Delegation
Data Replication
Grid Telecontrol
Protocol
WebMDS
Python WS Core
Pre-WS
Authentication
Authorization
OGSA-DAI
Workspace
Management
Index
C WS Core
Authentication
Authorization
Reliable File
Transfer
Grid Resource
Allocation &
Management
Trigger
Java WS Core
Pre-WS
Authentication
Authorization
GridFTP
Pre-WS Grid
Resource Allocation
& Management
Monitoring &
Discovery
(MDS2)
C Common
Libraries
Credential
Management
Replica Location
Security
Data
Management
WS Components
eXtensible IO
(XIO)
Execution
Management
Information
Services
Non-WS
Components
Common
Runtime
Core GT Component: public interfaces frozen between incremental releases; best effort support
Contribution/Tech Preview: public interfaces may change between incremental releases
Deprecated Component: not supported; will be dropped in a future release
16
Un esempio: SETI@Home
• SETI@Home
– Searches for Extra Terrestrial Intelligence
(SETI)
 Campiona le onde elettromagnetiche
provenienti dallo spazio (telescopio)
 Schedula I task sui nodi della griglia
– Usa desktop computers come nodi
– I nodi si aggiungono alla griglia
dinamicamente
– Il proprietario della macchina decide come
contribuire offrendo la sua potenza di
calcolo
• Per contribuire
– http://setiathome.berkeley.edu/
– Scarica e installa il software
– Quando la tua macchina è poco utilizzata
diventa un nodo di griglia (screensaver)
17
TriGrid Virutal Laboratory
18
Struttura
19
Partners
20
Obiettivi
• Creazione della prima infrastruttura di griglia
computazionale regionale siciliana per applicazioni
scientifiche e industriali
• Interfacciamento di applicazioni scientifiche e
industriali con il software e l’hardware della griglia
• Disseminazione della filosofia con organizzazione di
corsi ed eventi di formazione aperti a soggetti sia
pubblici sia privati, eventualmente non partecipanti al
progetto
• Creazione e agevolazione di spin-off nell’imprenditoria
privata con alto valore aggiunto nell’ambito delle
Tecnologie dell’Informazione e della Comunicazione
21
Integrazione con INFN Production Grid
• Progetto iniziato nel
1999
• Basata sulla rete italiana
GARR che mete in
comunicazione I centri di
ricerca e le università
• Gestita dall’INFN
• Al momento più di 20 siti
• http://grid-it.cnaf.infn.it/
22
Integrazione con EGEE
• Finanziata dall’Unione Europea
con 30 milioni di euro
• Basata sulla rete di ricerca
europea GEANT
• 70 partners di 27 diversi paesi
• Nata per applicazioni di fisica
(CERN) e biomediche. Estesa
per ulteriori applicazioni come
l’osservazione della terra e la
EGEE is providing a production quality grid
geofisica
infrastructure spanning more than 30 countries with
• http://www.eu-egee.org/
over 150 sites to a myriad of applications from various
scientific domains, including Earth Sciences, High
Energy Physics, Bioinformatics and Astrophysics."
Bob Jones (Project Director)
23
Infrastruttura di TriGrid
• Polo di Catania:
– INAF, INFN, DMI, DIIT
– Circa 100 macchine dual CPU 32/64 bit. Potenza aggregata di 300
kSpecInt2000.
– 30 TB di storage EIDE-to-SCSI o FC-to-SATA in RAID 0,1,5
– 20 stazioni di lavoro per sviluppo e porting di applicazioni
• Polo di Messina:
– Facoltà di Ingegneria e CECUM
– Circa 80 macchine dual CPU 32/64 bit. Potenza aggregata di di circa
240 kSpecInt2000.
– 20 TB di storage EIDE-to-SCSI o FC-to-SATA in RAID 0,1,5
• Polo di Palermo:
– Dipartimento di Fisica e Tecnologie Relative
– Circa 30 macchine dual CPU 32/64 bit. Potenza aggregata di di circa
100 kSpecInt2000.
– 10 TB di storage EIDE-to-SCSI o FC-to-SATA in RAID 0,1,5
24
Attività di TriGrid
• Work Package 1 – Progettazione e realizzazione
dell’infrastruttura di griglia
– Creazione dell’infrastruttura di calcolo comprendente l’insieme di
risorse computazionali e di storage messe a disposizione dalle
tre università, INAF e INFN siciliane
• Work Package 2 – Collezione dei requirements, test di
compatibilità del middleware ed accesso alle risorse
dell’infrastruttura
– Collezionare i requisiti delle varie applicazioni industriali,
analizzarli in dettaglio e verificare (test-suite) la loro
soddisfazione man mano che le diverse versioni del middleware
verranno installate sull’infrastruttura
– Studio delle problematiche della gestione di licenze software
nell’ambiente di griglia
– Studio delle problematiche relative all’accesso alle risorse e
all’integrità dei dati
25
Attività (ii)
• Work Package 3 – Trasferimento tecnologico e
promozione del servizio
– Diffusione delle informazione relative allo stato del progetto e ai
risultati ottenuti nel mondo accademico, industriale e istituzionale
– Organizzazione di conferenze ed eventi per mettere in
comunicazione i partecipanti al progetto con soggetti sia pubblici
sia privati che hanno interesse verso l’uso delle griglie
– Workshop, tutorial ed esercitazioni pratiche a rotazione nelle 3
sedi universitarie siciliane
• Work Package 4 – Porting di applicazioni sulla griglia
– Sviluppo di interfacce di alto livello (grid/web portals) tra le
applicazioni industriali e i servizi di griglia
– Porting delle applicazioni sulla infrastruttura di griglia
26
Riferimenti
• TriGrid Homepage
– http://www.trigrid.it
• Consorzio COMETA Homepage
– http://www.consorzio-cometa.it
• INFN Production Grid
– http://grid-it.cnaf.infn.it/
• EGEE
– http://www.eu-egee.org/
27