Slides - Agenda Catania

Consorzio COMETA - Progetto PI2S2
FESR
Workload Management
System (WMS)
Elisa Ingrà INFN – Catania, Italy
Grid Tutorial per i Laboratori Nazionali
del Sud, Catania, 25-26 Febbraio 2008
www.consorzio-cometa.it
Contenuti
Panoramica dell’architettura
 Componenti e servizi
 Ciclo di vita del job
Catania, Grid Turorial per i Laboratori Nazionali del Sud, 25-27/02/2008
2/11
Panoramida dell’Architettura
Output Sandbox
Replicas info
Input Sandbox
Network Server
(Resource Broker)
tus
SE
&C
Ei
LHC File
Catalogue
nfo
Output
Sandbox
Jo
ta
bs
Input
Sandbox
Job submit event
Authentication &
authirization
User
Interface
Publish
Logging &
Bookkeeping
Information
Index
Computing
Element
Storage
Element
Workload Management System
components
Catania, Grid Turorial per i Laboratori Nazionali del Sud, 25-27/02/2008
3/11
Componenti e Servizi
• User Interface (UI)
– E’ il terminale per accedere ai servizi della griglia
– Command Line Interface (CLI)
– Portali grid (come GENIUS), applicazioni grafiche
• WMProxy/WMS
– Punto di accesso al Workload Management System
– Smista i job sulle varie risorse
– Implementa algoritmi di schedulazione
• Logging and Bookkeeping (LB)
– Tiene traccia delle azioni dell’utente
– Tiene traccia delle variazioni di stato dei job
• Computing Element (CE)
– E’ la risorsa computazionale che esegue il job
– Presenta un’interfaccia indipendente dal sistema sottostante
Catania, Grid Turorial per i Laboratori Nazionali del Sud, 25-27/02/2008
4/11
Ciclo di vita di un Job (1/4)
Input Sandbox
JobId
Network Server
(Resource Broker)
User
Interface
Logging &
Bookkeeping
• L’utente scrive un documento
• Il Resource Broker riceve e
(il job) in Job Description
memorizza il documento JDL
Language (JDL).
e i file di input allegati.
• Alcuni input file (Input
• Genera un codice univoco
Sandbox) possono essere
rappresentante il job appena
allegati al file JDL.
sottomesso e lo restituisce
all’utente.
• L’utente sottomette il file JDL
utilizzando istruzioni da riga di
comando e attende per qualche
risposta.
Catania, Grid Turorial per i Laboratori Nazionali del Sud, 25-27/02/2008
5/11
Ciclo di vita di un Job (2/4)
• Il Resource Broker esegue un algoritmo
(matchmaking) per decidere su quale CE fare
“atterrare” il job.
•
Il job verrà trasferito (con tutta la Input
Sandbox) al CE per l’esecuzione.
Input
Sandbox
• Il Computing Element accetta il job e lo mette
in coda.
Network Server
(Resource Broker)
Logging &
Bookkeeping
• Il job è eseguito sul Local Resources
Management System (LRMS)
Computing
Element
Catania, Grid Turorial per i Laboratori Nazionali del Sud, 25-27/02/2008
6/11
Ciclo di vita di un Job (3/4)
•
•
Quando il job termina la sua esecuzione, l’output è
inviato al Resource Broker.
Network Server
(Resource Broker)
Logging &
Bookkeeping
•
Allo stesso tempo il Computing Element manda un
messaggio di notifica al Logging & Bookkeeping
•
Così facendo l’output del job risulta essere disponibile
per essere scaricato dal Resource Broker
Output
Sandbox
Il Resource Broker riceve I risultati e I file contenuti
nella directory Output Sandbox e li memorizza nella
directory locale.
Computing
Element
Catania, Grid Turorial per i Laboratori Nazionali del Sud, 25-27/02/2008
7/11
Ciclo di vita di un Job (4/4)
Job-output
Output SandBox
User
Interface
Network Server
(Resource Broker)
Terminated
Job-status ?
• L’utente interroga il L&B per verificare lo stato dei
suoi job e realizza che il job ha terminato la sua
esecuzione.
• L’utente scarica l’Ouput Sandbox direttamente dal
WMProxy
• Il WMProxy ripulisce il repository locale (purging)
Logging &
Bookkeeping
• Il job ha terminato la sua esecuzione (cleared)
Catania, Grid Turorial per i Laboratori Nazionali del Sud, 25-27/02/2008
8/11
Macchina a stati del Job
Submitted: Il job è stato creato sulla UI ma
non ancora sottomesso
Waiting: Il job è in fase di
processamento da parte del WMProxy
Ready: Il job è stato
processato ma non inviato al
CE destinazione
Scheduled: Il job è nel CE in
coda in attesa di essere
eseguito
Running: Il job sta girando
sul Computing Element
Done: Il job ha
terminato la sua
esecuzione
Aborted: Il job è
stato abortito dal
WMS
Cancelled: Il job è
stato annullato
dall’utente
Cleared: Il job ha
terminato e l’output è
stato scaricato
Catania, Grid Turorial per i Laboratori Nazionali del Sud, 25-27/02/2008
9/11
Domande
Catania, Grid Turorial per i Laboratori Nazionali del Sud, 25-27/02/2008
10/11