Restauro digitale del colore nelle pellicole cinematografiche: il caso

Restauro digitale del colore nelle pellicole cinematografiche:
il caso de “La ciudad en la playa”
CHRISTIAN SLANZI, ALESSANDRO RIZZI
DIPARTIMENTO DI TECNOLOGIE DELL'INFORMAZIONE- UNIVERSITÀ DI MILANO
Via Bramante, 65 – 26013 Crema, Tel. 0373 898059, Fax: 0373 898.010
[email protected], [email protected]
1. Introduzione
Il materiale cinematografico è il risultato di un processo chimico instabile,
soggetto a degrado col passare del tempo. Questo degrado è irreversibile e in molti
casi il restauro fotochimico di pellicole cromaticamente degradate è rischioso e
non sempre possibile. In questi casi, il restauro digitale del colore può rivelarsi un
metodo prezioso.
In questa pubblicazione, presentiamo il resoconto di un’esperienzauna di restauro
digitale del colore in un filmato cromaticamente degradato, mediante una tecnica
basata su un approccio percettivo, ispirata da alcuni meccanismi di adattamento del
sistema visivo umano (SVU), in particolare i meccanismi di costanza di luminosità
(lightness constancy) e di costanza cromatica (color constancy). Il meccanismo di
adattamento lightness constancy ci permette di percepire stabilmente la scena
anche quando si è sottoposti a cambiamenti dell’intensità della luminosità media,
mentre il meccanismo di color constancy ci permette di percepire stabilmente la
scena anche quando soggetti a variazioni del colore dell’illuminante.
L’idea di base dell’approccio proposto è che il restauro della decolorazione della
pellicola e/o della comparsa di eventuali dominanti cromatiche può essere visto
come un problema di massimizzazione della dinamica e di rimozione del disturbo
cromatico nell’immagine, ne segue l’idea di applicare come correzione meccanismi
di color constancy [1][2][3]. E’ stato dunque scelto di utilizzare un algoritmo per
l’equalizzazione cromatica non supervisionata, ACE, il cui acronimo sta per
Automatic Color Equalization [4][5].
La principale caratteristica di ACE è la correzione locale del colore; ACE è in
grado di adattarsi a dominanti cromatiche non conosciute a priori, per risolvere il
problema della costanza cromatica e di eseguire una estensione del range dinamico
dell’immagine, anche nel caso di filmati in bianco e nero.
Inoltre, l’algoritmo ACE è non supervisionato e richiede un minimo
coinvolgimento da parte dell’utente. Queste proprietà lo rendono adatto per il
restauro cinematografico, un problema nel quale abitualmente non c’è una versione
di riferimento per comparare i risultati del filtraggio e criteri sostitutivi possono
essere la piacevolezza e la naturalezza dell’immagine finale.
1
In questo articolo si presenta l’esperienza dell’utilizzo dell’algoritmo ACE per il
restauro del cortometraggio “La ciudad en la playa” [6] e delle modifiche
necessarie per portare a termine il restauro completo della pellicola.
2. Implementazione di ACE per il restauro automatico di una pellicola
Una descrizione dettagliata dell’algoritmo ACE può essere trovata in [4][5].
L’applicazione di ACE per il processo di restauro cinematografico non è diretta;
diversi aspetti devono essere modificati o introdotti allo scopo di soddisfare i
requisiti tecnici del campo del restauro cinematografico. Innanzitutto, abbiamo
bisogno di tarare i pochi parametri del modello: la pendenza (slope) della funzione
r(·) e la distanza da utilizzare. Ulteriori parametri e funzioni di pre e post
processing sono poi state aggiunti.
Per la taratura dell’intero set di parametri, l’idea proposta è quella di utilizzare un
set di parametri scelto su misura per ogni shot. Per fare questo è necessario
suddivedere l’intera pellicola in shots ed estrarre un insieme limitato di
fotogrammi, detti fotogrammi di riferimento (reference frames) o fotogrammi
chiave (key frames), che rappresentano il contenuto dell’intero shot. L’algoritmo
scelto per selezionare i fotogrammi chiave è [9].
In seguito all’estrazione dei fotogrammi chiave, queste immagini sono usate come
set per il tuning dei parametri di ACE, valutati visivamente da un esperto di
restauro.
3. Restauro del colore
Le immagini del filmato sono sbiadite, hanno una saturazione bassa e una
dominante cromatica sparsa ovunque nell’immagine.
Per recuperare parte del colore originale, non è bastata una semplice applicazione
dell’algoritmo ACE, ma sono state necessarie una serie di tecniche aggiuntive.
Queste nuove funzionalità permettono di ottenere risultati soddisfacenti anche
quando il fotogramma d’ingresso è notevolmente corrotto.
L’algoritmo, allo stato attuale, non usa nessun tipo di correlazione interfotogramma per migliorare il suo risultato. Questo aspetto sarà soggetto di futuri
sviluppi. Esempi di restauro sono visibili nelle Fig. 1 e 2. Nella Fig. 2 è visibile
l’effetto della regolazione del parametro del contrasto.
2
Fig. 1 Rimozione della dominante cromatica.
Fig. 2 Regolazione del parametro del contrasto.
3
Le nuove funzionalità introdotte, per il restauro della pellicola, sono:
Keep Original Gray (KOG): Questa funzionalità è stata sviluppata per rilassare il
meccanismo che regola la luminosità media del risultato. Al posto di centrare i
canali cromatici attorno al grigio medio, la funzionalità KOG preserva i valori
medi originali (indipendentemente nei canali R, G, B). Questo porta a istogrammi
più simili nella forma a quelli della immagine originale, influendo marginalmente
sulla proprietà di color constancy di ACE, prevenendo (Fig. 3) dal modificare
troppo un’immagine complessivamente scura (low key image) o complessivamente
chiara (high key image). Questa funzionalità risulta molto utile per le sequenze di
dissolvenza in apertura (fade-in) e di dissolvenza in chiusura (fade-out).
Keep Original Dynamic Range (KODR): Alle volte i registi cinematografici o i
direttori della fotografia usano soltanto una piccola parte del range dinamico
disponibile dalla pellicola per ottenere specifici effetti visivi; in altri casi sono le
particolari condizioni di illuminazione della scena o del particolare contenuto
informativo colore nella scena (per es. un’alba o un tramonto) a produrre immagini
con un istogramma limitato (Fig. 3). In questi casi, l’uso della funzionalità KODR
rispetta l’intenzione originale del regista. Questa funzionalità può essere usata
anche per gestire la poca informazione sul colore in fotogrammi eccessivamente
degradati.
Oltre a queste, sono state aggiunte delle altre funzionalità di correzione colore e di
elaborazione dell’immagine di tipo classico, per intervenire laddove ACE fallisce o
per funzionare da supporto aggiuntivo all’algoritmo ACE allo scopo di ottenere
risultati migliori nel caso di situazioni particolari. Queste funzionalità sono:
Gamma Modification: La modifica della gamma può essere usata per ottenere un
effetto di compressione e dilatazione globale delle zone tonali dell’immagine, e
quindi può risultare utile per far emergere alcuni toni persi nei fotogrammi da
restaurare (Fig. 4).
S Shape Correction: La funzionalità S shape correction permette all’utente di
determinare la forma della curva di correzione tonale da applicare, attraverso la
regolazione di alcuni punti di controllo lungo la curva. Con un numero limitato di
punti è possibile determinare a piacere il profilo della curva di correzione andando
ad intervenire in modo personalizzato nei diversi toni del colore, scegliendo ad
esempio di valorizzare i toni medio-bassi ed affievolire quelli alti. E’ inoltre
possibile applicare una forma diversa della curva in ciascun canale cromatico (Fig.
5).
4
Fig. 3 Regolazione dei parametri delle funzionalità KOG e KODR.
Fig. 4 Correzione gamma globale dell’immagine.
5
Fig. 5 Correzione S shape del canale cromatico blu.
Saturation Enhancement: Il degrado degli strati cromatici genera un’immagine
con dominante, ma anche con debole saturazione. Il restauro deve non soltanto
sopprimere la dominante ed equilibrare i colori, ma anche aumentare la saturazione
per ottenere dei colori più brillanti.
La conversione dell’immagine nello spazio HSV permette di separare i canali
dell’immagine in tinta (H), saturazione (S) e intensità (o valore) (V). Poiché la
saturazione è rappresentata da un canale a parte, risulta facile aumentarne il valore
utilizzando un coefficiente moltiplicativo. Questo metodo, seppur semplice, pone
qualche problema quando è applicato alle immagini con dominante. Infatti, in
un’immagine con dominante la tinta prevalente è proprio quella della dominante,
aumentare la saturazione in questi casi significa accentuare la dominante generale,
complicando di molto l’operazione di restauro.
Nel corso del restauro de “La ciudad en la playa” è stato inizialmente adottato un
metodo che aumenta la saturazione in modo non uniforme sull’immaginee [8].
Dai risultati preliminari ottenuti si è evidenziato però che tale metodo, non
garantisce che la tinta originale del pixel sia preservata.
E’ stato quindi sviluppato un’algoritmo che, basandosi su un principio più
semplice, utilizza lo spazio HSV per effettuare una valorizzazione della saturazione
in modo non uniforme preservando la tinta originale (Fig. 7).
Per ogni pixel dell'immagine, la tripletta di valori RGB viene convertita in valori
nello spazio HSV. Al valore di saturazione S viene applicata la funzione di
Saturation Enhancement, il cui grafico è mostrato in Fig. 6 e la cui formula è data
da:
s ' = kx * s + ks * e
−
( s − mean ) 2
sQ
− ks * e
−
mQ
sQ
dove
kx = 1 − ks * e
6
−
(1− mean ) 2
SigmaS 2
+ ks * e
−
mean 2
SigmaS 2
e
mQ = mean 2 sQ = SigmaS 2
Fig. 6 Grafico della curva di Saturation Enhancement
Fig. 7 Aumento della saturazione.
3. Conclusioni
In questa pubblicazione, abbiamo presentato un esempio di applicazione di una
tecnica per il restauro digitale del colore e del range dinamico in pellicole
cromaticamente degradate. Il restauro del colore e del range dinamico è stato
realizzato mediante un algoritmo di equalizzazione del colore non supervisionata,
basato su un approccio percettivo. Per soddisfare i requisiti del settore del restauro
7
cinematografico digitale sono state aggiunte nuove funzionalità ad hoc. Di queste e
delle funzionalità base è discussa la taratura dei parametri.
Il risultato finale, verrà presentato al Museo Nazionale di Arte Moderna di
Montevideo.
Ringraziamenti
Gli autori desiderano ringraziare il regista Ferrucio Musitelli e suo figlio Rodolfo
per il permesso di usare il loro film, per il supporto e per l’amiciza.
Bibliografia
1. A. Rizzi, C. Gatta, C. Slanzi, D. Marini, “Digital techniques for unsupervised
color film restoration”, MIDECH05, Multimedia.Information@Design for
Cultural Heritage, Milano, 8 Marzo 2005.
2. A. Rizzi, M. Chambah , D. Lenza, B. Besserer, D. Marini, “Tuning of
perceptual technique for digital movie color restoration”, Electronic Imaging
2004, S.Josè (California – USA), January 2004.
3. M. Chambah, A. Rizzi, C. Gatta, B. Besserer, D. Marini, “Perceptual approach
for unsupervised digital color restoration of cinematographic archives”,
Electronic Imaging 2003, 21-24/01/03, S. Clara, California (USA).
4. A. Rizzi, C. Gatta, D. Marini, “A New Algorithm for Unsupervised Global and
Local Color Correction”, Pattern Recognition Letters, Vol 24 (11), pp. 16631677, July 2003.
5. A. Rizzi, C. Gatta, D. Marini, “From Retinex to Automatic Color Equalization:
issues in developing a new algorithm for unsupervised color equalization”,
Journal of Electronic Imaging, Vol 13 (1), pp. 75-84, January 2004.
6. “La ciudad en la Playa”, 1960, regia di Feruccio Musitelli. Cortometraggio per
la promozione turistica della città di Montevideo, 12’.
7. G. Ciocca, R. Schettini, Dynamic key-frame extraction for video
summarization, Proc. Internet imaging VI, Vol. SPIE 5670 (S. Santini, R.
Schettini, T. Gevers eds.), pp. 137-142, 2005.
8. M. Chambah. “Analyse et traitement de données chromatiques d'images
numérisées à haute résolution.” Tesi di dottorato, Université de La Rochelle,
2001.
8