Udito (2): percezione acustica ambientale

Udito (2):
percezione acustica ambientale
Corso di Principi e Modelli della Percezione
Prof. Giuseppe Boccignone
Dipartimento di Scienze dell’Informazione
Università di Milano
[email protected]
http://homes.dsi.unimi.it/~boccignone/GiuseppeBoccignone_webpage/Modelli_Percezione.html
Percezione acustica ambientale
• Localizzazione dei suoni
• Suoni complessi
• Analisi di una scena acustica
• Effetti di continuità e reintegrazione
Il sistema uditivo
//Dal nervo acustico al cervello
Temporal
lobes
Primary auditory cortex (A1): The first area
within the temporal lobes of the brain responsible
for processing acoustic organization
Medial geniculate nucleus: The part of the
thalamus that relays auditory signals to the
temporal cortex and receives input from the
auditory cortex
Inferior colliculus: A midbrain nucleus in the
auditory pathway
Brain stem
nuclei
Superior olive: An early brain stem region in the
auditory pathway where inputs from both ears
converge
Cochlear nucleus: The first brain stem nucleus at
which afferent auditory nerve fibers synapse
Il sistema uditivo
//Dal nervo acustico al cervello
• Organizzazione tonotopica: Un
dispiegamento per cui neuroni che
rispondono a frequenze diverse
sono organizzati anatomicamente
ordinati per frequenza
• Questa organizzazione è
mantenuta nella corteccia
Acustica primaria (A1)
• I neuroni di A1 sono connessi e
passano l’informazione all’aria belt
e questa poi all’area parabelt
Belt area: neuroni rispondono a
caratteristiche complesse del suono
Parabelt area: neuroni rispondono
a caratteristiche complesse del
suono + integrazione
multimodale
Il sistema uditivo
//Dal nervo acustico al cervello
• Un confronto fra il sistema visivo e
quello acustico
• Sistema acustico : gran parte delle
elaborazioni è fatta prima di A1
(tranne linguaggio)
• Sistema visivo: gran parte delle
elaborazioni è fatta dopo V1
• Queste differenze potrebbero essere
dovute a ragioni evoluzionistiche
Percezione acustica ambientale
//Psico-acustica
• Lo studio dei correlati psicologici alla dimensione fisica degli stimoli acustici
• un ramo della psicofisica
Livello
psicologico
Livello fisico
Pitch
Frequenza
Loudness
Ampiezza / Intensità
Percezione acustica ambientale
//Psico-acustica
• Lo studio dei correlati psicologici alla dimensione fisica degli stimoli acustici
• un ramo della psicofisica
• Percezione del pitch: dipende da un insieme di proprietà spettrali (armoniche,
ecc)
• Percezione della loudness: dipende da frequenza, rumore, ambiente acustico
Percezione acustica ambientale
//Psico-acustica
• Percezione della loudness: dipende da frequenza, rumore, ambiente acustico
• Soglie acustiche: Una mappa dei suoni appena percepibili per varie frequenze
• Equal-loudness curve:
sound pressure level (dB SPL)
vs.
frequenza a cui un ascoltatore percepisce uguale
loudness
each line corresponds to tones rated by observers as having the same loudness
Percezione acustica ambientale
//Psico-acustica
• Psicoacustica: studia come le persone percepiscono i suoni
• Ricerche condotte su toni puri suggeriscono come gli umani siano bravi a
discriminare anche piccole differenze di frequenze
• Masking: Usare un secondo suono, un rumore in frequenza, per rendere la
percezione di un suono target più difficile. Questa metodologia è usata per
investigare la selettività sulla banda delle frequenze
• Rumore bianco: Un suono in cui tutte le frequenze sono presenti nella stessa
quantità. Il rumore bianco è molto usato nel masking
Percezione acustica ambientale
//Psico-acustica
Percezione acustica ambientale
//Psico-acustica
• Psicoacustica: studia come le persone percepiscono i suoni
• Ricerche condotte su toni puri suggeriscono come gli umani siano bravi a
discriminare anche piccole differenze di frequenze
• Masking: Usare un secondo suono, un rumore in frequenza, per rendere la
percezione di un suono target più difficile. Questa metodologia è usata per
investigare la selettività sulla banda delle frequenze
• Rumore bianco: un suono in cui tutte le frequenze sono presenti nella stessa
quantità. Il rumore bianco è molto usato nel masking
• Banda critica (Critical bandwidth): Gamma di frequenze che sono convogliate
dentro un canale del sistema acustico
Percezione acustica ambientale
//Psico-acustica
Percezione acustica ambientale
//Localizzazione dei suoni
• Come localizziamo i suoni?
• Un esempio: la localizzazione di un
grillo
• Un dilemma simile si ha anche quando
si deve valutare la distanza di una fonte
sonora
• Due orecchi: Fattore critico per la
localizzazione dei suoni
• Differenze temporali
• Differenze di volume (loudness)
Percezione acustica ambientale
//Localizzazione dei suoni: ITD
• Come localizziamo i suoni?
• Interaural time difference (ITD): La
differenza in ordine di tempo (ritardo/
anticipo) con cui un suono arriva ad un
orecchio rispetto a quando arriva
all’altro orecchio
Percezione acustica ambientale
//Localizzazione dei suoni: ITD
• Come localizziamo i suoni?
• Interaural time difference (ITD):
La differenza in ordine di
tempo (ritardo/anticipo) con cui
un suono arriva ad un orecchio
rispetto a quando arriva
all’altro orecchio
Percezione acustica ambientale
//Localizzazione dei suoni: ITD
• Azimuth: Usato per descrivere
le posizioni dei suoni su un
cerchio immaginario che si
estende intorno a noi sul piano
orizzontale
• L’ analisi dell’ ITD: Dove
dovrebbe essere posizionata
una fonte sonora per produrre
il massimo ITD?
• Quale è invece la dislocazione
che provoca il più piccolo ITD?
• Che cosa accade per
dislocazioni intermedie?
Percezione acustica ambientale
//Localizzazione dei suoni: ITD
azimuth =
angle in the horizontal
plane (relative to head)
Percezione acustica ambientale
//Localizzazione dei suoni: ITD
• Interaural time difference (ITD):
La differenza in ordine di
tempo (ritardo/anticipo) con cui
un suono arriva ad un orecchio
rispetto a quando arriva
all’altro orecchio
• Come rilevare l’ITD ?
• si pensi al detettore di
Reichardt
• linee di ritardo
Percezione acustica ambientale
//Localizzazione dei suoni: ITD
• Come rilevare l’ITD ?
• detettore di Jeffress
• linee di ritardo
neurons
neurons
t=0
Percezione acustica ambientale
//Localizzazione dei suoni: ITD
• Come rilevare l’ITD ?
• detettore di Jeffress
• linee di ritardo
neurons
t =1
neurons
Percezione acustica ambientale
//Localizzazione dei suoni: ITD
• Come rilevare l’ITD ?
• detettore di Jeffress
• linee di ritardo
neurons
t=2
Percezione acustica ambientale
//Localizzazione dei suoni: ITD
neurons
Percezione acustica ambientale
//Localizzazione dei suoni: fisiologia dell’ ITD
• Come rilevare l’ITD ?
• L’oliva mediale superiore
(MSOs): E’ il primo luogo
dove gli inputs dei due
orecchi convergono
• Detettori dell’ITD formano
connessioni con gli inputs
provenienti dai due
orecchi già nei primi mesi
di vita
Oliva superiore: convergenza degli input
dai due orecchi
Percezione acustica ambientale
//Localizzazione dei suoni: fisiologia dell’ ITD
Percezione acustica ambientale
//Localizzazione dei suoni
• Come localizziamo i suoni?
• Un esempio: la localizzazione di un
grillo
• Un dilemma simile si ha anche quando
si deve valutare la distanza di una fonte
sonora
• Due orecchi: Fattore critico per la
localizzazione dei suoni
• Differenze temporali
• Differenze di volume (loudness)
Percezione acustica ambientale
//Localizzazione dei suoni: ILD
• Come localizziamo i suoni?
• Interaural level difference(ILD):
• Differenza in intensità percepita da un
orecchio rispetto a quella percepita
dall’altro orecchio in relazione alla
stessa stimolazione acustica
Percezione acustica ambientale
//Localizzazione dei suoni: ILD
• Interaural level difference(ILD):
• Differenza in intensità percepita da un
orecchio rispetto a quella percepita
dall’altro orecchio in relazione alla
stessa stimolazione acustica
• I suoni sono più intensi per l’orecchio
più vicino alla fonte sonora
• ILD è massimo per 90 gradi, mentre è
nullo per 0 gradi e 180 gradi
• ILD correla generalmente con l’angolo
della fonte sonora, ma la correlazione
non è così robusta come per l’ITDs
• E’ piu’ importante per le frequenze alte.
Percezione acustica ambientale
//Localizzazione dei suoni: ILD
• Interaural level difference(ILD):
Differenza in intensità percepita da un
orecchio rispetto a quella percepita
dall’altro orecchio in relazione alla
stessa stimolazione acustica
• I suoni sono più intensi per l’orecchio
più vicino alla fonte sonora
• ILD è massimo per 90 gradi, mentre è
nullo per 0 gradi e 180 gradi
• ILD correla generalmente con l’angolo
della fonte sonora, ma la correlazione
non è così robusta come per l’ITDs
• E’ piu’ importante per le frequenze alte.
Interaural level differences for tones of different frequencies
presented at different positions
Percezione acustica ambientale
//Localizzazione dei suoni: fisiologia dell’ILD
• Oliva superiore laterale
(LSOs): Qui ci sono
neuroni che sono
sensibili alla differenza di
intensità fra i due orecchi
• Connessioni eccitatorie
con LSO provengono
dall’orecchio ipsilaterale
• Connessioni inibitorie
con LSO provengono
dall’orecchio
contralaterale
Percezione acustica ambientale
//Localizzazione dei suoni: ITD vs. ILD
ILD piu’ importante
per le frequenze
alte
ITD piu’ importante
per le frequenze
basse
Percezione acustica ambientale
//Localizzazione dei suoni: cono di confusione
• Potenziali problemi legati
all’utilizzo degli indizi di ITDs e
ILDs per la localizzazione dei
suoni
• Cono di confusione: insieme
di posizioni spaziali in cui tutti
i suoni producono gli stessi
esatti valori di ITDs e ILDs
• Sono stati gli esperimenti di
Wallach (1940) ha dimostrare
per primi questi problemi
subjects feel themselves to be moving
• incorrectly attribute sound source to
above or below them,
(due to cone of confusion)
Percezione acustica ambientale
//Localizzazione dei suoni: Percezione attiva
• Potenziali problemi legati all’utilizzo degli indizi di ITDs e ILDs per la
localizzazione dei suoni
• Si possono superare utilizzando la percezione attiva:
• girare il capo
Percezione acustica ambientale
//Localizzazione dei suoni: il ruolo del padiglione
• La sagoma e la forma del padiglione danno un contributo per la
localizzazione spaziale dei suoni
Percezione acustica ambientale
//Localizzazione dei suoni: HRTF
• Head-related transfer function: Descrive come il padiglione e il canale uditivo
modificano l’intensità dei suoni di diversa frequenza che arrivano ad ogni
orecchio da posizioni spaziali diverse (azimuth e elevazione)
Percezione acustica ambientale
//Localizzazione dei suoni: HRTF
• Head-related transfer function: Descrive come il padiglione e il canale uditivo
modificano l’intensità dei suoni di diversa frequenza che arrivano ad ogni
orecchio da posizioni spaziali diverse (azimuth e elevazione)
Percezione acustica ambientale
//Localizzazione dei suoni: HRTF
• Head-related transfer function:
Descrive come il padiglione e il canale
uditivo modificano l’intensità dei suoni
di diversa frequenza che arrivano ad
ogni orecchio da posizioni spaziali
diverse (azimuth e elevazione)
• Ogni persona sviluppa la propria HRTF
• Se ne può imparare una nuova in 6
settimane (dopo un impianto artificiale,
Hofman et al 1998)
• La vecchia HRTF viene memorizzata
• riutilizzabile istantaneamente
Percezione acustica ambientale
//Percezione della distanza del suono
• Come si stima la distanza di una fonte sonora?
• L’intensità relativa del suono (volume, loudness)
• Legge dell’inverso del quadrato: al crescere della distanza della sorgente sonora
l’intensità sonora descresce con il quadrato della distanza
• Componenti spettrali dei suoni:
• Le frequenze più alte dei suoni perdono energia più rapidamente rispetto alle
basse frequenze via via che i suoni si propagano nello spazio (d > 1000m)
• Esempio il tuono
• Energia riverberante
• Quantità relativa di energia diretta (fonti vicine) vs quella di ritorno (fonti lontane)
Percezione acustica ambientale
//Percezione della distanza del suono
Percezione acustica ambientale
//Suoni complessi e armoniche
• La più bassa frequenza nello spettro delle armoniche = Frequenza
fondamentale
• Esempio: 220 (F1), 440 (F2), 660 (F3), 880 (F4), 1100 (F5)...
• Il sistema acustico è molto sensibile alle rapporti naturali fra le armoniche
• Oggetti naturali tendono a vibrare a frequenze di risonanza
• molte vibrazioni si attenuano altre persistono perchè la loro lunghezza d’onda è
rinforzata dalle proprietà fisiche dell’oggetto
Percezione acustica ambientale
//Suoni complessi e armoniche
Percezione acustica ambientale
//Suoni complessi e armoniche
• Anche la voce ha una decomposizione armonica
Percezione acustica ambientale
//Suoni complessi e armoniche
• Armoniche
• La più bassa frequenza nello spettro delle armoniche = Frequenza
fondamentale
• Esempio: 220 (F1), 440 (F2), 660 (F3), 880 (F4), 1100 (F5)...
• Il sistema acustico è molto sensibile ai rapporti naturali fra le armoniche
• Cosa accade quando la prima armonica viene a mancare?
• Effetto dell’ assenza della fondamentale
Percezione acustica ambientale
//Suoni complessi e armoniche
• Cosa accade quando la prima armonica viene a mancare?
• Effetto della assenza della fondamentale
• L’altezza del suono (pitch) è percepito identico
Percezione acustica ambientale
//Suoni complessi e armoniche
• Cosa accade quando la prima armonica viene a mancare?
• Effetto della assenza della fondamentale
• L’altezza del suono (pitch) è percepito identico: sufficienti 3 armoniche
Percezione acustica ambientale
//Suoni complessi e armoniche
• Cosa accade quando la
prima armonica viene a
mancare?
2
• Effetto della assenza della
fondamentale
• L’altezza del suono (pitch)
è percepito identico:
sufficienti 3 armoniche
• Poichè sono allineate sulla
fondamentale, il phase
locking potrebbe
mantenere la percezione
della fondamentale
3
4
2+3+4
Percezione acustica ambientale
//Suoni complessi e armoniche
• Cosa accade quando la
prima armonica viene a
mancare?
2
• Effetto della assenza della
fondamentale
• L’altezza del suono (pitch)
è percepito identico:
sufficienti 3 armoniche
• ma potrebbe anche essere
un meccanismo di pattern
matching sul place code
della coclea
3
4
2+3+4
Percezione acustica ambientale
//Suoni complessi e timbro
• Timbro: Sensazione psicologica
tramite la quale un osservatore riesce
a distinguere come diversi due suoni
che hanno la stessa altezza e lo
stesso volume. Il timbro è estrapolato
dalle armoniche e da altre alte
frequenze
• La percezione del timbro dipende dal
contesto in cui il suono viene udito
• Esperimenti di Summerfield et al.
(1984)
• “Il contrasto del timbro” o “Post
illusione del timbro”
Tre strumenti diversi suonano “mi”
Percezione acustica ambientale
//Attacco e caduta di un suono
• Attacco: La parte di un suono
durante la quale l’ampiezza
cresce (onset)
• Caduta: Parte di un suono
durante il quale l’ampiezza
descresce (offset)
• Importanti per distinguere suoni
e fonemi
Percezione acustica ambientale
//Analisi della scena acustica
• Che cosa accade in situazioni ecologiche (naturali)?
Percezione acustica ambientale
//Analisi della scena acustica
• Che cosa accade in situazioni ecologiche (naturali)?
• Un ambiente acustico può essere un luogo molto complesso
• Fonti acustiche multiple
• Come fa il sistema acustico a distinguere fra queste diverse fonti?
• Segregazione della fonte o analisi della scena acustica
Percezione acustica ambientale
//Analisi della scena acustica
• L’effetto “cocktail party”:
• riusciamo a prestare attenzione a una conversazione fra tante (Colin Cherry,
1953)
Percezione acustica ambientale
//Analisi della scena acustica
• L’effetto “cocktail party”:
• riusciamo a prestare attenzione a una conversazione fra tante (Colin Cherry,
1953)
• possiamo utilizzare indizi spaziali, temporali, e spettrali per separare gli stream,
ma non possiamo prestare attenzione a più stream contemporaneamente
Percezione acustica ambientale
//Analisi della scena acustica
• Segregazione della fonte o analisi della scena acustica
• Strategie possibili:
• Separazione spaziale fra i suoni
• Separazione sulla base dello spettro dei suoni o sulle qualità temporali (temporal
qualities)
• Segregazione del flusso audio: Organizzazione percettiva di un segnale
acustico complesso in diversi eventi acustici che vengono percepiti come
flussi acustici distinti
Frequency (Hz)
Percezione acustica ambientale
//Analisi della scena acustica
Percezione acustica ambientale
//Analisi della scena acustica
• Segregazione del flusso audio: Organizzazione percettiva di un segnale
acustico complesso in diversi eventi acustici che vengono percepiti come
flussi acustici distinti
“Toccata e Fuga” di Bach
Percezione acustica ambientale
//Analisi della scena acustica
• Raggruppamento per timbro
• Toni che hanno frequenze che salgono e decrescono o toni che si differenziano
da questo andamento di salita/discesa risaltano immediatamente (pop out) nella
scena acustica
Percezione acustica ambientale
//Analisi della scena acustica
• Raggruppamento per timbro
• Toni che hanno frequenze che salgono e decrescono o toni che si differenziano
da questo andamento di salita/discesa risaltano immediatamente (pop out) nella
scena acustica
Percezione acustica ambientale
//Analisi della scena acustica
• Raggruppamento per inizio (on
set)
• Armoniche dei suoni del
linguaggio o della musica
• Raggruppare armoniche diverse
in un singolo tono complesso
• Rasch (1987) mostrò che è
molto più semplice distinguere
fra due toni quando l’inizio di
uno precede quello dell’altro di
un tempo molto piccolo
• Legge della Gestalt del destino
comune
Percezione acustica ambientale
//Continuità e ripristino
• Come facciamo a sapere che
chi ascolta i suoni li sente come
patterns continui?
• Principio della buona continuità:
In particolari condizioni,
nonostante la presenza di
interruzioni, si è sempre in grado
di sentire i suoni
• Esperimenti che usano un
compito di detezione del
segnale (e.g., Kluender and
Jenison) suggeriscono che in un
qualche momento i suoni
fisicamente mancanti nella
sequenze vengono reintegrati
da sistema percettivo ed
analizzati come se fossero stati
presentati davvero
Percezione acustica ambientale
//Continuità e ripristino
• Reintegrazione di suoni
complessi (e.g., musica, parlato)
• Fonti di informazione di alto
livello “Higher-order” non solo
informazioni acustiche
• Il rumore al posto di un “buco”
può aiutare a migliorare la
percezione di continuità
Percezione acustica ambientale
//Continuità e ripristino
• Reintegrazione di suoni
complessi (e.g., music,
speech)
• Fonti di informazione di
alto livello “Higherorder” non solo
informazioni acustiche
• Il rumore al posto di un
“buco” può aiutare a
migliorare la percezione
di continuità
• vale anche per il
parlato