Espressione e comunicazione delle emozioni

Espressione e comunicazione delle
emozioni
Corso di Modelli di Computazione Affettiva
Prof. Giuseppe Boccignone
Dipartimento di Informatica
Università di Milano
[email protected]
[email protected]
http://boccignone.di.unimi.it/CompAff2016.html
Comunicazione non verbale
//Darwin: l’ipotesi evolutiva
• Le espressioni facciali sono elementi di
una risposta coordinata ad un evento
emotigeno che coinvolge più sistemi di
risposta (Emotion Package):
• vocalizzazioni
• posture
• gesti
• risposte autonomiche
Comunicazione non verbale
//forme
• Visiva
• Cinesica:
• gesti, movimenti del corpo, mimica, sguardo, espressione facciale
• Prossemica
• Spazio, distanza, territorio
• Apparenza fisica:
• Altezza, attrattività, età, accessori
• Uditiva
• vocalizzazioni, espressioni paraverbali
• Invisibile:
• olfattiva, tattile
Comunicazione non verbale
//esempio: flirting (Givens, 1983 & Perper, 1985)
• Attention getting phase
• Recognition phase
• Keeping time phase (mirroring)
Comunicazione non verbale
//tassonomie
Emblemi
Illustratori
Regolatori
Manipolatori
Affettivi
DeMeuse (1987)
P. Ekman and W.V. Friesen (1969)
Esprimere emozioni:
//Teoria Neuro-culturale di Ekman (e Izard)
Esprimere emozioni:
//Teoria Neuro-culturale di Ekman (e Izard)
Esprimere emozioni:
//Teoria Neuro-culturale di Ekman (e Izard)
Esprimere emozioni:
//Teoria Neuro-culturale di Ekman (e Izard)
• Cinque assunzioni:
• Alcune espressioni facciali sono dei markers universali e affidabili di stati emotivi
attivati
• Espressioni facciali discrete corrispondono a esperienze soggettive (discrete)
• Le espressioni facciali discrete sono parte di un package emotivo di risposta
• Le espressioni facciali discrete sono giudicate affidabili in culture diverse
• Le espressioni facciali discrete svolgono una funzione di comunicazione
interpersonale e di regolazione sociale.
Esprimere emozioni:
//universalità della muscolatura di controllo
Più di 40 muscoli
indipendenti
Parte superiore
controllata
anche da regioni
sub-corticali
Maggior parte delle
innervazioni
dal VII nervo craniale
Parte inferiore
controllata
soprattutto dalla
corteccia motoria
Esprimere emozioni:
//Teoria Neuro-culturale di Ekman (e Izard)
Esprimere emozioni:
//Teoria Neuro-culturale di Ekman (e Izard)
Esprimere emozioni:
//Teoria Neuro-culturale di Ekman (e Izard)
Ipotesi di
Darwin
Moduli
cablati
Esprimere emozioni:
//espressioni facciali primarie: Paul Ekman
• Universalita` delle espressioni facciali
(Eckman, 1971;1992; 1993)
• Ci sono prove di alcuni segnali
distintivi universali almeno per le
emozioni di paura, sorpresa,
disgusto, gioia, rabbia, tristezza,
disprezzo
• Distinzione fra espressioni autentiche
e fasulle (Eckman, 1985)
• Microespressioni (0,05 s), FACS
• Coinvolgimento di muscoli diversi • Il feedback facciale
Esprimere emozioni:
//espressioni facciali primarie: Paul Ekman
• Universalita` delle espressioni facciali • Tratti simili sugli scimpanzè
• E’ stato messo a punto un sistema di
ChimpFACS che codificano le AU
degli scimpanzè (Vick eyt al. 2007)
Esprimere emozioni:
//espressioni facciali primarie: Paul Ekman
• Stato soggettivo e espressione
• Distinzione di Duchenne sul sorriso
Esprimere emozioni:
//espressioni facciali primarie: Paul Ekman
• Stato soggettivo e espressione
• Distinzione di Duchenne sul sorriso
• Distinzione fra espressioni autentiche
e fasulle (Eckman, 1985)
• Microespressioni (0,05 s)
• Coinvolgimento di muscoli diversi
Esprimere emozioni:
//espressioni facciali primarie: Paul Ekman
• Stato soggettivo e espressione
• Distinzione di Duchenne sul sorriso
• Distinzione fra espressioni autentiche e
fasulle (Eckman, 1985)
• Microespressioni (0,05 s)
• Coinvolgimento di muscoli diversi
Esprimere emozioni:
//espressioni facciali primarie: Paul Ekman
• Ekman ha studiato l’espressione delle emozioni in diverse culture, e ha messo
a punto un sistema per la codifica delle espressioni facciali.
• 1. Ekman, Sorenson, & Friesen, (1969) Studio del riconoscimento di espressioni
facciali in diversi popoli
• 2. Ekman & Friesen, (1971) Studio in Nuova Guinea con tribù non esposte ai
media e volti occidentali. • 3. Richiesta di simulazioni poi mostrate a Nord-occidentali
• 4. Filmati di Americani e Giapponesi mentre guardano da soli film fortemente
emotigeni: analisi dei movimenti facciali
Esprimere emozioni:
//espressioni facciali primarie: Paul Ekman
• Misurazione delle espressioni facciali
• Il FACS (Facial Action Coding System) è un sistema a base anatomica, che
divide il viso in unità muscolari dette AU (action units). L’ EMFACS è un sistema
derivato, che utilizza le AU distintive per ricostruire il significato emotivo di
un’espressione.
• Attualmente il FACS è il sistema di codifica di riferimento, per la sua capacità di
codificare praticamente tutti i possibili movimenti del viso
Esprimere emozioni:
//espressioni facciali primarie: Paul Ekman
• Misurazione delle espressioni facciali
Esempio:
espressione di paura
Esprimere emozioni:
//espressioni facciali primarie: Paul Ekman
Esprimere emozioni:
//espressioni facciali primarie: Paul Ekman
Esprimere emozioni:
//espressioni facciali primarie: Paul Ekman
Esprimere emozioni:
//espressioni facciali primarie: Paul Ekman
Esprimere emozioni:
//espressioni facciali e segnali fisiologici
Esprimere emozioni:
//espressioni facciali e segnali fisiologici
Tesi dell’universalità: sintesi
Regolare le espressioni:
//espressioni facciali primarie: Paul Ekman
Evento
Stato
emotivo
interno
Priming
reaction
Espressione
visibile
Regolare le espressioni:
//espressioni facciali primarie: Paul Ekman
• Le espressioni facciali possono essere modulate in funzione delle regole
sociali e culturali di appartenenza: display rules
• Deamplificate
• Neutralizzate
• Mascherate (mostrandole con altre emozioni)
• Amplificate
• Simulate
• Esperimento di Ekman con Giapponesi e Americani al cinema in presenza di
un “controllore”
Regolare le espressioni:
//espressioni facciali primarie: David Matsumoto
Regolare le espressioni:
//espressioni facciali primarie: David Matsumoto
Regolare le espressioni:
//espressioni facciali primarie: David Matsumoto
felicità
Regolare le espressioni:
//espressioni facciali primarie: David Matsumoto
orgoglio
imbarazzo
Regolare le espressioni:
//espressioni facciali primarie: David Matsumoto
Stato esterno
sociale /
contestuale
(osservabile)
Display
rule
Cultura
Evento
Stato
emotivo
interno
Priming
reaction
Stato interno
individuo
(nascosto)
Espressione
visibile
Stato esterno
individuo
(osservabile)
Cultura & Contesto
Stato esterno
sociale /contestuale
(osservabile)
Cultura & contesto
Display
rule
Stato
emotivo
interno
Stato interno
individuo
(nascosto)
Priming
reaction
Stato esterno
individuo
(osservabile)
Test
Face
detection
tracking
Head/
body
detection/
tracking
Estrazione
features
Riconoscimento
espressione facciale
Estrazione
features
Riconoscimento
espressione posturale
Riconoscimento
emozione
Training
Test
Face
detection
tracking
Head/
body
detection/
tracking
Estrazione
features
Riconoscimento
espressione facciale
Estrazione
features
Riconoscimento
espressione posturale
Training
Riconoscimento
emozione
Cultura & Contesto
Test
Face
detection
tracking
Head/
body
detection/
tracking
Estrazione
features
Estrazione
features
Riconoscimento
display facciale
Riconoscimento
emozione
Riconoscimento
display posturale
Training
Cultura & Contesto
Esprimere emozioni:
//la critica di Russell a Ekman
• Attacco alla Teoria Neuro-culturale dell’Universalità di Ekman (e Izard)
• The universality thesis is ambiguous in yet another way. Four related propositions
can be distinguished:
• (a) universality of facial movements: specific patterns of facial muscle movement
occur in all human beings
• (b) expressiveness of facial movements: certain facial patterns are manifestations
of the same emotions in all human beings
• (c) universality of attribution: observers everywhere attribute the same emotional
meaning to those facial patterns (in a commonly seen phrase, those facial patterns
have universal signal value),
• (d) correctness of attributions: observers are correct in the emotions they
(consensually) attribute to those facial patterns
Esprimere emozioni:
//la critica di Russell a Ekman
• Emozione, espressione e labelling dell’emozione non vanno confusi
• When we say that someone is afraid, we combine in one word a series of
consecutive events dependent on one another. To know the meaning of the word
fear is to know that sequence. It is to know a script (Abelson, 1981) in which
events unfold in a certain order. The concept—the script—specifies the
prototypical elements, their order, and their causal connections: context,
appraisal of the context, physiological reactions, feelings, vocal expressions,
facial expressions, actions, and consequences. (Russell & Bullock, 1986,p. 336)
• The presence or absence of anger, as commonly understood, cannot be indexed
by the presence or absence of any single feature, such as a particular facial
expression. There is no one-to-one correspondence between an emotion word
and a facial expression
Esprimere emozioni:
//la critica di Russell a Ekman
• I dati aggregati nè
smentiscono nè
convalidano l’ipotesi di
Ekman e Izard
• Escludono solo che
l’assegnazione sia
random, oppure
• Che ci sia un
accoppiamento
arbitrario
Esprimere emozioni:
//la critica di Russell a Ekman
• Ipotesi alternativa compatibile con i dati:
• Universalità minimale
Esprimere emozioni:
//la critica di Russell a Ekman
• Rilevanza ecologica:
• data una certa cultura, qual è il grado di correlazione tra uno stato emotivo e
l’espressione facciale mostrata?
• quante volte una persona felice sorride?
• Che cosa determina il link fra emozione e espressione facciale
• studi di Fridlund: un fattore chiave è la motivazione sociale
• studio di Fernandez-Dols & Ruiz-Belda sui vincitori di medaglia d’oro alle Olimpiadi
Critiche alla teoria di Ekman
//Il problema del contesto
Critiche alla teoria di Ekman
//Il problema del contesto
Esprimere emozioni:
//la critica di Russell a Ekman
• Altre questioni prettamente tecniche:
• questionari forced-choice
• test statistici di rilevanza dei dati
• progetto dell’esperimento in modalità “within-subject”
Oltre il volto: espressione dell’emozione mediante il
corpo
body expression of fear
Activation
shown is in
response to the
fearful bodies
(yellow) in the
fusiform face
area (FFA). No
activation is
seen for the
neutral bodies
(blue).
neutral body posture
Oltre il volto: espressione dell’emozione mediante il
corpo
• Emotional Body Language: • Elaboriamo l’espressione dei corpi altrattanto velocemente di come elaboriamo
le espressioni facciali • Conseguenze: • EBL influenza l’analisi dell’espressione del volto,...
• anche quando l’attenzione è concentrata sul volto
Oltre il volto: espressione dell’emozione mediante il
corpo
• EBL influenza la percezione dell’espressione: Participants had to judge the expression of faces that were accompanied by either a congruent or incongruent
bodily expression. Categorization of facial expressions in the presence of an incongruent body emotion
significantly reduces accuracy and increases observers’ reaction times
Espressione dell’emozione con il corpo
//Coulson: How Well Do Bodies Communicate
Emotion?
Espressione dell’emozione con il corpo
//Coulson: How Well Do Bodies Communicate
Emotion?
Espressione dell’emozione con il corpo
//Coulson: How Well Do Bodies Communicate
Emotion?
Espressione dell’emozione con il corpo
//Coulson: How Well Do Bodies Communicate
Emotion?
Espressione dell’emozione con il corpo
//Coulson: How Well Do Bodies Communicate
Emotion?
Espressione dell’emozione con il corpo
//Coulson: How Well Do Bodies Communicate
Emotion?
Espressione dell’emozione con il corpo
//Coulson: How Well Do Bodies Communicate
Emotion?
Espressione dell’emozione con il corpo
//Coulson: How Well Do Bodies Communicate
Emotion?
• Risultati complessi. • Disgusto difficilmente attribuito a una postura. • Rabbia, tristezza, felicità, attribuiti a molte posture.
• Tasso di concordanza confrontabile con quello ottanuto su espressioni facciali
statiche
• Sorpresa e felicità confuse