Analisi dei residui Test `Esatto` di Fisher Differenza fra proporzioni

Statistica Economica
Materiale didattico a cura del docente
Analisi dei residui
Test ‘Esatto’ di Fisher
Differenza fra proporzioni
1
Analisi dei residui
• Il test statistico ed il suo p-valore riassumono la
forza delle evidenze statistiche contrarie all’ipotesi nulla. Se il χ2 è grande, allora, in qualche punto
della tabella di contingenza i dati si allontanano
da ciò che l’ipotesi di indipendenza predice
• Il test, però, non ci dice se tutte le celle o solo
una o due di esse deviano dall’indipendenza
• Un confronto cella-per-cella rivela la natura delle
prove statistiche fornite dal test
• La differenza (fo − fe) è chiamato residuo. La
prima cella della solita tabella avrà, quindi, come
residuo 279-261,4=17,6
• Come facciamo a stabilire se un residuo è abbastanza grande da indicare un significativo allontanamento dall’ipotesi di indipendenza?
Per
rispondere impieghiamo una forma aggiustata dei
residui che si comporta come uno z-score
2
Residui Aggiustati:
Il residuo aggiustato per una cella è pari a
•
fo − fe
p
fe (1 − prop. di riga)(1 − prop. di colonna)
• Il denominatore è l’errore standard della differenza (fo − fe ) quando le variabili sono davvero
indipendenti
• Se l’ipotesi H0 di indipendenza è vera, il residuo
aggiustato è riferito al numero di errori standard
che separano la frequenza osservata da quella attesa ed ha distribuzione normale standardizzata
per grandi campioni
• Il residuo aggiustato, quindi, fluttua intorno al
valore medio 0 con una deviazione standard pari a 1: cosı̀, vi è solo il 5% di probabilità che
un particolare residuo sia superiore a 2 in valore
assoluto
• Un grande residuo aggiustato fornisce prove contro l’ipotesi di indipendenza per una particolare
cella: un valore di tale residuo che supera 3 è una
fortissima evidenza contro l’indipendenza
2-a
• Calcoliamo i residui aggiustati per la Tabella dell’esempio di A. Agresti sul gap tra i sessi per ciò
che attiene l’affiliazione partitica
• Per la prima cella, abbiamo fo = 279 e fe =
261, 4. Le proporzioni marginali per la prima riga e per la prima colonna sono pari a 577/980 =
0, 589 e a 444/980 = 0, 453: Il residuo aggiustato
per tale cella è, quindi:
279 − 261, 4
p
[261, 4(1 − 0, 589)(1 − 0, 453)]
Sesso
F
M
= 2, 3
Opinione politica
Demo Indip Repubb
2,3
0,5
-2,6
-2,3
-0,5
2,6
Nel caso della prima cella, poiché il residuo è maggiore di 2, constatiamo una discrepanza fra fo ed
fe più grande di quella che ci saremmo aspettati
se le variabili fossero state davvero indipendenti
2-b
• La Tabella mostra ampi residui positivi per le femmine Democratiche e per i maschi Repubblicani,
le celle, cioè, in cui fo è molto più grande di fe :
ciò vuole dire che esiste un numero significativo
in più rispetto a ciò che prevede l’ipotesi di indipendenza di femmine Democratiche e di maschi
Repubblicani
• La Tabella mostra anche ampi residui negativi
per le femmine Repubblicane e per i maschi Democratici, le due celle, cioè, in cui fo è molto più
piccolo di fe : ciò vuole dire che ci sono molte meno femmine Repubblicane e molti meno maschi
democratici rispetto a quanto si sarebbe dovuto
osservare nel caso di indipendenza fra affiliazione
partitica e sesso
• Si noti che, per ogni partito, la tabella in esame
contiene solo un residuo aggiustato non ridondante: quello per le femmine è l’opposto di quello per
i maschi. Infatti, poiché le frequenze osservate e
le frequenze attese hanno gli stessi totali di riga e colonna e, quindi, se fo > fe in una cella,
l’opposto deve avvenire nell’altra cella
2-c
Il test ‘esatto’ di Fisher
• Iniziamo dal caso delle Tabelle 2 × 2
• si consideri una tabella di contingenza di dimensioni 2 × 2 del tipo
B
A
a1
a2
Totale
b1
n11
n21
n+1
b2
n12
n22
n+2
Totale
n1+
n2+
n++
Una volta che sono fissati i totali di riga e di
colonna, è chiaro che il valore di n11 determina,
univocamente i valori delle altre 3 celle
• Nel 1934, l’autorevole statistico britannico Ronald A. Fisher, ha proposto un test di indipendenza per piccoli campioni che si può utilizzare
per situazioni come quelle descritte dalla tabella
3
• Per illustrarne il funzionamento, nel suo libro The
Design of Experiments del 1935 Fisher descrisse
il seguente esperimento:
• Una collega di Fisher presso la Stazione Sperimentale di Rothamsted vicino a Londra, affermava di essere in grado, bevendo il tè di distinguere
se nella tazza fosse stato versato prima il tè o il
latte. Per verificare l’attendibilità di tale affermazione, Fisher pianificò un esperimento nel quale
la sua collega doveva assaggiare 8 tazze di tè. In
4 tazze mise prima il latte del tè, nelle altre 4
fece l’opposto. Alla collega disse che esistevano
appunto 4 tazze in cui il latte era stato messo prima del tè e 4 tazze in cui era stato messo dopo.
Le tazze vennero presentate alla collega in ordine
casuale
• Applichiamo il test ‘esatto’ di Fisher per saggiare
l’ipotesi H0 : Cio che dice la collega di Fisher è
indipendente dall’ordine con cui latte e tè sono
stati versati
3-a
• La distribuzione dei possibili valori di n11 è la distribuzione ipergeometrica definita per tutte le
possibili tabelle 2 × 2 che hanno dei marginali di
riga e colonna pari a quelli fissati
• I potenziali valori per n11 sono (0,1,2,3,4)
• Uno dei possibili risultati dell’esperimento potrebbe essere, ad esempio,
Versato prima
Latte
Tè
Totale
Valutazione collega
Latte
Tè
3
1
1
3
4
4
Totale
4
4
8
• La probabilità di osservare un risultato come questo, fornita dallo schema di campionamento ipergeometrico è
¡4¢¡4¢
[4!/(3!)(1!)][4!/(1!)(3!)]
P (3) = 3¡8¢1 =
= 0, 229
[8!/(4!)(4!)]
4
• Infatti,
¡n1+¢¡n2+¢
P (x) =
n11
¡n++n¢21
n+1
3-b
• Una sintesi dei possibili esiti è
n11
0
1
2
3
4
Probabilità
0,014
0,229
0,514
0,229
0,014
p−valore
1,000
0,986
0,757
0,243
0,014
I p−valori sono riferiti alla probabilità sottesa la
coda destra per un ipotesi unilaterale
• L’ipotesi alternativa H1 prevede che, al contrario
di quanto espresso nella ipotesi nulla, esista un’associazione fra quanto indovina la collega di Fisher e l’effettivo ordine con cui latte e tè vengono
mischiati fra loro
• Immaginiamo che la collega di Fisher indovini,
correttamente, che il tè è stato messo dopo il
latte per 3 volte; la probabilità che per effetto
del caso si possa osservare un n11 uguale o più
grande di 3 è P = P (3) + P (4) = 0, 243
3-c
• Come è ovvio, un tale valore, non fornisce molte prove contro l’ipotesi nulla di indipendenza,
L’esperimento non ci permette, quindi, di stabilire un’associazione fra l’effettivo ordine di miscelazione e quanto indovinato dalla collega di
Fisher
• Ovviamente è difficile mostrare l’associazione con
cosı̀ poche osservazioni, se l’assaggiatrice avesse
indovinato tutte le 4 tazze con il tè versato dopo il latte (n11 = 4), allora sı̀, vi sarebbero state
forti prove a favore della sua affermazione di essere capace di stabilire l’ordine di miscelazione
delle bevande: si sarebbe, infatti, ottenuto il valore più estremo possibile nella coda destra della
distribuzione ipergeometrica P (4) = 0, 014
3-d
Differenza fra proporzioni
• Quando vengono analizzate delle tabelle di contingenza, vengono, di solito, poste le seguenti tre
domande:
– Quanto è verosimile che il livello di associazione osservato in un campione si sarebbe comunque avuto anche se le variabili fossero state realmente indipendenti nella popolazione?
Il test Chi-quadrato mira a fornire una risposta
a questo quesito.
– Quanto si allontanano dall’indipendenza i dati? Quando due variabili appaiono essere associate, i residui aggiustati evidenziano le celle
in cui i conteggi sono significativamente diversi da ciò che l’ipotesi di indipendenza prevede.
– Quanto è forte l’associazione? Per rispondere usiamo una statistica come la differenza
fra proporzioni, ottenendo cosı̀ un intervallo
di confidenza per stimare quanto forte può
essere l’associazione a livello di popolazione.
• L’analisi della forza dell’associazione ci rivela se
l’associazione riscontrata è meritevole di attenzione o se essa è, sı̀, statisticamente significativa ma debole e non importante in termini pratici. Discutiamo qui di come dare risposte al terzo
quesito
4
• Si osservino le due tabelle sotto riportate che descrivono l’associazione fra l’opinione sulla legalizzazione dell’aborto e razza di un campione di
1000 individui
• Nessuna associazione:
Razza
Bianca
Nera
Totale
Opinione
Favorevole Contraria
360
240
240
160
600
400
Totale
600
400
1000
• Massima associazione:
Razza
Bianca
Nera
Totale
Opinione
Favorevole Contraria
600
0
0
400
600
400
Totale
600
400
1000
4-a
• La prima tabella mostra indipendenza statistica
e rappresenta il livello più basso di associazione
che possa registrarsi per le due variabili. Infatti,
il 60% è a favore ed il 40% contrario all’aborto
sia nel gruppo dei bianchi e sia in quello dei neri
• Di contro, la seconda tabella mostra che tutti i
bianchi sono a favore dell’aborto mentre tutti i
neri sono contrari. In questo caso vediamo come
l’opinione (variabile risposta) sia completamente
dipendente dalla razza del rispondente
• È necessario trovare, allora, una misura della forza dell’associazione che assuma valori nello spettro teorico dei casi che vanno dalla prima alla
seconda tabella
•
Misure di Associazione:
Una misura di associazione è una
statistica che riassume la forza della
dipendenza statistica fra due variabili.
4-b
• In casi come quelli riportati poco sopra una misura
di associazione immediata è la differenza fra le
proporzioni nei due gruppi per una data categoria
della variabile risposta
• Possiamo misurare la differenza fra le proporzioni
di bianchi e neri che sono a favore della aborto
legalizzato. Nel caso della prima tabella abbiamo:
360 240
−
= 0, 6 − 0, 6 = 0
600 400
La differenza fra le proporzioni nella popolazione è 0 qualora le distribuzioni condizionate siano identiche e, cioè, quando le due variabili sono
indipendenti. La differenza è 1 o -1 per le associazioni massime. Ad esempio, per la seconda
tabella è:
0
600
−
= 1, 0
600 400
che è il massimo valore possibile per la differenza
• Per la stima della differenza fra proporzioni:
Intervallo di Confidenza per Grandi Campioni per π2 − π1:
Un intervallo di confidenza per π2 − π1 è (π̂2 −
π̂1 ) ± zσ̂π̂2−π̂1 che è pari a
s
π̂1 (1 − π̂1)
π̂2 (1 − π̂2 )
(π̂2 − π̂1 ) ± z
+
n1
n2
L’intervallo è valido, di solito, quando sia n1 ed
n2 hanno, almeno, 20 osservazioni.
4-c
• La differenza fra proporzioni varia, come detto,
fra -1 e 1: più forte è l’associazione, più grande
è la differenza in valore assoluto
• Vediamo come aumenta la differenza tra proporzioni mano a mano che aumenta il grado di associazione fra variabili:
25
25
30
20
35
15
Cont. di cella:
Diff. fra prop.
25 25
0,0
20 30
0,2
15 35
0,4
40
45
50
10
5
0
Cont. di cella:
Diff. fra prop.
10 40
0,6
5
45
0,8
0
50
1,0
Nella seconda tabella, ad esempio, la proporzione
delle osservazioni che ricadono nella prima colonna è pari a 30/(30 + 20) = 0, 6 nella riga 1 e a
20/(20 + 30) = 0, 4 nella riga 2, la differenza è,
quindi, 0, 6 − 0, 4 = 0, 2
4-d