pptx

Antonella Bodini
Istituto di Matematica Applicata e Tecnologie Informatiche
“E. Magenes” del CNR
Materiale ad uso dei ricercatori che hanno seguito il corso di
formazione interna in Statistica, edizione 2016.
STATISTICA
Inferenza
Stima puntuale
e se il parametro di interesse
non è nè la media nè la varianza?
Stima puntuale
Abbiamo stimato i momenti teorici con i momenti campionari.
Metodo dei momenti: riconduciamo i parametri incogniti ai
momenti, e stimiamo coi momenti campionari
Esempio
𝐸 𝑋
𝑉𝑎𝑟 𝑋
𝑉𝑎𝑟 𝑋 = 𝛼𝛽 2 = 𝐸(𝑋) 𝛽
𝑋 = 𝛼𝛽
e
𝑆 2 = 𝛼𝛽 2
𝑥 = 166.3 𝑐𝑚 e 𝑠 2 = 225.87 𝑐𝑚2
𝛼𝛽 = 166.3
(𝛼𝛽)𝛽 = 225.87
166.3
= 122.46
1.358
225.87
𝛽=
= 1.358
166.3
𝛼=
Questi stimatori si comportano bene ?
Stima puntuale: MM
𝑓𝜃 (𝑥)
𝑋~𝑈𝑛𝑖𝑓 0, 𝜃 ⇒ 𝐸 𝑋 = 𝜃2 ⇒ 𝜃 = 2𝑋𝑛
1/𝜃
> 2*mean(x)
[1] 1.812466
> max(x)
[1] 1.990049
𝜃
𝑥
= 1.812466
>x
[1] 0.04588809 1.84642833 1.04290239 0.48192084 0.68065773 0.85211674
[7] 0.19199022 0.32921000 0.59413324 0.03819111 0.31429584 1.54480627
[13] 0.81648323 0.28769664 1.04676548 1.65876192 0.46033458 1.74407519
[19] 1.22742032 1.10831683 0.60514033 0.46439537 1.35755028 1.45826717
[25] 0.62528918 0.31187911 0.31748200 1.10792811 1.05928701 1.51511994
[31] 0.65703749 1.09660804 0.31160304 1.65906356 0.03914091 1.44712477
[37] 1.36627015 1.94410176 0.58453516 1.16628969 0.11202316 1.04723572
[43] 0.27090882 1.99004919 0.14975644 0.99492563 1.42170399 0.53840454
[49] 1.86698647 1.51315170
> sort(x)
[1] 0.03819111 0.03914091 0.04588809 0.11202316 0.14975644 0.19199022
[7] 0.27090882 0.28769664 0.31160304 0.31187911 0.31429584 0.31748200
[13] 0.32921000 0.46033458 0.46439537 0.48192084 0.53840454 0.58453516
[19] 0.59413324 0.60514033 0.62528918 0.65703749 0.68065773 0.81648323
[25] 0.85211674 0.99492563 1.04290239 1.04676548 1.04723572 1.05928701
[31] 1.09660804 1.10792811 1.10831683 1.16628969 1.22742032 1.35755028
[37] 1.36627015 1.42170399 1.44712477 1.45826717 1.51315170 1.51511994
[43] 1.54480627 1.65876192 1.65906356 1.74407519 1.84642833 1.86698647
[49] 1.94410176 1.99004919
Stima puntuale
Finora abbiamo ragionato considerando il modello che rende più plausibili i
dati che abbiamo.
> sort(x)
[1] 0.03819111 0.03914091 0.04588809 0.11202316 0.14975644 0.19199022
[7] 0.27090882 0.28769664 0.31160304 0.31187911 0.31429584 0.31748200
[13] 0.32921000 0.46033458 0.46439537 0.48192084 0.53840454 0.58453516
[19] 0.59413324 0.60514033 0.62528918 0.65703749 0.68065773 0.81648323
[25] 0.85211674 0.99492563 1.04290239 1.04676548 1.04723572 1.05928701
[31] 1.09660804 1.10792811 1.10831683 1.16628969 1.22742032 1.35755028
[37] 1.36627015 1.42170399 1.44712477 1.45826717 1.51315170 1.51511994
[43] 1.54480627 1.65876192 1.65906356 1.74407519 1.84642833 1.86698647
[49] 1.94410176 1.99004919
1.99…
2!
2.5!
𝑋~𝑈𝑛𝑖𝑓 0, 𝜃
Che stima dareste,
che renda plausibili
tutti i dati?
2.3527!
3!
𝑓𝜃 (𝑥)
1/𝜃
2.1!
2.71!
𝜃
𝑥
Stima puntuale
"𝑃𝜃=1.99004919 𝑡𝑢𝑡𝑡𝑖 𝑖 𝑑𝑎𝑡𝑖 𝑠𝑡𝑖𝑎𝑛𝑜 𝑡𝑟𝑎 0 𝑒 1.99004919 = 1"
"𝑃𝜃=2.3527 𝑡𝑢𝑡𝑡𝑖 𝑖 𝑑𝑎𝑡𝑖 𝑠𝑡𝑖𝑎𝑛𝑜 𝑡𝑟𝑎 0 𝑒 1.99004919 =
1.99004919
= 0.85"
2.3527
> sort(x)
[1] 0.03819111 0.03914091 0.04588809 0.11202316 0.14975644 0.19199022
[7] 0.27090882 0.28769664 0.31160304 0.31187911 0.31429584 0.31748200
[13] 0.32921000 0.46033458 0.46439537 0.48192084 0.53840454 0.58453516
[19] 0.59413324 0.60514033 0.62528918 0.65703749 0.68065773 0.81648323
[25] 0.85211674 0.99492563 1.04290239 1.04676548 1.04723572 1.05928701
[31] 1.09660804 1.10792811 1.10831683 1.16628969 1.22742032 1.35755028
[37] 1.36627015 1.42170399 1.44712477 1.45826717 1.51315170 1.51511994
[43] 1.54480627 1.65876192 1.65906356 1.74407519 1.84642833 1.86698647
[49] 1.94410176 1.99004919
1.99…
2!
2.5!
𝑋~𝑈𝑛𝑖𝑓 0, 𝜃
Tutti questi valori
vanno bene: quale
scegliere?
2.3527!
3!
𝑓𝜃 (𝑥)
1/𝜃
2.1!
2.71!
𝜃
𝑥
Stima puntuale
Scegliamo come stimatore qualcosa che dia ai dati
osservati la massima probabilità di realizzarsi.
Stima puntuale
Esempio nel discreto. Campione di 100 intervistati di cui il 42%
dichiara di votare per il CD. 𝑥1 , … , 𝑥100 = 1,0,0,1,0,1, … , 1 ove 1=CD,
0 no CD. Ci saranno 42 dati pari a 1 e i rimanenti pari a 0.
Modello bernoulliano: 𝑏𝑒𝑟𝑛(𝜃)
è funzione di 𝜃
𝑃𝜃 𝑋1 , … , 𝑋100 = 1,0,0,1,0,1, … , 1
= 𝑃𝜃 (𝑋1 = 1)𝑃𝜃 (𝑋2 = 0)𝑃𝜃 (𝑋3 = 0) ⋯ 𝑃𝜃 (𝑋100 = 1)
= 𝜃 42 (1 − 𝜃)100−42 = 𝜃 𝑛𝑥 (1 − 𝜃)𝑛−𝑛𝑥
𝜃 = 𝑋𝑛
massimizzare la
probabilità
𝜃
1− 𝜃
𝜃 che massimizza
𝐿 𝜃; 𝑥1 , … , 𝑥𝑛 =
𝑃𝜃 (𝑋 = 𝑥𝑖 )
𝑖=1,…,𝑛
funzione di verosimiglianza
Stima puntuale
Esempio in originale. Campione di 1750 intervistati di cui il 42%
dichiara di votare per il CD. 𝑥1 , … , 𝑥100 = 1,0,0,1,0,1, … , 1 ove 1=CD,
0 no CD. Ci saranno 735 dati pari a 1 e i rimanenti pari a 0.
Modello bernoulliano: 𝑏𝑒𝑟𝑛(𝜃)
𝑃𝜃 𝑋1 , … , 𝑋1750 = 1,0,0,1,0,1, … , 1
𝜃 che massimizza
= 𝜃 735 (1 − 𝜃)1750−735
𝑙𝑜𝑔[𝐿 𝜃; 𝑥1 , … , 𝑥𝑛 ] =
𝑙𝑜𝑔 𝑃𝜃 𝑋 = 𝑥𝑖
funzione di log-verosimiglianza
𝑖=1,…,𝑛
Esempio
𝑋~𝑈𝑛𝑖𝑓 0, 𝜃 :
𝑃𝜃 𝑋1 , … , 𝑋50 = 𝑥1 , … , 𝑥50
𝐿 𝜃; 𝑥1 , … , 𝑥𝑛 =
= 𝑃𝜃 (𝑋1 = 𝑥1 ) ⋯ 𝑃𝜃 (𝑋50 = 𝑥50 ) = 0 !
𝑃𝜃 𝑋 = 𝑥𝑖 = 0 !
𝑓𝜃 (𝑥𝑖 )
𝑖=1,…,𝑛
𝑓𝜃 𝑥 =
1
𝜃
𝐼
0,𝜃
(𝑥), 𝐼
0,𝜃
𝑥 =
1, se 𝑥 < 𝜃
0, se 𝑥 ≥ 𝜃
> sort(x)
[1] 0.03819111 0.03914091 0.04588809 0.11202316 0.14975644 0.19199022
[7] 0.27090882 0.28769664 0.31160304 0.31187911 0.31429584 0.31748200
[13] 0.32921000 0.46033458 0.46439537 0.48192084 0.53840454 0.58453516
[19] 0.59413324 0.60514033 0.62528918 0.65703749 0.68065773 0.81648323
[25] 0.85211674 0.99492563 1.04290239 1.04676548 1.04723572 1.05928701
[31] 1.09660804 1.10792811 1.10831683 1.16628969 1.22742032 1.35755028
[37] 1.36627015 1.42170399 1.44712477 1.45826717 1.51315170 1.51511994
[43] 1.54480627 1.65876192 1.65906356 1.74407519 1.84642833 1.86698647
[49] 1.94410176 1.99004919
> x<-runif(50,0,2)
fate un po’ di prove con 𝑛 = 20
𝐿 𝜃; 𝑥1 , … , 𝑥𝑛 =
1
𝜃𝑛
𝐼(0,𝜃) 𝑥𝑖 =
𝑖=1,…,𝑛
𝐼(0,𝜃) 𝑥𝑖
𝑖=1,…,𝑛
1, se 𝑚𝑎𝑥 𝑥𝑖 < 𝜃
0, se 𝑚𝑎𝑥 𝑥𝑖 ≥ 𝜃
𝜃𝑀𝐿𝐸 = max 𝑋𝑖
Esempio per la gaussiana
𝑋𝑖 ~𝑁(𝜇, 𝜎 2 )
campione casuale gaussiano con entrambi i
parametri incogniti: 𝜃 = (𝜇, 𝜎 2 )
1
𝐿 𝜇, 𝜎 2 ; 𝑥1 , … , 𝑥𝑛 =
𝑖=1,…,𝑛
2𝜋𝜎 2
( 𝑥 −𝜇)2
− 𝑖 2
𝑒 2𝜎
1
−
=
𝑒
(2𝜋𝜎 2 )𝑛/2
𝑖=1,…,𝑛(𝑥𝑖
2𝜎2
−𝜇)2
𝜎2
𝜎2
𝜇
𝜇
Stimatore MV
• Possono esserci diversi massimi locali
• Può essere distorto (biased)
• Può non esistere
• Se esiste ed è unico, è una funzione della statistica sufficiente
densità della famiglia esponenziale a k parametri:
𝑓𝜃 𝑥1 , … , 𝑥𝑛 = exp
𝑄𝑖 𝜃 𝑻𝒊 𝒙 + 𝑆 𝑥 + 𝐷(𝜃)
𝑖=1,…,𝑘
• Sotto opportune condizioni di regolarità per 𝑓𝜃 , ha importanti
proprietà asintotiche, tra cui la normalità:
𝜃𝑛 − 𝜃
𝜎2 𝑛
𝑑
𝑍~𝑁(0,1)
con
𝜎 2 = 𝐸𝜃
𝜕 log𝑓𝜃 (𝑥)
𝜕𝜃
2 −1
informazione
di Fisher