PROB_MIS_005 - Universita` di Udine

Un esempio di maximum
likelihood
Retta e Poisson


Ricordiamo la statistica di Poisson
1 k 
Pk     e
k!
Useremo dati abbastanza consistenti da
poter usare Stirling
k!
2 k k k e k
Flavio Waldner - Dipt.di Fisica - UDINE - Italy
70
Retta e Poisson

Altrimenti conviene eliminare il fattoriale,
passando al continuo
k !    k  1

Prima o poi dovremo fare delle derivate...
Flavio Waldner - Dipt.di Fisica - UDINE - Italy
71
Retta e Poisson

Con questo...
1
1 1 k  k
k 
Pk   

e

e

k
k k
2 k k e
2 k k



Adesso supponiamo di avere dei dati x j , y j
...e di far l’ipotesi che derivino da una retta

y  mxq
Flavio Waldner - Dipt.di Fisica - UDINE - Italy
72
Retta e Poisson

Quindi

la variata k diviene yk
Il valore atteso diviene

La distribuzione diviene

  m xk  q
Flavio Waldner - Dipt.di Fisica - UDINE - Italy
73
Retta e Poisson
1
k  k 1
Pk   
e  k
k
2 k
P  y j m, q  
1
2 y j
e

y j  m x j q

m x
j
 q
yj
1
yj
yj
y j  m x j  q 
1

m xj  q e

  y j  1
Flavio Waldner - Dipt.di Fisica - UDINE - Italy
74
Retta e Poisson

Questa ci dà la probabilità ...
 ... di osservare y j

... supponendo che il valore medio sia
m x

j
 q
... e che la statistica sia poissoniana
Flavio Waldner - Dipt.di Fisica - UDINE - Italy
75
Retta e Poisson

Costruiamo ora il prodotto di tutte le
probabilità

j 1, N

1
2 y j
e

y j  m x j q

m x
j
 q
1
yj
yj
yj
È la probabilità di osservare il set di dati
nelle ipotesi date

...sempre che i dati siano indipendenti!
Flavio Waldner - Dipt.di Fisica - UDINE - Italy
76
Annullando la derivata di questa
funzione rispetto ad m e q si
ottengono i valori che rendono
massima la probabilità di osservare il
campione dato nelle ipotesi
 che sia valida la statistica di Poisson
per ogni dato e
 che il modello sia una retta
Flavio Waldner - Dipt.di Fisica - UDINE - Italy
77
Retta e Poisson

La derivata è tremenda


È la somma di N termini
Ognuno fatto da un prodotto di N fattori

Del quale uno per volta viene derivato...
P  m, q  

j 1, N
1
2 y j
e

y j  m x j q

m x
j
 q
Flavio Waldner - Dipt.di Fisica - UDINE - Italy
yj
1
yj
yj
78
Retta e Poisson
Allora si passa al logaritmo...

yj
1
1 
y j  m x j  q 
L  m, q   ln  
e
m xj  q

yj 
y j 
 j 1, N 2 y j
 1
yj
1 
y j  m x j  q 
  ln 
e
m xj  q

yj 
y j 
 2 y j
 ...e si sviluppa con pazienza....

Flavio Waldner - Dipt.di Fisica - UDINE - Italy
79
Retta e Poisson
L  m, q  
1
1
  [ ln  2   ln y j 
2
2
 y  m x
j
j

 q   y j ln  m x j  q   y j ln y j ]
1
 1

    ln  2   ln y j  y j  y j ln y j 
2
 2

   y j ln  m x j  q    m x j  q  
Flavio Waldner - Dipt.di Fisica - UDINE - Italy
80
Retta e Poisson

Attenzione:


la parte verde non entrerà nel successivo gioco
delle derivate
Conterà ai fini della minimizzazione solo la parte
rossa
L  m, q  
  y ln  m x
j 1, N

j
j
 q    m x j  q    K
...che –finalmente- è la funzione della
Maximum Likelihood!
Flavio Waldner - Dipt.di Fisica - UDINE - Italy
81
Retta e Poisson
Attenzione!
la costante va calcolata se alla fine
del processo vogliamo calcolarci la
probabilità del fit!
P  m, q   e
L m,q 
Flavio Waldner - Dipt.di Fisica - UDINE - Italy
82
Retta e Poisson
Attenzione!
Nella Maximum Likelihood la
probabilità del fit tiene il
posto del livello di confidenza
2
nel fit col c
Flavio Waldner - Dipt.di Fisica - UDINE - Italy
83
Retta e Poisson

Ora deriviamo...
2


x
y

m
x
L
j j
j  q xj
 

m j 1, N 
m xj  q

L

q
 yj  m xj  q 



m
x

q
j 1, N 

j

Flavio Waldner - Dipt.di Fisica - UDINE - Italy
84
Retta e Poisson

Le equazioni divengono a questo punto
2


x
y

m
x
L
j j
j  q xj
 
0
m j 1, N 
m xj  q

L

q

 yj  m xj  q 

0

m
x

q
j 1, N 

j

NON LINEARI in m e q
Flavio Waldner - Dipt.di Fisica - UDINE - Italy
85
Retta e Poisson

Nel caso della  di Euler...
y j  m x j  q 
1
   y  1  m x j  q  e
j
L  m, q 
    ln   y j  1  y j ln  m x j  q    m x j  q 
Flavio Waldner - Dipt.di Fisica - UDINE - Italy
86
Retta e Poisson

...e la funzione cambia solo rispetto alla costante!
1
 1

   2 ln  2   2 ln y j  y j  y j ln y j 
   ln   y j  1 
Flavio Waldner - Dipt.di Fisica - UDINE - Italy
87
Retta e Poisson

Di solito conviene cercare direttamente il
minimo di
  m, q  
  m x
j 1, N

j
 q   y j ln  m x j  q  
Poi si calcola la probabilità del fit
P  m, q   e
L m, q 
e
 m,q 


exp  ln   y j  1
Flavio Waldner - Dipt.di Fisica - UDINE - Italy
88