Reti neurali - Università degli Studi di Milano

RETI NEURALI - 2
TIPI DI
APPRENDIMENTO
– Esistono due tipi di apprendimento:
• Supervisionato
• Non supervisionato
– L’apprendimento supervisionato fa uso di
una serie di esempi di cui si conosce
l’output
– L’apprendimento non supervisionato
classifica l’input mediante
autoorganizzazione
APPRENDIMENTO
SUPERVISIONATO
APPRENDIMENTO
SUPERVISIONATO
– Algoritmo:
– N esempi ciascuno composto da k input
– J output
– Ogni ciclo viene chiamato epoca di
apprendimento
– Durante l’addestramento la rete impara la
relazione fra input ed output
APPRENDIMENTO
SUPERVISIONATO
– Algoritmo:
APPRENDIMENTO
SUPERVISIONATO
– Regola Delta generalizzata:
Errore = ( Dj – Oj) 2
 Dwij = - e(d err / dwij)
 Vogliamo minimizzare l’errore
 Facciamo piccoli spostamenti di segno
opposto alla derivata della funzione errore
APPRENDIMENTO
SUPERVISIONATO
APPRENDIMENTO
SUPERVISIONATO
– In questo modo ci spostiamo sempre nella
direzione opposta a quella in cui l’errore
cresce: se l’errore E cresce all’aumentare di
wji i pesi vengono diminuiti, mentre se E
diminuisce al crescere di wji i pesi vengono
aumentati.
– Ad ogni ciclo ci avviciniamo al minimo
dell’errore
– Quando l’errore è minore di e la rete si ferma.
APPRENDIMENTO
SUPERVISIONATO
– Questo è il cosiddetto metodo del gradiente
decrescente
– E’ la base dell’algoritmo di apprendimento
backpropagation (retropropagazione dell’errore)
– Nelle reti a più strati non si può applicare
direttamente perché mentre conosciamo l’errore
sullo strato di output non conosciamo l’errore sullo
strato hidden
– L’algoritmo arriva alla soluzione mediante
manipolazioni matematiche
APPRENDIMENTO
SUPERVISIONATO
– Quando la rete ha appreso si congelano i
pesi e si utilizza la rete in testing, ossia per
risolvere problemi nuovi
– Quanto migliore è la scelta del training set,
tanto più facile per la rete è generalizzare
– Le reti backpropagation sono le più potenti
e versatili attualmente implementate
APPRENDIMENTO
SUPERVISIONATO
– TEOREMA DI HECHT-NIELSENKOLMOGOROV:
Data una qualsiasi funzione f:{0,1}n --> Rm,
f(x) = y, f puo’ essere implementata
esattamente da una rete neurale
feedforward a tre strati con n elementi nel
primo strato, 2n+1 elementi nello strato
nascosto, ed m elementi nello strato di
output.
APPRENDIMENTO NON
SUPERVISIONATO
– La SOM e’ stata sviluppata negli anni 80
da T. Kohonen sulla base di precedenti
studi di neurofisiologia.
– Consiste in uno strato di N elementi, detto
strato competititvo.
– Ciascuno di questi riceve n segnali
x1,…,xn che provengono da uno strato di
input di n elementi, le cui connessioni
hanno peso wij.
APPRENDIMENTO NON
SUPERVISIONATO
– La SOM e’ stata sviluppata negli anni 80
da T. Kohonen sulla base di precedenti
studi di neurofisiologia.
– Consiste in uno strato di N elementi, detto
strato competititvo.
– Ciascuno di questi riceve n segnali
x1,…,xn che provengono da uno strato di
input di n elementi, le cui connessioni
hanno peso wij.
APPRENDIMENTO NON
SUPERVISIONATO
APPRENDIMENTO NON
SUPERVISIONATO
Per stimare l’intensita’ Ii dell’input :
Ii = D(wi,x)
wi=(wi1,…,win)T
x i =(x1,...,xn)T
D(u,x) e’ una qualche funzione
distanza, ad es. quella euclidea.
APPRENDIMENTO NON
SUPERVISIONATO
– A questo punto viene messa in atto una
competizione per valutare quale elemento
ha la minore intensita' di input (ossia quale
wi e’ il piu’ vicino ad x).
– La SOM prevede a questo punto un
meccanismo cosiddetto di inibizione
laterale, che e' presente anche in natura
sotto forma di trasformazioni chimiche a
livello sinaptico.
APPRENDIMENTO NON
SUPERVISIONATO
– Nella regione corticale del cervello, neuroni
fisicamente vicini mostrano legami piu'
forti, mentre ad una certa distanza iniziano
a mostrare legami inibitori.
– Ciascun elemento riceve sia stimoli
eccitatori da parte degli elementi adiacenti
(neighborhood), sia stimoli inibitori da parte
degli elementi piu' lontani, secondo la
forma "a cappello messicano".
APPRENDIMENTO NON
SUPERVISIONATO
APPRENDIMENTO NON
SUPERVISIONATO
– L'esistenza della neighborhood e' utile per
non polarizzare la rete su pochi neuroni
vincenti.
– A questo punto ha luogo la fase di
apprendimento, secondo la cosiddetta
"winner Take All Law" (WTA).
– I dati di training consistono
sequenza di vettori di input x .
in
una
APPRENDIMENTO NON
SUPERVISIONATO
– Lo strato di Kohonen decide poi il neurone
vincitore sull abase della distanza minima.
– Ora i pesi vengono modificati secondo la
legge
winew = wiold + a(x - wiold)zi
0<a<1 e decresce lentamente nel tempo con
una legge del tipo
a(t) = a [1 - t/d] dove d e' un'opportuna
costante.
APPRENDIMENTO NON
SUPERVISIONATO
APPRENDIMENTO NON
SUPERVISIONATO
– Essendo zi <> 0 solo per il neurone vincitore,
i pesi dei neuroni vincenti ruotano sempre
piu' verso gli stimoli vettorialmente piu' vicini,
fino a sovrapporsi idealmente con essi.
– La SOM effettua cosi' una quantizzazione
vettoriale, ossia una mappatura da uno
spazio a molte dimensioni in uno spazio con
numero minore di dimensioni, conservando
la topologia di partenza.
APPRENDIMENTO NON
SUPERVISIONATO
– La
SOM
classifica
bene
pattern
topologicamente ben distribuiti, ma si trova
in maggiore difficolta' nel caso di
ditribuzioni non lineari.
– E’
evidente
l'importanza
della
configurazione iniziale dei pesi, che deve
essere il piu' possibile simile alla topologia
di input.