06- Capacità di canale

Capacità di canale
(dalle fotocopie e dalle dispense)
Trasmissione dell’Informazione
Definizione
•
Fissati l’alfabeto di ingresso X, quello di uscita Y, le probabilità di
transizione dirette del canale e quindi l’informazione mutua media, si
definisce capacità di canale il valore massimo di tale informazione
mutua media.
" p( y j | x i ) %
C = max ( ( p( x i ) p( y j | x i ) log$
'
p(xi ) i=1 j=1
# p( y j ) &
M N
à
t
i
c
a
p
a
c
a
l
!
r
e
p
•
Nel caso di un canale simmetrico binario
= H(Y ) " H 2 ( p) # 1" H 2 ( p)
o
m
i
s
s
a
m
e
t
i
m
i
l
[bit per simbolo]
Capacità del canale simmetrico binario
1
0.9
0.8
0.7
0.6
0.5
0.4
0.3
0.2
0.1
0
!
Trasmissione dell’Informazione
0
0.1
0.2
0.3
0.4
0.5
probabilità d'errore
0.6
0.7
0.8
0.9
1
Entropia per segnali continui
•
•
•
•
•
Si consideri una sorgente di informazione continua, senza memoria ed
ergodica che produce un segnale s(t) di banda finita B.
L’insieme dei valori assumibili dal segnale s(t) costituisce una
variabile casuale S con densità di probabilità p(s).
Essendo la sorgente ergodica p(s) può ricavarsi nel tempo e non
dipende dal particolare intervallo temporale considerato.
Per questa sorgente si definisce:
1
H " (S ) # lim$s%0 & p( si )$s log
p( si )$s
i
&
1
1)
H " (S ) # lim$s%0 ,( p( si ) log
+ p( si ) log + $s
p( s i )
$s *
i '
…!e, passando al limite,
$ 1 '
$ 1 '"
H " (S ) # + p( s) log&
)ds + lim,s-0 log& ) + p( s)ds
% ,s (-"
% p(s) (
*"
"
!
Trasmissione dell’Informazione
Entropia differenziale
•
Se riscriviamo
H " (S ) # H (S ) + H RIF (S )
•
H è l’unico termine non infinito! È definito entropia relativa o
differenziale.
! sorgente continua Gaussiana a media nulla:
• Nel caso di
x2
x2 (
%
+
+
- 2
- 2
1
1
2
$
'
H ( X ) = " , p( x ) log p( x ) = " ,
e
log
e 2$ *dx
2
' 2#$ 2
*
"+
"+ 2 #$
&
)
x2
2
+
(
- 2%
1
x
2
$
=" ,
e
'" log( 2 #$ ) " 2 log(e)*dx
2
2$
&
)
"+ 2 #$
!
%
= log 2"# &
$%
1
2 "# 2
x2
- 2
e 2# dx +
%
2
log(e)
x
&
2# 2 $% 2 "# 2
x2
- 2
e 2# dx
!
• La cosa non cambia se la media non è nulla.
#
!
1
H ( X ) = log 2"e# 2
2
#
" $ p(x " µ x )log[ p(x " µ x )]dx = " $ p( x %) log p( x %)dx % = H ( X )
"#
"#
!
Trasmissione dell’Informazione
(
)
Informazione mutua e capacità di canale
sorgente X
Canale di trasmissione
x (t )
Ricevitore
y(t ) = x (t ) + n(t )
Sorgnete di rumore
additivo
•
!
Come nel caso discreto
!
""
pX ( x | y )
p ( y | x)
I ( X,Y ) = # # pXY ( x, y ) log
dxdy = # # pXY ( x, y ) log Y
dxdy [bit/campione]
pX ( x )
pY ( y )
-" -"
-" -"
""
# #
H (Y | X ) = - $
#
$ p XY ( x, y) log pY ( y | x )dxdy = - $ p X $ pY ( y | x ) log pY ( y | x )dxdy
-# "#
-#
C " max I(X,Y )
!
!
p( x)
•
#
"#
[bit/campione]
Se il canale è additivo
!
pY ( y | x ) = pY [ x ( t ) + n( t ) | x ( t )] = pN ( n)
#
H (Y | X ) = - $ p N (n)log p N (n)dn " H(N)
Trasmissione dell’Informazione
!
-#
[bit/campione]
Canale a banda limitata
H(f)
1
y (t ) = x(t )+ n(t )
x(t )
B
•
f
n(t )
Caso di canale non distorcente nella banda B con risposta in ampiezza
costante
– con rumore Gaussiano additivo a spettro costante (bianco) nella banda B
sommato all’uscita del canale, avente media nulla e varianza N=BN0.
•
La capacità di canale è:
C " max[ H(Y ) # H(Y | X)] = max[ H(Y )] # H(N) [bit/campione]
p(x)
•
p(x)
Se il segnale e il rumore sono indipendenti
E Y 2 = E X2 + E N2 = S + N
[ ] [ ] [ ]
!
Trasmissione dell’Informazione
!
Capacità di un canale a banda limitata
•
Assumendo che il segnale sia Gaussiano (come il rumore), di potenza S
1
1
1 $ S'
C = log[2"e(S + N)]# log(2"eN) = log&1+ )
2
2
2 % N(
•
[bit/campione]
… e visto che i campioni sono (almeno) alla frequenza di Nyquist:
!
C=
2B " S %
log$1+ '
# N&
2
[bit/s]
" S%
C = B log$1+ ' [bit/s], legge di Hartley - Shannon
# N&
! fondamentale di Shannon dice che “Dato un canale rumoroso
Il Teorema
di capacità C e banda B, esiste una codifica di canale che permette la
! trasmissione senza errori ad una velocità R ≤ C. È invece impossibile la
trasmissione senza errori per R > C.”
•
Trasmissione dell’Informazione
Efficienza di canale
•
•
Per un dato canale, esiste dunque una massima velocità R = C.
In questa condizione:
E
S = b = Eb R = EbC
T
•
… e dunque
•
C/B si indica usualmente con x e si chiama efficienza del sistema
! trasmissione.
numerico di
!
" CEb %
C
= log$1+
' [bit/(s ( Hz)]
B
# N0 B &
Eb 2 x "1
=
N0
x
Trasmissione dell’Informazione
Efficienza di canale II
25
20
15
]
B
d
[
N0
/ b
E
R= C
R< C
10
x >>1
5
R> C
Eb
= "1.6
N0
0
-5
0
1
2
3
4
5
Efficienza [bit/s
!
6
10 log10
!
!
Trasmissione dell’Informazione
7
8
9
10
! Hz ]
Eb
" 10 log10 2 x #10 log10 x
N0
" Eb %
$ ' ( 3x )10 log10 x
# N 0 & dB