Cours: Problèmes inverses

Professeur: A. MohammadDjafari

Exer i e numéro 5: Moindres arrés, régularisation, maximum d'entropie Problème 1 : Dans un système d'imagerie, nous avons établi la relation g = Hf + ǫ où g est un ve teur ontenant les proje tions (mesures) {gm , m = 1 · · · , M }, ǫ est un ve teur représentant les erreurs de mesures {ǫm , m = 1 · · · , M }, f est un ve teur représentant les pixels de l'image {fn , n = 1 · · · , N }, et H est une matri e dont les éléments {amn } dépendent de la géométrie du système et sont supposés

onnus. b = H −1 g 1. Supposons d'abord que M = N et que la matri e H soit inversible. Pourquoi la solution f 0 n'est, en général, pas une solution satisfaisante ? b kδ f k kδ g k Quelle relation existetil entre b 0 et kg k ? kf 0 k

2. Revenons maintenant au as général M 6= N . Montrez alors qu'on peut dénir des solutions au sens des moindres arrés (MC), i.e. fb 1 qui minimise J1 (f ) = kg − Hf k2

Montrez que, toute solution de l'équation H ′ Hf = H ′ g est une solution au sens des moindres

arrés du problème et que lorsque H ′ H est inversible il existe une solution unique donnée par

Quelle relation existetil alors entre

b = [H ′ H]−1 H ′ g f 1

b kδ f 1 k b kf 1 k

et

kδ g k kg k

?

b et ovarian e de g ? 3. Quelle relation existe entre la ovarian e de f 1

4. Considérons maintenant le as M < N . En éviden e, g = Hf a une innité de solutions. La solution de norme minimale s'é rit:  b = arg min kf k2 f Hf =g Montrez que ette solution s'obtient par la résolution du système d'équations suivante:      f 0 I −H t = λ g H 0 qui donne nalement

si HH t est inversible.

b = H t (HH t )−1 g f 2

b = H fb 2 = g . 5. Montrez que ave ette solution g

b et ovarian e de g ? 6. Quelle relation existe entre la ovarian e de f 2

7. Revenons au as général M 6= N et dénissons b = arg min {J(f )} f f

ave J(f ) = kg − Hf k2 + λkf k2

Montrez que, pour tout λ > 0, ette solution existe et unique et s'é rit: b = [H ′ H + lambdaI]−1 H ′ g f

b = H fb et g ? 8. Quelle relation existe entre g

b et ovarian e de g ? 9. Quelle relation existe entre la ovarian e de f

b à e problème est de minimiser un ritère de la forme 10. Une autre solution régularisée f 2 J2 (f ) = kg − Hf k2 + λkDf k2 ,

où D est une matri e approximant un opérateur linéaire de dérivation. Montrez que ette solution s'é rit:   b = arg min {J2 (f )} = H ′ H + λD ′ D −1 H ′ g f 2 f b et à f b et fb ? Pourquoi ette solution est-elle préférable à f 0 1 2

Problème 2: b pour le problème inverse telle que Considérons le problème g = Hf . Nous her hons une solution f b = M g , 'est-à-dire qu'elle soit une fon tion linéaire des données g . Nous her hons à déterminer la f matri e d'inversion M en imposant un ertain nombre de ontraintes sur elle.

1. Supposons d'abord qu'il existe une solution f ∗ telle que Hf ∗ = g . Alors, b = M g = M Hf ∗ = Rf ∗ f

La matri e R − M H mesure le pouvoir de la résolution dans l'espa e des solutions de l'opérateur inverse M . Le as idéal est R = I , e qui revient à exiger M = H −1 , e qui est souvent impossible. Cher hons alors la matri e M telle que J1 (M ) = kR − Ik2 = kM H − Ik2

soit minimale. Montrez alors que la solution s'é rit ∂J1 = [M H − I]H t = [0] −→ M = H t (HH t )−1 ∂M b = Hf ∗ = HM g = N g soit la plus 2. Une deuxième argumentation est de her her M telle que g pro he de g . La matri e N − HM mesure le pouvoir de la résolution dans l'espa e des données de l'opérateur inverse M . Le as idéal est N = I , e qui revient de nouveau à exiger M = H −1 , e qui est souvent impossible. Cher hons alors la matri e M telle que J2 (M ) = kN − Ik2 = kHM − Ik2

soit minimale. Montrez alors que la solution s'é rit Montrez alors que la solution s'é rit ∂J2 = [HM − I]H t = [0] −→ M = (H t H)−1 H t ∂M b ] = ov[M g] = M ov[g]M t et si ov[g] = I on a ov[f b ] = M M t . Le as idéal 3. Notons que ov[f pour une solution inverse fb est avoir une matri e de ovarian e pro he d'identité I . On peut don dénir un troisième ritère J3 (M ) = kU k2 = kM M t k2 3 qui peut servir pour ontraindre M . É rivez l'expression de ∂∂J M.

4. Dénissons J(M ) = α1 J1 (M ) + α2 J2 (M ) + α3 J2 (M ). É rivez l'expression de ∂∂J M et l'expression de M qui minimise J(M ) pour diérentes ombinaisons de (α1 , α2 , α3 ). Dans haque as É rivez l'expression de R, N et U . Vérier e tableau : α1 α2 α3 1 0 0 0 1 0 1 0 1 0 1 1 1 1 0 1 1 1

M M M M M M M

= H t (H H t )−1 = (H t H )−1 H t = H t (H H t + λI)−1 = (H t H + λI)−1 H t = H t (H H t )−1 = H t (H H t + λI)−1

N = HM I H (H t H )−1 H t H H t (H H t + λI)−1 H (H t H + λI)−1 H t I H H t (H H t + λI)−1

R = MH H t (H H t )−1 H I H t (H H t + λI)−1 H (H t H + λI)−1 H t H H t (H H t )−1 H H t (H H t + λI)−1 H

U = MMt H t (H H t )−2 H t (H t H )−1 H t (H H t + λI)−2 H (H t H + λI)−1 H t H (H t H + λI)−t H t (H H t )−2 H H t (H H t + λI)−2 H

Problème 3: Considérons le problème g = Hf et supposons que f représente une image ave fn ≥ 0. Supposons que le système g = Hf est sous-déterminée et que nous her hons à hoisir parmi toutes ses solutions,

elle qui maximise l'entropie X fj ln fj S=− j

1. Montrez que ette solution existe et s'é rit: "

fj = exp −λ0 −

X

Hij λi

i

#

où λ = {λi , i = 1, · · · , M } s'obtient en résolvant le système d'équations suivante: # " X X Hij λi = gi Hij exp −λ0 − i

j

et où λ0 est une onstante qui ne peut être xée que si on impose par exemple 2. Montrez que ette solution peut aussi s'é rire:

P

j

fj = 1 .

# " X 1 fj = Hij λi exp − Z(λ) i

où

− ln Z(λ) = ln fj + [H t λ]j

et où λ s'obtient en résolvant le système d'équations suivante: ∂ ln Z(λ) = gi ∂λi

3. Montrez aussi que λ s'obtient aussi par optimisation du ritère dual D(λ) = kg − H exp [−Hf ] k2 . 4. É rivez un algorithme itératif du type gradient ou de Newton qui al ule ette solution en pré isant le oût de al ul dans haque étape. Pour ela, vous pouvez utiliser deux routine g=dire t(H,f) qui al ule g = Hf et f=transp(H,g) qui al ule f = H t g .

Problème 4: Considérons le problème g = Hf et supposons que f représente une image moyenne, i.e. haque fn

orrespond à l'espéran e d'une grandeur Zn . Les mesures gm (supposés sans bruit) peuvent alors être

onsidérées omme une ombinaison linéaire de E {Zn }, i.e.; g = Hf −→ gm =

N X

am,n fn =

n=1

N X

am,n E {Zn } ,

m = 1, · · · , M.

n=1

Trouvez la forme de la densité de probabilité p(z) qui satisfait es ontraintes et qui maximise   Z p(z) − p(z) ln dz, µ(z) où µ(z) est une densité de référen e onnue. Montrez alors que lorsque µ(z) est séparable, QN j=1 µ(zn ), alors p(z) l'est aussi, i.e.; p(z) =

N Y

p(zn ) ave p(zn ) ∝ µ(zn ) exp

"

M X

am,n λm zn ,

m=1

j=1

Notant que fn = E {Zn } montrez que   1. si µ(zn ) ∝ exp − 21 zn2 on a

# M 1 2 X am,n λm zn , p(zn ) ∝ exp − zn + 2 m=1 "

#

; µ(z) =

i.e.

et par onséquent M X

fn =

am,n λm , ou en ore f = H ′ λ

m=1

où {λm } sont solution du système d'équations gm =

N X

am,n

n=1

M X

am,n λm , ou en ore g = HH ′ λ,

i=0

e qui permet d'é rire (supposons que HH ′ est inversible) f = H ′ [HH ′ ]−1 g

Interpréter alors e résultat. zn > 0 on a

2. si µ(zn ) ∝ exp [−zn ] ,

"

M X

p(zn ) ∝ exp −zn −

#

am,n λm zn ,

m=1

zn > 0

et par onséquent fn = 1 +

M X

am,n λm , ou en ore f = 1 + H ′ λ

m=1

où {λm } sont solution du système d'équations gm =

N X

am,n (1 +

n=1

M X

am,n λm ), ou en ore g = H1 + HH ′ λ,

i=0

e qui permet d'é rire (supposons que HH ′ est inversible)
f = 1 + H ′ [HH ′ ]−1 (g − H1) = H ′ [HH ′ ]−1 g + I − H ′ [HH ′ ]−1 H 1

Interpréter alors e résultat. (α−1)

3. si µ(zn ) ∝ zn

zn > 0 on a

= exp [(α − 1) ln zn ] , "

p(zn ) ∝ exp (α − 1) ln zn −

qui est une loi Gamma(α, β) ave β =

M X

#

am,n λm zn ,

m=1

PM

m=1

am,n λm et par onséquent

fn = E {Zn } =

où {λm } sont solution du système d'équations gm =

N X

n=1

zn > 0

α α = PM , β m=1 am,n λm

am,n PM

m=1

α am,n λm

e qui permet d'é rire (symboliquement ou ave les notations Matlab) f g

α H ′λ α = H ′ Hλ =

Interpréter alors e résultat.

ou en ore ou en ore

f = α1./H ′ λ g = H(α1. H ′ λ) = (αH1)./(H ′ λ)