チコノフ(Tikhonov)の正則化を試してみた

今プログラミングのための線形代数を読んでいるのですが, そこでチコノフ(Tikhonov)の正則化というのが紹介されていたので試してみました

チコノフの正則化とはどういうものかというと,

とある画像 $\bf{x}$ があったとして,

f:id:JUN_NETWORKS:20190907215106p:plain — 画像 $\bf{x}$ 画像はこちらからお借りしました

画像をぼかす以下のような行列Aがあったとする.

それらで $\bf{y} = A\bf{x}$ を行った場合, 画像はこのような形でボケた.

f:id:JUN_NETWORKS:20190907215201p:plain — $\bf{y} = A\bf{x}$ で得た $\bf{y}$

このボケた画像 $\bf{y}$ を元に戻すには逆行列 $A^ {-1}$ を求めて, $\bf{x}=A^ {-1} \bf{y}$ とすれば元画像 $\bf{x}$ が得られる

f:id:JUN_NETWORKS:20190907215517p:plain — $x=A^ {-1} \bf{y}$ で得た画像 $\bf{x}$

綺麗に復元出来てますね.

しかし, ぼかした画像 $\bf{y}$ に微小なノイズ $\bf{\epsilon}$ が加わった画像 $\bf{y'} = \bf{y} + \bf{\epsilon}$ を $\bf{x}=A^ {-1} \bf{y}$ で復元しようとすると...

f:id:JUN_NETWORKS:20190907220221p:plain — 微小なノイズ $\bf{\epsilon}$ が加わった $\bf{y'}$

f:id:JUN_NETWORKS:20190907220404p:plain — $A^ {-1} \bf{y'}$ で復元した画像 $\bf{x'}$

ありゃま...復元時にノイズが大きくなってしまいました...

チコノフ(Tikhonov)の正則化

方針

$A\boldsymbol{x}$ と $\boldsymbol{y}$ との食い違いを測る.
$\boldsymbol{x}$ 自体の もっともらしさ を測る. あるいは, 同じことだが, $\boldsymbol{x}$ の 不自然さ を測る.
食い違い と 不自然さ の合計値が最小になるような $\boldsymbol{x}$ を答える

$\boldsymbol{x} = A^{-1}\boldsymbol{y}$ では食い違いは0だが, 得られた画像 $\boldsymbol{x}$ の不自然さがひどかった. 食い違い と 不自然さ のバランスを取ればもっと良い画像が手に入る

$A^{-1}\boldsymbol{y}$ の長さ $| A^{-1}\boldsymbol{y} |$ を用いて 食い違い を測る $\boldsymbol{x}$ の長さ $| \boldsymbol{x} |$ を用いて不自然さを測る

正の定数 $\alpha$ を何か設定して $| A\boldsymbol{x} - \boldsymbol{y} |^{2} + \alpha| \boldsymbol{x} |^{2}$ が最小になる $\boldsymbol{x}$ を求めると, $\boldsymbol{x} = (A^{T}A + \alpha\boldsymbol{I})^{-1}A^{T}\boldsymbol{y}$ になっています. これがチコノフ(TIkhonov)の正則化.