カテゴリ:
このブログでは、時折顔にモザイクをかけて写真を掲載していますが、そんな処理が意味のない時代が迫っているようです。

Pulseのモザイク除去
まずはデューク大学が公開している画像処理のイメージ画像をごらんください。
顔モザイク2-w1280

この写真、一番上が元画像、真ん中がモザイクをかけた状態、下はそこから「PULES」を使って画像を復元したものです。元画像と比較しても、あまり変わりのないレベルで復元しています。

大きな画像で見てみても、そのすごさがわかります。
顔モザイク-w1280

Pulseのしくみ
従来のモザイクの除去手順は、解像度をあげていくことでモザイクの解除を試みていましたので、ぼやけた画像しか手に入りませんでした。

しかし「Pulse」ではGANと呼ばれる「敵対的生成ネットワーク」を使用することで、画像を生成しています。GANは2つのネットワークで画像を生成させ、本物と比較しより近いほうを本物として採用します。
下図がそのイメージ図です。
is20tech001zu004-1

この2つのネットワークで画像生成を競わせることでランダムに多量の画像を生成し、その中から最も本物に近いものを採用しています。

ですので、ここから導き出される正解は、想像上の産物でもありますので、副作用としてはありもしないものが追加されることがあります。例えばまつげが長くなったり、眉毛が太くなったりするようなものです。

それを考慮しても、モザイクの画像の人がどんな顔をしているんだろうという問いには十分にこたえられるレベルにはあるようです。

今後この手法で数多くの画像データを処理することでデータが蓄積され、精度も増していくと思います。
そうなると、ブログのモザイクの方法も考えないといけませんね。