写真の顔のモザイク、ついに完全に外せる時代に　-デューク大学のPulse-

カテゴリ:

ＩＴ関連

日記

このブログでは、時折顔にモザイクをかけて写真を掲載していますが、そんな処理が意味のない時代が迫っているようです。

まずはデューク大学が公開している画像処理のイメージ画像をごらんください。


この写真、一番上が元画像、真ん中がモザイクをかけた状態、下はそこから「PULES」を使って画像を復元したものです。元画像と比較しても、あまり変わりのないレベルで復元しています。

大きな画像で見てみても、そのすごさがわかります。


従来のモザイクの除去手順は、解像度をあげていくことでモザイクの解除を試みていましたので、ぼやけた画像しか手に入りませんでした。

しかし「Pulse」ではGANと呼ばれる「敵対的生成ネットワーク」を使用することで、画像を生成しています。GANは２つのネットワークで画像を生成させ、本物と比較しより近いほうを本物として採用します。
下図がそのイメージ図です。


この２つのネットワークで画像生成を競わせることでランダムに多量の画像を生成し、その中から最も本物に近いものを採用しています。

ですので、ここから導き出される正解は、想像上の産物でもありますので、副作用としてはありもしないものが追加されることがあります。例えばまつげが長くなったり、眉毛が太くなったりするようなものです。

それを考慮しても、モザイクの画像の人がどんな顔をしているんだろうという問いには十分にこたえられるレベルにはあるようです。

今後この手法で数多くの画像データを処理することでデータが蓄積され、精度も増していくと思います。
そうなると、ブログのモザイクの方法も考えないといけませんね。

タグ ：

モザイク

除去

リングフィットアドベンチャーでうまくコントローラーが反応しない時の対応

カテゴリ:

ゲーム関連

ＩＴ関連

リングフィットアドベンチャーですが、３０日連続してプレーしています。
楽しく運動できていますが、悩みがあります。
それは運動によって、コントローラーの動きの認識が悪いものがあるということです。

そこで今回はこの対策について考えていきたいと思います。

今回も検証が長くなったので、結論から書きます。

コントローラのセッティングや、センサーのリセットなど、Nintendoが公式で書いている対策をしても動きがおかしい場合にはコントローラー自体の故障、接触不良、ペアリングの問題などあるそうですが、一部のエクササイズでの動きが悪い場合には、姿勢の問題であることが多いようです。

また下で「Joy-conとリングコンの仕組みについて」と題して、メカニカルな部分を検証してみた結果、多分ですがIRセンサーが上空を向く側の運動に関して、地面との距離感がセンサー側でつかみにくいように思われます。

なので、右側の動きはより基本に忠実に行わないと反応しないようです。
ネット上の書き込みを検証してみても、

・チョウツガイのポーズ


・英雄１のポーズ


・トライセプス


のような運動では、反応が悪いと書き込んでいる人が多くいました。
うまくリングコンが反応しないとお悩みのあなたは、上の映像のようにまずはちゃんとした姿勢でやってみましょう。

これ、コントローラーの反応以外にも自分の体って思ったより動きに左右差があったり、何度か同じ運動をするうちに体が慣れて動きが小さくなったりすることも要因にあるそうですよ。

ちなみに私は英雄１のポーズではちゃんと動いているので、やっぱり姿勢の問題だと思います。

IRセンサーについて検証

この記事を書き終えたのち、IRセンサーが内側を向くようにして「チョウツガイのポーズ 」をやってみましたところ、トラッキング精度が改善しました。意識したことで姿勢が改善した可能性もありますが、ダメもとで試してみると良いかもしれません。

Joy-conの仕組み

まずリングフィットに欠かせないのが、本体に付属しているJoy-conです。
これをリングコンに接続することで様々な動きを認識していますが、そもそもJoy-conって何を認識しているのでしょうか？

まずはJoy-conを分解した人の記事を見てみます。
これがJoy-conのセンサー部分（と思われる）です。小さい黒い四角いもの（チップ）がセンサーではないかとのことです。




これらは3軸のジャイロセンサーと3軸の加速度センサーであるとされます。
この２つのセンサーを組み合わせると、どの方向にどれだけの速度で動いたかが検知できます。
このセンサーが左右のJoy-conに組み込まれています。

更に右側Joy-conには、CMOSカメラとそれを囲む4基の赤外線LEDユニットがあるそうです。


CMOSセンサーとは、光をRGBの３原色に変換し認識するための、カメラのセンサーのことです。
これに赤外線センサーを組み合わせることで、被写体の形状や動きを検出することができるのと同時に、暗視カメラのように暗い環境でもその性能を発揮できます。

下はSONY製のCMOSセンサーと赤外線LEDの組み合わせでコンピュータが見ている画像です。
光の飛行時間（時間差）を検出することで，対象物までの距離を測定できます。

尚、Nintendo公式には、IRセンサーの解説もあります

リングコンの仕組み

リングコンには、歪ゲージ（電気抵抗の変化から対象のゆがみを計測する）とロードセル（力の大きさを電気信号に変える変換器）が含まれているようです。
これを組み合わせると、どの程度の力が加わってどこまでリングコンが変形したかを計測できます。

センサーの組み合わせでわかること

ここからは私の推測も混じります。リングフィットでは身長と体重を入力させますので、平均的な人間が装着した際のリングコンと足（レッグバンド）につけるJoy-conの位置は把握できると思われます。

これがどの方向に、どのくらいの速度で動いたかを測定することで、Switch側は左右双方のJoy-conの位置を把握しいるのでしょう。また推測ですが、CMOSセンサーで腕の形状を把握している可能性もあります。少し上に転載したSONYのセンサー画像であれば、腕の形状と距離を把握できるので、身長と体重より推定できる腕の位置情報も合わせて、リングコンの位置が体のどのあたりにあるのかを把握可能であると思います。

ですので、ゲーム中に腕が頭の上にある（リングコンを持っていると本来左側にあるべき腕がない）や、胸の前でリングコンを構えている（リングコンより見える腕が、屈折した状態になっている）なども認識しているのではないかと思います。

こうやって考察してみると、Swiitchは
１．3軸のジャイロセンサー
２．3軸の加速度センサー
３．CMOSセンサー＋赤外線LED
４．歪ゲージ
５．ロードセル
の６種類のセンサーを併用することで、ある程度正確にプレイヤーの姿勢を把握しているように思います。

※参考記事：「Nintendo Switch」分解レポート

タグ ：

リングフィットアドベンチャー

Jpy-con

リングコン

Apple Watchの心電図機能、まもなく日本でも利用可能に？

カテゴリ:

ＩＴ関連

えらい長いこと待ちましたが、この記事が本当であれば、近い将来AppleWatchの目玉機能の一つ、心電図が使用可能になる可能性があるようです。日本はPMDA(独立行政法人医薬品医療機器総合機構)の認可が受けられずに、この機能を殺した状態で発売より2年が経過しました。


この記事のポイントは、医薬品や医療機器などの審査関連業務を行うPMDA(独立行政法人医薬品医療機器総合機構)が「認定・登録外国製造業者リスト」（令和2年6月1日現在）を更新し、業者コード（法人部分）112941と冠された「Apple Inc.」が、2020年5月25日付けで登録された旨が記載されているいという部分です。


Appleはブラジルでもこの申請日2020年5月25日付けで、ANVISA（ブラジル国家衛生監督庁）のECGアプリに認可を受けていて、これに連動しているのではないかという観測記事です。

本当であれば、健康管理ツールとしてAppleWatchは大きな進化を遂げますね。

タグ ：

Apple

Watch

心電図機能