「GoogleのDeblur AI：画像を鮮明にする」

Google's Deblur AI Enhancing Image Clarity

ぼやけた画像とおさらばしましょう。Googleの新しい手法は、あなたのスマートフォンのカメラの真の可能性を引き出します。

イントロダクション

私たちの進化し続けるデジタル時代において、写真を通じて瞬間を捉え、共有することが私たちの生活の一部となっています。しかし、ぼやけた画像に悩まされることは心を痛めるものです。大切な家族の写真、息をのむような風景、特別な場面のスナップショットなど、ぼやけた画像は視覚的なインパクトを損ない、私たちが望む明瞭さを奪ってしまいます。

しかし、心配しないでください。Googleの新しい手法を使えば、スマートフォンから直接クリアな画像をキャプチャする方法が提供されます。最近のほとんどのスマートフォンには複数のカメラが搭載されています。Googleは、2つの異なるカメラからの単一のキャプチャを使用し、学習可能な事後処理を使ってぼやけた画像をリフォーカスします。広角（W）カメラと超広角（UW）カメラを同時に使用して同じシーンをキャプチャし、両者を組み合わせてより鮮明な結果を得ることを目指しています。

アーキテクチャ

DFNetモデルは、同じシーンの広角画像と超広角画像を入力として受け取り、それぞれのアウトフォーカスマップと共に処理します。入力とターゲットのアウトフォーカスマップは、元の画像と出力画像のぼやけ具合を表現しており、各ピクセルの値は対応する画像ピクセルのぼやけ具合に比例しています。

超広角画像と広角画像は非常に異なるため、被写界深度、対称性、焦点、色合いが異なります。これらの画像を組み合わせることは簡単な作業ではありません。そのため、Googleはこれらの画像を繋ぎ合わせるための学習ベースの手法を導入しています。

• 「3/7 から 9/7 の間のトップ コンピュータ ビジョン 論文」
• Googleと一緒にジェネレーティブAIを学ぶ
• 「Googleと一緒にジェネレーティブAIを学びましょう」

モデルは広角画像をベースとし、超広角画像を高周波詳細の参照として使用します。モデルは、提供されたアウトフォーカスマップに従って両方の画像をブレンドし、出力がぼやけていない画像になるようにします。

テスト時には、必要に応じてターゲットのアウトフォーカスマップを簡単に変更できます。

上記のように、完全にクリアな画像を生成するためには、アウトフォーカスマップをすべてゼロに設定することができます。これにより、モデルは画像のすべての部分をぼやけていない状態にすることができます。その他の場合では、テスト時に提供されたアウトフォーカスマップに従って、画像の特定の部分をぼやけさせることも可能です。

結果

PSNRスコアが29.78、SSIMスコアが0.898となり、この事後処理手法は、定性的および定量的な分析の両方で以前の手法を凌駕しています。

結果は、以前の手法とGoogleのDFNetとの比較で示され、DFNetの方がより鮮明さと詳細を備えています。

このモデルは、画像のリフォーカス、被写界深度（DoF）制御と再レンダリング、ぼやけ除去といった領域での潜在的な利用があります。

制限事項

複数のカメラが必要

このモデルは、高周波詳細の参照となる広角および超広角カメラを使用しています。両方の画像は、異なる被写界深度であり、シーンの異なる部分に焦点を合わせています。同一のカメラからキャプチャされた画像では、このような結果を再現することはできません。また、デュアルカメラを搭載したスマートフォンに大きく依存しており、単一の画像入力では画像の復元はできません。

データセットの生成

広角および超広角の画像データセットを広く利用できるようにすることは困難です。また、実世界のシナリオでノイズを再現できる画像にガウシアンブラーを追加して合成することも不可能です。ドメインのギャップを減らすために、著者はこの手法のために100の画像スタックをキャプチャしました。

既存の手法への依存

データの前処理部分では、デフォーカスマップ、深度、および遮蔽マスクを生成するために必要です。前処理では、重大なアーティファクトを生成することで知られる既存のオプティカルフローとステレオ深度アルゴリズムを使用しています。これにより、出力画像の劣化が引き起こされます。

結論

ぼやけた画像に終止符を打ちましょう。Googleの最新の画像復元技術により、ぼやけた画像を解消することができます。これがスマートフォンのカメラのAIに組み込まれれば、毎日完璧な写真を見ることができます。

詳細な理解のために論文を読むことをお勧めします。

論文: https://defocus-control.github.io/static/dc2_paper.pdf

この記事が気に入った場合、そして機械学習や最新の研究コミュニティの進歩についてもっと学びたい場合は、フォローしてください。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!