「ナノフォトニクスがカメラレンズを平らにする」
Nano photonics flattens camera lenses.
.fav_bar { float:left; border:1px solid #a7b1b5; margin-top:10px; margin-bottom:20px; } .fav_bar span.fav_bar-label { text-align:center; padding:8px 0px 0px 0px; float:left; margin-left:-1px; border-right:1px dotted #a7b1b5; border-left:1px solid #a7b1b5; display:block; width:69px; height:24px; color:#6e7476; font-weight:bold; font-size:12px; text-transform:uppercase; font-family:Arial, Helvetica, sans-serif; } .fav_bar a, #plus-one { float:left; border-right:1px dotted #a7b1b5; display:block; width:36px; height:32px; text-indent:-9999px; } .fav_bar a.fav_print { background:url(‘/images/icons/print.gif’) no-repeat 0px 0px #FFF; } .fav_bar a.fav_print:hover { background:url(‘/images/icons/print.gif’) no-repeat 0px 0px #e6e9ea; } .fav_bar a.mobile-apps { background:url(‘/images/icons/generic.gif’) no-repeat 13px 7px #FFF; background-size: 10px; } .fav_bar a.mobile-apps:hover { background:url(‘/images/icons/generic.gif’) no-repeat 13px 7px #e6e9ea; background-size: 10px} .fav_bar a.fav_de { background: url(/images/icons/de.gif) no-repeat 0 0 #fff } .fav_bar a.fav_de:hover { background: url(/images/icons/de.gif) no-repeat 0 0 #e6e9ea } .fav_bar a.fav_acm_digital { background:url(‘/images/icons/acm_digital_library.gif’) no-repeat 0px 0px #FFF; } .fav_bar a.fav_acm_digital:hover { background:url(‘/images/icons/acm_digital_library.gif’) no-repeat 0px 0px #e6e9ea; } .fav_bar a.fav_pdf { background:url(‘/images/icons/pdf.gif’) no-repeat 0px 0px #FFF; } .fav_bar a.fav_pdf:hover { background:url(‘/images/icons/pdf.gif’) no-repeat 0px 0px #e6e9ea; } .fav_bar a.fav_more .at-icon-wrapper{ height: 33px !important ; width: 35px !important; padding: 0 !important; border-right: none !important; } .a2a_kit { line-height: 24px !important; width: unset !important; height: unset !important; padding: 0 !important; border-right: unset !important; border-left: unset !important; } .fav_bar .a2a_kit a .a2a_svg { margin-left: 7px; margin-top: 4px; padding: unset !important; }
現代のスマートフォンカメラは、かつては広く使われていた一眼レフカメラをほぼ廃れさせました。それにもかかわらず、現在のカメラレンズは、19世紀と同じように、ガウスが1843年に定義した光学を修正するためのガラスレンズの100倍以上のスタックを使用して、ナノスケールのセンシングプレーンに光を集める方法で画像を取得します（ Dioptrische Untersuchungen ）。
そして、ついに、カメラレンズ技術が21世紀となり、ナノスケールのメタ光学に追いつきました。
「メタ光学は、様々な画像処理アプリケーションの光学を大幅に小型化するための強力なツールとなっています。メタ光学が持つ極性制御、色収差、および多重化のユニークな特性による追加の設計自由度は、特に適切な再構成のための計算アルゴリズムと統合されると、多くのアプリケーションにおいて重要な影響を持つことが示されています。」と、ライス大学の電気・コンピュータ工学およびコンピュータ科学の教授であり、ライス大学の計算イメージンググループの主任研究者であるアショク・ヴィーララガヴァン（ここで説明されているメタ光学のプロトタイプには関与していない）は述べています。
21世紀のハイエンドスマートフォンのカメラでも、補完性金属酸化物半導体（CMOS）イメージャチップの上に19世紀風のレンズを7つ以上積み重ねる必要があり、レンズは電話の本体から突き出ている。実際、すべてのハイエンドスマートフォンでは、カメラレンズの長さが電話の本体をどれだけ薄くできるかの制約要素です。しかし、プリンストン大学の研究者とワシントン大学の同僚との共同研究により、メタ光学を使用してカメラレンズをわずか700ナノメートル（兆分の1メートル）まで薄くすることに成功し、「ピンホールカメラオブスキュラ」と匹敵するレベルに達しました。
「私たちの目標は、非常に薄いカメラを可能にする計算用ナノフォトニックメタレンズを設計することであり、現在よりも2桁以上薄くすることです」と、プリンストン大学のコンピュータサイエンスの助教であり、プリンストン計算イメージングラボのリーダーであるフェリックス・ハイデ氏は述べています。
元祖のピンホールカメラオブスキュラは、実際にはレンズがなく、ガラスレンズ自体が発明される前に作られました。それは、紀元前1046年まで遡る中国の文献にも記載されており、暗室で太陽の日食を観察するために使用されました（目への損傷を防ぐために）。写真カメラの発展には、19世紀の望遠鏡から光学レンズを適用する必要がありました（および写真乾板/フィルムの発明）。その後、レンズの歪み（収差）を補正しながら画像を拡大するための方法の数は増え続け、一部の一眼レフ望遠レンズでは数フィートに及び、ハイエンドスマートフォンでは約7mm（インチの四分の一弱）になりました。
「フラットな光学システムは、セルフィーの裏側にSLR品質のレンズから脳活動を監視するために頭蓋骨の下に埋め込むことができるほど薄くなり、画期的な画像キャプチャ能力を実現するという点で、非常に重要な問題の一つです。したがって、効果的なフラットな光学システムの設計は、計算イメージングにおける最も重要なオープンな問題の一つです」と、メタ光学のプロトタイプには関与していないメリーランド大学のコンピュータサイエンスの助教で、スタンフォード大学の計算イメージングラボの元メンバーであるクリストファー・メッツラー氏は述べています。
レンズの再発明の重要性は、21世紀の転換点でレンズスタックの平坦化に関する重要な研究の進展が達成された時に高まりました。最初のステップは、ピンホールのコンセプトをコード化された絞りを使用してマイクロミニチュア化することで、フラットマスク（FlatCam、2016）と呼ばれました。マスク内のさまざまなサイズのピンホール状の四角形からの光は、計算的に結合され、単一のピンホールに必要な長時間露光時間を克服するために設計されました。残念ながら、この技術はマスクとイメージャチップの間の距離と解像度のトレードオフを伴うため、平坦化された場合には今日見られる複数のレンズスタックのガラスレンズカメラの解像度には及びませんでした。
フラットなレンズへの次のステップは、ピンホールマスクの制約を超えて拡散体（DiffuserCam、2020）に移りました。単色スペクトルフィルタアレイと組み合わせて使用することで、農業や医学で使用されるレンズのないハイパースペクトルイメージングを実現しましたが、フルカラーのイメージングには使用されませんでした。
フルカラーのイメージングでは、今度はHeideらが「フラットなナノフォトニックメタレンズアレイを機械学習ベースの再構築アルゴリズムと組み合わせることで、コンパクトで広い視野のフルカラーイメージングを実現できることを実証しました。特に注目すべきは、再構築結果の品質であり、解像度と色の忠実度の両方において従来のガラスレンズスタックによるイメージと匹敵しています」と、FlatCamの発明者であるヴィララガヴァン氏は述べています。
Heideらのフラットな準周期的なナノフォトニックメタレンズ（サブ波長光散乱体）は、専用の推論エンジンによって補正されたスペクトルフルな可視光（広帯域）を操作するように設計されており、グラフィックス処理ユニット（GPU）によってトレーニングされた、従来のガラスレンズスタックに匹敵する高解像度のフルカラースペクトル可視光画像をレンズなしで実現しています。
「私たちのグループの薄型オンセンサーナノフォトニックアレーカメラは、ラボの外で高品質な広帯域のナノフォトニックイメージングの最初の実証です」と、HeideはACMの2023年トランザクションオングラフィックスの論文で述べています。研究者たちは、コード、光学設計ファイル、データセットを含むすべての結果をオープンソースで公開しています。
Heideによれば、グループのフラットなナノフォトニックメタレンズは、700ナノメートルの高透明度（窒化ケイ素）の円形アレイで構成され、ピッチが350ナノメートルで、幅は100から300ナノメートルの間で変化します。可視光の波長は400から700ナノメートルの間なので、これらのサブ波長の幅広い柱はメタ素材の特性を示します。
プロトタイプでは、3×3の構成で並べられた9つの隣接メタレンズが、逆フィルタリング、拡散、および9つの個別のメタレンズからの結果のマージを使用して、高速再構成アルゴリズムによって画像データを供給します。再構成アルゴリズムのパラメータは、深層ニューラルネットワーク（DNN）によって学習されました。研究者たちは、彼らの結果が他の「フラットレンズ」の手法を凌駕しており、以前のハイパースペクトルフラットレンズからの単色画像とは異なり、Heideらの超薄型カメラメタレンズは正確なフルカラー再現が可能であると述べています。
「おそらく、彼ら（Heideら）の最も重要な洞察は、高解像度の広い視野角フラット光学イメージングシステムを、計算的に統合可能な低解像度の狭い視野角光学素子のアレイを設計することによって作成できるということです。このスケーラブルなフレームワークは、設計プロセスを大幅に簡素化し、薄いナノフォトニクスベースのレンズで高品質な広い視野角メガピクセルスケールのイメージングを実証することを可能にします」とMetzler氏は述べています。
DNNの学習プロセスでは、グループ独自の高解像度画像、MIT 5K高解像度SLR画像データベース、およびImageNetデータベースからの比較的低解像度の画像のサンプリングを使用しました。トレーニング後、パラメータは色、歪み、および収差を修正するカメラ内推論エンジンのために固定されました。プロトタイプでは、9つの平面状のナノフォトニックレンズの出力をイメージャーチップの上に取り付けて、約100度の視野を実現しました。これは35mmカメラの18mmの広角レンズに相当します。
このアプローチを使用した商用カメラレンズは、将来的には数百のフラットメタレンズを使用して、数百メガピクセルの大型CMOSイメージャーチップの表面全体をカバーする予定です。さらに、単一のメタレンズショットからテレフォトから超広角までの画像を計算的に再構築することができます。
1つの制約は、イメージャーチップの上に配置されたメタレンズの出力を処理するために、ハイスピードのアプリケーション固有の統合回路（ASIC）が必要であることです。通常のGPUでは熱が発生しすぎて、携帯用カメラには実用的ではありません。Heide氏は、「この制約があるにもかかわらず、現代のスマートフォンASICは将来的には私たちの再構成プロセスを効率的に実装することができるため、エッジデバイスでの高速推論を可能にする可能性があります」と述べています。
また、研究者たちは将来の展望として、メタレンズをより密に配置することに注力します（プロトタイプでは空間を分けるためのデッドスペースではなく、ライトバッフルを使用します）。また、彼らのナノフォトニックメタレンズアレイが、各三次元光線が来た方向を含む4Dイメージを捉える光場アレイを、計算的写真撮影コミュニティに再評価させることを期待しています。
R. Colin Johnsonは、2つの十年にわたってテクノロジージャーナリストとして活動してきた京都賞フェローです。
We will continue to update VoAGI; if you have any questions or suggestions, please contact us!
Was this article helpful?
93 out of 132 found this helpful
Related articles
