画像再投影

概要

画像再投影は、画像と奥行き情報などを用いて、別の視点から見た画像を生成する処理である。元画像の各画素が空間内のどこに対応するかを考え、視点位置を変えた場合の見え方へ写し直す。

詳しい説明

1枚の画像だけでは、通常は画面の奥行きを完全には知ることができない。しかし、画素ごとの奥行き値が与えられていれば、その画素を3次元空間上の点として扱い、別のカメラから見た位置へ再投影できる。これにより、少し視点を動かした画像を作ることができる。ただし、元の画像に写っていなかった裏側や隠れた部分は情報がないため、穴や不自然な補間が生じることがある。

CG制作との関係

実写画像から別視点の画像を作る、合成時に奥行き感を加える、2D画像から簡易的な立体感を作る、といった場面で関係する。イメージベーストレンダリングの重要な考え方である。

ゲーム開発との関係

ポストエフェクト、VR映像の補間、スクリーンスペース処理などでは、画面画像と深度バッファを使って再投影に近い処理を行うことがある。前フレームの情報を再利用する時間的処理にもつながる。

制作・実装での例

画面の各ピクセルに深度値がある場合、そのピクセルを一度3D空間へ戻し、別のカメラ行列で再び画面へ投影する。これが画像再投影の基本的な流れである。

検定対策ポイント

画像再投影は、画像を別視点へ写し直す処理である。奥行き情報を使う点、元画像にない領域は再現しにくい点、レイヤデプスイメージとの関係を押さえる。