AliceVisionプラグインについて


こちらの記事では、AliceVisionプラグインのインストール手順およびAliceVisionプラグインを使用してイメージ画像から3Dモデルの構築についてご紹介します。

また、AliceVisionプラグインについては、SideFX社ホームページ(英語)でご紹介されています。併せてご参照ください。

インテグレーションツール

AliceVision

AliceVisionは、Githubにある3D再構成およびカメラトラッキングアルゴリズムを提供するフォトグラメトリコンピュータービジョンフレームワークです。Mikros Image社によって開発されました。コマンドライン機能により、GameDevelopmentToolsetおよびSideFX Labsセットの一部として、Houdini内に正常に実装することができます。詳細については、AliceVisionについてを参照してください。

AliceVisionプラグインを使用して、一連の画像を取得し、それらを色付きの細かいメッシュに変換することができます。 また、1つのノードで処理を簡易的に実行するか、各ステップを分割してカスタムパイプラインを作成することが可能です。

各ノードについて

AliceVisionノード

現在のバージョンには7つのノードがあり、Labs / AliceVisionの下のジオメトリコンテキストにあります。 

AV_Photogrammetry

このノードは、AliceVisionフォトグラメトリ機能を備えたノードのパイプラインです。このノードには、AliceVisionを使用するために必要な全ての手順が含まれています。

AV_Initialize

このノードは、AliceVisionノードネットワークの始点であり、画像を追加するします。【Add Images】をクリックして、画像を選択するためのダイアログが起動します。その後、画像リストはディテールアトリビュートとして保存され、次のノードに渡されます。したがって、このノードは常にネットワークの一部であることが必須です。

画像を追加した後、キャッシュディレクトリとプロジェクト名を設定します。プロジェクト名により、新しいキャッシュディレクトリサブフォルダーが確保されます。よって、以前に処理されたデータは上書きされません。

 

AV_Analyze Images

このステップの目的は、画像取得中にカメラ視点の変化に対して、ある程度不変かつ特徴的なピクセルのグループを抽出し、候補のペア画像間ですべての特徴を一致させることです。

 

AV_Structure_from_Motion

このステップの目的は、入力画像によって提供される全体の観測された背後にあるジオメトリックな関係を理解し​​、すべてのカメラのポーズ(位置と方向)と内部キャリブレーションで固定されたシーン構造(3Dポイント)を推測することです。このノードの出力は、ポイントクラウドになります。

 

AV_Depth_Map

このステップの目的は、Structure From Motionによって以前に決められた画像とカメラの各ピクセルのdepth値を取得することです。これは、提供される解像度と画像の数によっては、長時間にわたる場合があります。

 

AV_Meshing

このステップの目的は、シーン上の高密度でジオメトリックなサーフェスの表現を作成することです。このノードの出力はハイポリゴンメッシュであり、Houdiniでのさらなる処理に使用することができます。

 

AV_Texturing

このステップの目的は、生成されたメッシュにテクスチャを付けることです。このノードの出力は、非常に基本的なUVとテクスチャを備えたハイポリゴンメッシュです。カスタムUVを使用して、メッシュのテクスチャを再投影することを強く推奨します(例えば、Games BakerまたはSimple Bakerを使用)。

 

Alicevisionプラグインインストール手順

Houdini18以降をご使用の場合は、SideFX Labsツールセットをインストールしてください。

ツールセットのインストール手順については、以下の記事をご参照ください。

Houdiniの内部システムからの直接インストール

Githubからの手動インストール

 

  • Houdiniを実行して、SideFX Labsツールが適切に読み込まれていることを確認します。
  • 次に、サンプルコンテンツをダウンロードします。

今回は、Option Sample Content1をダウンロードしています。

コンテンツファイルはインストーラー同様、以下のリンクからダウンロードが可能です。

・Option Sample Content1 

・Option Sample Content2

SideFX社ホームページにて、AliceVisionプラグインのインストールについて動画が公開されています。併せて、ご参照ください。

今回、Houdini18.0.327を使用しています。

Houdiniを起動して、Geometryノードを作成します。

ジオメトリコンテキストにアクセスして、AV Photogrammetry SOPを作成します。

AVPhotogrammetry SOPのProject Nameパラメーターを設定します(現在のプロセスの一意のキャッシュIDを保証します)。こちらでは、Testとしています。

Cache Directoryを設定します。ディレクトリは、生成された全てのデータを保存するために使用されます。

【Initialize】タブの【Add Images】ボタンをクリックして、処理する画像を設定します。

今回は、ダウンロードしたOption Sample Content1にあるfullフォルダ の連番画像を選択します。

画像を選択すると、【Images】に41と表示されます。

その他必要に応じて、Meshing/Texturing/Advancedパラメーターを調整します。

調整後、左上の【Cook】をクリックします。

カメラトラッキングが開始されます。

下画像はフォトグラメトリの結果です。

Environmentライトを追加してレンダリングしました。

技術情報

システム要求

  • Windows 7以降(x64)、Linux
  • NVIDIA CUDA対応GPU(CC2.0以上)

最小要件

  • RAM:8Gb以上
  • HDD:2Gb以上、キャッシュおよびモデル用
  • CPU:3年未満
  • GPU:NVIDIA

推奨要件

  • RAM:32Gb以上
  • CPU:i7 / Ryzen 7以上
  • GPU:NVIDIA GTX1070以上

互換性情報 

  • 現在、プラグインはWindowsでのみ利用可能です。