高精度の2D→3DモデリングAIサービスのHitem3Dが4面図入力に対応したので人物で試したらリアルすぎた(CloseBox) | GameBusiness.jp

高精度の2D→3DモデリングAIサービスのHitem3Dが4面図入力に対応したので人物で試したらリアルすぎた(CloseBox)

Hitem3Dの4面図入力を試してみました。

ゲーム開発 3DCG
高精度の2D→3DモデリングAIサービスのHitem3Dが4面図入力に対応したので人物で試したらリアルすぎた(CloseBox)
  • 高精度の2D→3DモデリングAIサービスのHitem3Dが4面図入力に対応したので人物で試したらリアルすぎた(CloseBox)
  • 高精度の2D→3DモデリングAIサービスのHitem3Dが4面図入力に対応したので人物で試したらリアルすぎた(CloseBox)
  • 高精度の2D→3DモデリングAIサービスのHitem3Dが4面図入力に対応したので人物で試したらリアルすぎた(CloseBox)
  • 高精度の2D→3DモデリングAIサービスのHitem3Dが4面図入力に対応したので人物で試したらリアルすぎた(CloseBox)
  • 高精度の2D→3DモデリングAIサービスのHitem3Dが4面図入力に対応したので人物で試したらリアルすぎた(CloseBox)
  • 高精度の2D→3DモデリングAIサービスのHitem3Dが4面図入力に対応したので人物で試したらリアルすぎた(CloseBox)
  • 高精度の2D→3DモデリングAIサービスのHitem3Dが4面図入力に対応したので人物で試したらリアルすぎた(CloseBox)
  • 高精度の2D→3DモデリングAIサービスのHitem3Dが4面図入力に対応したので人物で試したらリアルすぎた(CloseBox)

何度か紹介しているAIによる3Dモデリングサービス、Sparc3D改めHitem3D、その最新バージョン1.5を試してみました。

今回の目玉機能は、同じオブジェクトを最大4面図まで入力し、より正確な3Dモデルを生成する「Multi-view to 3D」。

従来は、1枚の正面図から全体を推定するやり方のみでしたが、背面や側面がわかっていないため、どうしても実態とはかけ離れてしまいがち。

それでもHitem3Dの推定能力は非常に高いところが評価されていました。

筆者は1枚の写真からHitem3Dで生成したモデルを3Dプリンタで出力することに成功しています。





現在ではテクスチャ付きの3Dモデルの生成ができるようになっています。今回の最大4面図による3Dモデル生成機能は、その精度をさらに向上させるのが目的です。

Multiview to Video

1枚の画像から3Dモデルを生成するやり方は「Image to Video」として残し、新たに「Multiview to Video」という方法が追加されています。

正面、背面、左側面、右側面の4つの画像・写真を入力して、生成します。解像度やテクスチャサイズは従来と同じ。

さて、普通の人の場合、作りたいものの4面図とか持っているわけないので、AIに頼ることになります。今回お願いしたのは、Nano BananaことGemini 2.5 Flash Image。

Google AI Studioに1枚の証明写真をアップロードし、それをカラー化、高精細化したものを4面図に展開してもらいました。

寸法線が入ったり、髪の毛の流れなど細部が違うことがあるので、その場合には出し直しです。

OKということになったら、Hitem3Dに流し込みます。Multi-view to 3Dのタブを選び、Front、Back、Left、Rightと選んでいきます。正面以外は任意で、全部を埋める必要はないとありますが、全てを用意しました。

生成にかかった時間は順番待ちを除いて10数分から20数分。99%までは数分でいくのですが、その後にかなりの時間を要します。

なかなか存在感のある3Dモデルです。バージョンが1.5に上がり、以前よりもリアル感のある3Dモデルになったようです。以前は、目や鼻、口などのパーツが大きめに出る傾向がありましたが、多少軽減された様子です。

正面図のみ与える、Image to 3Dも使えます。正面図だけだと、背面の解釈がおかしくなるか、簡略化される場合があります。

このケースでは、側面の生成をどう解釈するかで、Nano BananaとHitem3Dのどちらがいいか、ということになります。今回はNano Banana + Multi-view to 3Dの解釈が正しかった(Ground Truthに近い)ように思います。

4面の素材が全て揃っている場合には、無論、Multi-viewを使うべきでしょう。2D to 3Dだと「こんなはずじゃなかった」が起こりえますが、Multi-view to 3Dならば、そういったものを未然に防げます。

4面図の正面だけを、少し微笑んだ画像に置き換えてみました(元が証明写真なので)。今回は、Nano Bananaで生成した正面画像をGrok Imagineで動かし、その最終フレームを使用。

背面、左右側面は以前のを流用して生成してみると、こちらもうまくいきました。

拡大しても大きな破綻は見られません。

妻が他界する半年ほど前、妻の要望で正面、側面、背面を撮影したことがありました。残された写真をもとに生成したところ、マルチカメラブースで同時撮影するのに近い品質で生成できました。

今ならば、こうして作成した3DモデルをApple Vision Proで現実空間にオーバーレイしたり、3Dプリンタで等身大印刷することも、センシティブなデータを業者に渡すことなく、自分の力だけできます。

ただ、どうしても、目、鼻、口が本物よりも大きく表示されてしまう傾向にあるのがちょっと残念です。

そこで、元画像に工夫をすることにしました。あらかじめ目、鼻、口のサイズを小さくし、目立ってしまう涙袋も薄くするようにしたらどうでしょう。

Nano Bananaではうまく再現できませんでしたが、Grokを使うと、こちらの要望に応えた画像を生成してくれました。

目つきは少々悪くなりましたが、顔のパーツの大きさがかなりリアルに近づきました。Vision Proで間近で見ても、涙袋の違和感がなくなっています。

Vision Proにオーバーレイした3Dモデルのキャプチャ画像を起点としたAI動画を生成すると、これが3Dモデルだとは見分けがつかないのではないでしょうか。

と、ここまで書いて、仕上げをするか、と数日ぶりにHitem3Dのサイトを訪れると、UIが変わってます。一般とポートレートの、シーンを選択可能に。

リアルな人物のポートレートモデリングに最適化したモードで、高忠実度、顔最適化をうたっています。

たしかに顔のパーツが大きくなりがちなので対応してくれとフィードバックはしましたけれども、速攻で対応してくるとは。

これは試さないといけません。

一つ前の作例と同じ4面図で、ポートレートモードで再試行します。ポートレートにすると、AIモデルのバージョン選択、解像度選択ができなくなり、ポートレートとだけ表示されます。

より自然な表情になり、髪の毛が細かく表現されるようになっています。写真への忠実度が上がっているので、わざわざ目鼻口のパーツを小さくする必要もなくなりました。

元の微笑バージョンで生成してみましたが、不自然さは感じられません。

リギングツールで表情を動かせるようになれば、AIアバターとして活用する可能性も生まれるでしょう。

もちろん、ポートレートモードでない作品も4面図(3面図でもOK)でできます。

妻が交換日記に残したイラストをNano Bananaで彩色し、さらに3Dフィギュア風にした上で3面図を作成して3Dプリンタで出力する、という工程もやってみました。

13年前に、できたらいいのにと夢想していたことが、テクノロジーの進化によって現実化するのを今、体感しているところです。いやー、AIって本当にいいものですね。

《松尾公也》

この記事の感想は?

  • いいね
  • 大好き
  • 驚いた
  • つまらない
  • かなしい
【注目の記事】[PR]

関連ニュース

特集

人気ニュースランキングや特集をお届け…メルマガ会員はこちら