筆者はこのところ、静止画から3Dモデルを生成するSparc3Dという技術を使って、3Dプリントする試みをしていますが、そのSparc3Dにちょっとした異変が起きています。
Sparc3Dの技術面については、Koguさんによる解説記事が詳しいので、そちらをお読みください。
・高精細が魅力の新しい3D生成AI「Sparc3D」をテストした
Sparc3Dはコードを公開予定で、Hugging Faceでデモが無制限で使えるようになっていたのですが、それが取り下げられ、ページ自体は残っていますが、Hitem3Dという別サイトに誘導されるようになっています。
オープンソースをうたっている高度な技術で、プロジェクトページには、そのコードを公開するにはMathMagicという、この研究に関わっている企業の許諾が必要、という記述だったのですが、そのコードは公開されることなく、いきなり商用ベースに移行しようとしている……そういうふうに捉えられる動きです。
プロジェクトによる説明にはこうあります。
Hugging Faceデモは攻撃を受けており、メンテナンスのため一時的に取り下げる。安定したら2、3日中に復帰する予定である。その間はSparc3Dの技術を使ったHitem3Dというサイトで1日に5回まで3Dモデル生成を試すことができる。Hitem3Dではテクスチャ生成、メッシュ再生成といった、メンバー特典機能も用意する予定。
Sparc3DはTripoなどの商用サービスと比べてかなり優れている3Dモデル生成技術なので、それがオープンソース提供されるのなら素晴らしいと歓喜していた側から見ると、裏切り行為にも取れるものです。Hugging Faceをプロモーション目的で使う問題も指摘されています。
その一方で、もともと発表されていたSparc3Dにはテクスチャ生成機能はなく、3Dプリント用途にはいいけれども、ゲームアセット用途などには中途半端といった意見もありました。
Hitem3Dがその辺りのニーズに応えられるのであれば、商用化も歓迎すべきかもしれません。
気を取り直して、Hitem3Dの方を試すことにしてみました。
Hitem3DはSparc3Dプロジェクトの中の1社であるMathMagicのサイトです。仕組み自体はHugging Faceとほとんど変わらないのですが、ログインに1日に5回までの生成という制限が課せられており、将来的にはサブスクリプション制となるようです。
Hitem3D Discord管理者の説明によれば、Sparc3DプロジェクトはMathMagicが全額出資しており、論文の筆頭著者はアルゴリズム開発チームの一員。Hugging Faceが攻撃によってダウンしたため、予定よりも早くHitem3Dサイトを立ち上げることになったため、サブスクリプションは未実装の状態だそうです。コード公開の要望もDiscordでは多数上がっていますが、その時期や可否についてはメンバーからの回答は今のところ、ありません。
Hitem3Dでは静止画をアップロードし、そこから3Dモデルを推定・生成するという仕組み自体は同じですが、Hugging Faceにななかったオプションがいくつか用意されています。
まず、ボクセル解像度が、1024pだけでなく、より高解像度の1536pも選択できます。
1024と1536ボクセルの両方で試してみましたが、やはりディテールは1536の方がだいぶ向上します。
 |  |
 |  |
1回の生成にかかる時間は4分30秒くらい。
ただ、3Dプリントには不要な細かいアーティファクトも生成してしまうようで、そこは適宜判断する感じでしょうか。人体モデリング対応もすると論文著者は言っていたので、そこも期待したいです。
生成されたジオメトリ情報も出るようになっています。
 |  |
出力オプションも、従来のglbだけでなく、.objと.stlもサポートしました。3Dプリントの場合にはstlが便利かもしれません。
手のひらサイズに3Dプリントもしてみました。世代が古い3Dプリンタなので積層感が目立ちますが、触ってみた感じはスムーズで、メッシュの細かさを実感します。
現時点では無料で使えるので、その間にできるだけ活用しておこう、くらいの気持ちでいます。現時点でここまでの高精細な2D→3Dモデル化技術は知る限りないので。
テクスチャだけでなく、リギングなどが使えるようになると、さらに使い勝手が向上しそうなので、他のサービスとの連携も含めて、商用化のメリットにも期待したいところです。
追記：オープンソース化について、Discordで管理者から次のようなコメントがありました。現時点で、コードをオープンソースにする計画はないそうです。
