arXiv論文：3D生成と3D理解を一体化する「ELSA3D」——FLOPsと推論遅延を約半分にしつつSOTAと報告

7月7日にarXivへ投稿された論文「ELSA3D」は、3Dを生成する力と3Dを言葉で理解する力を1つのモデルにまとめる手法を提案しました。結論から言うと、3D素材を作るAIを、ただ形を出すだけでなく、言葉と形の関係をスケールごとに整理して扱う方向へ進める研究です。

従来の統合3Dモデルは、テキストトークンと3Dトークンを平らに並べ、自己注意でまとめて処理することが多く、粗い構造と細かい形状の手がかりが混ざりやすい問題がありました。ELSA3Dは、スケールを意識したoctree tokenizerとAnchor Tokensを使い、どの言葉をどの3Dスケールに結びつけるべきかを軽量ルーターで選びます。

必要な場所だけで言語と形状を細かくやり取りするため、疎で正確な対応を狙う設計です。論文では、画像から3D生成、テキストから3D生成、3Dキャプションの各タスクで最先端性能を達成し、同じモデルの非elastic版と比べてFLOPsと推論遅延をおよそ半分にしたと報告しています。3D生成AIはゲーム素材、商品表示、建築案、AR/VR制作に関わります。

軽く速くなるほど、個人や小規模チームでも試しやすくなります。ただしarXiv論文であり、一般向けツールとして公開されたわけではありません。実際の品質や商用利用条件は実装公開後の確認が必要です。出典はarXivです。