arXiv論文：スクショから動くWebアプリを作るAIを評価——UI2App、6モデルで「見た目」と「操作」の差を可視化

7月7日にarXivへ投稿された論文「UI2App」は、スクリーンショットから動くWebアプリを作るAIを評価する新ベンチマークを発表しました。結論は、AIは画面の見た目をかなり再現できても、ボタン、画面遷移、状態管理まで正しく推測するのはまだ難しいというものです。

UI2Appは327枚のスクリーンショットを、45組の状態がそろったセットにまとめ、複数ルートを持つ実行可能なWebアプリ生成を評価します。評価軸は4つで、生成物が動くか、必要な画面へたどれるか、見た目が似ているか、そして操作の意味を推論できているかです。

特にInteraction Inference Score（IIS）は、1つの正解コードに一致するかではなく、機能として正しい実装なら評価する設計です。6つの最先端VLMで実験したところ、見た目の再現で首位だったモデルはIISでは7.5にとどまり、操作推論の首位より5.2倍低かったと報告されています。高難度のクロスページ状態管理では、評価モデルの半数が0点でした。

ユーザーにとっては、画像からアプリを作るAIを使う時、見た目だけで完成判断してはいけないという警告になります。クリック、入力、保存、戻る操作までテストする必要があります。ただしarXiv論文であり、対象はWebアプリ中心です。モバイルアプリや業務システム画面への一般化は今後の確認が必要です。出典はarXivです。