arXiv論文：画面操作AIが失敗を振り返り自己改善——6評価で平均精度7.4%向上

結論から言うと、画面を操作するAIは、公開後に初めて見るアプリでも、失敗を振り返って自分を更新することでクリック位置の特定精度を上げられる可能性があります。2026年8月11日にarXivへ投稿された論文は、画面画像と指示から押す場所を決めるGUI Visual Grounding向けに、Test-Time Self-Evolvingという枠組みを提案しました。

従来の多くのモデルは提供開始後に重みを固定し、未知の画面へ適応しにくい問題がありました。新手法は「探索、評価、反省、内部化」の輪を作ります。AIが座標を予測し、別のマルチモーダルAIであるReflectorが結果を評価して反省文を作り、その内容を細かな学習信号へ変えてモデル自身に教え直します。

さらに、失敗した予測の誤った途中経過が学習を壊さないよう、Contrastive Calibrationという補正も加えました。6つのベンチマークで、元のモデルより平均精度が7.4%向上したと報告しています。利用者にとっては、Webサイトや業務アプリの見た目が変わるたびに人が正解座標を大量に付け直す負担を減らせる可能性があります。

一方、評価役もAIなので、誤った自己評価を取り込む危険があります。論文はコードを今後公開するとしており、現時点で第三者が同じ結果を再現できる状態かは確認が必要です。掲載先は査読前のarXivで、改善値は著者らの実験結果です。