arXiv論文：医療予約AI「CareConnect」、680シナリオで完了率91.8%——診断しない安全設計を検証

7月6日にarXivへ投稿された論文「Toward Trustworthy Large Language Model Agents in Healthcare」は、医療予約のためのAIエージェント「CareConnect」を提案しました。

結論から言うと、医療AIを安全に使うには、診断や治療助言まで広げず、予約、変更、キャンセル、施設情報の案内など、範囲をはっきり決める設計が有効だと示しています。CareConnectは、LLMの関数呼び出し、RAG、8つの業務ツール、決定的な安全ガードレールを組み合わせます。緊急らしい内容は通常処理を止め、医療助言を求める内容も拒否する仕組みです。

評価では、エンドツーエンドの流れ、複数ターン会話、例外処理を含む680のタスクシナリオを使い、タスク完了率91.8%、安全重要評価での準拠率96.0%、リクエスト中央値2.2秒、予約1件あたり平均0.0324ドルという結果を報告しました。病院やクリニックでは、電話対応や予約調整が大きな負担です。

この研究は、AIに医療判断を任せるのではなく、事務作業を安全に狭く任せる方向を示します。ただしarXiv論文であり、実病院での長期運用や法規制への適合は別途確認が必要です。出典はarXivです。