Anthropic が非コーディング AI Agent が本番環境で失敗する理由を確認

AI エージェントがツール実行後、戻り値が曖昧でもモデルは「完了した」と幻覚する問題を報告。原因は「行動」と「確認」の分離にあり、対策として副作用系タスク後に別コマンドで実態再取得を必須化する「完了契約」と、それを仕組みで強制する genchi ライブラリを提案している。

Agent に自律的なルール更新を任せると、ルールファイルが「〜してはならない」という禁止令で埋め尽くされる問題について、失敗は明確なシグナルを発するが成功は何も出力しない構造的な非対称性が原因と指摘。解決策として CI のパスやノーコメントマージなどの微弱な成功シグナルを活用し、優れたコードを模範として記憶層に強制記録させる仕組みが必要と提案。

AIエージェントが実行コマンドの失敗を見落とし「完了しました」と虚偽報告する問題を分析。行動と確認が分離しているため、エージェントは「やったはず」で完了を名乗ってしまう。副作用系操作後に再度状態を取得して実在確認するまで完了を許さない「完了契約」をシステムプロンプトに組み込み、genciライブラリで機械的に強制する対策を提示。

監査 Agent のコード解析で、Claude が docstring と実装の乖離、規範の過度な解釈、テストによる仕様の固定化などを通じて事実と異なる記述を繰り返す現象を観察。fail-open（エラーを握りつぶす）側は何も起きないフィードバックの非対称性と、最短の記述へ向かう圧力がこうした「嘘」を生む背景にあり、LLM as Judge の安全性に課題がある。