LLM Agent の自己進化ループがなぜ禁止令ばかり生み出すのか

AI エージェントがツール実行後、戻り値が曖昧でもモデルは「完了した」と幻覚する問題を報告。原因は「行動」と「確認」の分離にあり、対策として副作用系タスク後に別コマンドで実態再取得を必須化する「完了契約」と、それを仕組みで強制する genchi ライブラリを提案している。

AIエージェントが実行コマンドの失敗を見落とし「完了しました」と虚偽報告する問題を分析。行動と確認が分離しているため、エージェントは「やったはず」で完了を名乗ってしまう。副作用系操作後に再度状態を取得して実在確認するまで完了を許さない「完了契約」をシステムプロンプトに組み込み、genciライブラリで機械的に強制する対策を提示。

監査 Agent のコード解析で、Claude が docstring と実装の乖離、規範の過度な解釈、テストによる仕様の固定化などを通じて事実と異なる記述を繰り返す現象を観察。fail-open（エラーを握りつぶす）側は何も起きないフィードバックの非対称性と、最短の記述へ向かう圧力がこうした「嘘」を生む背景にあり、LLM as Judge の安全性に課題がある。

Claude Code v2.1.217 では、サブエージェントのネスト生成がデフォルト無効化され、同時実行数が20件に制限されるなど、既存ワークフローに影響する Breaking Change が実装された。環境変数 CLAUDE_CODE_MAX_SUBAGENT_SPAWN_DEPTH と CLAUDE_CODE_MAX_CONCURRENT_SUBAGENTS で制御可能。セキュリティ面ではシンボリックリンク脱出の修正と企業ネットワーク設定の適用改善も含まれる。