外部調査を検算ツールに——game-dev-playbookの実運用で見えた順序の重要性

Claude Code を用いた 2 ヶ月のプロジェクト運用で、品質・説明責任・暴走防止を「気をつけます」ではなく仕組みで実現した事例。機械が事実を算出し AI が判断を添え人が裁定する 3 層設計、承認ゲート・不可逆操作の人手保持・意図的な破壊テストなどにより、技術的品質と経営判断の分離を機械的に保証。ドキュメント 3 層化で全決定の経緯を追跡可能にした。

AIエージェントの回答が浅い原因がモデルの性能にあるのか文脈設計にあるのかを切り分ける統制実験を設計・実行。正解基準と審判AIを固定し取得AIのモデルのみを Claude Sonnet から GPT 系に交換したところ、recall は同じ 2.3/10 のままで見落とし箇所も一致。モデル非依存で構造起因の問題であることを実証。

AI自己改善ループを長期運用する際に避けられない3つの問題（ログ肥大化、トークン制限、パース失敗）と、その対策パターンを実装経験から解説。チャンク分割・事前計測・クリーンなテキスト化など、継続的な運用を前提とした設計アプローチを提示する。

Agent 型 AI 開発で作業ログから継続的にルールを自動更新する際、ログの振り返りだけでは実務で機能しない問題に対し、気づきを検索可能な単位に「蒸留」する 2 速メモリ仕組み（素ログ取得と AI による定期カード化）を提案。決定の結果追記・3 分類トリアージなど 5 つの工夫により、積み上がる学習を複利的に生かす実装方法を示す。