Claude との長期プロジェクトで引き継ぎプロンプトを38版まで改善した実践記

AIエージェントの回答が浅い原因がモデルの性能にあるのか文脈設計にあるのかを切り分ける統制実験を設計・実行。正解基準と審判AIを固定し取得AIのモデルのみを Claude Sonnet から GPT 系に交換したところ、recall は同じ 2.3/10 のままで見落とし箇所も一致。モデル非依存で構造起因の問題であることを実証。

複数の AI サービス（Claude、ChatGPT、Codex など）を使い分けるとき、AI ごとに同じ背景を何度も説明する手間を避けるため、現在の方針や決定事項をまとめた 1 枚の共有ノートを作成・管理する方法を紹介。会話の詳細な記録、引き継ぎ用の短いノート、更新日時を 3 層で分けることで、効率的な引き継ぎと過去参照の両立を実現。

著者が Python でのデータ抽出タスク（天気予報 HTML パース）を Claude / ChatGPT / Gemini に依頼し、同一プロンプトでも AI が異なる設計を提案することを実装レベルで確認。正解が一意な問題はレビューで収束するが、設計判断の領域では AI 同士のクロスレビューは「再表明」に留まり意見が収束しないという限界を記録。

グラフRAGの実装で「過去レポート履歴を踏まえた抽出」を実現するため、当初検討した「全履歴を1プロンプトに詰め込む」方式から「新レポート内の後方参照だけを検出して差分更新」する設計に変更した。実装後の false positive 対策と評価データの見直しにより、9問全てで精度スコア 1.00 を達成。