同じ依頼でClaudeとChatGPTの設計方針が分裂――AIクロスレビューの限界を実証

グラフRAGの実装で「過去レポート履歴を踏まえた抽出」を実現するため、当初検討した「全履歴を1プロンプトに詰め込む」方式から「新レポート内の後方参照だけを検出して差分更新」する設計に変更した。実装後の false positive 対策と評価データの見直しにより、9問全てで精度スコア 1.00 を達成。

.jsonl ログを Claude などの外部 AI に分析させる前に、API キーや個人情報といった機密データを除外する「データの線引き」が重要。マスキング・層分け・allowlist による事前設計で、ループエンジニアリングの安全性を確保する。

Reddit の Claude コミュニティで、AI ツールの民主化に伴う課題が議論されている。低品質なアプリケーションやプロンプトの増加、市場の飽和、ユーザー体験の低下といった懸念が指摘されており、質と創意工夫の重要性が改めて問われている。

個人で運営するバイク教習所検索サイトの掲載データ拡充にあたり、Claude を使って24県489校の二輪免許教習可否情報を自動収集したが、検証段階で○×表の列ずれ・テキスト境界の誤認識・第三者サイト間の矛盾・URLパターンの不規則性・情報の鮮度など複数の落とし穴に遭遇。最終的に公式サイト・公的機関資料・県協会名簿で確認できたもののみ公開する検証ルール（verified_at カラムの厳格管理）を確立した。