○×表は読めない――AIに集めさせた教習所データ489件を全部検証した話

AI駆動開発でレビュー指摘が増加する中、毎回同じ指摘をしない仕組みづくりのため「資産化率」という指標を提案。再発2回以上の指摘から優先的にルール化・自動化し、1回きりの指摘は資産化しないなど、メリハリのある運用が肝要。資産化後は他者による検証で「効いたか」を確認することが重要。

ポッドキャスト台本の誤読チェックを AI に委任できるか検証した著者が、5月に「感覚的判断は無理」と結論したが、7月に問いの形を「数百行の自由評価」から「1.6件の3択」に変えたことで委任可能な形に転換。8月にはモデルの正答率ではなく、嘘をついたときに何が起きるかをコード側で防ぐ設計に切り替え、承認スタンプの物理的制御で安全性を担保した。

Graph RAGシステムにおいて、Knowledge Graphの穴を機械的に検出する「Knowledge Gap Radar」を実装し、検出結果をGemini 3.5 Flash-LiteとClaude Sonnet 5で比較検証。単純な優先度判定ではGeminiで十分だが、異なる種類のGapを文脈的に区別する必要がある場合にClaudeが価値を発揮することを確認し、判断の性質に応じた使い分けの指針を提示。

AI提案に対して採用・修正・却下と理由を記録する「判断ログ」を実装すると、メタ認知を強化できる。Obsidian + Filesystem MCP + Claudeプロジェクトで自動化し、記録→蒸留→反映のループで自分の判断パターンを言語化することで、AIに流されない思考が育つ。