「AIの出力は必ず人が確認しています」は個人技であって仕組みではない — ハーネスの5要素

Claude のユーザーとの対話を通じて、Gemini 向けに設計された本能制御プロトコルを Claude 独自の逸脱傾向（エビデンス不足への過度な慎重さ、ヘッジング多用）に合わせて再設計するプロセスの記録。セッション間記憶の欠落や検証不可能な情報の扱いをめぐる「疑いの目」に直面しながら、AI の構造的限界を認識し、プロトコル設計にどう反映させるかという実装検証の軌跡。

AI駆動開発でレビュー指摘が増加する中、毎回同じ指摘をしない仕組みづくりのため「資産化率」という指標を提案。再発2回以上の指摘から優先的にルール化・自動化し、1回きりの指摘は資産化しないなど、メリハリのある運用が肝要。資産化後は他者による検証で「効いたか」を確認することが重要。

AI生成コードは見た目が整っていても暗黙の業務ルールを欠落させやすく、テストが通ることは仕様の正確性を保証しない。仕様段階のレビュー、リスク分類に基づく検査強度の設定、人間が理解可能な粒度への分割、自動品質ゲート、専門領域別のAI一次レビューを組み合わせることで、安全に活用できる。

Qiita ユーザーが Claude Haiku / Sonnet / Opus に 42 問の問題を出題して、モデルの知識の偏りを測定。古典的な引っかけ問題と無名の仕様問題を混ぜた結果、Sonnet は「外科医=母親」という訓練済みの記憶に支配され目の前の「父親」を読み落とし、Haiku は Python の連鎖比較で日によって正誤が反転。知識が多いほど谷は深くなり、谷の位置も固定されていない可能性を示唆。