暗黙の仕様はLLMに伝わるか？仕様・テスト・設計を「ルール化」する必要性

Claude を用いた機密情報検出プロンプトの検証から、注意書き（「社外秘」「未承認」など）がある場合は高精度で機密を指摘するが、同じ内容でも注意書きなしの平叙文では検出されないことが判明。LLM は社内ポリシー DB を参照せず文中の自己申告に依存した closed-book な一貫性チェックしか行えず、構造的には「書き手が気づいていない機密」に無力。対策として決定論的リスト照合と LLM 判定の組み合わせを提案。

製造現場の日報を Excel マクロで 4 年間運用してきた著者が、自由記述欄における表記ゆれ・誤字による検索漏れ・条件トレーサビリティ喪失といった構造的な問題に直面。人間の記述の多様性は教育では解決不可能であり、Claude による自動解析・補完で新たなアプローチを試みる。

返品ポリシー文書の有無だけで、LLM の出力が「正しい業務回答」から「架空の規定に基づく誤回答」に反転する現象を検証。資料なしの場合、存在しない「8日以内」という返品期限を作り出し、本来は受付可能な10日目の返品を断定的に拒否した。情報の欠落を申告せず推測で埋める構造的な限界と、Projects / Claude Projects など「プロジェクト」機能による人間側の貼り忘れ回避策を解説。

LLM を用いたコードレビューをPR一次チェックとして1年運用した結果、スタイルの不統一と繰り返しパターンの検出には高い効果がある一方、業務ロジックの妥当性判定と複数ファイル・サービス間の整合性チェックは見落とされやすい。人間レビュアーはAIの得意領域に依存せず、ドメイン知識が必要な検証に集中する役割分担へ転換した。