SC-500試験に不合格した学習体験記：Claude と Gemini を活用した試験対策方法

長期案件でClaudeやChatGPTを使う際、大量のファイルをAIに記憶させるのではなく、参照方向の管理と探索ルールを構造化することで対応した実運用例。00番を「正典」として現在の採用判断を一元管理し、深掘りルールを外部ファイル化することで、モデルの忘却や読み落としを前提とした安定運用を実現。

Claude等のAIでコード修正を何度依頼しても治らない場合、既存仕様の維持に優先度を置くAIの特性が原因である可能性がある。バグ原因が仕様にある場合、「仕様変更の候補を列挙させてから修正を依頼する」2段階プロンプトにより、問題解決が進みやすくなる。

AI への指示で形式を指定する方法は 2 種類に分かれる。システムプロンプトやお願いは訓練に依存する「確率上げ」だが、構造化出力は候補単語を事前削除して「物理的に強制」する。ただし強制が厳しいと思考が必要なタスクでは精度低下するため、欄の順番設計が重要。

Claude などの LLM に「禁止」「良い例」「資料」を与えても、期待通りに動かない。個人 Bot 開発の 6 ヶ月運用ログから、whack-a-mole（回避の繰り返し）、few-shot overfitting（実例への過学習）、model collapse、context rot など 4 つの既知現象を日本語で実測データ付きで解説。ホワイトリスト方式への切り替えや意味レベルの検知が対策になる。