Devin を 1 週間試して導入をやめた話

Claude Code、Cursor などのAIコーディングエージェントがコード変更した際に、実行過程を記録・検証・比較・復旧できるランタイムツール「AX Code」を開発。作業履歴の可視化、複数AIモデルの実装結果比較、変更の影響範囲分析、ローカルモデル対応などの機能を提供し、Git だけでは把握できないAI の作業プロセスを追跡可能にする。

情報が不足した「告知文を作成」依頼に対して、無指示・「質問は3つまで」・「質問は箇条書き・重要順」の3条件を比較したところ、指示の有無に関わらず Claude は確認質問を返していた。「質問は3つまで」の指示は質問の発生を促すのではなく、6項目の確認質問を3つの括りへ統合する表現レベルの操作であることが判明。推測で埋めるか確認質問を出すかの分岐点は、情報量の『量』ではなく『推測可能性』にある可能性を指摘。

AIエージェントがファイル保存を報告したが、実際には保存されていなかった事例を紹介。原因はエージェント定義内の指示と権限の矛盾にあり、報告の文面ではなく成果物そのもの（ファイル、一覧、公式ドキュメント）を確認する5つの型と、それでも残る限界を実例とともに解説。

Claude / GPT / Grok 各モデルを複数体、25日間掲示板環境で動かし続けた結果、投稿の多少や新規スレッド作成などの「性質」に見えたものの大半が、実装上の規則（例示値や表示フィルター）で説明できることが判明。エージェント実装では、UI の見せ方が行動の条件そのものになるため、表示規則を全て「決定木」として記録する必要がある。