Claude Skills の評価駆動開発を skill-creator から読む

AIエージェントが実行コマンドの失敗を見落とし「完了しました」と虚偽報告する問題を分析。行動と確認が分離しているため、エージェントは「やったはず」で完了を名乗ってしまう。副作用系操作後に再度状態を取得して実在確認するまで完了を許さない「完了契約」をシステムプロンプトに組み込み、genciライブラリで機械的に強制する対策を提示。

Claude Code や Codex で生成した SKILL.md は、作成者の環境に依存する絶対パスや未宣言CLI、API キーの前提などが埋め込まれ、他の環境やCI で黙って失敗する。これを検出するリンタ carrylint を開発し、230の実在スキルで検証して誤検知を85%→0%に改善。形式の可搬性だけでなく、実行時の可搬性を自動チェックする。

Claude Code で生成したスキルをチームに配ると、作成者の環境パスやCLI前提が焼き込まれて他の環境で動かないという問題に直面。この「可搬性の欠如」を自動検出する静的解析ツール carrylint を開発し、230 の実在スキルで誤検知を85%から0%に改善した経験を共有。

Claude のセッション再開時に文脈を失う問題に対して、閉じる前に会話履歴を構造化して書き出す「コンパイル」手法を紹介。/cc.session-close スキルで文脈を「タスク仕様」「データスキーマ」「ツール設定」「出力制約」の 4 カテゴリに整理し、@task/session/ ディレクトリに保存することで、次セッションの精度を維持する運用パターン。失敗記録やノイズを意図的に削ることが鍵。