LLMとの長期対話をGitのように運用する——セッション地層管理ツール「墨継ぎ」を作った

Claude・GPT・Gemini・Grok を単一インターフェースで束ねた TRPG-GM Kataribe の開発で遭遇した「OpenAI 互換は嘘」の実例。tool_choice・JSON Schema・プロンプトキャッシュは各社の解釈が異なり、エラーなく無言で仕様が落ちる。canonical 型とアダプタ 3 枚で方言を吸収し、トークン数で一次検証する設計を紹介。

AIエージェントの総運用コストはLLM推論料金だけでなく、ネットワーク転送・ストレージ・コンピュート費が40～60%を占める。Google CloudとAnthropicのPrompt Caching、LLMカスケード、オーケストレーション設計を組み合わせた5軸のコスト最適化アプローチを具体例とともに解説。

ユーザーが Claude API と Max サブスクリプションで遭遇した 3 つの成本錯覚を実測データで検証。ポイント換算の誤り（100 倍差）、サブスク利用時の実投資価値の計算（月額 200 ドル相当が実際には 1 万ドル弱の API 消費量に相当）、Token 圧縮の効果を分析し、AI 利用時の真の支出構造を読み取る方法を提示している。

OpenAI・Gemini・Claude の構造化出力機能を API コード例付きで比較。各プラットフォームの仕組み（OpenAI の strict: true による Constrained Decoding、Gemini の responseMimeType + responseSchema、Claude の Tool Use）の違いと、Required/Optional フィールドや Nullable 型の実装上の注意点を整理。