デジタルネイティブPDFなのに「O」を「〇」と誤読した、Document Intelligenceの話

GitHub Copilot CLI 上で Gemini 3.7 Flash と Sonnet 5 をコスト・品質・実行時間で比較した結果、Gemini 3.7 Flash × high は Sonnet 5 × xhigh より約 28% 安いが、実行時間は 1.8 倍遅い。両モデルが生成するコードの品質欠陥パターンも異なることが判明。

エージェント実行中にtools配列を変更するとプロンプトキャッシュが無効になり、数万トークンが再課金される問題がある。Anthropicが導入した「mid-conversation tool changes」機能を使うと、tools配列を固定のまま、tool_addition/tool_removalブロックで途中から特定ツールの表示/非表示を制御でき、キャッシュを温存できる。

r/ClaudeAI で支持される「敵対的フレーミングでレビュー指摘が増える」という仮説を、7個のバグを仕込んだPRで実測検証。結果、敵対フレーミングは通常レビューより指摘件数・検出率ともに低下（7/7→3/7）し、mediumレベル以下を報告基準から除外する傾向が判明。critical・highレベルは全条件で検出だが、総合的な網羅性では敵対化がマイナス。

AI開発のコスト削減は単価の安いモデル選択よりも、無駄なトークン送信の削減が効果的。著者が自作プロキシで1年間の開発を測定した結果、モデルと成果は変えずに54.7%のトークンを削減。curl・ログ・プロセス一覧など「高ノイズ出力」を圧縮してから渡すことで、誤差レベルではなく桁違いのコスト改善が可能。