Claude Vision で抽出した LLM の出力を機械で検証する — TOEIC 学習アプリの 3 つの検算実装

Claude Code v2.1.286 がリリースされ、88 件の変更が含まれています。`--bare` フラグの動作変更、プラグインのnpm ソース制限、VS Code 拡張機能のブックマーク機能追加など、既存の使い方に影響する破壊的変更 7 件を含む変更内容を解説。CI やスクリプト、社内プラグイン配布の場合は事前確認が必要です。

OpenAI の GPT-6.1 Sol と Anthropic の Claude Sonnet 5.5 は同じ入出力単価（$2/$10）だが、実際のタスク単価は大きく異なる。デフォルト設定で GPT-6.1 Sol のコストは Sonnet 5.5 の約 0.49 倍、Opus 5.5 の 0.29 倍。一方 Sonnet 5.5 は精度が高く、独立系ベンチマークで 4～6 ポイント上回る成績を記録している。

Claude や GPT などの LLM は予告なく動作が変更されることがあり、プロダクション環境での性能低下につながる可能性がある。オープンソースツール「Livenerf」は、ベンチマークテストを定期実行することで、モデルのサイレント変更を定量的に検知・監視できる。Python による簡易実装例も紹介されており、開発者は自前でモニタリングを構築・運用することで、モデル変更への即座の対応が可能になる。

自動トレンド集約サイトに、実際の使用を通じて「後で読む」「お気に入り」機能や複数 AI との連携、全記事へのタグ付けを追加。Gemini API で裏側の自動処理を最小限に抑えつつ、Claude など契約済み AI で詳細な質問に対応する役割分担を実現。タグデータベースで検索・関連記事推薦の精度を向上させた。