Claude 複数モデルでエラー率上昇インシデント発生、監視中

Kaggle が提供する AI Quota は毎日 10 ドル分の LLM API 呼び出し枠で、Kaggle Benchmarks プラットフォーム上で Claude、GPT、Gemini など複数モデルを同一タスクで比較検証できる。汎用ベンチマーク（MMLU など）では測定できないニッチなタスクに最適なモデルを見つけたり、レイテンシ・コスト・精度のトレードオフを評価したりする際に活用する。

ChatGPT・Claude・Geminiに短いメモ（200字）と長い資料（4000字）を渡して提案書骨子を生成させ採点した結果、短いメモではほぼ同点だったが長い資料ではClaudeが14点で独走、ChatGPTは10点に低下。Claudeの100万トークンコンテキストウィンドウとChatGPTの実効的な参照能力の差が、抜け漏れという形で顕在化した。ただし長文対応力と構造化出力は別の変数で、章立てテンプレートの明示が別途必要。

Sonnet 4.6 から Sonnet 5 への移行時のトークン数変化を実測した結果、日本語入力は完全に不変（1.000倍）だが、英語は1.28〜1.46倍増加することが判明。出力トークンはタスク依存で増減し、日本語チャットの総コストは−7〜+12%程度の変動にとどまると推定される。API 計測時の固定オーバーヘッドを除去する手法も実装例を交えて解説。

Claude Certified Architect – Foundations 試験の5つのDomain から各1問、合計5問の非公式演習問題を公開ドキュメントをもとに作成。英文問題と日本語訳、併記選択肢、解説をセットで提供し、試験本番の英語のみ出題に対応した学習教材。Agent設計、MCP統合、Prompt最適化、APIセキュリティ、評価戦略を網羅。