LLM ゲートウェイを自作する前に知っておきたい 5 つのアーキテクチャパターン
出典: Qiita (Claude tag)
Hiroba による自動要約
本番運用の LLM ゲートウェイ設計で頻出の 5 パターン（シンプルプロキシ、コストベースルーティング、フォールバックチェーン、eval-gated ルーティング、マルチテナント予算管理）を整理。LiteLLM / Relay などの OSS 実装を参考に、モデル選択・冗長化・品質保証・コスト管理をインフラ層で分離するアプローチを解説。
出典・元記事
Qiita (Claude tag) の記事を Hiroba が自動要約しました。元記事を読む
読んで良かったら、シェアしてみてください。
同じタグの記事が他に 5270 件あります。
関連する記事
同じタグの記事
Claude 公式認定資格は4種類。Claude Code を毎日使う側から、試験ガイドの出題範囲を読んでみた
ZennAnthropic が日本語対応を発表した Claude 公式認定資格は、Claude Partner Network 加盟企業の社員のみ受験可能な4つの試験。Claude Code やエージェントを運用する立場に最も関連するのは Architect – Foundations で、出題は Agent 設計・Claude Code・プロンプト・MCP・コンテキスト管理の5分野から構成され、本番運用での実際の判断と一致している。
Claude Code の週間枠超過で動作停止—本体を Opus に固定し副エージェントで上位モデルを活用する運用への変更記録
QiitaClaude Code デスクトップアプリで Fable の週間枠を使い切り、応答の途中でセッションが停止する事象が発生。自動フォールバック機能がないため、本体を Opus に固定し上位モデルは副エージェントのみで使用、失敗時は自動で Opus で再実行する構成に変更。使用量の事前確認と人間向けの復旧手順書の事前配置も実施。
