Amazon Bedrockで生成AI評価を実践――Operational MetricsからAgentic Metricsまで

2026年7月に Moonshot AI が Kimi K3（2.8兆パラメータ、100万トークンコンテキスト）を公開。個人が手元で実行できる規模ではないが、DeepSeek など巨大なオープンモデルの登場により、OpenAI や Anthropic などのクローズド勢の価格競争が激化し、ユーザーの利用コストが低下。オープンウェイトの意味は「個人による実行の自由」から「クローズド勢の価格を抑制する市場圧力」へ転換した。

LLM ルータを単純な難易度分類器として設計すると、キャッシュ効率、実効コスト、権限管理が崩壊する。Inkling のような新モデル追加時に耐える設計は「実行可能性層」「運転層」「復帰層」の 3 層構造で、料金表だけでなく cache_read_tokens とモデル切替回数を可視化し、チェックポイントから復帰可能にすることが必須。

AWS Bedrock で Anthropic モデル利用時、use case フォーム提出と契約締結が必須。初回呼び出し後の最大15分間は成功することもあるが、手続き未完了だと突然 ResourceNotFoundException が発生する。JP cross-region inference profile（jp.anthropic.*）を使えばデータを日本国内に閉じたまま新しい Claude を利用でき、CLI のみで設定完了でき、フォーム intendedUsers は数値文字列指定など2つのワナがある。

Claude Fable 5のアクセス制限・復旧を通じ、LLMはもはや単なるWeb APIではなく規制・安全保障が絡むインフラになった現実が露呈。開発者は「性能比較」から「モデル運用設計」へ軸足を移す必要があり、モデル直書き回避・フォールバック対応・人間承認ゲート・状態管理をコード設計に組み込むことが必須になる。