自社サービスでLLMモデル出力を比較—Kimi K3 vs Fable5の日本語性能評価

Message Batches APIを使うことで、バッチ処理が通常料金の50%引きで実行できます。チケット分類など「今すぐ結果が不要」な処理をTypeScriptで実装する方法と、リクエスト投入・ポーリング・結果回収時に踏みやすい3つの落とし穴を解説。

Amazon Bedrock で同じ資料に対して異なる JSON スキーマで複数回の呼び出しをする際、構造化出力機能でスキーマを渡すとキャッシュが schema ごとに分断されることが判明。スキーマを本文に記述する方式に変更することで、4 種のスキーマで 1 つのキャッシュを共有でき、費用 28%、実行時間 31% 削減を実現。

Claude API の Citations 機能を使い、社内ドキュメント照会時に回答の根拠箇所を構造化データで取得する実装方法を解説。Python での実装例、回答が複数 text ブロックに分割される仕様、PDF のページ番号が排他的 (end が その手前まで) である点、Structured Outputs との併用が 400 エラーになる制限をカバーし、脚注形式での表示例まで提供。

WordPress に「AI Chatbot, Agents & MCP for Amazon Bedrock」プラグインを導入し、サイト自体のコンテンツから出典を示しつつ訪問者の質問に答えるチャットボットを実装する手順。AWS アカウントと Bedrock 環境、WordPress 6.4 以降が必要で、プラグイン設定後はブロック挿入やショートコード追加で各ページに配置できる。