パフォーマンス

Zenn

Claude APIで長いプロンプトを扱う際、初回トークンの応答時間（Time-to-First-Token）を短縮する事前ウォームアップ術が紹介された。ユーザーリクエスト前にシステムプロンプトをキャッシュに書き込むことで、実際のリクエスト時にはキャッシュがヒットし高速応答が実現する。

タグ: パフォーマンス