Jev（TypeSafe）で業務依頼の振り分けを試したら正解率 22% だった

フリーランスエンジニアの案件探しにおける求人票照合・適合判定・応募文作成を自動化するツールの開発事例。スキルシートと希望条件を事前登録すれば、Claude の tool_choice で構造化出力を強制し、経験年数判定を閾値ベースで後処理することで判定精度を高める実装方式を紹介している。

AWS IAM の customer managed policy を動的に書き換えることで、Gateway を経由しない Bedrock Runtime 呼び出しも含めて高額モデルを自動拒否する構成を実装・測定。ユーザー予算超過から IAM 反映までの遅延は約 11 秒で、invocation log 集計（数秒）と policy 更新（数秒）が支配的。cross-Region inference profile や段階的な制限にも対応可能。

企業内向けに Amazon Bedrock を使ったセキュアな GenAI チャットアプリを設計・実装した事例。ECS Fargate、ALB、Cognito、DynamoDB、Bedrock などの AWS サービスをどのように役割分担させ、ガバナンス・セキュリティ・運用性を両立させるかについて、アーキテクチャレベルの設計思想を解説。完全閉域構成での実装ポイントも補足。

著者が半年前に実装したprompt caching最適化（13,000トークンのプロンプト膨張で入力料金を10分の1に削減）が、本番環境3週間の運用でキャッシュヒット0だったことが OpenTelemetry の計装で判明。同日の2分差の2つのAPI呼び出しで原価が2.5倍異なる事例を通じ、推定コスト計算と実測の乖離、および計装の重要性を実証している。