LiteLLMとLangGraphで3層のGuardrailsを組み込んでLLMの入出力を守る

iteLLM と LangGraph を組み合わせて Human-in-the-Loop 機能を実装し、エージェントの実行中に人間が判断を介入させる仕組みを構築。エージェントの意思決定を制御・検証したい開発者向け。

LiteLLMとLangGraphのCheckpoint機能を組み合わせ、スレッド単位の会話履歴をデータベースに永続化する実装方法を解説。マルチスレッド会話アプリケーションで状態管理が必要な開発者に向けた技術情報。

LiteLLM と LangGraph を用いて、Plan-and-Execute（計画後に実行）と Reflexion（実行結果を反省・改善）の 2 つのエージェント パターンを実装。各パターンの構築手順と使い分けを解説。

知識共有プラットフォーム「Brain」に導入した CS 向け AI チャットが、リリース 47 時間で 238 件利用され、97.9% のカバー率を達成。人間対応の問い合わせは 67.7% 減少した。本記事では、このチャットを実装するアーキテクチャ、ECS Service の分離設計、SSE による streaming、RAG の外部ストレージ選定など、技術的な意思決定と根拠を解説。