
社内AIの信頼回復:プロンプト修正より検索の作り直しが効いた理由
Qiita社内 SaaS の問い合わせ AI が根拠のない回答(ハルシネーション)で信頼を失い、プロンプトで「分かりません」と言わせても採用率は上がらなかった。ハイブリッド検索(キーワード×ベクトル)、Claude Haiku によるリランキング、根拠リンク表示の 3 段階で検索品質を改善した結果、採用率が 35% から 62% に上昇し、LLM モデルのアップグレードより検索戦略の最適化が有効だった。
3 件の記事
このタグの RSS
社内 SaaS の問い合わせ AI が根拠のない回答(ハルシネーション)で信頼を失い、プロンプトで「分かりません」と言わせても採用率は上がらなかった。ハイブリッド検索(キーワード×ベクトル)、Claude Haiku によるリランキング、根拠リンク表示の 3 段階で検索品質を改善した結果、採用率が 35% から 62% に上昇し、LLM モデルのアップグレードより検索戦略の最適化が有効だった。


中堅企業向けの社内問い合わせ AI を Dify で構築し、ops-rag-template として OSS 公開。5 つの Knowledge(FAQ・人事規則・経費規則・セキュリティ・マニュアル)と Claude Sonnet 4.5 を組み合わせ、ノーコードのワークフローで 20 ケースの質問に対し総合 89/100 の精度を達成。Dify Studio でパラメータ調整が可能で、運用担当者による継続的な改善が実現可能。