RAG もハーネスも無しで、9つの LLM に Oracle 運用の 18問を解かせてみた
QQiitaOracle 運用ナレッジに関する 18問を RAG / ツール / ハーネスなしで Claude / Gemini / GPT など 9モデルに解かせ、モデル間の精度差を検証。実在しないビュー名・列名を含む設問により、ハルシネーションと正答を判別できるモデルの境界を特定した結果、DBA_HIST_SQL_PLAN の SNAP_ID 列の存在判定が上位 4モデルと下位 5モデルを分ける主指標となった。
