Claude は問題文の「父親」を見落とし「母親」と答えた――ギザギザ知能の谷を測定する
出典: Qiita (Claude tag)
Hiroba による自動要約
Qiita ユーザーが Claude Haiku / Sonnet / Opus に 42 問の問題を出題して、モデルの知識の偏りを測定。古典的な引っかけ問題と無名の仕様問題を混ぜた結果、Sonnet は「外科医=母親」という訓練済みの記憶に支配され目の前の「父親」を読み落とし、Haiku は Python の連鎖比較で日によって正誤が反転。知識が多いほど谷は深くなり、谷の位置も固定されていない可能性を示唆。
出典・元記事
Qiita (Claude tag) の記事を Hiroba が自動要約しました。元記事を読む
読んで良かったら、シェアしてみてください。
同じタグの記事が他に 3184 件あります。
関連する記事
同じタグの記事



