タグ: 検証

• 

  Claude Opus 5.5で自作ゲームサイトの72局検証：将棋は全敗、リバーシやチェスも苦戦

  ZZenn

  開発者が Claude Opus 5.5 に自作ゲームサイト（〇×、リバーシ、将棋、チェス、五目並べ、ポーカーなど）72局で対戦させたところ、1対1ゲームで14勝5分23敗。将棋は0勝6敗、チェスも0勝2分4敗で、推測に反し高度な戦略ゲームで弱さが露呈。一方ばば抜きは全勝、大富豪も好成績。約2時間7分の検証でバグ報告44件も発生。

  2026/09/26Claude-Code開発検証
• 

  RAG もハーネスも無しで、9つの LLM に Oracle 運用の 18問を解かせてみた

  QQiita

  Oracle 運用ナレッジに関する 18問を RAG / ツール / ハーネスなしで Claude / Gemini / GPT など 9モデルに解かせ、モデル間の精度差を検証。実在しないビュー名・列名を含む設問により、ハルシネーションと正答を判別できるモデルの境界を特定した結果、DBA_HIST_SQL_PLAN の SNAP_ID 列の存在判定が上位 4モデルと下位 5モデルを分ける主指標となった。

  2026/08/02Claude検証上級
• 

  同じ内容・構成違いのExcelを5つの生成AIに照合させた検証

  QQiita

  異なる構造の2つのExcelファイル（明細データと集計レポート）に意図的に4箇所の不一致を仕込み、Copilot・ChatGPT・Grok・Gemini・Claudeの検出精度を比較。Claudeはコード実行（pandas）で全4箇所を正確に検出、Grokは3箇所を検出したが、全AIが識別子の表記ゆれ（Café vs Cafe）を見落とした。

  2026/07/14ClaudeAPIデータ分析