Vision LLM に文字を読ませると、自信を持って間違える
Hiroba による自動要約
PDF スキャンを Markdown に変換するツール scan2md を通じ、Claude 3 モデルとローカル LLM 5 種類の読み取り精度を比較した。読めない文字を {{…}} で囲む指示を与えると、囲みが少ないモデルほど実は誤読を黙って補正していることが判明。囲みの数はモデルの正確性を示さず、むしろ自信の有無を反映するため、本文全体との照合が不可欠。
読んで良かったら、シェアしてみてください。
同じタグの記事が他に 5391 件あります。
関連する記事
同じタグの記事
主要AI API の仕様・価格変更まとめ：Gemini モデル自動切り替え、Claude Haiku 5.5 登場、Anthropic 規約改定
QiitaGemini の gemini-3.7-flash が gemini-3.8-flash に自動ルーティングされる等、エラー無しで挙動が変わる変更が複数発生。Claude Haiku 5.5 が新公開され、入力出力トークン数が増加する可能性がある。Anthropic の利用規約が 2026 年 11 月 12 日に改定され、Claude.ai・Claude Code・API 利用者全てが対象になる。
Claude で eval の設計と改善を自動化する `/claude-api build-eval` と `hillclimb`：「自分をだまさない」改善ループの原則
QiitaAnthropic の claude.dev ブログ記事を解説。eval 設計の 4 条件（本番に似たタスク・強いモデルほど高得点・到達可能な余白・ばらつきの小ささ）と、Claude Code の 2 つのコマンド `/claude-api build-eval`（物差し作成）と `/claude-api hillclimb`（改善ループ）の役割・実行フローを整理。過学習や採点誤差による見かけの改善を避けながら、プロンプト最適化を自動化する方法を示す。
Claude Sonnet 5.5 の性能実測｜6つの Node.js 課題で Opus 5 の 0.35 倍の処理時間、成功率は全モデル同等
QiitaSonnet 5.5・Sonnet 5・Opus 5.5・Opus 5・Fable 5.1 の 5 モデルで Node.js の課題 6 つを 3 回ずつ計 90 回実行。全モデルが 18/18 で成功率は同等だが、Sonnet 5.5 は Opus 5 比で処理時間 0.35 倍・API 費用 0.28 倍と大幅に高速・低コスト化。ただし課題が易しかったため難度の高い作業での実力差は測定されていない。
Claude Sonnet 5.5は単価据え置きで最大3割安い理由と、Opus 5.5のeffort設定
Zenn9月28日公開のClaude Sonnet 5.5は単価据え置き（入力$2/出力$10）ながら、使用トークン数削減により最大3割安くなる。Opus 5.5はeffortの既定値が高から中に変更されたため、前バージョンの設定を踏襲すると応答が長く高額になる。キャッシュ活用度が高いほど価格差が縮まる特性がある。