同じコードを11回検査させても、そのCVEは0回だった ― LLM脆弱性検出の再現性実測
Hiroba による自動要約
事業買収プラットフォーム RIKKA M&A の技術 DD 機能において、既知の CVE を検出できない問題を調査した結果、LLM による脆弱性検出は実行ごとに結果が変動することが判明。critic モジュールを疑う誤診を経て、問題は生成側の不安定性にあること、および測定基盤の欠落（捨てた情報の未記録）が原因調査を困難にしていたことを発見。
読んで良かったら、シェアしてみてください。
同じタグの記事が他に 5367 件あります。
関連する記事
同じタグの記事
Claude で eval の設計と改善を自動化する `/claude-api build-eval` と `hillclimb`：「自分をだまさない」改善ループの原則
QiitaAnthropic の claude.dev ブログ記事を解説。eval 設計の 4 条件（本番に似たタスク・強いモデルほど高得点・到達可能な余白・ばらつきの小ささ）と、Claude Code の 2 つのコマンド `/claude-api build-eval`（物差し作成）と `/claude-api hillclimb`（改善ループ）の役割・実行フローを整理。過学習や採点誤差による見かけの改善を避けながら、プロンプト最適化を自動化する方法を示す。
Claude Sonnet 5.5 の性能実測｜6つの Node.js 課題で Opus 5 の 0.35 倍の処理時間、成功率は全モデル同等
QiitaSonnet 5.5・Sonnet 5・Opus 5.5・Opus 5・Fable 5.1 の 5 モデルで Node.js の課題 6 つを 3 回ずつ計 90 回実行。全モデルが 18/18 で成功率は同等だが、Sonnet 5.5 は Opus 5 比で処理時間 0.35 倍・API 費用 0.28 倍と大幅に高速・低コスト化。ただし課題が易しかったため難度の高い作業での実力差は測定されていない。
Claude Sonnet 5.5は単価据え置きで最大3割安い理由と、Opus 5.5のeffort設定
Zenn9月28日公開のClaude Sonnet 5.5は単価据え置き（入力$2/出力$10）ながら、使用トークン数削減により最大3割安くなる。Opus 5.5はeffortの既定値が高から中に変更されたため、前バージョンの設定を踏襲すると応答が長く高額になる。キャッシュ活用度が高いほど価格差が縮まる特性がある。
Claude Code v2.1.296 の主要アップデート - サブエージェント機能強化と Read ツールの allow_large 追加
DevIOClaude Code v2.1.296（10月9日リリース）では 79 件の変更が実施されました。サブエージェント向けに autoCompactWindow と CLAUDE_CODE_WORKFLOW_SUBAGENT_MODEL を追加し、Read ツールに allow_large オプションを実装。Shift-JIS など非 UTF-8 ファイルの編集時の不具合修正とセキュリティ改善も含まれます。