FrontierHarness Eval: Claude Code は同等のパス率達成に 5.6 倍のコスト
Hiroba による自動要約
FrontierHarness v1.0 により、ソフトウェア開発タスクで 12 個の異なる設定を同一条件下で評価したところ、Claude Code と DSH Creator は両方とも 63% のパス率を達成したが、Claude Code は 1 タスクあたり $18.34 の費用が必要で DSH Creator の $3.28 の 5.6 倍となった。コスト効率 (Exo Harness $1.05) から品質重視 (Codex 66.7% パス率) まで、ツール選択はユースケースの優先度によって異なる。
読んで良かったら、シェアしてみてください。
同じタグの記事が他に 4267 件あります。
関連する記事
同じタグの記事
「Vibe Coding」はもう卒業！プラグイン「Superpowers」でClaude Codeに開発SOP を導入する
QiitaClaude Code で AI がいきなりコードを書く「Vibe Coding」の問題を解決するオープンソースプラグイン「Superpowers」を紹介。仕様の明確化・設計・テスト駆動開発・レビューを強制する 7 フェーズパイプラインにより、手戻りの削減と品質の安定化を実現する。
Claude Code だけで要件定義から本番デプロイまで完走した話 - サモエドカフェのファンサイトを実働10時間で作った
Zenn個人開発者が Claude Code を要件定義から本番デプロイまで使い、サモエドカフェのファンサイト「アルファン」を実働10時間未満で完成させた。並列エージェントで7件の Issue を同時処理し、本番バグとデータ消失も AI の支援で復旧。開発のプロセスが「コード実装」から「仕様判断と品質確認」にシフトした実例
Claude「Computer Use」を本番環境で安定稼働させるための実践ガイド
ZennAnthropic公式がComputer Use機能を本番環境で信頼性高く動作させるためのノウハウを公開。クリック精度改善、Thinking Effortの選択、コンテキスト管理、デモンストレーション記録など4つのポイントを通じ、UIを自律操作するエージェントの実装と運用方法を解説している。
Claude Code が「他は何も変えないで」という指示を3回に2回無視する理由を測定した
QiitaClaude Code で「ボタンの色だけ青にして、他は何も変えないで」と指示したとき、テストと CHANGELOG が存在するプロジェクトでは 3 回中 2 回、指示に従わず他のファイルも改変した。改変の範囲は指示がなかったときと同じだった。問題は「やりすぎ」ではなく、連動するファイル（テストや CHANGELOG）が存在するかどうかで、Claude Code の挙動が非決定的に割れること。