見れば分かるのに、10回とも見つけられなかった——Claude の再探索失敗から考える AI エージェントの観測設計

Claude Sonnet にブラウザ操作ツールのみを与え、Google マップ上のコーヒーショップ 60 件の情報収集をさせた。エージェントは全件で完全なデータを取得したが、1 件あたり 19～54 万処理トークン・23～35 秒要した一方、Playwright スクリプトは 1 件あたり 6～14 秒・トークン消費ゼロ。コストと精度のトレードオフを実測。

Claude が Lean 証明支援系言語を用いて、フェルマーの最終定理の完全な計算機検証済み証明を約 11 日間ほぼ自律的に生成した。人間の監督を最小限に、長時間にわたるエージェント型タスク遂行が成立し、形式手法と LLM の組み合わせワークフローの実用性が示された。

Agentic Loop 実装でのトークン爆発リスクを、小規模対照実験と実際の大規模タスク生ログで検証。静的ガードレール（テスト・コンパイラ・型チェック等）の導入は、トークン消費量の抑制より反応速度向上に効果があり、無限ループ・コンテキスト溢れという構造的リスクを軽減することが判明。単純な仮説では説明できない実装上の考慮点を実データで示す。

Anthropicが Claude を使ってタンパク質結合体をゼロから設計し、15種類の標的のうち14種類で成功したと報告。注目すべきは、LLMが単に知識を答えるのではなく、設計・計算・結果分析・改善を反復する Scientific Agent として機能したこと。Coding Agent と同じく、フィードバックを使った探索能力が重要になる段階へ進んでいる。