ツール結果に紛れた偽の停止指示を観測した話 — AIエージェントへの指示注入とその検出
Hiroba による自動要約
Claude Code で複数の MCP サーバを接続した高自律運用中、ファイル作成に成功したにもかかわらず「課金制限で失敗」と装った <system-reminder> タグが割り込む事象を観測。エージェントは実際の戻り値に基づき虚偽指示を検出し、正しく報告。ツール結果に含まれる指示は検証対象とし、実結果とユーザー依頼との整合性を照合する設計の有効性を報告。
読んで良かったら、シェアしてみてください。
同じタグの記事が他に 5703 件あります。
関連する記事
同じタグの記事
Claude Code v2.1.303〜v2.1.310｜sandbox の外でシェル起動ファイルが実行されていた問題｜週刊Changelog解説
Qiitav2.1.309 で、sandbox 内の Bash がシェル起動ファイルを sandbox 外で実行していたバグを修正。cd を含む複合コマンドや subshell のリダイレクトなど、Bash の permission 判定の見逃しも同時に解消。`sed -i` の扱い変更、HTTP MCP の二重送信修正、`--worktree` のコミット消失修正も含む 8 版分の解説。sandbox や permission ルールの利用者向け。
Claude Code でレーザー空撃ち射撃ゲームを開発：Webカメラがモニターを監視し着弾を採点 (オープンソース・無料)
RedditClaude Code で約2週間かけて開発された、モニターを標的にするレーザー空撃ち射撃ゲーム ScreenPlink の事例。コードはほぼ全て Claude Code が記述。実行中アプリの計測値を Claude が直接参照できる in-process MCP サーバーの導入でデバッグ時間を数時間から約90秒に短縮し、326件の mutation testing でテストの検出力も担保。物理世界を扱うアプリを Agent に開発させたい開発者向け。
Claude Code v2.1.303 - v2.1.310 リリースノートまとめ
QiitaClaude Code v2.1.303〜v2.1.310 の変更点を整理した記事。サンドボックスと Bash パーミッションチェックの穴埋め、Bedrock / Vertex / Foundry での Monitor ツール対応、`/auto-mode-setup` 追加、`claude_code.safety_event` OpenTelemetry イベント追加などを収録。`/usage` の改善や MCP の `allowedMcpServers` 挙動変更も含み、エンタープライズ環境の運用者やプラグイン開発者に影響大。
Claude Code v2.1.305〜v2.1.306 の主要アップデート - allowedMcpServers の挙動変更と tool search 回帰修正
DevIOClaude Code v2.1.305〜v2.1.306 で計 40 件の変更。v2.1.304 で生じた、Bedrock・Vertex や社内ゲートウェイ経由で tool search が拒否されると全リクエストが失敗する回帰を修正。多数の MCP ツール使用時に API エラーが「prompt is too long」に置き換わる問題も解消。managed-mcp.json の一部 stdio サーバーが allowedMcpServers でフィルタされなくなる破壊的変更があり、管理者は deniedMcpServers での対応が必要。`/usage` の警告は `f` キーで適用できる修正案として表示。