robots.txt で AI のロボットを「学習は止めて、検索は通す」に書き分ける
出典: Zenn (Claude topic)
Hiroba による自動要約
robots.txt で AI クローラーを学習用と検索用に書き分ける方法の解説。OpenAI と Anthropic は GPTBot / ClaudeBot と OAI-SearchBot / Claude-SearchBot で名前が分かれ個別制御が可能な一方、Google-Extended は学習とグラウンディングを分離できない点を整理。名指しグループで `User-agent: *` の規則が効かなくなる誤りなど、サイト運営者向けの実例付き。
出典・元記事
Zenn (Claude topic) の記事を Hiroba が自動要約しました。元記事を読む
読んで良かったら、シェアしてみてください。
同じタグの記事が他に 6259 件あります。
関連する記事
同じタグの記事
Japan IT Week 秋 2026 登壇報告「Claude Codeで新規事業を伸ばせるか？Zennの試行錯誤の記録」
DevIOZennチームが Claude Code 前提で開発プロセスを見直し、開発メンバー3人のまま月間マージ済みプルリクエスト数を151件から307件へ増加させた事例。git worktree による並列開発、virtual monorepo 化、GitHub Actions での AI レビューの3施策を紹介。速度向上に伴うセキュリティ不安や把握漏れへの対処として、朝会での仕様・影響確認も解説。少人数チームの開発リード向け。
AIのハーネスでは防げなかった誤り。直したのは、仕様の1文だった
Qiita経費申請チェック関数を題材に、Claude Code (`claude -p`) で haiku / sonnet を動かし、機能リストや進捗ファイルによるハーネスの有無で比較した検証記事。ルール18個では「空白だけの文字列を空とみなすか」の1点で誤った完了が残り、ハーネスありでも防げなかった。仕様に1文を足すと20回すべて全件合格。仕様の曖昧さは業務側が決めるべき事項という指摘。エージェント運用や仕様設計に関わる開発者向け。