技術解説2026-04-11
AIクローラーのUser-Agent一覧 — GPTBot/ClaudeBot/PerplexityBotの制御方法
主要AIサービスのクローラーUser-Agent一覧とrobots.txtでの制御方法。許可・ブロックの設定例とベストプラクティス。
AIクローラー一覧
| AIサービス | User-Agent | 用途 |
|---|---|---|
| OpenAI | GPTBot | ChatGPTの検索 |
| OpenAI | ChatGPT-User | ChatGPTのブラウジング |
| Anthropic | ClaudeBot | Claudeの参照 |
| Perplexity | PerplexityBot | Perplexity検索 |
| Google-Extended | Geminiの学習 | |
| Meta | FacebookExternalHit | Meta AI |
| Apple | Applebot-Extended | Apple Intelligence |
robots.txtの設定例
全AI許可（推奨）
User-agent: *
Allow: /特定AIのみブロック
User-agent: GPTBot
Disallow: /private/AIO的なベストプラクティス
公開ページは全て許可し、管理画面やAPIのみブロック。
まとめ
AIクローラーをブロックすると、AIOスコアが大幅に下がります。特別な理由がない限り、許可するのがベストです。