技術解説2026-04-10
robots.txtでAIクローラーを制御する方法 — ブロックしてませんか？
robots.txtの設定がAIクローラーに与える影響を解説。ChatGPT、Claude、PerplexityのクローラーUAと適切な許可設定。
AIクローラーのUser-Agent
各AIサービスのクローラーは、以下のUser-Agentでアクセスします：
| AIサービス | User-Agent |
|---|---|
| OpenAI | GPTBot |
| Anthropic | ClaudeBot |
| Perplexity | PerplexityBot |
| Google AI | Google-Extended |
問題: 全体ブロック
Disallow: / の設定は、すべてのクローラー（AIを含む）をブロックします。これはAIOスコアの「robots.txt」項目で減点対象です。
推奨設定
User-agent: *
Allow: /
Disallow: /api/
Disallow: /dashboard
Disallow: /admin
Sitemap: https://あなたのサイト.com/sitemap.xml公開ページはすべて許可し、管理画面やAPIのみブロックするのがベストプラクティスです。
AIクローラーだけブロックしたい場合
特定のAIクローラーだけブロックすることも可能ですが、AIO的にはおすすめしません。
User-agent: GPTBot
Disallow: /まとめ
robots.txtの設定を見直すだけで、AIOスコアが最大8点改善します。公開ページをAIクローラーに開放しましょう。