robots.txtとは？

robots.txtは、Webサイトのルートに設置するファイルで、どのクローラーがどのページにアクセスできるかを制御します。GPTBot、ClaudeBot、PerplexityBot等のAIクローラーもこのファイルを参照します。