介紹
目前各大AI平台都會抓取各網站的內容來學習，但很多都會暴力爬取資料，讓網站效能變差，甚至影響網站流量的限制，以知名的Open AI的GPTBot為例，以下指定就可以禁止GPTBot來爬取您的網站內容。
OpenAI
1User-agent: GPTBot
2Disallow: /
其他Bot
1User-agent: Google-Extended
2Disallow: /
3
4User-agent: ChatGPT-User
5Disallow: /
6
7User-agent: CCBot
8Disallow: /
9
10User-agent: anthropic-ai
11Disallow: /
12
13User-agent: ImagesiftBot
14Disallow: /
15
16User-agent: Diffbot
17Disallow: /
18
19User-agent: Omgilibot
20Disallow: /
21
22User-agent: Omgili
23Disallow: /
24
25User-agent: cohere-ai
26Disallow: /
27
28User-agent: FacebookBot
29Disallow: /
30
31User-agent: Bytespider
32Disallow: /