夜行书生 主页归档分类标签留言板运营历史关于作者
如何禁止OpenAI爬取或部分爬取
|转录归档
字数总计: 58|阅读时长: 1 分钟

额，作用就是防止 OpenAI 爬虫抓取你网站的内容去训练 AI …

OpenAI 文档 GPTBot 禁止抓取网站的说明，修改文件 robots.txt。

1
2
3
User-agent: GPTBot

Disallow: /

或者部分爬取

1
2
3
4
5
User-agent: GPTBot

Allow: /directory-1/

Disallow: /directory-2/
文章作者: 夜行书生
文章链接: https://yexingshusheng.com/2023/08/ru-he-jin-zhi-openai-pa-qu-huo-bu-fen-pa-qu.html
版权声明: 本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来自 夜行书生！
2023202308OpenAI