🔍 GEO检测 🔑 拓词工具 ❓ 问题地图 📝 内容评分 🧩 Schema检测 🤖 robots检测 📄 llms.txt 🛠 工具总览
🤖 AI爬虫检测

robots.txt AI配置检测

检测网站robots.txt中13种主流AI爬虫的配置状态
生成AI友好的配置模板

📖 支持检测的AI爬虫
📦
Bytespider
字节跳动/豆包
💬
GPTBot
OpenAI/ChatGPT
💬
ChatGPT-User
OpenAI
🔍
Google-Extended
Google AI
🔍
Googlebot
Google
🤖
ClaudeBot
Anthropic
🔮
PerplexityBot
Perplexity
🍎
Applebot
Apple
🌐
CCBot
Common Crawl
🧠
DeepSeek
DeepSeek
🪆
YandexBot
Yandex
📘
Meta-ExternalAgent
Meta
📦
Amazonbot
Amazon

什么是AI爬虫友好配置？

AI爬虫是AI搜索引擎抓取网页内容的程序。正确配置robots.txt允许AI爬虫抓取您的网站，有助于提升在豆包、DeepSeek、ChatGPT等AI搜索中的曝光率。

免费咨询 18721502446

需要专业GEO优化服务？

苏州牛橙网络提供完整的robots.txt优化和AIGEO配置服务

免费咨询 18721502446

© 2026 苏州牛橙网络 · robots.txt AI检测工具 · 官方电话 18721502446

已复制到剪贴板！