🏠 首页 🔍 GEO检测 🔑 拓词工具 📝 内容评分 🧩 Schema检测 📄 llms.txt 🗺️ 网站地图 ❓ 问题地图 🛠 全部工具

🤖 AI爬虫检测

robots.txt AI配置检测

检测网站robots.txt中13种主流AI爬虫的配置状态
生成AI友好的配置模板

📖 支持检测的AI爬虫

📦

Bytespider

字节跳动/豆包

💬

GPTBot

OpenAI/ChatGPT

💬

ChatGPT-User

OpenAI

🔍

Google-Extended

Google AI

🔍

Googlebot

Google

🤖

ClaudeBot

Anthropic

🔮

PerplexityBot

Perplexity

🍎

Applebot

Apple

🌐

CCBot

Common Crawl

🧠

DeepSeek

DeepSeek

🪆

YandexBot

Yandex

📘

Meta-ExternalAgent

Meta

📦

Amazonbot

Amazon

什么是AI爬虫友好配置？

AI爬虫是AI搜索引擎抓取网页内容的程序。正确配置robots.txt允许AI爬虫抓取您的网站，有助于提升在豆包、DeepSeek、ChatGPT等AI搜索中的曝光率。

免费咨询 18721502446

需要专业GEO优化服务？

苏州牛橙网络提供完整的robots.txt优化和AIGEO配置服务

免费咨询 18721502446

已复制到剪贴板！