robots.txt 生成器

可视化配置AI爬虫和搜索引擎爬虫的访问规则，轻松生成符合GEO优化的robots.txt文件

快速配置

AI爬虫配置

AI公司爬虫（控制是否允许AI爬虫访问您的网站）

🤖

GPTBot

OpenAI / ChatGPT

🧠

ClaudeBot

Anthropic / Claude

🔍

Google-Extended

Google AI / Gemini

💡

PerplexityBot

Perplexity AI

🍎

Applebot-Extended

Apple AI

📚

CCBot

Common Crawl（互联网索引）

🎵

Bytespider

TikTok / 字节跳动

📘

Meta-ExternalAgent

Meta AI

🔬

CohereBot

Cohere AI

常规搜索引擎爬虫（默认允许）

🌐

Googlebot

Google搜索索引

✅ 允许

🔷

Bingbot

Bing搜索索引

✅ 允许

自定义规则

添加更多User-agent规则

生成的 robots.txt

规则说明

📝 User-agent: 指定规则适用于哪个爬虫，使用 * 表示适用于所有爬虫

✅ Allow: 允许爬虫访问的路径（注意：Allow必须放在Disallow之前才能生效）

🚫 Disallow: 禁止爬虫访问的路径

🗺️ Sitemap: 指向网站地图位置，帮助爬虫发现所有页面

💡 GEO建议: 如果希望内容被AI搜索引用，建议允许GPTBot、ClaudeBot等主流AI爬虫访问

robots.txt 生成器

注册后即可免费使用

设置登录密码