# 旭格 GEO 优化工作室 - Robots.txt
# 欢迎所有搜索引擎和 AI 爬虫抓取本站内容

# ============================================
# 通用规则：允许所有爬虫
# ============================================
User-agent: *
Allow: /

# ============================================
# 国际 AI 平台爬虫
# ============================================

# OpenAI (ChatGPT / Sora)
User-agent: GPTBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: OAI-SearchBot
Allow: /

# Google (Gemini / AI Overview)
User-agent: Google-Extended
Allow: /

User-agent: Googlebot
Allow: /

# Anthropic (Claude)
User-agent: ClaudeBot
Allow: /

User-agent: Claude-Web
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-User
Allow: /

# Perplexity
User-agent: PerplexityBot
Allow: /

User-agent: Perplexity-User
Allow: /

# Microsoft (Bing / Copilot)
User-agent: bingbot
Allow: /

# Common Crawl (被多个模型训练使用)
User-agent: CCBot
Allow: /

# Apple (Apple Intelligence)
User-agent: Applebot
Allow: /

User-agent: Applebot-Extended
Allow: /

# Meta AI
User-agent: Meta-ExternalAgent
Allow: /

User-agent: meta-externalagent
Allow: /

User-agent: facebookexternalhit
Allow: /

# Amazon (Alexa / Rufus)
User-agent: Amazonbot
Allow: /

# ============================================
# 国内 AI 平台爬虫
# ============================================

# DeepSeek
User-agent: DeepBot
Allow: /

User-agent: DeepSeekBot
Allow: /

# 字节跳动 (豆包 / 即梦 / 扣子)
User-agent: Bytespider
Allow: /

User-agent: DoubaoBot
Allow: /

# 月之暗面 (Kimi)
User-agent: MoonshotBot
Allow: /

# 百度 (文心一言)
User-agent: Baiduspider
Allow: /

User-agent: BaiduMobaider
Allow: /

# 腾讯 (混元)
User-agent: TencentBot
Allow: /

# 阿里巴巴 (通义千问 / 夸克)
User-agent: AlibabaBot
Allow: /

User-agent: QwenBot
Allow: /

User-agent: YisouSpider
Allow: /

User-agent: QuarkBot
Allow: /

# 华为 (小艺)
User-agent: PetalBot
Allow: /

# 搜狗
User-agent: Sogou
Allow: /

# 360
User-agent: 360Spider
Allow: /

# ============================================
# Sitemap / LLM 索引
# ============================================
Sitemap: https://xgtxgeo.com/sitemap.xml
# LLM 友好索引文件（供 AI 引擎读取）
# https://xgtxgeo.com/llms.txt