User-agent: *
Allow: /
Disallow: /tools/
Disallow: /assets/originals/
Disallow: /sandbox/

User-agent: Yandex
Allow: /
Disallow: /tools/
Disallow: /assets/originals/
Disallow: /sandbox/
Clean-param: utm_source&utm_medium&utm_campaign&utm_content&utm_term&utm_referrer&yclid&gclid&ymclid&_openstat&from&erid

# ── ИИ-краулеры ────────────────────────────────────────────────────────────
# Правило User-agent:* их и так пропускает, но перечисляем явно: во-первых,
# это фиксирует решение (хотим попадать в ответы ChatGPT, Claude, Perplexity,
# Алисы), во-вторых — защищает от случайного Disallow, добавленного в общую
# секцию. Чтобы закрыться от обучения, но остаться в ответах, достаточно
# сменить Allow на Disallow у GPTBot, ClaudeBot, Google-Extended и CCBot,
# оставив Allow у *-SearchBot и *-User.

# OpenAI: обучение / поисковый индекс / переход по ссылке в диалоге
User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
Allow: /

# Anthropic: обучение / поисковый индекс / переход по ссылке в диалоге
User-agent: ClaudeBot
User-agent: Claude-SearchBot
User-agent: Claude-User
Allow: /

# Perplexity, Google Gemini, Apple Intelligence, Meta AI, Common Crawl
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Allow: /

# Нейро и Алиса Яндекса ходят под отдельным агентом
User-agent: YandexAdditional
Allow: /
Disallow: /tools/
Disallow: /assets/originals/
Disallow: /sandbox/

Sitemap: https://thereplica.ru/sitemap.xml