# robots.txt for OneFill.ru
# https://onefill.ru/robots.txt
#
# Одна группа правил для ВСЕХ ботов: Яндекс, Google, Bing и AI-краулеры
# (GPTBot, ClaudeBot, PerplexityBot, OAI-SearchBot, Google-Extended,
# Applebot-Extended, CCBot и др.) читают её же — публичное открыто, кабинет закрыт.
# AI-ботам приветствуется весь публичный контент; отдельных ограничений для них нет.

# =============================================================================
# Общие правила для всех ботов
# =============================================================================
User-agent: *
Allow: /$
Allow: /about/
Allow: /blog/
Allow: /news/
Allow: /compare/
Allow: /docs/
Allow: /contacts/
Allow: /thermometer/
Allow: /subscriptions/offer/
Allow: /subscriptions/privacy/
Allow: /subscriptions/upgrade/
Allow: /static/
Disallow: /admin/
Disallow: /api/
Disallow: /users/
Disallow: /marketplaces/
Disallow: /products/
Disallow: /sales/
Disallow: /analytics/
Disallow: /subscriptions/
Disallow: /warehouse/
Disallow: /accounts/
Disallow: /dashboard/
Disallow: /media/
# Чистка UTM-хвостов из URL для Яндекса (межсекционная директива; прочие боты игнорируют)
Clean-param: utm_source&utm_medium&utm_campaign&utm_content&utm_term

# =============================================================================
# Скрапер-боты без пользы для нас — полная блокировка
# =============================================================================
User-agent: Bytespider
Disallow: /

User-agent: AhrefsBot
Disallow: /

User-agent: SemrushBot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: DotBot
Disallow: /

User-agent: BLEXBot
Disallow: /

User-agent: PetalBot
Disallow: /

# =============================================================================
# Карта сайта
# =============================================================================
Sitemap: https://onefill.ru/sitemap.xml