# robots.txt для itrex.ru
# Обновлён 04.08.2026: снята пометка «черновик»; секция YandexBot приведена
# к общему набору запретов и дополнена Clean-param.
# Деплой: FTP в /www/itrex.ru/robots.txt
# Машиночитаемая выжимка для AI-ассистентов: https://itrex.ru/llms.txt

# ============================================================
# Стандартные правила (как было)
# ============================================================

User-agent: *

# Запрет доступа к административной панели
Disallow: /wp-admin/

# Разрешение доступа к файлу для AJAX-запросов (важно для многих плагинов)
Allow: /wp-admin/admin-ajax.php

# Запрет индексации страниц поиска, фидов, архивов авторов и пагинации
Disallow: /?s=
Disallow: /feed/
Disallow: */feed$
Disallow: /*/feed/
Disallow: /author/
Disallow: /*/page/
Disallow: */amp$

# Кастомные запреты
Disallow: /topics/
Disallow: /konkurs2/
Disallow: /he/
Disallow: /de/

# Запрет на индексацию страниц с различными служебными параметрами
Disallow: /*?p=
Disallow: /*?id=
Disallow: /*?action=
Disallow: /*?option=
Disallow: /*?itemid=
Disallow: /*?limitstart=
Disallow: /*?customize_changeset_uuid=
Disallow: /*?preview=
Disallow: /*?preview_id=
Disallow: /*?noamp=
Disallow: /*?popup_preview=
Disallow: /*?placement=
Disallow: /*?url=
Disallow: /*?post_type=
Disallow: /*?page_id=
Disallow: /*?vc=
Disallow: /*?etext=

# ============================================================
# НОВЫЕ ПРАВИЛА: явное разрешение для AI-ботов (May 2026)
# Цель — попасть в ответы Perplexity, ChatGPT Search, Claude, AI Overviews
# ============================================================

# OpenAI / ChatGPT
User-agent: GPTBot
Allow: /
Disallow: /wp-admin/

User-agent: ChatGPT-User
Allow: /
Disallow: /wp-admin/

User-agent: OAI-SearchBot
Allow: /
Disallow: /wp-admin/

# Anthropic / Claude
User-agent: ClaudeBot
Allow: /
Disallow: /wp-admin/

User-agent: anthropic-ai
Allow: /
Disallow: /wp-admin/

User-agent: Claude-Web
Allow: /
Disallow: /wp-admin/

# Perplexity
User-agent: PerplexityBot
Allow: /
Disallow: /wp-admin/

User-agent: Perplexity-User
Allow: /
Disallow: /wp-admin/

# Google AI (для AI Overviews / Gemini)
User-agent: Google-Extended
Allow: /
Disallow: /wp-admin/

# Apple Intelligence
User-agent: Applebot-Extended
Allow: /
Disallow: /wp-admin/

# Common Crawl (использует для обучения моделей и AI-search)
User-agent: CCBot
Allow: /
Disallow: /wp-admin/

# Yandex AI / YandexGPT (хотя YandexBot уже разрешён через User-agent: *, явно подтверждаем)
User-agent: YandexBot
Allow: /
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /feed/
Disallow: */feed$
Disallow: /*/feed/
Disallow: /author/
Disallow: /*/page/
Disallow: */amp$
Disallow: /topics/
Disallow: /konkurs2/
Disallow: /he/
Disallow: /de/
Disallow: /*?p=
Disallow: /*?id=
Disallow: /*?action=
Disallow: /*?option=
Disallow: /*?itemid=
Disallow: /*?limitstart=
Disallow: /*?customize_changeset_uuid=
Disallow: /*?preview=
Disallow: /*?preview_id=
Disallow: /*?noamp=
Disallow: /*?popup_preview=
Disallow: /*?placement=
Disallow: /*?url=
Disallow: /*?post_type=
Disallow: /*?page_id=
Disallow: /*?vc=
Disallow: /*?etext=

# Склейка адресов с метками: без Clean-param Яндекс держит в индексе
# по нескольку копий одной страницы с разными utm/yclid.
Clean-param: utm_source&utm_medium&utm_campaign&utm_term&utm_content&yclid&_openstat&fbclid&gclid&_ga&ysclid&msclid&from&ref&source&mc_cid&mc_eid

User-agent: BingPreview
Allow: /
Disallow: /wp-admin/

# Mistral AI
User-agent: MistralAI-User
Allow: /
Disallow: /wp-admin/

# You.com
User-agent: YouBot
Allow: /
Disallow: /wp-admin/

# Cohere
User-agent: cohere-ai
Allow: /
Disallow: /wp-admin/

# ============================================================
# Sitemap
# ============================================================

Sitemap: https://itrex.ru/sitemap_index.xml