# HotelInsider — профессиональное медиа гостиничной индустрии.
# Мы приветствуем всех поисковых и AI-агентов. Ключевые
# структурированные разделы: /index-uk/, /it-catalog/,
# /construction/, /providers/, /glossary/, /regions/.
# Машинно-читаемая карта: https://hotelinsider.ru/llms.txt

User-agent: *
Allow: /
Disallow: /admin/
Disallow: /django-admin/
Disallow: /lk/
Disallow: /questionnaire/
Disallow: /b/

# OpenAI · тренировочные данные ChatGPT
User-agent: GPTBot
Allow: /
Disallow: /admin/
Disallow: /django-admin/
Disallow: /lk/
Disallow: /*?utm_
Disallow: /*&utm_

# OpenAI · live-запросы пользователей ChatGPT
User-agent: ChatGPT-User
Allow: /
Disallow: /admin/
Disallow: /django-admin/
Disallow: /lk/
Disallow: /*?utm_
Disallow: /*&utm_

# OpenAI · индекс для ChatGPT Search
User-agent: OAI-SearchBot
Allow: /
Disallow: /admin/
Disallow: /django-admin/
Disallow: /lk/
Disallow: /*?utm_
Disallow: /*&utm_

# Anthropic · тренировочные данные Claude
User-agent: ClaudeBot
Allow: /
Disallow: /admin/
Disallow: /django-admin/
Disallow: /lk/
Disallow: /*?utm_
Disallow: /*&utm_

# Anthropic · live-запросы Claude
User-agent: Claude-Web
Allow: /
Disallow: /admin/
Disallow: /django-admin/
Disallow: /lk/
Disallow: /*?utm_
Disallow: /*&utm_

# Anthropic · агентские запросы через Claude
User-agent: Claude-User
Allow: /
Disallow: /admin/
Disallow: /django-admin/
Disallow: /lk/
Disallow: /*?utm_
Disallow: /*&utm_

# Anthropic · legacy user-agent
User-agent: anthropic-ai
Allow: /
Disallow: /admin/
Disallow: /django-admin/
Disallow: /lk/
Disallow: /*?utm_
Disallow: /*&utm_

# Perplexity · индекс для ответов
User-agent: PerplexityBot
Allow: /
Disallow: /admin/
Disallow: /django-admin/
Disallow: /lk/
Disallow: /*?utm_
Disallow: /*&utm_

# Perplexity · live-запросы пользователей
User-agent: Perplexity-User
Allow: /
Disallow: /admin/
Disallow: /django-admin/
Disallow: /lk/
Disallow: /*?utm_
Disallow: /*&utm_

# Google · тренировочные данные Gemini/Bard
User-agent: Google-Extended
Allow: /
Disallow: /admin/
Disallow: /django-admin/
Disallow: /lk/
Disallow: /*?utm_
Disallow: /*&utm_

# Google · вспомогательный краулер
User-agent: GoogleOther
Allow: /
Disallow: /admin/
Disallow: /django-admin/
Disallow: /lk/
Disallow: /*?utm_
Disallow: /*&utm_

# Apple · тренировочные данные Apple Intelligence
User-agent: Applebot-Extended
Allow: /
Disallow: /admin/
Disallow: /django-admin/
Disallow: /lk/
Disallow: /*?utm_
Disallow: /*&utm_

# Amazon · тренировочные данные Alexa/Q
User-agent: Amazonbot
Allow: /
Disallow: /admin/
Disallow: /django-admin/
Disallow: /lk/
Disallow: /*?utm_
Disallow: /*&utm_

# ByteDance · TikTok/Doubao AI
User-agent: Bytespider
Allow: /
Disallow: /admin/
Disallow: /django-admin/
Disallow: /lk/
Disallow: /*?utm_
Disallow: /*&utm_

# Meta · тренировочные данные Llama
User-agent: Meta-ExternalAgent
Allow: /
Disallow: /admin/
Disallow: /django-admin/
Disallow: /lk/
Disallow: /*?utm_
Disallow: /*&utm_

# Meta · индексация публичного контента
User-agent: FacebookBot
Allow: /
Disallow: /admin/
Disallow: /django-admin/
Disallow: /lk/
Disallow: /*?utm_
Disallow: /*&utm_

# Common Crawl · датасет, тренирует большинство LLM
User-agent: CCBot
Allow: /
Disallow: /admin/
Disallow: /django-admin/
Disallow: /lk/
Disallow: /*?utm_
Disallow: /*&utm_

# Cohere · тренировочные данные
User-agent: cohere-ai
Allow: /
Disallow: /admin/
Disallow: /django-admin/
Disallow: /lk/
Disallow: /*?utm_
Disallow: /*&utm_

# DuckDuckGo · AI-ответы
User-agent: DuckAssistBot
Allow: /
Disallow: /admin/
Disallow: /django-admin/
Disallow: /lk/
Disallow: /*?utm_
Disallow: /*&utm_

# You.com · AI-поиск
User-agent: YouBot
Allow: /
Disallow: /admin/
Disallow: /django-admin/
Disallow: /lk/
Disallow: /*?utm_
Disallow: /*&utm_

# Mistral · live-запросы Le Chat
User-agent: MistralAI-User
Allow: /
Disallow: /admin/
Disallow: /django-admin/
Disallow: /lk/
Disallow: /*?utm_
Disallow: /*&utm_

# Diffbot · структурированный сбор данных
User-agent: Diffbot
Allow: /
Disallow: /admin/
Disallow: /django-admin/
Disallow: /lk/
Disallow: /*?utm_
Disallow: /*&utm_

User-agent: Yandex
Allow: /
Disallow: /admin/
Disallow: /django-admin/
Disallow: /lk/
Disallow: /questionnaire/
Disallow: /b/
Clean-param: utm_source&utm_medium&utm_campaign&utm_content&utm_term&from

# Mail.ru — используется Дзеном для индексации RSS-фида /rss/dzen.xml
User-agent: Mail.ru
Allow: /rss/dzen.xml
Allow: /
Disallow: /admin/
Disallow: /django-admin/
Disallow: /lk/

# Semrush · продажа SEO-данных
User-agent: SemrushBot
Disallow: /

# Ahrefs · ссылочный профиль на продажу
User-agent: AhrefsBot
Disallow: /

# Majestic · ссылочный индекс
User-agent: MJ12bot
Disallow: /

# Moz · SEO-метрики
User-agent: DotBot
Disallow: /

# WebMeUp · ссылочный индекс
User-agent: BLEXBot
Disallow: /

# DataForSEO · перепродажа выдачи
User-agent: DataForSeoBot
Disallow: /

# Babbar · ссылочный граф
User-agent: Barkrowler
Disallow: /

# Serpstat · SEO-данные
User-agent: serpstatbot
Disallow: /

# ZoomInfo · сбор контактов
User-agent: ZoominfoBot
Disallow: /

# Seekport · нецелевой рынок
User-agent: SeekportBot
Disallow: /

Sitemap: https://hotelinsider.ru/sitemap.xml