В мире SEO и интернет-маркетинга постоянно появляются новые «волшебные» инструменты, которые обещают взломать систему и вывести ваш сайт в топ. Один из последних таких трендов файл llms.txt. В SEO-тусовках, на профессиональных форумах и в различных телеграм-каналах всё чаще мелькают призывы срочно добавить этот файл на свой сайт, иначе нейросети не увидят ваш контент.
Звучит тревожно, правда? Особенно если вы только начали разбираться в генеративном поиске (GEO) и AI-оптимизации. Давайте разберемся, что это за зверь такой llms.txt, действительно ли он нужен вашему сайту, и почему многие опытные специалисты называют его пустышкой.
🤔 Что такое llms.txt и откуда он взялся?
Начнём с примера, допустим, ваш сайт это огромная библиотека, а поисковики, как опытные библиотекари, они знают, как найти нужную книгу по каталогу (sitemap.xml) и понимают, в какие отделы разрешено заходить (robots.txt).
А теперь в эту библиотеку заходят не обычные читатели, а студенты-ботаники (большие языковые модели LLM), которые хотят мгновенно выучить всё содержимое, но не знают, с чего начать. Чтобы им помочь, в сентябре 2024 года Джереми Ховард, сооснователь Answer.AI и известный AI-исследователь, предложил размещать на сайте специальный файл-шпаргалку /llms.txt.
По задумке, llms.txt — это простой Markdown-файл в корне вашего сайта (например, вашсайт.ru/llms.txt), в котором вы кратко описываете, о чём ваш сайт, и даёте ссылки на самые важные страницы. Вместо того чтобы нейросети самой перелопачивать весь ваш HTML-код, навигацию и баннеры, вы ей как бы говорите: «Смотри, вот тут самое вкусное, читай это».
Идея, на первый взгляд, здравая. Мы же уже используем sitemap.xml для поисковиков и robots.txt для управления ботами. Почему бы не сделать аналогичный файл и для нейросетей?
Вот как мог бы выглядеть файл llms.txt для интернет-магазина:
# llms.txt
## Документация
— /api.md — описание API, методы авторизации, примеры запросов.
— /quickstart.md — краткое руководство для разработчиков.
## Политика
— /terms.md — условия использования сервиса.
— /returns.md — информация о возврате товаров.
## Каталог
— /catalog.md — структурированный список категорий товаров.
— /sizing-guide.md — таблица размеров для всех категорий.
⚠️ Почему llms.txt — «это велосипед»?
Звучит логично, но у этой логики есть одно большое «но», многие эксперты считают эту идею бесполезной как минимум по трём причинам.
Первая причина: всё уже придумано до нас
У нас уже есть прекрасно работающие инструменты для общения с роботами. sitemap.xml отлично справляется с задачей сообщить поисковикам о всех страницах сайта. robots.txt позволяет управлять тем, какие боты и в какие папки могут заходить. Добавление третьего файла с частично пересекающимися функциями только создает путаницу и лишнюю работу для веб-мастеров.
Вторая причина: нейросетям это не нужно
Это самый главный и сокрушительный аргумент. Создатели llms.txt исходили из предположения, что нейросетям будет сложно переваривать обычный HTML-код. Но это предположение не соответствует действительности.
Современные большие языковые модели, такие как GPT-4, Claude или Gemini, прекрасно умеют читать и анализировать HTML-страницы. Они легко отделяют основной контент от навигации, рекламы и прочего мусора. Более того, их контекстные окна (количество информации, которое они могут обработать за раз) стремительно растут. Через год-два они будут читать и понимать структуру сайта не хуже, а возможно, и лучше человека. Создавать для них отдельный упрощенный файл, всё равно что писать шпаргалку для студента, который уже знает материал наизусть.
Третья причина: это не поддерживают те, для кого это создавалось
Если вы создаете инструмент для нейросетей, логично было бы сначала договориться с разработчиками этих нейросетей: OpenAI, Google, Anthropic. Но этого не произошло.
Ни один из крупных игроков, ни OpenAI, ни Google, ни Anthropic, официально не подтвердил, что их модели используют файлы llms.txt. Google упомянула этот формат в своем протоколе Agent2Agent (A2A), но это похоже на то, как если бы вы вставили одну неработающую деталь в другую, тоже неработающую, толку от этого ноль.
🗣️ Что говорит Google?
Пожалуй, самый авторитетный источник в вопросах поисковой оптимизации это команда Google Search Relations. И их мнение по поводу llms.txt однозначно.
Джон Мюллер, известный представитель Google, неоднократно высказывался на эту тему, и его комментарии сложно назвать лестными. Он сравнил llms.txt с печально известным мета-тегом keywords, который давно и бесповоротно умер и никак не влияет на ранжирование.
Он назвал создание отдельных Markdown-страниц для ботов глупой идеей. По его словам, файлы llms.txt не нужны для видимости в AI-функциях поиска Google. Более того, в официальном руководстве по оптимизации для генеративного поиска Google прямо говорится, что llms.txt можно пропустить, и это в списке того, что не нужно делать.
Основная претензия Google заключается в том, что такой файл не помогает моделям отличать хорошие сайты от плохих. Любой владелец сайта может написать в llms.txt всё, что угодно, даже если на самом деле на сайте этого нет. Это создает почву для манипуляций и спама. В отличие от HTML-контента, который видит и пользователь, и бот, llms.txt — чисто технический файл, и обычный посетитель никогда не увидит. А значит, его сложнее проверить на достоверность.
📊 А что в реальности?
Теория это хорошо, но давайте посмотрим на практику. Если llms.txt такой полезный, его должны активно скачивать боты, верно?
Анализ серверных логов и данные из открытых источников показывают обратную картину. По некоторым данным, из сотен миллионов запросов AI-ботов лишь ничтожная доля приходится на файлы llms.txt. Это статистически незначимая величина, говорящая о том, что боты просто игнорируют этот файл.
Почему так происходит? Ответ прост: ботам это не нужно. Они и так справляются со своей задачей, сбором и анализом контента. Создавать для них отдельную карту сайта в ущербном Markdown-формате, как пытаться накормить льва с ложечки, когда он сам прекрасно охотится.
🤷 Кто же тогда продвигает этот стандарт?
Если сам файл не нужен, почему о нём так много говорят? Здесь в игру вступает классический маркетинговый эффект.
Во-первых, инструменты для SEO-аудита, такие как Semrush, начали добавлять проверку наличия llms.txt в свои отчеты. Они позиционируют это как «риск» быть неправильно понятым AI-системами. Веб-мастер видит в отчете красную ошибку, начинает паниковать и тратить время на создание файла, который на самом деле никому не нужен.
Во-вторых, различные CMS и плагины для SEO поспешили добавить функцию генерации llms.txt в свои продукты, чтобы казаться более современными и «AI-ready». Это создает ложное впечатление, что стандарт активно развивается и поддерживается.
В-третьих, сам автор идеи, Джереми Ховард, создал сайт llmstxt.org с «документацией» и даже придумал логотип. Но наличие сайта и логотипа не делает предложение официальным стандартом. Это просто хорошо оформленная идея, не более того.
На вопрос, кто из крупных компаний официально поддерживает llms.txt, ответ один — никто. Список компаний-сторонников пуст.
💡 Что на самом деле работает?
Если llms.txt это пустышка, на что же тогда тратить время и ресурсы? Многие эксперты сходятся во мнении, что фундамент успешного продвижения в эпоху AI-поиска остается прежним — классический SEO, но с небольшими нюансами.
Вот три кита, на которых держится видимость сайта для нейросетей:
Техническое SEO
Никакой llms.txt не заменит чистый, семантически верный HTML-код. Если ваша верстка сломана, а контент зашит в JavaScript, нейросети будет сложно его прочитать. Убедитесь, что:
- Ваш сайт быстро загружается.
- У вас правильно настроен txt и есть актуальный sitemap.xml.
- Используется Schema-разметка (JSON-LD), она помогает машинам лучше понимать суть вашего контента (это товар, статья, отзыв или рецепт?).
Контентная стратегия
Нейросети, как и люди, ищут ответы на конкретные вопросы. Ваша задача дать эти ответы максимально полно, структурированно и понятно.
- Пишите для людей, а не для роботов.
- Отвечайте на реальные запросы вашей аудитории.
- Структурируйте текст с помощью заголовков (H1, H2, H3), списков и таблиц.
- Демонстрируйте свою экспертизу, нейросети все лучше распознают авторитетные источники.
Визуальный контент
Нейросети научились отлично понимать текстовый контент, но изображения и видео до сих пор остаются для них темным лесом, и индустрии стоило бы сосредоточиться на индексации визуального контента.
Создание качественных, семантически богатых описаний для изображений и транскрипция видео, вот где сейчас находится настоящий потенциал для роста в AI-поиске. Это та область, где вы можете реально обойти конкурентов.
⚖️ Так ставить llms.txt или нет?
Если вы дочитали до этого места, ответ, скорее всего, очевиден. С точки зрения чистого прагматизма, создание файла llms.txt — это пустая трата времени. Он не дает никаких гарантий, не поддерживается лидерами рынка и игнорируется ботами.
Мир SEO полон мифов, и llms.txt яркий пример того, как красивая идея, подкрепленная маркетингом, может создать шумиху там, где ее быть не должно.
Запомните главное: не существует волшебного файла, который за один день поднимет ваш сайт в топ. Всё строится на фундаменте качественного контента, безупречной технической базы и понимании потребностей вашей аудитории.
Сосредоточьтесь на том, что действительно работает. Создавайте полезный контент, следите за техническим состоянием сайта, и ваши усилия обязательно окупятся, как в глазах пользователей, так и в глазах умных алгоритмов.
А llms.txt… ну, пусть он остается тем, чем и был задуман изначально, просто экспериментом, который не нашел отклика у тех, для кого создавался.
