Файл llms.txt — это один файл Markdown в корне вашего сайта (/llms.txt), который предоставляет AI-агентам кураторскую карту ваших самых важных страниц вместо того, чтобы заставлять их парсить полную HTML-навигацию, рекламы и скрипты.
Единственной обязательной частью файла является заголовок H1. Резюме в виде блочной цитаты, необязательные параграфы и разделы H2 с маркдаун-ссылками являются необязательными, но рекомендованы канонической спецификацией.
llms-full.txt — это отдельный сопроводительный файл, который объединяет весь текст вашего сайта в один документ Markdown — конвенция, разработанная Mintlify с Anthropic, которая позже стала частью официального предложения, и данные из документов, размещенных Mintlify, показывают, что агенты запрашивают его более чем в два раза чаще, чем llms.txt.
Создание одного вручную занимает четыре шага: составьте список ваших ключевых страниц, напишите заголовок H1 и резюме, сгруппируйте ссылки под заголовками H2 и опубликуйте файл в корне вашего сайта. Для сайта с более чем несколькими десятками страниц создание llms-full.txt вручную становится непрактичным.
Google четко заявил, что llms.txt не влияет на ранжирование в поисковой выдаче. Собственные рекомендации Google по генеративному ИИ говорят, что сайтам не нужны новые машинно-читаемые файлы для появления в результатах поиска ИИ, а Джон Мюллер из Google прямо заявил, что llms.txt "не сделан для поиска".
Chrome Lighthouse в любом случае проверяет наличие llms.txt, просто не для SEO. Экспериментальная категория "Агентный просмотр", добавленная в Lighthouse 13.3, проверяет наличие и формат llms.txt наряду с аннотациями WebMCP и стабильностью макета, рассматривая файл как сигнал совместимости с агентами, а не как фактор ранжирования.
Несколько платформ документирования автоматически создают файл, включая Mintlify, GitBook и плагины статических сайтов, такие как и , поэтому проверьте вашу платформу перед тем, как писать один вручную.
Попробуйте Nstdata - Начните бесплатный тест сегодня
vitepress-plugin-llms
docusaurus-plugin-llms
Что такое файл llms.txt?
Файл llms.txt — это один файл Markdown, который лучше всего разместить по адресу yoursite.com/llms.txt, который предоставляет AI-агентам и языковым моделям кураторскую карту самых важных страниц сайта вместо того, чтобы заставлять их парсить полную HTML-навигацию, рекламу и скрипты. Каноническая спецификация на llmstxt.org описывает формат точно: файл Markdown, который предоставляет агенту "фоновую информацию, рекомендации и ссылки на подробные маркдаун-файлы" вместо сырорастрового HTML-дерева.
Файл существует потому, что AI-агенты и языковые модели читают вебсайты гораздо менее эффективно, чем люди, просматривающие с помощью мыши. Модель, которой нужна страница с тарифами или справочник API, должна будет загружать полный HTML, убирать навигационные панели, баннеры cookie и встроенные скрипты и угадывать, какие ссылки действительно важны, — работа, которую кураторский индекс Markdown устраняет одним запросом. Файл не привязан к какой-либо конкретной платформе или хостинг-провайдеру: любой, кто может добавить файл в корневую папку веб-сервера, может опубликовать один, независимо от того, работает ли сайт на генераторе статических сайтов, кастомной CMS или самодельном сервере.
Сайты документации, инструменты для разработчиков и любой продукт, который ожидает, что его будут искать AI-агенты программирования или чат-боты, более всего нуждаются в файле llms.txt, потому что именно эти аудитории пытаются быстро ответить на конкретный технический вопрос. Портал поддержки, на который ссылаются AI-ассистенты, проект с открытым исходным кодом, чье README вставляется в AI-агента, и продукт SaaS с API, с которым разработчики интегрируются с помощью LLM, все соответствуют этой модели. Сайты с контентом, насыщенным маркетингом, но с небольшими уникальными техническими деталями, получают меньше преимущества от файла, поскольку в нем меньше структурированного справочного материала, достойного кураторства.
Практическая польза проявляется в двух местах: агенты, которые поддерживают llms.txt, тратят меньше времени и токенов на обход сайта, чтобы найти те же несколько страниц, которые человек бы добавил в закладки, а команды получают единый, версионированный файл, который могут обновлять сознательно, вместо того чтобы надеяться, что универсальный краулер выберет правильные страницы из полной карты сайта.
Как создать llms.txt: три подхода
Три подхода охватывают почти каждый сайт, и правильный зависит от того, как уже структурирован ваш контент. Ручная запись llms.txt хорошо подходит для небольших сайтов и одностраничных проектов, где разработчик может перечислить каждую важную страницу за пятнадцать минут — именно этот подход демонстрирует пример FastHTML на llmstxt.org. Автоматическая генерация с платформы — это наименее трудозатратный вариант, если ваша документация уже работает на Mintlify, GitBook или генераторе статических сайтов с поддерживаемым плагином (плагины vitepress-plugin-llms и docusaurus-plugin-llms охватывают два самых распространенных генератора статических сайтов), так как платформа восстанавливает файл всякий раз, когда ваши документы меняются. Обход вашего собственного сайта лучше всего подходит для крупных сайтов без поддерживаемого плагина — маркетинговые сайты, настраиваемые CMS или документация, разделенная на несколько подсайтов — где ручное копирование десятков или сотен страниц в Markdown не является реалистичным.
Быстрый обзор
Создание llms-full.txt для сайта с сотнями страниц означает преобразование каждой из них в чистый Markdown — Nstdata Crawl выполняет это преобразование за один вызов API на страницу, включая рендеринг JavaScript для страниц, которые не работают с простым HTTP-запросом.
Что касается подхода обхода, Nstdata Crawl — запущенный как специализированный API для обхода веб-страниц с использованием ИИ — разработан для преобразования списка URL в чистый Markdown, который требуется как для llms.txt, так и для полного текстового дампа llms-full.txt. Это REST API, которое получает страницу, рендерит любой JavaScript, необходимый для страницы, и возвращает очищенный Markdown или HTML за один вызов, с режимом обхода на уровне сайта, который проходит по домену в пределах явных ограничений maxDepth и maxPages, вместо того чтобы блуждать по страницам пагинации или страницам входа, которые вы никогда не собирались включать. Это ограниченное обходное движение на уровне сайта и является ключевым моментом: оно предоставляет вам сырьё для llms-full.txt, не требуя ручного копирования каждой страницы, и вы сохраняете полный контроль над тем, какие страницы фактически попадают в отобранные ссылки llms.txt.
Обход на уровне сайта с явными ограничениями — установите maxDepth, maxPages и правила включения/исключения URL, чтобы обход, нацеленный на ваш поддомен документации, не захватывал ваш маркетинговый блог или страницы входа в аккаунт.
Чистый Markdown на выходе для каждой страницы — каждая обходимая страница возвращается в виде Markdown, готового к вставке в llms-full.txt, без ручной работы по удалению навигации и шаблонного HTML.
Рендеринг JavaScript включён — страницы, созданные с использованием клиентского фреймворка, рендерятся полностью перед преобразованием, так что вы не остаётесь с пустой оболочкой для любой страницы, которая загружает контент после начального HTML-ответа.
Что вам нужно перед началом
Создание файла llms.txt требует прав на запись в корневую папку документа вашего веб-сервера (или возможности добавить статический файл через вашу хостинговую платформу, CMS или публичный каталог генератора статических сайтов), так как файл должен быть доступен по адресу yoursite.com/llms.txt, чтобы быть полезным. Вам также понадобится инвентаризация страниц, которые стоит включить — большинство команд могут в памяти перечислить свои 10-30 лучших страниц, но полный текстовый файл llms-full.txt выигрывает от полного списка, извлеченного из вашей карты сайта или CMS. Для ручного написания файла не требуется специальное программное обеспечение, кроме простого текстового редактора; для обходного подхода дополнительно нужен ключ API для любой службы обхода, которую вы используете.
Подготовьте свои инструменты и рабочее пространство
Начните с решения, какой из трёх подходов из предыдущего раздела подходит вашему сайту, так как этот выбор определит остальную часть вашей настройки. Если ваша платформа документации уже поддерживает автоматическую генерацию, проверьте её настройки на наличие переключателя "llms.txt" или "документы, читаемые ИИ", перед тем как делать что-то вручную — Mintlify, GitBook и несколько плагинов SEO для CMS (в их числе Yoast SEO и AIOSEO) включают это без дополнительной установки. Если вы пишете файл вручную, не требуется никакой настройки, кроме редактора текста, поддерживающего Markdown. Если вы обходите существующий сайт для создания llms-full.txt, установите SDK вашей службы обхода (например, npm install @nstdata-ai/crawl или эквивалентный пакет Python) и храните свой ключ API вне любого файла, который вы планируете отправить в публичный репозиторий.
Шаг 1: Проведите инвентаризацию своих самых важных страниц
Список каждой страницы, которая действительно нужна агенту или разработчику для понимания или использования вашего сайта, а не каждой существующей страницы. Для документационного сайта это обычно означает ваш путеводитель по быстрому старту, справочник API, страницы основных концепций и небольшое количество практических примеров; для сайта продукта это означает вашу страницу с ценами, ключевые страницы с функциями и любые документы для разработчиков. Исключите постраничные списки, страницы входа и юридические шаблоны — смысл файла в кураторстве, и список, дополненный страницами с низкой ценностью, разрушает эту цель.
Шаг 2: Напишите заголовок H1 и резюме
Откройте файл с единственным заголовком H1, называющим ваш сайт или проект — это единственный раздел, который действительно необходим согласно спецификации. Сразу после этого добавьте блочную цитату (строку, начинающуюся с >) в которой в одном или двух предложениях будет краткое описание того, чем является проект и для кого он предназначен, так как это первый и иногда единственный контекст, который агент читает перед тем, как решать, следовать ли каким-либо ссылкам.
# Название вашего проекта> Ваш проект — это [одно предложение о том, что он делает и для кого он предназначен].
Шаг 3: Группируйте ваши ссылки под категориями H2
Разделите ваши учтенные страницы на группы с заголовками H2, такими как ## Документы, ## Примеры и ## Справочник API, а затем перечислите каждую страницу в формате markdown-ссылки с короткой заметкой, описывающей, что она содержит. Спецификация расценивает раздел ## Дополнительно как соглашение для второстепенных ссылок, которые агент может пропустить, когда ему нужно более короткое окно контекста, поэтому поместите туда что-то действительно несущественное, а не смешивайте это с вашими основными разделами.
## Документы-[Путеводитель по быстрому старту](https://yoursite.com/docs/quickstart.md): Получите работающий пример за менее чем пять минут.
-[Справочник API](https://yoursite.com/docs/api.md): Полный список конечных точек, параметров и полей ответа.
## Дополнительно-[Журнал изменений](https://yoursite.com/changelog.md): История версий, полезная для контекста, но не обязательная для использования продукта.
Шаг 4: Добавьте llms-full.txt для полного текста (по желанию)
Скомпилируйте полный текст ваших ключевых страниц во второй файл по адресу /llms-full.txt, если вы хотите, чтобы агенты могли загрузить всю вашу документацию за один запрос, а не следовать ссылкам по одной. Это соглашение произошло из реального, документированного происхождения, а не неформальной практики: собственный рассказ Mintlify о истории формата сообщает, что она разработала файл полного текста с Anthropic, прежде чем он был включен в официальное предложение llms.txt, и Mintlify сообщает, что агенты, посещающие ее размещенную документацию, запрашивают llms-full.txt более чем в два раза чаще, чем кураторский llms.txt. Для небольшого сайта это может означать ручное соединение исходников Markdown каждой страницы. Для более крупного сайта запустите ограниченный обход на уровне сайта по вашему домену, преобразуйте каждую возвращенную страницу в Markdown и соедините результаты в том же порядке, в котором появляются ваши ссылки llms.txt, чтобы оба файла оставались логически согласованными друг с другом.
Шаг 5: Проверьте и опубликуйте ваш файл
Проверьте свой файл на соответствие структурным правилам спецификации перед публикацией: наличие H1, блочная цитата-резюме, если вы ее добавили, и каждый элемент списка отформатирован как правильная markdown-ссылка, а не как голый URL. Затем загрузите llms.txt (и llms-full.txt, если вы его создали) в корневую папку вашего сайта, чтобы они разрешались по адресам yoursite.com/llms.txt и yoursite.com/llms-full.txt. Если ваш сайт предлагает разные разделы из разных подпутей — например, /docs с собственным объемом — спецификация допускает, что более специфичный llms.txt по этому подпути будет иметь приоритет над корневым файлом для URL-адресов под ним.
Шаг 6: Проверьте его с реальным AI-агентом
Дайте AI-агенту или чат-боту только ваш файл llms.txt в качестве отправной точки и задайте ему вопросы, которые мог бы задать реальный посетитель, затем проверьте, может ли он правильно ответить, используя только ссылки и описания, которые вы предоставили. Если он постоянно следует по неправильной ссылке или запрашивает информацию, которую ваш файл должен был покрывать, это признак того, что ваши описания слишком расплывчаты или важная страница отсутствует — рассматривайте это как обычную процедуру редактирования, а не как одноразовую проверку, так как файл нуждается в таком же обслуживании, как и любой другой документ.
Полный формат llms.txt с примером
Полный файл llms.txt, соответствующий спецификации, имеет следующую структуру, в этом порядке:
# Название проекта> Одно или два предложения с описанием проекта.
Дополнительный параграф или два дополнительного контекста, который не помещается в резюме.
## Документы-[Название страницы](https://example.com/page.md): Дополнительная однострочная заметка о странице.
## Примеры-[Название примера](https://example.com/example.md): Дополнительная однострочная заметка.
## Дополнительно-[Вторичный ресурс](https://example.com/secondary.md): Дополнительная однострочная заметка.
Требуется только заголовок H1; все остальное — цитата, абзацы основного текста и разделы H2 — является необязательным, но улучшает возможность агента взаимодействовать с файлом. Обратите внимание, что не каждая реальная реализация строго это соблюдает: файл документации llms.txt платформы Anthropic полностью пропускает H1 и блоки цитат и переходит сразу к категориям H2 с Markdown-ссылками, поэтому рассматривайте полную спецификацию как цель, а не как жесткое требование, которое будет соблюдаться каждым агентом.
Что не может сделать llms.txt: SEO и другие ограничения
llms.txt не влияет на рейтинг в поисковой системе Google, и Google прямо подтвердил это, а не оставил неопределенным. Рекомендации по оптимизации генеративного ИИ от Google заявляют, что сайтам не нужны новые файлы для машинного чтения, файлы текстов ИИ или Markdown, чтобы появиться в результатах поиска генеративного ИИ, и Джон Мюллер из Google сказал на Bluesky в январе 2026 года, что llms.txt "не предназначен для поиска" — наличие файла на сайте, управляемом Google, также не является одобрением формата.
Это не делает файл бесполезным, но это означает, что вознаграждение отличается от того, что многие объяснения, сфокусированные на SEO, подразумевают. Chrome Lighthouse добавил экспериментальную категорию аудита "Agentic Browsing" в Lighthouse 13.3, которая проверяет наличие llms.txt и проверяет его в соответствии с рекомендациями спецификации (заголовок H1, достаточная длина и включенные ссылки), наряду с проверками аннотаций инструмента WebMCP, структуры дерева доступности и стабильности макета. Это сигнал о том, насколько хорошо сайт работает с AI-агентами конкретно, отдельно от и не связанный с видимостью в поисковых системах.
Другим реальным ограничением является принятие и соблюдение: нет единого авторитета, который проверяет, читает ли или уважает ли какой-либо данный AI-агент ваш файл llms.txt, поэтому его публикация — это ставка на то, что агенты, посещающие ваш сайт, поддерживают эту конвенцию, а не гарантия конкретного результата. Рассматривайте это как дополнительную инфраструктуру для сценариев, ориентированных на агентов, а не как замену вашему существующему sitemap.xml или robots.txt, которые продолжают обслуживать поисковые системы и общие краулеры так, как они это всегда делали. Если какая-то терминология в этом руководстве вам незнакома, глоссарий терминов веб-данных и AI-агентов Nstdata глубже охватывает связанные концепции, такие как обход, рендеринг и структурированная экстракция.
Заключение
Создание файла llms.txt сводится к написанию одного обязательного H1, необязательного, но рекомендуемого резюме и набора категоризированных ссылок, и публикации результата в корне вашего сайта — задача, которая занимает несколько минут вручную для маленького сайта и выигрывает от ограниченного обхода для более крупного. Это не повлияет на ваши позиции в поисковых системах, поскольку Google ясно заявил, что этого не происходит, но это дает AI-агентам более быстрый и надежный способ понять ваш сайт, и теперь Chrome Lighthouse проверяет это как часть оценки того, насколько сайт дружелюбен к агентам. Опубликуйте файл, протестируйте его с реальным агентом и пересматривайте его по тому же графику, который вы бы использовали для любой другой документации.
В: Куда именно я должен загрузить свой файл llms.txt?
Загрузите его в корень документа вашего сайта, чтобы он открывался по адресу yoursite.com/llms.txt; вы также можете опубликовать более конкретную версию по подпути, например, /docs/llms.txt, которая будет иметь приоритет над корневым файлом для URL-адресов под этим путем.
В: Нужно ли мне оба файла llms.txt и llms-full.txt?
Нет — файл llms.txt сам по себе является полным, соответствующим спецификации файлом, но добавление llms-full.txt позволяет агентам загружать весь текст вашей документации за один запрос, вместо того чтобы следовать по отдельным ссылкам, что стоит дополнительных усилий для более крупных сайтов с документацией.
В: Улучшит ли файл llms.txt мои позиции в поисковиках Google?
Нет, и Google подтвердил это напрямую: его рекомендации по оптимизации генеративного ИИ говорят, что новые файлы для машинного чтения не нужны для появления в результатах AI-поиска, а Джон Мюллер из Google заявил, что llms.txt не используется для поиска.
В: Генерирует ли моя платформа документации уже этот файл для меня?
Возможно — Mintlify, GitBook и несколько SEO-плагинов CMS (Yoast SEO, AIOSEO) автоматически генерируют llms.txt, а генераторы статических сайтов имеют поддерживаемые плагины, такие как vitepress-plugin-llms и docusaurus-plugin-llms, поэтому проверьте настройки вашей платформы, прежде чем самостоятельно писать файл.
В: Как часто я должен обновлять свой файл llms.txt?
Обновляйте его каждый раз, когда вы добавляете, удаляете или существенно изменяете страницы, на которые он ссылается, так же, как вы поддерживаете карту сайта — устаревший файл, который ссылается на удаленные страницы, хуже, чем отсутствие файла вовсе.
В: Могу ли я иметь разные файлы llms.txt для различных разделов моего сайта?
Да — спецификация позволяет более специфичному файлу llms.txt в подпапке иметь приоритет над вашим корневым файлом для URL-адресов в этой подпапке, что полезно, если ваши документы, блоги и маркетинговые страницы нуждаются в различной кураторской поддержке.
В: Есть ли требуемая минимальная длина для llms.txt?
Спецификация сама по себе не устанавливает минимальную длину, но аудит Chrome Lighthouse для агентского просмотра проверяет "достаточную длину" наряду с заголовком H1 и включенными ссылками, поэтому очень короткий файл может не пройти эту проверку, даже если он технически соответствует спецификации.
В: Что произойдет, если я вообще не создам файл llms.txt?
Ничего не сломается — файл является полностью необязательной инфраструктурой, и агенты без поддержки llms.txt просто возвращаются к парсингу обычного HTML вашего сайта так, как они уже это делают; вы только оставляете удобство на столе для подсчета тех агентов, которые действительно поддерживают его.
Ivy Lin
Sep. 2nd 2026
110M+ реальных IP с 99.9% успешных доступов
Средний отклик ~0.5с для задач высокой конкуренции
Всего от $0.1/GB
Мгновенный доступ к премиальным residential, datacenter, IPv6 и ISP пулам.
