Cómo crear un archivo llms.txt para cualquier sitio web
Resumen
Un archivo llms.txt es un solo archivo Markdown ubicado en la raíz de su sitio (/llms.txt) que proporciona a los agentes de IA un mapa curado de sus páginas más importantes en lugar de obligarlos a analizar una navegación HTML completa, anuncios y scripts.
La única parte obligatoria del archivo es un título H1. Un resumen en bloque, párrafos de cuerpo opcionales y secciones H2 de enlaces en markdown son opcionales pero recomendados por la especificación canónica.
llms-full.txt es un archivo separado y complementario que compila todo el texto de su sitio en un solo documento Markdown — una convención desarrollada por Mintlify con Anthropic que más tarde se convirtió en parte de la propuesta oficial, y los datos de documentos alojados por Mintlify muestran que los agentes lo solicitan más del doble de veces que llms.txt.
Crear uno manualmente toma cuatro pasos: inventariar sus páginas clave, escribir el H1 y el resumen, agrupar enlaces bajo encabezados H2, y publicar el archivo en su raíz. Para un sitio con más de unas pocas docenas de páginas, generar llms-full.txt a mano deja de ser práctico.
Google ha sido explícito en que llms.txt no afecta las clasificaciones de búsqueda. Las propias pautas de IA generativa de Google dicen que los sitios no necesitan nuevos archivos legibles por máquina para aparecer en los resultados de búsqueda de IA, y John Mueller de Google declaró directamente que llms.txt "no se hace para búsqueda."
Chrome Lighthouse ahora verifica llms.txt de todos modos, solo que no para SEO. Una categoría experimental de "Navegación Agente" añadida en Lighthouse 13.3 valida la presencia y formato de llms.txt junto a las anotaciones de WebMCP y la estabilidad del diseño, enmarcando el archivo como una señal de compatibilidad con agentes en lugar de un factor de clasificación.
, incluyendo Mintlify, GitBook y plugins de sitios estáticos como y , así que revise su plataforma antes de escribir uno a mano.
Varias plataformas de documentación generan el archivo automáticamente
vitepress-plugin-llms
docusaurus-plugin-llms
¿Qué es un archivo llms.txt?
Un archivo llms.txt es un solo archivo Markdown, idealmente ubicado en yoursite.com/llms.txt, que proporciona a los agentes de IA y modelos de lenguaje un mapa curado de las páginas más importantes de un sitio en lugar de obligarlos a analizar una navegación HTML completa, anuncios y scripts. La especificación canónica en llmstxt.org describe el formato con precisión: un archivo Markdown que proporciona a un agente "información de fondo, orientación y enlaces a archivos markdown detallados" en lugar de un árbol HTML crudo.
El archivo existe porque los agentes de IA y los modelos de lenguaje leen sitios web de manera mucho menos eficiente que los humanos navegando con un ratón. Un modelo que necesita una página de precios o una referencia de API tiene que recuperar HTML completo, eliminar barras de navegación, banners de cookies y scripts embebidos, y adivinar qué enlaces realmente importan — un trabajo que un índice Markdown curado elimina en una sola solicitud. El archivo no está vinculado a ningún marco o proveedor de hosting en particular: cualquiera que pueda añadir un archivo a la raíz del documento de un servidor web puede publicar uno, ya sea que ese sitio funcione con un generador de sitios estáticos, un CMS personalizado o un servidor hecho a mano.
Los sitios de documentación, herramientas de desarrollo y cualquier producto que se espera que sea consultado por un agente de codificación de IA o chatbot necesitan un archivo llms.txt más que nada, porque esas son exactamente las audiencias que intentan responder rápidamente a una pregunta técnica específica. Un portal de soporte que es referenciado por asistentes de IA orientados al cliente, un proyecto de código abierto cuyo README se copia en un agente de codificación, y un producto SaaS con una API que los desarrolladores integran con la ayuda de un LLM encajan en este patrón. Los sitios de marketing con mucho contenido y poco detalle técnico único obtienen menos del archivo, ya que hay menos material de referencia estructurado que valga la pena curar en primer lugar.
El beneficio práctico se manifiesta en dos lugares: los agentes que admiten llms.txt pasan menos tiempo y tokens rastreando un sitio para encontrar las mismas pocas páginas que un humano marcaría, y los equipos obtienen un solo archivo versionado que pueden actualizar deliberadamente en lugar de esperar que un rastreador de propósito general elija las páginas correctas de un mapa del sitio completo.
Cómo crear llms.txt: tres enfoques
Tres enfoques cubren casi cada sitio, y el correcto depende de cómo esté estructurado ya tu contenido. Escribir llms.txt a mano funciona bien para sitios pequeños y proyectos de una sola página, donde un desarrollador puede listar cada página que importa en quince minutos; este es el enfoque que demuestra el ejemplo de FastHTML en llmstxt.org. La auto-generación de plataformas es la opción que menos esfuerzo requiere si tu documentación ya se ejecuta en Mintlify, GitBook o un generador de sitios estáticos con un plugin mantenido (vitepress-plugin-llms y docusaurus-plugin-llms cubren los dos generadores de sitios estáticos más comunes), ya que la plataforma regenera el archivo cada vez que tu documentación cambia. Rastrear tu propio sitio funciona mejor para sitios más grandes sin un plugin compatible: sitios de marketing, CMS personalizados o documentación dividida en múltiples subdominios, donde copiar manualmente docenas o cientos de páginas en Markdown no es realista.
Echa un Vistazo Rápido
Construir llms-full.txt para un sitio con cientos de páginas significa convertir cada una de ellas a Markdown limpio; Nstdata Crawl realiza esa conversión en una llamada a la API por página, con renderizado de JavaScript incluido para páginas que no funcionan con una simple solicitud HTTP.
Específicamente para el enfoque de rastreo, Nstdata Crawl — lanzado como una API de rastreo web dedicada a la inteligencia artificial — está diseñado para convertir una lista de URL en el Markdown limpio que requieren tanto llms.txt como el volcado de texto completo de llms-full.txt. Es una API REST que obtiene una página, renderiza cualquier JavaScript que la página necesite y devuelve Markdown o HTML limpiado en una sola llamada, con un modo de rastreo a nivel de sitio que recorre un dominio bajo límites explícitos de maxDepth y maxPages, en lugar de perderse en páginas de paginación o de inicio de sesión que nunca quisiste incluir. Ese rastreo a nivel de sitio acotado es lo que importa aquí: te proporciona el material bruto para llms-full.txt sin tener que copiar a mano cada página, y mantienes el control total sobre qué páginas realmente entran en los enlaces curados de llms.txt.
Rastreo a nivel de sitio con límites explícitos — establece maxDepth, maxPages e incluye/excluye reglas de URL para que un rastreo dirigido a tu subdominio de documentación no incluya tu blog de marketing o páginas de inicio de sesión de cuenta.
Salida de Markdown limpio por página — cada página rastreada regresa como Markdown listo para pegar en llms-full.txt, sin el trabajo manual de eliminar navegación y HTML de plantilla.
Renderizado de JavaScript incluido — las páginas construidas con un framework del lado del cliente se renderizan completamente antes de la conversión, por lo que no te quedarás con una estructura vacía para ninguna página que cargue contenido después de la respuesta HTML inicial.
Lo que Necesitas Antes de Comenzar
Crear un archivo llms.txt requiere acceso de escritura a la raíz del documento de tu servidor web (o la capacidad de agregar un archivo estático a través de tu plataforma de alojamiento, CMS o directorio público del generador de sitios estáticos), ya que el archivo debe ser accesible en tusitio.com/llms.txt para ser útil. También necesitarás un inventario de las páginas que valga la pena incluir; la mayoría de los equipos pueden listar de memoria sus 10 a 30 páginas principales, pero un archivo de texto completo llms-full.txt se beneficia de una lista completa extraída de tu mapa del sitio o CMS. No se requiere software especial para un archivo escrito a mano más allá de un editor de texto plano; el enfoque de rastreo también necesita una clave de API para el servicio de rastreo que utilices.
Prepara Tus Herramientas y Espacio de Trabajo
Comienza por decidir cuál de los tres enfoques de la sección anterior se adapta a tu sitio, ya que esa elección determina el resto de tu configuración. Si tu plataforma de documentación ya admite la auto-generación, verifica su configuración para un interruptor "llms.txt" o "documentos legibles por IA" antes de hacer algo manualmente; Mintlify, GitBook y varios plugins SEO de CMS (Yoast SEO y AIOSEO entre ellos) activan esto sin ninguna instalación adicional. Si estás escribiendo el archivo a mano, no se necesita configuración más allá de un editor de texto compatible con Markdown. Si estás rastreando un sitio existente para construir llms-full.txt, instala el SDK de tu servicio de rastreo (por ejemplo, npm install @nstdata-ai/crawl o el paquete equivalente de Python) y mantén tu clave de API fuera de cualquier archivo que planees comprometer a un repositorio público.
Paso 1: Inventario de tus Páginas más Importantes
Lista cada página que un agente o desarrollador realmente querría al intentar entender o usar tu sitio, no cada página que existe. Para un sitio de documentación, esto suele significar tu guía de inicio rápido, referencia de API, páginas de conceptos básicos y un puñado de ejemplos trabajados; para un sitio de producto, significa tu página de precios, páginas de características clave y cualquier documento dirigido a desarrolladores. Deja fuera listados paginados, páginas de inicio de sesión y textos legales estándar: el objetivo del archivo es la curaduría, y una lista inflada con páginas de bajo valor derrota ese propósito.
Paso 2: Escribe el Título H1 y Resumen
Abre el archivo con un único encabezado H1 nombrando tu sitio o proyecto: esta es la única sección que la especificación realmente requiere. Síguelo inmediatamente con un bloque de cita (una línea que comience con >) que resuma de qué trata el proyecto y para quién es en una o dos oraciones, ya que este es el primer y a veces único contexto que un agente lee antes de decidir si sigue alguno de los enlaces.
# El Nombre de Tu Proyecto> Tu Proyecto es una [descripción en una frase de lo que hace y para quién es].
Paso 3: Agrupa Tus Enlaces Bajo Categorías H2
Divide tus páginas inventariadas en grupos encabezados por H2 como ## Documentos, ## Ejemplos y ## Referencia de API, luego lista cada página como un enlace markdown con una breve nota que describa su contenido. La especificación trata una sección ## Opcional como una convención para enlaces secundarios que un agente puede omitir cuando necesita una ventana de contexto más corta, así que pon cualquier cosa genuinamente no esencial allí en lugar de mezclarla en tus secciones principales.
## Documentos-[Inicio Rápido](https://tusitio.com/docs/inicio-rapido.md): Consigue un ejemplo funcional en menos de cinco minutos.
-[Referencia de API](https://tusitio.com/docs/api.md): Lista completa de endpoints, parámetros y campos de respuesta.
## Opcional-[Registro de Cambios](https://tusitio.com/registro-cambios.md): Historial de versiones, útil para el contexto pero no necesario para usar el producto.
Paso 4: Agrega llms-full.txt para el Texto Completo (Opcional)
Compila el texto completo de tus páginas clave en un segundo archivo en /llms-full.txt si deseas que los agentes puedan cargar toda tu documentación en una sola solicitud en lugar de seguir enlaces uno a uno. La convención proviene de un origen real y documentado en lugar de una práctica informal: el relato de Mintlify sobre la historia del formato indica que desarrolló el archivo de texto completo con Anthropic antes de que se incluyera en la propuesta oficial de llms.txt, y Mintlify informa que los agentes que visitan su documentación alojada solicitan llms-full.txt más del doble de veces que el llms.txt curado. Para un sitio pequeño, generarlo puede significar concatenar manualmente el origen Markdown de cada página. Para un sitio más grande, ejecuta un rastreo de nivel de sitio limitado en tu propio dominio, convierte cada página devuelta a Markdown, y concatena los resultados en el mismo orden en que aparecen los enlaces de tu llms.txt, para que los dos archivos se mantengan lógicamente consistentes entre sí.
Paso 5: Valida y Publica Tu Archivo
Comprueba tu archivo contra las reglas estructurales de la especificación antes de publicar: H1 presente, un resumen de bloque de cita si incluiste uno, y cada elemento de la lista formateado como un enlace markdown adecuado en lugar de una URL desnuda. Luego, sube llms.txt (y llms-full.txt, si creaste uno) a la raíz de documentos de tu sitio para que se resuelvan en tusitio.com/llms.txt y tusitio.com/llms-full.txt. Si tu sitio sirve secciones distintas desde diferentes subrutas —un subdirectorio /docs con su propio ámbito, por ejemplo— la especificación permite que un llms.txt más específico en esa subruta tenga prioridad sobre el archivo raíz para las URLs bajo él.
Paso 6: Prueba con un Agente de IA Real
Dale a un agente de IA o chatbot solo tu archivo llms.txt como punto de partida y pregúntale preguntas que un visitante real haría, luego verifica si puede responder correctamente usando solo los enlaces y descripciones que proporcionaste. Si sigue constantemente el enlace incorrecto o solicita información que tu archivo debería haber cubierto, eso es un signo de que tus descripciones son demasiado vagas o de que falta una página importante: trata esto como una pasada normal de edición en lugar de una verificación única, ya que el archivo necesita el mismo mantenimiento que cualquier otra pieza de documentación.
El Formato Completo de llms.txt, Con un Ejemplo
Un archivo llms.txt completo y conforme a la especificación sigue esta estructura, en este orden:
# Nombre del Proyecto> Resumen en una o dos oraciones del proyecto.
Párrafo opcional o dos de contexto adicional que no encaja en el resumen.
## Documentos-[Título de la página](https://ejemplo.com/pagina.md): Nota opcional de una línea sobre la página.
## Ejemplos-[Título de ejemplo](https://ejemplo.com/ejemplo.md): Nota opcional de una línea.
## Opcional-[Recurso secundario](https://ejemplo.com/secundario.md): Nota opcional de una línea.
Solo se requiere el H1; todo lo demás — el bloque de cita, los párrafos del cuerpo y las secciones H2 — es opcional, pero mejora la utilidad con la que un agente puede actuar sobre el archivo. Ten en cuenta que no todas las implementaciones del mundo real siguen esto de manera estricta: el archivo llms.txt de la propia documentación de la plataforma de Anthropic omite completamente el H1 y el bloque de cita, y va directamente a las categorías H2 con enlaces de markdown, así que considera la especificación completa como el objetivo en lugar de un requisito estricto que cada agente aplicará.
Lo que llms.txt no puede hacer: SEO y otros límites
llms.txt no influye en los rankings de búsqueda de Google, y Google lo ha afirmado directamente en lugar de dejarlo ambiguo. La guía de optimización de IA generativa de Google establece que los sitios no necesitan nuevos archivos legibles por máquina, archivos de texto de IA, o Markdown para aparecer en los resultados de búsqueda de IA generativa, y John Mueller de Google dijo en Bluesky en enero de 2026 que llms.txt "no está hecho para la búsqueda" — la presencia del archivo en un sitio administrado por Google no es un respaldo del formato, tampoco.
Eso no hace que el archivo sea inútil, pero sí significa que la recompensa es diferente de lo que muchas explicaciones centradas en SEO implican. Chrome Lighthouse agregó una categoría de auditoría experimental llamada "Navegación Agente" en Lighthouse 13.3 que verifica la presencia de llms.txt y la valida contra las recomendaciones de la especificación (un encabezado H1, longitud suficiente, y enlaces incluidos), junto con verificaciones para anotaciones de herramientas WebMCP, estructura del árbol de accesibilidad y estabilidad del diseño. Esto es una señal sobre qué tan bien funciona un sitio con agentes de IA específicamente, aparte de su visibilidad en la búsqueda.
El otro límite real es la adopción y la ejecución: no hay una autoridad única que verifique que cualquier agente de IA dado realmente lee o respeta tu archivo llms.txt, así que publicar uno es una apuesta a que los agentes que visitan tu sitio apoyan la convención en lugar de una garantía de un resultado específico. Trátalo como infraestructura complementaria para casos de uso orientados a agentes, no como un reemplazo para tu existente sitemap.xml o robots.txt, que continúan sirviendo a los motores de búsqueda y rastreadores generales como siempre lo han hecho. Si parte de la terminología en esta guía es desconocida, el [glosario de términos de datos web y agentes de IA] de Nstdata (https://www.nstdata.io/glossary) cubre conceptos relacionados como rastreo, renderizado, y extracción estructurada con más profundidad.
Conclusión
Crear un archivo llms.txt se reduce a escribir un H1 requerido, un resumen opcional pero recomendado y un conjunto de enlaces categorizados, y publicar el resultado en la raíz de tu sitio — una tarea que toma minutos a mano para un sitio pequeño y se beneficia de un rastreo limitado para uno más grande. No moverá tus rankings de búsqueda, ya que Google ha afirmado claramente que no lo hace, pero sí proporciona a los agentes de IA una forma más rápida y confiable de entender tu sitio, y Chrome Lighthouse ahora lo verifica como parte de evaluar qué tan amigable es un sitio para los agentes. Publica el archivo, pruébalo contra un agente real y revísalo en el mismo calendario que usarías para cualquier otra documentación.
Cárgalo en la raíz del documento de tu sitio para que se resuelva en tusitio.com/llms.txt; también puedes publicar una versión más específica en una subruta como /docs/llms.txt, que tiene prioridad sobre el archivo raíz para las URLs bajo esa ruta.
P: ¿Necesito tanto llms.txt como llms-full.txt?
No — llms.txt por sí solo es un archivo completo y conforme a la especificación, pero añadir llms-full.txt permite a los agentes cargar el texto completo de tu documentación en una sola solicitud en lugar de seguir enlaces individuales, lo cual vale la pena el esfuerzo adicional para sitios de documentación más grandes.
P: ¿Mejorará un archivo llms.txt mis rankings de búsqueda en Google?
No, y Google ha confirmado esto directamente: su guía de optimización para IA generativa dice que no se necesitan nuevos archivos legibles por máquina para aparecer en resultados de búsqueda de IA, y John Mueller de Google ha declarado que llms.txt no se utiliza para la búsqueda.
P: ¿Genera ya mi plataforma de documentación este archivo por mí?
Posiblemente — Mintlify, GitBook, y varios plugins SEO de CMS (Yoast SEO, AIOSEO) generan llms.txt automáticamente, y los generadores de sitios estáticos han mantenido plugins como vitepress-plugin-llms y docusaurus-plugin-llms, así que revisa la configuración de tu plataforma antes de escribir uno a mano.
P: ¿Con qué frecuencia debo actualizar mi archivo llms.txt?
Actualízalo cada vez que añadas, elimines o reestructures significativamente las páginas que referencia, de la misma manera en que mantendrías un mapa del sitio: un archivo obsoleto que enlaza a páginas eliminadas es peor para un agente que no tener archivo en absoluto.
P: ¿Puedo tener diferentes archivos llms.txt para diferentes secciones de mi sitio?
Sí: la especificación permite que un llms.txt más específico en una subruta tenga prioridad sobre tu archivo raíz para las URL bajo esa subruta, lo cual es útil si tus documentos, blog y páginas de marketing necesitan una curaduría diferente.
P: ¿Hay una longitud mínima requerida para llms.txt?
La especificación en sí no establece ninguna mínima, pero la auditoría de Navegación Agentic de Chrome Lighthouse verifica la "longitud suficiente" junto con un encabezado H1 y enlaces incluidos, por lo que un archivo extremadamente corto puede fallar esa verificación específica a pesar de que sea técnicamente conforme a la especificación.
P: ¿Qué pasa si no creo un archivo llms.txt en absoluto?
Nada se rompe: el archivo es una infraestructura completamente opcional, y los agentes que no soportan llms.txt simplemente regresan a analizar el HTML regular de tu sitio como ya lo hacen; simplemente estás dejando una conveniencia sobre la mesa para el subconjunto de agentes que sí lo soportan.
Web Scraping para Agentes de IA: La Guía Completa
Una guía práctica para los datos web de agentes: cuándo usar búsqueda, una API de rastreo, automatización de navegador o HTTP directo, además del diseño de herramientas, seguridad y evaluación. Distingue el descubrimiento de URL de la extracción de páginas e incluye salvaguardias de permiso e inyección de mensajes.
Lena Zhou
Oct. 20th 2026
110M+ IP reales con 99.9% de acceso exitoso
Respuesta media ultrarrapida ~0.5s para tareas de alta concurrencia
Desde solo $0.1/GB
Acceso inmediato a pools premium de proxies residenciales, datacenter, IPv6 e ISP.
