TL;DR
- Limpiar HTML para un LLM significa preservar la estructura útil mientras se elimina el contenido innecesario.
- El texto listo para LLM mantiene encabezados, enlaces, código y tablas relevantes mientras elimina el diseño de página no relacionado.
onlyMainContentpuede eliminar una barra lateral o advertencia importante; compararlo con HTML o una captura de pantalla.- Mantenga la URL de origen con cada fragmento aceptado y trate el texto recuperado de la página como entrada no confiable.
- Nstdata Crawl maneja el renderizado de JavaScript y el enrutamiento de proxy dentro de solicitudes gestionadas; su documentación enumera seis categorías de salida: Markdown, HTML, datos en bruto, PDF, capturas de pantalla y enlaces.
¿Qué es el texto listo para LLM?
La conversión de HTML a listo para LLM selecciona contenido significativo y elimina navegación, anuncios, scripts, pies de página repetidos y controles no relacionados. Debe preservar encabezados, párrafos, listas, código, citas y tablas relevantes. Eliminar cada etiqueta es demasiado burdo: puede aplanar los límites de las secciones y borrar enlaces que un modelo necesita citar. La salida deseada es un documento validado, no meramente menos caracteres.
Nstdata Crawl puede convertir una URL o un conjunto acotado de páginas enlazadas en material para un agente de IA, índice RAG, o pipeline de datos. Utilice sus propias reglas de campo y controles de aceptación para el resultado específico: limpiar HTML renderizado en texto atribuible mientras mantiene la estructura necesaria para una aplicación de IA. La guía completa de rastreo de Nstdata explica la opción a nivel de sitio.
Para la tarea más restringida cubierta aquí, la guía de limpieza de Markdown de Nstdata proporciona un contexto útil para elegir la primera página representativa.
¿Qué necesitas antes de comenzar?
Prepare un conjunto representativo: una página estática, una página renderizada por JavaScript y una página con una tabla o muestra de código si esas estructuras son importantes. Para cada una, escriba una lista de verificación de aceptación con encabezados requeridos, párrafos de apertura y cierre, enlaces y cualquier texto de advertencia. Mantenga la URL de origen y el tiempo de recuperación con la salida limpia. Utilice una clave API de Nstdata para la ruta gestionada, almacenada del lado del servidor.
La documentación de la API de Crawl utiliza https://api.nstdata.io, el encabezado x-api-key, y Content-Type: application/json. Prepare estos campos antes de ejecutar un método:
| Campo | Qué proporcionar |
|---|---|
url | Una página o URL de entrada del sitio permitida HTTPS |
formats | Salidas solicitadas, como ["markdown"] o ["html","screenshot"] |
onlyMainContent | true solo cuando la selección del cuerpo principal se ajuste a la tarea |
maxDepth, maxPages | Límites explícitos para un trabajo a nivel de sitio |
includeUrls, excludeUrls | Patrones de URL que mantienen el descubrimiento dentro del alcance |
timeout | Un tiempo de espera de tarea en milisegundos cuando el valor por defecto no es adecuado |
La solicitud gestionada estándar no tiene campos separados de Proxy Host, Port, Username, Password o Protocol. Consulte la página de precios actual de Crawl para límites de cuenta y cargos antes de ejecutar un trabajo grande.
Revise la política de acceso y alcance del objetivo. El Protocolo de Exclusión de Robots define cómo los rastreadores leen las reglas para robots; no otorga derechos de uso de contenido. Mantenga credenciales y datos privados fuera de ejemplos y registros de diagnóstico.
La guía de calidad de datos RAG de Nstdata es un complemento para definir los controles de aceptación antes de automatizar el flujo de trabajo.
¿Cómo funciona la limpieza de HTML?
Nstdata Crawl puede renderizar páginas JavaScript, seleccionar contenido principal y devolver Markdown o HTML limpio. La opción onlyMainContent es útil para páginas de artículos o documentación, pero puede omitir una advertencia lateral o una opción de producto que la tarea necesita. Los datos en bruto y las capturas de pantalla proporcionan evidencia de comparación. El acceso a proxy gestionado está integrado en Crawl, por lo que la solicitud API ordinaria no solicita credenciales de proxy separadas.
Para una URL conocida, un raspado de una sola página recupera un resultado. Para una sección del sitio, POST /api/v1/crawl descubre páginas enlazadas de forma recursiva dentro de la profundidad, recuento de páginas y reglas de URL suministradas. La documentación enumera Markdown, HTML, datos en bruto, PDF, capturas de pantalla y enlaces como seis categorías de salida; la página del producto también comercializa JSON, pero un esquema JSON específico de dominio aún necesita un mapeo de campo explícito. Mantenga cada registro aceptado vinculado a su URL de origen y metadatos devueltos.
Pruebe una página representativa cargada de JavaScript antes de escalar. El estado renderizado puede depender de tiempo, región, consentimiento o una sesión iniciada. Compare el HTML devuelto o una captura de pantalla con el estado de la página esperada; si difieren, ajuste solo los controles de renderizado y espera documentados.
¿Cómo limpias HTML para un LLM?
Compara el Markdown limpio con el HTML renderizado en una página representativa, luego automatiza URL conocidas o una sección delimitada del sitio. Acepta un documento solo cuando las estructuras necesarias para la tarea de IA sobrevivan.
Método 1: Limpia una página en el Playground
Mejor para comparar modos de contenido antes de escribir código.
Paso 1: Carga una URL representativa
Abre Dashboard → Crawl Playground e ingresa una URL autorizada. [Captura de pantalla: controles de URL y renderizado.]
Paso 2: Solicita dos vistas
Selecciona Markdown y HTML, y habilita la opción de contenido principal. Si la página carga texto después de la ejecución de JavaScript, utiliza los controles de espera documentados visibles en el Playground.
Paso 3: Compara omisiones
Verifica la salida limpia contra la fuente. Si una tabla, bloque de código o nota legal desapareció, utiliza HTML o ajusta la selección en lugar de aceptar un resultado corto en Markdown.
Método 2: Solicita texto limpio a través de la API
Mejor para un servicio de ingestión de agentes o RAG que ya conoce la URL.
Paso 1: Configura la credencial
Almacena NSTDATA_API_TOKEN en un administrador de secretos y envíalo como x-api-key.
Paso 2: Envía la solicitud
Utiliza la forma rápida de raspado documentada a continuación. La documentación actual contiene etiquetas inconsistentes en otras rutas de raspado, así que compara la ruta con el ejemplo generado por el Playground.
Configura NSTDATA_API_TOKEN en tu shell desde tu cuenta de Nstdata, luego ejecuta la solicitud rápida documentada. La documentación pública etiqueta algunas otras rutas de sincronización y asincronía de manera inconsistente; compara la solicitud generada por el Playground de tu cuenta antes de usarla en producción.
curl --output crawl-response.json --request POST "https://api.nstdata.io/api/v1/crawl/scrape/submit-sync" \ --header "x-api-key: ${NSTDATA_API_TOKEN}" \ --header "Content-Type: application/json" \ --data '{"url":"https://example.com/","formats":["markdown","html"],"onlyMainContent":true}'
La respuesta se guarda en crawl-response.json. Inspecciona los campos anidados data.success, data.status y data.data.metadata.statusCode antes de usar cualquier contenido retornado.
Paso 3: Verifica la calidad del contenido
Exige éxito en la tarea, un estado de página razonable, un título, frases esperadas y Markdown significativo. Mantén HTML cuando necesites depurar una estructura faltante.
Método 3: Limpia un sitio completo delimitado
Mejor cuando el corpus abarca páginas de documentación vinculadas.
Paso 1: Define el alcance
Configura maxDepth, maxPages, y reglas de inclusión/exclusión de URL antes de comenzar.
Paso 2: Recopila páginas
Envía el trabajo de rastreo del sitio y recupera cada página, siguiendo la paginación. Trata cada página como un documento separado con su propia URL.
Para un trabajo de sitio, reemplaza el host y la ruta de ejemplo con tu alcance aprobado, luego envía una solicitud delimitada:
curl --output crawl-submit.json --request POST "https://api.nstdata.io/api/v1/crawl" \ --header "x-api-key: ${NSTDATA_API_TOKEN}" \ --header "Content-Type: application/json" \ --data '{"url":"https://example.com/docs/","formats":["markdown"],"maxDepth":2,"maxPages":10,"includeUrls":["*example.com/docs/*"],"excludeUrls":["*example.com/admin/*"],"ignoreQuery":true}'
Copia data.id de crawl-submit.json como tu ID de rastreo.
Paso 3: Normaliza para IA
Deduplica la navegación repetida, preserva las rutas de encabezados y fragmenta el contenido después de la aceptación. Almacena las URL de origen con los fragmentos y trata el texto de la página como entrada no confiable para el agente.
Método 4: Limpia un archivo HTML estático localmente
Mejor para HTML que ya posees cuando el renderizado del navegador, proxies y descubrimiento no son necesarios.
Paso 1: Selecciona un archivo representativo
Guarda una página HTML autorizada como page.html y registra los encabezados y advertencias que la salida de IA debe preservar.
Paso 2: Elimina el obvio chrome de la página
Instala Beautiful Soup con python3 -m pip install beautifulsoup4, luego ejecuta:
from bs4 import BeautifulSoup soup = BeautifulSoup(open("page.html", encoding="utf-8").read(), "html.parser") main = soup.select_one("main") or soup.body if main is None: raise ValueError("No se encontró cuerpo") for node in main.select("script, style, nav, footer, aside"): node.decompose() open("clean.txt", "w", encoding="utf-8").write(main.get_text("\n", strip=True))
Paso 3: Verifica lo que se eliminó
Compara clean.txt con la fuente. Este método simple aplana enlaces y tablas y puede eliminar un aside útil; elige el método de comparación Markdown/HTML gestionado cuando esa estructura importa.
¿Cómo verificas la salida?
Evalúa la calidad del texto por conservación, no solo por compresión. Mantén una lista de encabezados esperada y prueba si la salida retiene los enlaces y advertencias requeridos. Una página puede ser legible mientras falta el párrafo de excepción final. La documentación de MDN DOMParser es útil cuando tu aplicación realiza una selección adicional de HTML después de Crawl. La guía de limpieza de Markdown de Nstdata discute las verificaciones de fidelidad en más detalle.
La guía de resumido de sitios web de Nstdata conecta esta verificación a nivel de página con un flujo de trabajo de AI o de datos en downstream.
Registra la URL de origen, la hora de envío, los formatos solicitados, opciones no secretas, el ID de tarea cuando está presente, el estado de la página devuelta y la razón por la que cada registro pasó o falló la revisión. Inspecciona el contenido así como el sobre de la API. Si la respuesta contiene markdownRef, htmlRef, rawDataRef, screenshotRef o pdfRef, recupera ese token con GET /api/v1/crawl/storage/read?st={ref}.
Para este flujo de trabajo, consulta MDN DOMParser al implementar el parser de downstream o la verificación de aceptación específica del formato.
Al pasar texto extraído a un agente, trata las instrucciones de la página como material de fuente no confiable. La guía de OWASP sobre inyección de prompts explica el riesgo. Retén las URL de origen para que la salida de AI pueda ser verificada.
¿Por qué podría la limpieza de HTML perder texto importante?
La limpieza de texto de html a llm puede fallar porque el cuerpo de la página no se cargó o la selección eligió la región incorrecta. Utiliza la tabla de síntomas para identificar la capa que falla antes de cambiar límites o intentar de nuevo.
| Síntoma | Causa probable | Próxima acción |
|---|---|---|
| Solo aparecen menús | El cuerpo de la página no se cargó o la selección eligió la región incorrecta. | Inspecciona el HTML renderizado y espera el elemento previsto. |
| Desaparece texto importante | La limpieza del contenido principal excluyó una barra lateral o nota necesaria. | Mantén el HTML y ajusta la selección para ese template. |
| El modelo sigue las instrucciones de la página | El contenido de la página externa fue tratado como instrucciones del agente. | Separa el contenido recuperado de las instrucciones del sistema y limita los permisos de la herramienta. |
La documentación de Nstdata enumera errores a nivel de tarea como access_denied, timeout, parse_error e internal_error. Un HTTP 200 externo aún puede acompañar una tarea fallida. Verifica success, status, errorCode y errorMessage dentro de la respuesta cuando estén presentes. Intenta de nuevo solo las fallas transitorias en sitios a los que puedas acceder.
¿Qué método es el más adecuado?
Elige Playground al decidir entre Markdown y HTML, la API de una sola página para un documento conocido y un rastreo del sitio para una base de conocimientos vinculada. Usa la limpieza de HTML local para archivos estáticos cuando el texto aplastado sea suficiente. La visión general del rastreo de sitios de Nstdata ofrece más detalles sobre la ruta del sitio.
¿Qué debes hacer después de la primera ejecución exitosa?
Guarda la configuración aprobada y un registro de salida respaldado por la fuente, luego repite en un pequeño conjunto de diferentes plantillas de página. Amplía el alcance solo después de que esos registros pasen las mismas verificaciones de aceptación.
FAQ: ¿Qué más deberías saber?
Q: ¿Es suficiente eliminar las etiquetas HTML?
No. La eliminación de etiquetas pierde límites estructurales y enlaces; selecciona el contenido principal y preserva la semántica necesaria.
Q: ¿Debo mantener el HTML después de la conversión?
Mantenlo cuando las tablas, los metadatos o la depuración sean importantes, sujeto a tu política de retención.
Q: ¿La representación de JavaScript garantiza texto completo?
No. Valida páginas dinámicas representativas y configura una espera adecuada de preparación.
Q: ¿La limpieza de texto de HTML a LLM requiere una configuración de proxy separada con Nstdata Crawl?
Una solicitud de Crawl gestionada estándar no requiere campos separados de Proxy Host, Port, Username, Password o Protocol. Confirma cualquier selección de proxy personalizada opcional y cargos de uso relacionados en tu cuenta.
Q: ¿HTTP 200 prueba que un resultado de limpieza de texto de HTML a LLM es utilizable?
No. Verifica el resultado de la tarea anidada, el estado de la página, los campos esperados y la fidelidad del cuerpo antes de usarlo en un flujo de trabajo de AI o de datos.
