Создание Production RAG с LlamaIndex и веб-скрейпингом

TL;DR

• Производственный конвейер RAG с LlamaIndex нуждается в управляемой системе инжекции прежде, чем ему понадобится сложный движок запросов. Плохая коллекция источников не может быть исправлена с помощью встраиваний или подсказок.
• Каждый веб-документ должен содержать канонический URL, время извлечения, хэш содержимого, версию схемы и статус приемки в индекс.
• Nstdata Crawl может предоставить ограниченную коллекцию и обзор артефактов для авторизованных страниц и сайтов. LlamaIndex затем обрабатывает трансформацию документов, индексирование, извлечение и оркестрацию приложений.
• Используйте стабильные идентификаторы документов и идемпотентные обновления, чтобы повторные попытки и повторные обходы не создавали дублирующие знания.
• Оценка в производстве должна включать вопросы без ответов, измененные страницы, устаревшие документы и проверку цитат. Уровень попаданий при извлечении недостаточен.

Что нужно для запуска производственного конвейера RAG для веб-скрейпинга?

Производственный конвейер RAG для веб-скрейпинга требует контролируемого открытия, атрибутивного извлечения, семантической проверки, версионирования документов, трансформации, индексирования, оценки и удаления или замены. Nstdata Crawl может предоставить управляемый уровень коллекции, в то время как LlamaIndex организует документы и извлечение. Границы имеют значение: веб-краулеры извлекают исходный материал; LlamaIndex не делает недостоверный или неавторизованный контент надежным.

Прототипные учебники часто загружают URL, разбивают текст, создают векторный индекс и задают вопрос. Производственные системы также должны отвечать на то, что происходит, когда URL перенаправляет, страница становится пустой, документ изменяется, запись встраивания частично не удается, или источник должен быть удален. Руководство Nstdata по ассистенту документации RAG предлагает связанный контекст продукта, но нижеуказанный конвейер добавляет оперативное принятие и восстановление.