Качество данных RAG: Почему чистые собранные данные имеют значение

TL;DR

• Качество данных RAG — это цепочка: исходный контент должен быть актуальным, полным, современным, структурированным, очищенным от дубликатов и отслеживаемым, прежде чем извлечение может работать хорошо.
• Успех обхода не означает успех контента. Проверьте извлеченное тело, заголовки, таблицы, код, версию, канонический URL и временную метку обхода.
• Очистка удаляет шум извлечения; она не должна удалять полезные предупреждения, контекст параметров, доказательства или ссылки на источники.
• Сравните чистую и сырую загрузку с тем же корпусом, делителем, моделью встраивания, ретеривером и набором вопросов, прежде чем заявлять о повышении качества.

---

Введение: RAG не может извлечь доказательства, которые он никогда не получил

Nstdata Crawl — это слой сбора в этом рабочем процессе; его обзор продукта описывает извлечение страниц и сайтов для последующих потоков данных.

Система извлечения может возвращать нерелевантные отрывки, потому что ее модель встраивания слабая, но проблема могла начаться раньше: обходчик захватил только половину страницы, очиститель удалил предупреждение или повторная навигация заполнила индекс дублирующими фрагментами. Качество данных RAG описывает, подходят ли исходные записи для вопросов, на которые ожидается ответ от системы.

Отделите три слоя: качество источника (точна ли страница и авторизована?), качество извлечения (вернул ли индекс релевантные доказательства?), и качество генерации (правильно ли модель использовала эти доказательства?). Это различие помогает командам отлаживать правильный этап, вместо того чтобы «повторно обходить всё» после каждого неверного ответа. Nstdata Crawl может возвращать очищенный Markdown и другие форматы страниц, но вашему потоку все еще нужны правила приема; смотрите документацию по обходу.

Что такое качество данных RAG?

Качество данных RAG — это пригодность документов и метаданных для извлечения и обоснованных ответов. Это не одна оценка. Практический обзор охватывает семь измерений: