Как создать конвейер RAG с сайта

TL;DR

Пайплайн веб-сайта в RAG состоит из пяти прочных этапов: обход, нормализация, разбиение, внедрение и хранение, а также запрос с источниками ссылок.
Храните метаданные обхода и стабильные ID документов, чтобы измененные или удаленные страницы можно было обновить в векторном хранилище.
Код ниже работает в оффлайне с небольшим экземпляром и детерминированным демонстрационным внедрением; замените его адаптер и функцию внедрения для использования в производстве.
Оцените поддержку ответа и актуальность после извлечения. Успешный ответ обхода сам по себе не является успешной системой RAG.

Что необходимо сохранить в пайплайне RAG веб-сайта?

Корпус веб-сайта не является набором строк Markdown. Каждая страница нуждается в исходном URL, каноническом URL, времени обхода, заголовке, содержимом и стабильном ID. Nstdata Crawl документирует обход сайта и несколько выходов, в то время как его руководство по API обхода описывает статус, список страниц и извлечение артефактов. Обходчик является этапом получения; ваше приложение отвечает за принятие, разбиение, внедрение, индексацию и проверку ссылок. Используйте ограниченный, разрешенный сайт для первой работы.

Код ниже является полностью рабочей оффлайн демонстрацией с использованием стандартной библиотеки Python. Его образец заменяет нормализованный выход адаптера обхода. Вектор на основе хэша намеренно является детерминированной тестовой заглушкой; он не является семантическим внедрением и не должен использоваться для оценки качества ответа. Производственный адаптер будет опрашивать обход Nstdata, извлекать ссылки Markdown и передавать объекты Page в те же функции низкого уровня. Публичные документы расходятся в некоторых метках маршрутов сбора, поэтому подтвердите действующий маршрут перед реализацией этого сетевого шага.

Полный пример обхода к запросу

Сохраните это как rag_demo.py и выполните python3 rag_demo.py. Он выводит источник самого высоко оцененного фрагмента для примерного запроса.

from dataclasses import dataclass
from hashlib import sha256
from math import sqrt
import re

@dataclass(frozen=True)
class Page:
    url: str
    title: str
    markdown: str
    fetched_at: str

pages = [
    Page("https://example.com/docs/auth", "Аутентификация",
         "# Аутентификация\nИспользуйте API-ключ в заголовке Authorization.\n"
         "Обновляйте ключи, если учётные данные были раскрыты.", "2026-10-16T00:00:00Z"),
    Page("https://example.com/docs/limits", "Лимиты запросов",
         "# Лимиты запросов\nСнижайте скорость при HTTP 429 и проверяйте Retry-After.\n"
         "Используйте ограниченную параллельность для пакетных задач.", "2026-10-16T00:00:00Z"),
]

def chunks(page: Page, max_words: int = 35):
    words = page.markdown.split()
    for offset in range(0, len(words), max_words):
        body = " ".join(words[offset:offset + max_words])
        chunk_id = sha256(f"{page.url}:{offset}:{body}".encode()).hexdigest()[:16]
        yield {"id": chunk_id, "url": page.url, "title": page.title,
               "fetched_at": page.fetched_at, "text": body}

def demo_vector(text: str, dimensions: int = 64):
    vector = [0.0] * dimensions
    for token in re.findall(r"[a-z0-9]+", text.lower()):
        slot = int.from_bytes(sha256(token.encode()).digest()[:4], "big") % dimensions
        vector[slot] += 1.0
    norm = sqrt(sum(value * value for value in vector)) or 1.0
    return [value / norm for value in vector]

index = [(chunk, demo_vector(chunk["text"]))
         for page in pages for chunk in chunks(page)]
query = "Лимиты запросов: снижайте скорость при HTTP 429"
needle = demo_vector(query)
ranked = sorted(index,
                key=lambda item: sum(a * b for a, b in zip(needle, item[1])),
                reverse=True)
for chunk, _ in ranked[:2]:
    print(chunk["title"], chunk["url"], chunk["text"])

Как создать RAG-пайплайн с веб-сайта

TL;DR

Что необходимо сохранить в пайплайне RAG веб-сайта?

Полный пример обхода к запросу

Популярные статьи

Firecrawl против Nstdata: Функции, Цены, Производительность и Расходы на Миграцию

API для обхода для RAG: Превращение веб-сайтов в данные, готовые для LLM

Выбор векторного хранилища без преждевременной сложности

Как сделать ответы надежными

Испытайте Nstdata — начните свою бесплатную пробную версию сегодня

ЧАСТО ЗАДАВАЕМЫЕ ВОПРОСЫ