Xây dựng RAG Sản xuất với LlamaIndex và Quét Web

TL;DR

• Một quy trình RAG sản xuất với LlamaIndex cần một hệ thống thu thập có điều khiển trước khi cần một công cụ truy vấn tinh vi. Việc thu thập nguồn kém không thể được sửa chữa bằng cách nhúng hoặc yêu cầu.
• Mỗi tài liệu web nên mang theo một URL chính, thời gian truy xuất, mã nội dung, phiên bản sơ đồ và trạng thái chấp nhận vào chỉ mục.
• Nstdata Crawl có thể cung cấp bộ sưu tập giới hạn và tài liệu xem xét cho các trang và trang web được ủy quyền. LlamaIndex sau đó xử lý việc chuyển đổi tài liệu, lập chỉ mục, truy xuất và phối hợp ứng dụng.
• Sử dụng ID tài liệu ổn định và cập nhật idempotent để việc khôi phục và thu thập lại không tạo ra kiến thức trùng lặp.
• Đánh giá sản xuất phải bao gồm các câu hỏi không có câu trả lời, các trang đã thay đổi, tài liệu lỗi thời và xác minh trích dẫn. Tỷ lệ khớp truy xuất đơn thuần là không đủ.

Quy trình web-scraping RAG sản xuất cần gì?

Một quy trình web-scraping RAG sản xuất cần có sự khám phá kiểm soát, truy xuất có thể quy trách nhiệm, xác thực ngữ nghĩa, phiên bản tài liệu, chuyển đổi, lập chỉ mục, đánh giá và xóa hoặc thay thế. Nstdata Crawl có thể cung cấp lớp quản lý bộ sưu tập, trong khi LlamaIndex tổ chức tài liệu và truy xuất. Ranh giới là quan trọng: một trình thu thập thông tin truy xuất tài liệu nguồn; LlamaIndex không khiến nội dung không đầy đủ hoặc không được ủy quyền trở nên đáng tin cậy.

Các hướng dẫn mẫu thường tải một URL, chia nhỏ văn bản, tạo một chỉ mục vector và đặt câu hỏi. Các hệ thống sản xuất cũng phải trả lời những gì xảy ra khi một URL chuyển hướng, một trang trở nên trống, một tài liệu thay đổi, việc ghi nhúng bị thất bại một phần, hoặc một nguồn phải bị xóa. Hướng dẫn của Nstdata về một trợ lý tài liệu RAG cung cấp bối cảnh sản phẩm liên quan, nhưng quy trình bên dưới thêm sự chấp nhận hoạt động và phục hồi.

Bạn cần gì trước khi bắt đầu?

Bạn cần một kho dữ liệu nguồn được ủy quyền, một chính sách thu thập, một chính sách chuẩn hóa, một sơ đồ tài liệu, một môi trường LlamaIndex, một nhà cung cấp nhúng hoặc mô hình địa phương, một kho vector, và một bộ đánh giá. Giữ thông tin xác thực trong biến môi trường hoặc kho bí mật đã được phê duyệt. Không đặt chúng trong sổ tay, yêu cầu, nhật ký, hoặc cấu hình đã được cam kết.