TL;DR
- Một trình tải web LangChain nên trả về các Tài liệu ổn định với siêu dữ liệu nguồn; việc lấy HTML chỉ là giai đoạn đầu tiên.
- Sử dụng LangChain WebBaseLoader cho một nguồn công cộng tĩnh nhỏ. Sử dụng Nstdata Crawl khi công việc yêu cầu khám phá có giới hạn, trình bày JavaScript, hoặc Markdown có thể tái sử dụng.
- Giữ cho việc thu thập, chuyển đổi tài liệu, chia nhỏ và truy xuất tách biệt để một thất bại khi truy cập không thể lặng lẽ trở thành một chỉ mục RAG rỗng.
- Lưu URL chuẩn, thời gian lấy và hàm băm nội dung trong mỗi Tài liệu để hỗ trợ làm mới, xóa và gỡ lỗi.
Trình tải web LangChain thực sự làm gì
Một trình tải web LangChain biến một tài nguyên web thành các Tài liệu: nội dung cộng với siêu dữ liệu để chia nhỏ, vector hóa và truy xuất. Tài liệu tham khảo WebBaseLoader chính thức hữu ích cho các trang đơn giản, nhưng không tự động hóa việc trình bày, khám phá hoặc xác thực nguồn. Để tạo ranh giới sản xuất, ghép nối trình tải với Nstdata Crawl và giữ lại hồ sơ nguồn trước khi LangChain thấy nó.
Tài liệu Tài liệu tải web LangChain làm cho cùng một ranh giới hiển thị trong JavaScript: tải một trang là một hoạt động nạp dữ liệu, không phải một chính sách thu thập hoàn chỉnh. Nếu bạn cần giai đoạn thu thập kiểm soát đó, sản phẩm Nstdata Crawl tài liệu hóa các giới hạn và định dạng đầu ra có liên quan.
Đối với một cơ sở kiến thức sản xuất, câu hỏi quyết định là liệu hệ thống có thể tái tạo văn bản, xác định nguồn của nó và thay thế khi trang thay đổi không. Điều đó yêu cầu các URL chuẩn, trạng thái tác vụ hoặc HTTP, thời gian lấy, loại nội dung, và một hàm băm của văn bản đã chuẩn hóa.
Khi nào đặt Nstdata Crawl trước LangChain
Nstdata Crawl là một giai đoạn đầu tốt hơn cho một trang có giới hạn thay vì một URL tĩnh duy nhất. Trang sản phẩm hiện tại của nó mô tả việc khám phá trang, trình bày JavaScript, giới hạn độ sâu và trang, và các đầu ra có cấu trúc bao gồm Markdown và HTML. Các điều khiển đó quan trọng bởi vì có thể theo dõi phân trang, trang tìm kiếm, và các URL truy vấn chuỗi trùng lặp mà không có một ranh giới hữu ích.
