Web Data Infrastructure là gì? Hướng dẫn cho các nhóm AI

TL;DR

• Hạ tầng dữ liệu web là hệ thống phát hiện, truy xuất, chuyển đổi, xác thực, lưu trữ và làm mới nội dung web bên ngoài cho một sản phẩm đã định nghĩa.
• Một yêu cầu HTTP thành công chỉ là một sự kiện thu mua; một sản phẩm AI cần có danh tính nguồn, chất lượng nội dung, nguồn gốc và xử lý xóa.
• Việc truy xuất RAG và đào tạo mô hình có những yêu cầu về độ tươi mới, cấp phép, lưu giữ và điều chỉnh khác nhau.
• Nstdata Crawl có thể cung cấp phát hiện site giới hạn, thu thập đệ quy, kết xuất JavaScript, và đầu ra trang; các đội ứng dụng vẫn sở hữu sơ đồ, quản trị và đánh giá bên dưới.
• Đo lường các bản ghi chấp nhận và câu trả lời hữu ích, chứ không chỉ các URL đã được truy xuất.

Hạ Tầng Dữ Liệu Web Là Gì?

Hạ tầng dữ liệu web là con đường lặp lại từ một URL nguồn đến một tài sản dữ liệu có thể sử dụng, được quản lý. Đối với một đội AI, con đường đó thường bao gồm việc lựa chọn nguồn, xem xét quyền, phát hiện URL, lấy dữ liệu, kết xuất trình duyệt khi cần thiết, chuyển đổi nội dung, chuẩn hóa, kiểm tra chất lượng, lưu trữ và làm mới. Nó cũng bao gồm các kiểm soát hoạt động cho phép một kỹ sư giải thích lý do vì sao một bản ghi tồn tại và thay thế hoặc xóa nó sau đó. Sản phẩm Nstdata Crawl là một lựa chọn được quản lý cho các bước thu thập và chuyển đổi đã thảo luận ở đây.

Một script tải xuống HTML là một thành phần của hạ tầng đó, nhưng nó không trả lời liệu trang đó có phải là trang dự định hay không, liệu một cái giá có xuất phát từ biến thể sản phẩm đã chọn hay không, hoặc liệu một đoạn văn đã được chỉ mục có còn hiện tại hay không. Sự phân biệt đó quan trọng đối với các hệ thống RAG: một trình truy xuất có thể trung thành trả về một đoạn dữ liệu cũ hoặc bị lỗi, và mô hình có thể sản xuất một câu trả lời có vẻ được trích dẫn tốt nhưng lại sai. Hướng dẫn thiết kế Azure RAG xem xét việc tiếp nhận, lập chỉ mục, truy xuất, và đánh giá như những phần riêng biệt của ứng dụng.

Đối với một ví dụ cụ thể ở phía dưới, việc triển khai theo dõi các trang nguồn vào trong quá trình truy xuất.