Cách các công ty AI lấy dữ liệu đào tạo và dữ liệu RAG
TL;DR
Dữ liệu đào tạo và dữ liệu RAG là hai sản phẩm khác nhau: đào tạo thay đổi trọng số mô hình, trong khi RAG thu thập chứng cứ bên ngoài theo yêu cầu.
Các nhóm AI lấy dữ liệu từ các bộ sưu tập có giấy phép, nội dung của bên thứ nhất, tập dữ liệu công khai, nguồn đối tác và trang web được phép; mỗi nguồn cần một cơ sở sử dụng đã ghi lại.
Một bản kê dữ liệu nên bảo tồn nguồn gốc, thời gian thu thập, tình trạng quyền lợi hoặc chính sách, lịch sử biến đổi và lộ trình xóa bỏ.
Nstdata Crawl có thể thu thập và chuyển đổi các trang web được phép sang Markdown, HTML, dữ liệu thô, liên kết, ảnh chụp màn hình, và PDF; nó không cấp quyền đào tạo hoặc xác định khả năng sử dụng của bộ dữ liệu.
Yêu cầu về chất lượng, nguồn gốc và làm mới nên được xác định trước khi tăng khối lượng thu thập.
Where Do AI Companies Get Training and RAG Data?
Các công ty AI kết hợp các nguồn theo nhiệm vụ. Tài liệu của bên thứ nhất và cơ sở kiến thức đã được khách hàng phê duyệt thường hỗ trợ RAG. Các dự án đào tạo có thể sử dụng các tập dữ liệu có giấy phép, tập dữ liệu công khai với các điều khoản rõ ràng, dữ liệu đối tác, ví dụ do con người tạo ra, và tài liệu web được phép. Các ví dụ tổng hợp có thể bổ sung cho phạm vi, nhưng phương pháp tạo ra và phụ thuộc vào nguồn của chúng vẫn cần được ghi lại. Một URL công khai là một vị trí, không phải bằng chứng cho thấy nội dung của nó có thể được sử dụng cho mọi mục đích. Sản phẩm Nstdata Crawl là một lựa chọn được quản lý cho các bước thu thập và chuyển đổi được thảo luận ở đây.
Sự phân biệt giữa đào tạo và thu thập ảnh hưởng đến kiến trúc. Trong RAG, một ứng dụng có thể thường thay thế một tài liệu và xây dựng lại một chỉ mục mà không cần đào tạo lại mô hình. Trong đào tạo, việc loại bỏ một nguồn có thể yêu cầu tái cấu trúc bộ dữ liệu và, tùy thuộc vào mô hình và cam kết, cần khôi phục thêm. ghi lại cách thông tin cấp phép và nguồn gốc có thể bị mất khi các bộ dữ liệu được đóng gói lại. Giữ lại thông tin đó tại điểm thu thập thay vì cố gắng khôi phục nó sau này.
Ví dụ về thu thập nguồn RAG cho thấy tại sao nguồn gốc của các khối tài liệu lại quan trọng sau khi thu thập.
How Should a Team Classify Candidate Sources?
Sử dụng một đăng ký nguồn trước khi xây dựng máy thu thập. Mỗi mục nên ghi tên một chủ sở hữu, URL hoặc định danh tập dữ liệu, phương pháp thu thập, mục đích sử dụng, điều khoản áp dụng, xem xét theo thẩm quyền, rủi ro về dữ liệu cá nhân, mô hình cập nhật, và thông tin liên hệ để sửa chữa hoặc xóa bỏ. Không gộp “có thể xem công khai” thành “được phê duyệt cho việc đào tạo.” Cùng một trang có thể phù hợp cho một đoạn trích tìm kiếm theo một sắp xếp và không phù hợp cho đào tạo theo một sắp xếp khác.
Nguồn
Sức mạnh điển hình
Câu hỏi chính cần xem xét
Tài liệu của bên thứ nhất
Sở hữu rõ ràng và lộ trình cập nhật
Phiên bản nào đang hoạt động?
Dữ liệu có giấy phép hoặc nguồn đối tác
Hợp đồng giao hàng rõ ràng
Giấy phép có bao gồm việc sử dụng và giữ lại mô hình không?
Tập dữ liệu công khai
Thu thập có thể tái tạo
Các giấy phép thành phần và dữ liệu cá nhân có được ghi chép không?
Trang web được phép
Phạm vi rộng và cập nhật
Các quy tắc truy cập, sử dụng lại, chất lượng và xóa bỏ có được thỏa mãn không?
Ví dụ tổng hợp
Các trường hợp biên giới đã được mục tiêu
Quy trình tạo ra có thể được theo dõi và đánh giá không?
How Does the Collection Pipeline Differ for Training and RAG?
Đối với RAG, thiết kế để có độ trễ làm mới ngắn, URL nguồn ổn định, phiên bản tài liệu, nguồn gốc các khối, và tái lập chỉ mục có chọn lọc. Một bản ghi hữu ích chứa source_url, fetched_at, content_hash, đường dẫn tiêu đề, ID khối, và phiên bản chỉ mục. Một lần làm mới thất bại không nên ghi đè tài liệu tốt bằng một trang lỗi. Đánh giá việc thu thập và trích dẫn câu trả lời, không chỉ là kết quả thu thập.
Đối với đào tạo, thiết kế cho các bản phát hành bộ dữ liệu. Ghi lại nhóm nguồn, quyết định giấy phép hoặc chính sách, thời gian thu thập, quy tắc lọc, phương pháp loại bỏ trùng, phân phối ngôn ngữ và miền, và kiểm soát ô nhiễm chuẩn. Giữ dữ liệu đánh giá lại trước khi đào tạo. Một mô hình được đào tạo trên một lần thu thập lớn hơn có thể hoạt động kém hơn nếu các mẫu trùng lặp, thư rác, hoặc thông tin cá nhân chiếm ưu thế. AWS Responsible AI Lens thảo luận về nguồn gốc và việc phân tách tài liệu đánh giá khỏi đầu vào đào tạo.
Hướng dẫn web-to-Markdown minh họa một đại diện cho các tài liệu có thể xem xét.
Where Does Nstdata Fit in Web Sourcing?
Nstdata Crawl là một lớp thu thập và chuyển đổi cho một tập hợp các nguồn đã được xem xét. Nó có thể bắt đầu từ một URL, khám phá các trang liên kết theo cách đệ quy trong maxDepth, maxPages, các quy tắc bao gồm và loại trừ, kết xuất JavaScript và trả lại nội dung trang hoặc hình ảnh trực quan thông qua Crawl API. L routing proxy tích hợp có nghĩa là một yêu cầu được quản lý tiêu chuẩn không cần các trường riêng biệt cho Proxy Host, Port, Username, Password hoặc Protocol. Một hình ảnh lớn có thể được trả lại dưới dạng token tham chiếu, mà phải được đọc thông qua điểm lưu trữ đã được tài liệu hóa.
Sử dụng những đầu ra này như bằng chứng ứng viên, không phải là tài liệu đào tạo được phê duyệt tự động. Ứng dụng nên từ chối các trạng thái trang sai, ánh xạ chính sách nguồn tới từng bản ghi, lọc nội dung nhạy cảm theo quy tắc của riêng nó và duy trì một lộ trình sửa chữa. Cloud Browser là một giải pháp riêng biệt khi nhiệm vụ yêu cầu tương tác liên tục với một trang thay vì chuyển các trang thành một tập dữ liệu.
Những gì nên được xác minh trước khi phát hành một tập dữ liệu?
Các bản ghi mẫu theo nguồn, mẫu, địa phương và khoảng thời gian. Kiểm tra các trang được chấp nhận so với nguồn đã được kết xuất, kiểm tra trùng lặp và gần trùng lặp, và đếm số lượng bản ghi bị từ chối theo lý do. Xác minh rằng quyền hoặc siêu dữ liệu chính sách tồn tại trong quá trình chuyển đổi. Đối với RAG, kiểm tra các câu hỏi yêu cầu các trang đã được thay đổi gần đây và xác nhận câu trả lời trích dẫn phiên bản hiện tại. Đối với đào tạo, báo cáo phân phối nguồn và các loại trừ đã biết với việc phát hành tập dữ liệu.
Khi một nguồn thay đổi các điều khoản của nó, tiết lộ dữ liệu cá nhân, hoặc yêu cầu gỡ bỏ, sổ đăng ký nguồn của bạn nên xác định mọi đối tượng và chỉ mục hạ nguồn bị ảnh hưởng. Đó là lý do tại sao nguồn gốc là một yêu cầu hoạt động chứ không phải là một đoạn trong thẻ mô hình. Hướng dẫn phát triển AI của CNIL cung cấp các biện pháp bảo vệ cụ thể cho việc thu thập dữ liệu cá nhân trong quyền tài phán của nó; tham gia tư vấn cho các nguồn và cách sử dụng thực tế.
AI-agent collection guide đề cập đến một cách sử dụng khác, thời gian yêu cầu của các nguồn được phê duyệt.
Làm thế nào để bạn quyết định xem một nguồn thuộc về RAG hay Đào tạo?
Hãy hỏi tần suất thay đổi của các sự kiện, liệu nội dung có thể được sửa chữa không, và quyền nào bao phủ việc sử dụng dự kiến. Một tài liệu API được cập nhật thường xuyên thường nên được giữ trong một chỉ mục truy xuất có phiên bản hơn là được gộp vào trọng số của mô hình. Một tập hợp được cấp phép nhằm dạy phong cách hoặc hành vi nhiệm vụ có thể phù hợp cho một quy trình đào tạo nếu giấy phép và xem xét quyền riêng tư của nó hỗ trợ việc sử dụng đó. Cùng một nguồn có thể cung cấp cho cả hai hệ thống chỉ sau khi nhóm phê duyệt riêng biệt từng mục đích.
Cũng hãy xem xét chế độ thất bại. Trong RAG, một tài liệu xấu thường có thể được gỡ bỏ khỏi chỉ mục và thay thế. Một câu trả lời có thể trích dẫn một URL nguồn và phiên bản tài liệu, làm cho việc sửa chữa trở nên rõ ràng. Trong đào tạo, các ví dụ có vấn đề có thể ảnh hưởng đến hành vi mô hình theo cách khó hơn để tách biệt. Điều đó làm tăng giá trị của các cổng phát hành tập dữ liệu, nguồn gốc và đánh giá holdout. Không có con đường nào tự động an toàn hơn; cả hai đều cần quyết định nguồn và kiểm tra chất lượng.
Đối với nội dung của khách hàng, xác nhận rằng các hợp đồng bao gồm chính xác tính năng AI và di chuyển dữ liệu. Đừng giả định rằng có sự cho phép cho đào tạo từ sự cho phép lưu trữ tài liệu cho tìm kiếm. Đối với các tập dữ liệu công cộng, kiểm tra nguồn gốc cấp độ thành phần thay vì chỉ dựa vào nhãn cấp độ tập hợp. Nếu quyền truy cập của một nguồn không thể được thiết lập, hãy loại trừ nó cho đến khi câu hỏi được giải quyết.
Một biểu mẫu nguồn dữ liệu AI nên chứa những gì?
Hãy làm cho bản manifest có thể đọc được bởi máy. Mỗi mục nguồn nên bao gồm source_id, chủ sở hữu, URL nguồn hoặc định danh tập dữ liệu, phương pháp thu thập, các cách sử dụng được phép, phạm vi địa lý khi có liên quan, quyết định và ngày xem xét, quy tắc giữ lại, tần suất làm mới và liên hệ gỡ bỏ. Mỗi chạy thu thập nên tham chiếu phiên bản manifest. Điều này ngăn chặn một thay đổi sau đó trong chính sách ảnh hưởng một cách âm thầm đến ý nghĩa của các bản ghi lịch sử.
Ở cấp độ bản ghi, lưu trữ source_id, source_url, fetched_at, content_hash, con trỏ hình ảnh thô, phiên bản chuyển đổi, và trạng thái được chấp nhận hoặc bị từ chối. Ở cấp độ phát sinh, giữ lại các con trỏ từ các khối, ví dụ đào tạo và nhúng quay lại bản ghi đã được chấp nhận. Manifest sau đó hỗ trợ một truy vấn như "tìm mọi ví dụ đào tạo phát sinh từ nguồn X sau ngày Y." Nếu hệ thống không thể trả lời, các đánh giá về quyền và xóa sẽ phụ thuộc vào việc đoán mò bằng tay.
Ghi lại sự không chắc chắn một cách rõ ràng. Một trang với thông tin giấy phép bị thiếu không nên tự động thừa hưởng trạng thái của một trang kề bên. Một trình thu thập có thể thu thập một trang và vẫn đặt nó trong trạng thái kiểm duyệt để xem xét. Sử dụng các trạng thái riêng biệt cho acquired, approved_for_rag, approved_for_training, và rejected thay vì một boolean gọi là usable.
Làm Thế Nào Bạn Có Thể Kiểm Tra Chất Lượng Nguồn Trước Khi Tăng Khối Lượng?
Chọn một mẫu từ các nguồn và loại trang, sau đó so sánh bản ghi thu thập được với nguồn trực tiếp. Kiểm tra ngôn ngữ, mã hóa, mẫu chuẩn, các mẫu trùng lặp, văn bản điều hướng, dữ liệu cá nhân và các bảng hoặc khối mã bị thiếu. Đối với RAG, xây dựng các câu hỏi yêu cầu trích dẫn chính xác và các thay đổi gần đây. Đối với đào tạo, kiểm tra phân phối, gần giống nhau, chồng chéo chuẩn và bộ lọc nội dung nhạy cảm. Theo dõi tỷ lệ từ chối theo nguồn, không chỉ là một điểm số tổng hợp.
Làm cho tiêu chí đi/không đi cụ thể. Ví dụ, yêu cầu rằng các trang tài liệu đã lấy mẫu giữ nguyên tiêu đề và ví dụ mã, rằng mỗi bản ghi đã chấp nhận đều có ID nguồn và quyết định chính sách, và một bài kiểm tra loại bỏ tìm thấy tất cả các phần được phát sinh. Điều này khả thi hơn so với “dữ liệu chất lượng cao.” Khi mẫu không đạt, sửa chữa bước thu thập hoặc biến đổi trước khi thu thập thêm một triệu trang nữa.
Thêm một mẫu đối kháng của các trang không nên vượt qua: tường đồng ý, các shell JavaScript trống, kết quả tìm kiếm trùng lặp, hồ sơ người dùng có thông tin cá nhân, và các trang ngoài lộ trình được phê duyệt. Một quy trình nguồn chấp nhận những trang này sẽ trông hiệu quả trên bảng điều khiển thông lượng trong khi làm giảm chất lượng thu thập hoặc đào tạo. Giữ lại mẫu bị từ chối trong các bài kiểm tra hồi quy.
Q: Dữ liệu RAG có giống với dữ liệu đào tạo LLM không?
Không. RAG lấy tài liệu bên ngoài vào thời gian suy diễn; đào tạo đưa các ví dụ vào quá trình xây dựng mô hình. Các con đường sửa chữa của chúng khác nhau.
Q: Có thể một con crawler quyết định xem nội dung có được cấp phép cho đào tạo không?
Không. Nhóm phải xem xét quyền nguồn và mục đích sử dụng riêng biệt với sự thành công trong việc thu thập.
Q: Hồ sơ nguồn tối thiểu là gì?
Giữ lại danh tính nguồn, thời gian thu thập, quyền hoặc quyết định chính sách, phiên bản biến đổi, và một cách để xác định vị trí hoặc loại bỏ các đối tượng được phát sinh.
Hướng dẫn Python này di chuyển từ một trang tĩnh đến các bản ghi đã được xác thực và việc quản lý việc hiển thị. Nó bao gồm các ví dụ có thể chạy, chẩn đoán lỗi, kiểm soát nguồn và một hợp đồng dữ liệu sẵn sàng cho AI.
Marcus Chen
Oct. 29th 2026
Thu thập toàn bộ trang web chỉ với một yêu cầu API
Tỷ lệ thành công 99,8% với kết xuất JavaScript
Nhận dữ liệu sạch, sẵn sàng cho LLM ở nhiều định dạng
Chuyển mọi trang web thành Markdown, HTML, JSON, liên kết, PDF và hơn thế nữa mà không cần quản lý hạ tầng thu thập dữ liệu.
