Trích xuất dữ liệu bằng cách sử dụng LLMs: Kiến trúc, Xác thực, Rủi ro

TL;DR

• Việc trích xuất dữ liệu bằng cách sử dụng LLM hoạt động tốt nhất khi mô hình xử lý được sự mơ hồ ngữ nghĩa và mã phân tích định tính xử lý việc xác thực. JSON trôi chảy không là bằng chứng rằng một bản ghi là chính xác.
• Một quy trình đáng tin cậy tách biệt việc thu thập, chuẩn hóa, trích xuất, xác thực, xem xét và lưu trữ. Mỗi giai đoạn cần có trạng thái thất bại và nguồn gốc của riêng nó.
• Các sơ đồ nên định nghĩa hành vi null, đơn vị, giá trị được phép và suy luận bị cấm. Mô hình nên trả về null khi nguồn không hỗ trợ một trường.
• Đánh giá nên đo lường độ chính xác theo từng trường, tỷ lệ hồi tưởng, tỷ lệ giá trị không hỗ trợ và việc xem xét vượt qua. Độ "chính xác" tổng hợp có thể che giấu những sai lầm tốn kém trong các trường quan trọng.
• Nstdata Crawl có thể cung cấp các artefact web có thể quy cho việc trích xuất hạ nguồn. Ứng dụng vẫn sở hữu sơ đồ trích xuất, quy tắc chấp nhận và chính sách giữ lại.

Việc trích xuất dữ liệu bằng LLM là gì?

Việc trích xuất dữ liệu bằng LLM chuyển đổi nội dung vô cấu trúc hoặc bán cấu trúc thành một bản ghi đã được định nghĩa trong khi sử dụng mô hình ngôn ngữ để diễn giải ý nghĩa mà các bộ chọn giòn hoặc biểu thức chính quy khó có thể nắm bắt. Nstdata Crawl có thể phục vụ như một lớp thu thập cho các nguồn web được ủy quyền, trả về nội dung mà một quy trình trích xuất có thể chuẩn hóa và xác thực. LLM nên được coi như một trình phân tích xác suất, không phải là một giao dịch cơ sở dữ liệu hoặc một quyền hạn.

Kỹ thuật này hữu ích khi các bố cục khác nhau, nhãn đổi thay, sự thật xuất hiện trong văn xuôi, hoặc nhiều đoạn văn cần được diễn giải cùng nhau. Nó ít phù hợp hơn cho các trường đã tồn tại trong một API ổn định hoặc nguồn đọc máy. Nếu việc trích xuất định tính hoạt động, nó thường dễ kiểm tra hơn, rẻ hơn khi chạy, và đơn giản hơn để giải thích.

Việc trích xuất dữ liệu LLM hoạt động như thế nào?

Một quy trình trích xuất LLM nhận nội dung nguồn, một sơ đồ, hướng dẫn tác vụ, và đôi khi là các ví dụ. Mô hình ánh xạ bằng chứng từ nguồn vào các trường yêu cầu và trả về đầu ra có cấu trúc. Một hệ thống sản xuất sau đó phân tích đầu ra, xác thực các loại và quy tắc kinh doanh, kiểm tra bằng chứng và quyết định xem có chấp nhận, thử lại, hoặc xem xét bản ghi hay không.