Dữ liệu Web Khớp Sản phẩm Ecom: Khái niệm, Trường hợp sử dụng và Các cân nhắc sản xuất
TL;DR
Liên kết sản phẩm thương mại điện tử kết nối hai danh sách với cùng một biến thể có thể bán được, không chỉ đơn thuần là tiêu đề sản phẩm tương tự.
Một GTIN có thể là bằng chứng mạnh mẽ, nhưng kích thước gói, khu vực, màu sắc, kiểu mẫu, đề nghị của người bán, và thành phần gói vẫn cần kiểm tra.
Các điểm dữ liệu web thiết yếu bao gồm các định danh, thuộc tính biến thể, giá đề nghị và tiền tệ, tính khả dụng, người bán, URL nguồn, và thời gian quan sát.
Nstdata Crawl là một API thu thập web cho dữ liệu sẵn sàng cho LLM có thể phát hiện các trang danh mục giới hạn, xử lý JavaScript, và trả về các artefact của trang; hệ thống khớp của bạn phải trích xuất và xác thực các trường kinh doanh.
Tách biệt danh tính sản phẩm khỏi danh tính đề nghị để một mặt hàng có thể có nhiều người bán và giá khác nhau.
Theo dõi độ chính xác của các sự khớp đã xem, phạm vi của các danh sách đủ điều kiện, và chi phí cho mỗi sự khớp được chấp nhận trước khi mở rộng thu thập.
Những điểm dữ liệu web nào trong khớp sản phẩm thương mại điện tử?
Các điểm dữ liệu web trong khớp sản phẩm thương mại điện tử là các trường quan sát được sử dụng để quyết định liệu hai danh sách có đại diện cho cùng một mặt hàng hoặc biến thể có thể bán được hay không. Chúng bao gồm các định danh toàn cầu như GTIN, mã số phần của thương hiệu và nhà sản xuất, các thuộc tính biến thể như kích thước và màu sắc, và các trường đề nghị như người bán, giá, tiền tệ, và trạng thái tồn kho. Đầu ra nên nói tại sao hai danh sách khớp, không chỉ đơn thuần gán một điểm số.
Để thu thập trang, Nstdata Crawl cung cấp API thu thập web phía trên cho dữ liệu sẵn sàng cho LLM.
Sự liên quan đến kinh doanh là ngay lập tức: trí tuệ về giá cả, khoảng cách trong bộ sưu tập, đối chiếu thị trường, phát hiện trùng lặp, và tìm kiếm sản phẩm đều phụ thuộc vào danh tính chính xác. Một sự khớp sai giữa một mặt hàng đơn và một gói nhiều có thể làm cho việc so sánh giá mất ý nghĩa. Hướng dẫn dữ liệu có cấu trúc sản phẩm của Google cho thấy cách mà sản phẩm và các đánh dấu đề nghị có thể làm lộ các trường hữu ích, nhưng đánh dấu là bằng chứng nguồn, không phải là đảm bảo cho sự chính xác. Hướng dẫn giải thích lý do tại sao nội dung trang quan sát vẫn cần được xác thực.
Những điểm dữ liệu nào thực sự thay đổi quyết định khớp?
Các điểm dữ liệu quan trọng nhất là những điểm phân biệt các mặt hàng tương tự. Sử dụng một thứ bậc trường thay vì xem mọi thuộc tính như nhau.
Trường
Vai trò khớp
Thất bại phổ biến
GTIN hoặc một định danh tiêu chuẩn khác
Khóa ứng cử viên mạnh khi có và hợp lệ
Thiếu, được tái sử dụng không đúng, hoặc gắn với danh sách cha
Mã số phần thương hiệu và nhà sản xuất
Xác nhận mạnh mẽ
Người bán trên thị trường tự tạo hoặc rút ngắn số hiệu mẫu
Biến thể: kích thước, màu sắc, hương vị, công suất, khu vực
Tách biệt các biến thể có thể bán được
Tiêu đề bỏ qua một tùy chọn đã chọn
Số lượng gói và đơn vị
Ngăn chặn sự không khớp giữa gói đơn và gói nhiều
“2 gói” chỉ xuất hiện trong hình ảnh hoặc văn bản đề nghị
Người bán, tình trạng, hoàn thành
Xác định đề nghị chứ không phải sản phẩm
Nhiều đề nghị chia sẻ một trang sản phẩm
Giá và tiền tệ
Hỗ trợ so sánh sau khi danh tính đã được giải quyết
Các chương trình khuyến mãi, thuế, địa phương, và cơ sở đơn vị khác nhau
URL và thời gian quan sát
Cung cấp xuất xứ và tính mới mẻ
URL chuẩn chỉ trỏ đến một trang cha hoặc trang cũ
GS1 giải thích tại sao việc xác định sản phẩm phải xem xét các mặt hàng thương mại riêng biệt và việc phân bổ GTIN; sử dụng tổng quan về GS1 GTIN như một tài liệu tham khảo chính khi thiết kế các kiểm tra định danh. Không ép buộc một sự khớp chỉ vì hai tiêu đề gần giống nhau hoặc hai trang chia sẻ cùng một SKU chung.
Kiến trúc thu thập và khớp nên hoạt động như thế nào?
Kiến trúc nên giữ riêng việc thu thập trang, trích xuất trường, tạo ứng cử viên, và quyết định cuối cùng như các giai đoạn riêng biệt. Một quy trình thực tiễn là:
Hạt giống danh mục đã xem → thu thập hạn chế → artefact trang → ánh xạ trường và xác thực → cặp ứng cử viên → quy tắc hoặc mô hình xác định → hàng đợi rà soát của con người → bảng sản phẩm và đề nghị đã khớp
Nstdata Crawl xử lý hai giai đoạn đầu tiên: nó có thể bắt đầu từ một URL sản phẩm hoặc danh mục, phát hiện các trang liên kết trong maxDepth và maxPages, xử lý JavaScript khi cần thiết, và trả về Markdown, HTML, dữ liệu thô, liên kết, ảnh chụp màn hình, hoặc PDFs. Việc tổ chức proxy tích hợp của nó tránh cấu hình proxy riêng biệt. Markdown làm cho văn bản trang dễ tiếp cận hơn để đưa vào LLM; HTML hoặc dữ liệu thô có thể bảo toàn cấu trúc cần thiết cho việc trích xuất trường chính xác. API cũng công khai trạng thái tác vụ, vì vậy số lượng công việc đã hoàn thành, thất bại, đang chờ và tổng có thể được đối chiếu trước khi khớp bắt đầu. Xem tài liệu Hướng dẫn Nstdata Crawl để biết các điều khiển yêu cầu và loại đầu ra hiện tại.
Nstdata Crawl không hứa hẹn một sơ đồ sản phẩm chuẩn hóa hoặc một quyết định thực thể đúng đắn. Giữ một trình phân tích cho JSON-LD, DOM khả thi và trạng thái biến thể đã chọn, sau đó so sánh những nguồn đó. Bảo tồn văn bản chính xác và URL phía sau mỗi trường để kiểm toán. Hướng dẫn chuyển đổi website sang Markdown cung cấp bối cảnh về phạm vi thu thập trước khi chuẩn hóa.
Làm thế nào để bạn thực hiện một quy trình khớp sản phẩm nhỏ?
Thực hiện một quy trình nhỏ bằng cách chọn một phần danh mục đã được xem xét, thu thập các trang sản phẩm đại diện, lập sơ đồ một cách nghiêm ngặt, và xem xét các cặp không rõ ràng. Đây là một cách an toàn để đo độ chính xác trước khi thực hiện một cuộc thu thập rộng rãi.
Bước 1: Xác định đơn vị danh tính và phạm vi
Quyết định xem hàng có đại diện cho một sản phẩm cha, một biến thể cụ thể, hay một đề nghị của người bán. Đối với so sánh giá, một biến thể có thể bán được cộng với đề nghị thường là mức chính xác. Chọn một danh mục công khai được phép và loại bỏ URL tìm kiếm, giỏ hàng, tài khoản và những URL không liên quan. Ghi lại url, maxDepth, maxPages, includeUrls, excludeUrls, ignoreQuery, formats, và onlyMainContent cho cuộc thu thập. Hướng dẫn chuyển đổi website sang Markdown mô tả chi tiết các kiểm soát phạm vi.
Bước 2: Thu thập và đối chiếu các bằng chứng trang
Gửi cuộc thu thập trang đã được giới hạn qua POST https://api.nstdata.io/api/v1/crawl với x-api-key. Kiểm tra GET /api/v1/crawl/status/{crawlId} và chỉ thu hồi các trang sau khi xem xét số lượng hoàn thành và thất bại. Đối với các vật phẩm lớn, hãy theo dõi tham chiếu lưu trữ được trả về qua điểm cuối được tài liệu hóa. Đừng diễn giải việc nộp nhiệm vụ được chấp nhận như là bằng chứng rằng tất cả các trang sản phẩm đã được thu thập.
Bước 3: Lập sơ đồ các trường vào một sơ đồ nhận thức nguồn gốc
Trích xuất một bản ghi ứng cử viên cho mỗi biến thể đã chọn và đề nghị. Một hình dạng JSON hữu ích là:
Bản ghi là minh họa, không phải là kết quả thu thập trực tiếp. Chuẩn hóa các đơn vị và tiền tệ một cách cẩn thận và giữ giá trị nguồn bên cạnh giá trị đã chuẩn hóa. Từ chối các hàng không có bằng chứng danh tính đủ. Một trang sản phẩm có thể hiển thị một giá khác sau khi một biến thể được chọn, vì vậy hãy kiểm tra hành vi trạng thái đã chọn đó trên các trang được tạo bởi JavaScript.
Bước 4: Khớp, xem xét, và đo lường
Tạo các ứng cử viên bằng cách sử dụng GTIN đã được xác thực hoặc thương hiệu cộng với mẫu, sau đó so sánh các thuộc tính biến thể và gói. Sử dụng một quy tắc như “GTIN hợp lệ giống nhau và biến thể tương thích” là độ tin cậy cao, “thương hiệu cộng với mẫu cộng với biến thể” là có thể xem xét, và “chỉ tiêu đề tương tự” là không đủ. Giữ một hàng kiểm tra cho các xung đột và mẫu cả cặp được chấp nhận và bị từ chối. Đo độ chính xác trên các kết quả đã được kiểm tra thủ công, phạm vi trang đủ điều kiện, tiêu cực giả, và chi phí cho mỗi khớp được chấp nhận. Tránh công bố một “tỷ lệ khớp” không được kiểm chứng.
Những gì thường làm hỏng khớp sản phẩm?
Khớp sản phẩm thường bị hỏng khi danh tính sản phẩm của một trang bị nhầm lẫn với đề nghị hiện tại hoặc biến thể đã chọn. Một người bán có thể thay đổi giá mà không thay đổi sản phẩm; một chợ có thể liệt kê các đề nghị đã qua sử dụng và mới trên một trang; một trang cha có thể hiển thị nhiều màu sắc; một gói có thể thừa hưởng số hiệu mẫu của mặt hàng cơ bản. Các thất bại trong việc truy cập hoặc hiển thị cũng có thể làm cho một bản ghi có vẻ hoàn chỉnh bỏ qua trình chọn tùy chọn.
Chẩn đoán các thất bại bằng cách so sánh vật phẩm trang, đánh dấu cấu trúc, tiêu đề hiển thị, tùy chọn đã chọn, và ảnh chụp màn hình. Từ chối một hàng khi những điều này không đồng ý về mặt chất liệu. Đối với các trang có địa phương hóa, bảo tồn tiền tệ và khu vực và tránh so sánh thuế hoặc vận chuyển như thể đó là giá cơ bản. Nếu trang web chặn việc thu thập hoặc yêu cầu đăng nhập, xác nhận quyền cho phép và chọn một nguồn được hỗ trợ thay vì coi việc từ chối truy cập là lỗi của trình phân tích.
Ranh giới chi phí và quản trị là gì?
Ranh giới chi phí là số lượng danh sách hữu ích, đã được xác thực—không phải số lượng cuộc gọi API. Giới hạn độ sâu thu thập và số trang, loại bỏ các URL chuẩn, và mẫu một danh mục trước khi mở rộng. Việc hiển thị JavaScript và chứng cứ trực quan có thể làm tăng độ trễ và khối lượng vật phẩm. Kiểm tra các điều khoản hiện tại của kế hoạch Nstdata trong tài khoản của bạn và bao gồm việc phân tích nội bộ, lưu trữ, và xem xét của con người vào kinh tế đơn vị.
Sử dụng chỉ dữ liệu mà bạn được phép thu thập và xử lý. Các trang sản phẩm có thể chứa danh tính người bán, đánh giá hoặc thông tin cá nhân mà nhiệm vụ ghép nối của bạn không cần. Giảm thiểu những trường này và thời gian giữ tài liệu. Theo dõi URL nguồn, thời gian thu thập, phiên bản trình phân tích và bằng chứng quyết định để một tuyên bố giá hoặc danh tính có thể được xem xét lại sau này.
Đội ngũ AI hoặc thương mại nên làm gì tiếp theo?
Bắt đầu với một danh mục sản phẩm đã được xem xét nhỏ, xác định hạt giống phiên bản có thể bán được và đo lường độ chính xác của việc ghép nối trước khi thu thập rộng rãi. Nstdata Crawl có thể cung cấp tài liệu nguồn đã được giới hạn, đã được kết xuất, sẵn sàng cho LLM; các quy tắc lĩnh vực và quy trình xem xét của bạn sẽ biến tài liệu đó thành những sự kết hợp đáng tin cậy. Đối với việc so sánh liên tục, kết nối bảng đã được xác minh với một luồng làm việc thu thập tự động.
Tài liệu Nstdata Crawl cung cấp hợp đồng API hiện tại cho một dự án thử nghiệm.
Khi một GTIN được cung cấp, hướng dẫn xác thực GTIN của GS1 mô tả việc kiểm tra số đó với Verified by GS1 trước khi coi đó là bằng chứng danh tính mạnh mẽ.
H: Một tiêu đề ghép nối có đủ để xác định sản phẩm giống nhau không?
Một tiêu đề ghép nối không đủ vì các tiêu đề thường thiếu số lượng gói, biến thể được chọn, khu vực hoặc tình trạng. Sử dụng các định danh mạnh mẽ hơn và các thuộc tính xác thực.
H: Giá có nên là một phần của khóa danh tính sản phẩm không?
Giá thường nên là một quan sát đề nghị, không phải là khóa danh tính sản phẩm. Một biến thể giống nhau có thể có giá khác nhau giữa các người bán và theo thời gian.
H: Nstdata Crawl có thể tự động trả về các sản phẩm khớp không?
Nstdata Crawl trả về các tài liệu trang và trang web mà một quy trình ghép nối có thể sử dụng. Việc trích xuất trường đặc thù miền, quy tắc danh tính, ngưỡng độ tin cậy và quy trình xem xét vẫn là những trách nhiệm phía dưới.
H: Bạn xử lý các GTIN bị thiếu như thế nào?
Sử dụng thương hiệu, số phần của nhà sản xuất, biến thể, kích thước gói và bằng chứng nguồn để tạo ra các ứng viên, sau đó chuyển các cặp không chắc chắn đến quy trình xem xét thay vì ép buộc một khớp chính xác.
Kai Watanabe
Nov. 3rd 2026
Thu thập toàn bộ trang web chỉ với một yêu cầu API
Tỷ lệ thành công 99,8% với kết xuất JavaScript
Nhận dữ liệu sạch, sẵn sàng cho LLM ở nhiều định dạng
Chuyển mọi trang web thành Markdown, HTML, JSON, liên kết, PDF và hơn thế nữa mà không cần quản lý hạ tầng thu thập dữ liệu.
