TL;DR
- Chọn trình duyệt đám mây khi sản phẩm phụ thuộc vào một phiên tương tác, chẳng hạn như một mẫu đã được xác thực, quy trình tìm kiếm, hoặc chuyển giao người vận hành.
- Chọn API thu thập dữ liệu khi sản phẩm là nội dung đã được chấp nhận hoặc bằng chứng từ các URL công khai hoặc những URL được ủy quyền khác.
- Chỉ riêng việc kết xuất JavaScript không quyết định giữa hai lựa chọn. Định nghĩa tương tác và đầu ra cần thiết trước.
- Sử dụng Markdown để tiếp nhận văn bản, HTML để kiểm tra định dạng, và một ảnh chụp màn hình hoặc PDF khi một tài liệu trực quan là sản phẩm.
- Ở những nơi cả hai sản phẩm đều phù hợp, phân chia các công việc tương tác và nội dung theo quyền sở hữu và kết nối chúng thông qua một URL đã được phê duyệt và một bản ghi công việc.
- So sánh từng cách tiếp cận theo đầu ra đã được chấp nhận, tổng mức sử dụng, và công việc còn lại cho ứng dụng của bạn.
What is the difference between a cloud browser and a crawling API?
Một trình duyệt đám mây cung cấp cho ứng dụng của bạn quyền kiểm soát một trình duyệt đang chạy, trong khi một API thu thập dữ liệu chấp nhận một URL trang hoặc nhiệm vụ thu thập dữ liệu và trả về các tài liệu nội dung. Với một trình duyệt được quản lý, mã của bạn quyết định trang nào mở, các điều khiển nào sử dụng, và liệu nhiệm vụ có thành công hay không. Với một API thu thập dữ liệu, mã của bạn chọn các URL, ranh giới thu thập dữ liệu, đầu ra yêu cầu, và kiểm tra chấp nhận. Nstdata Cloud Browser và Nstdata Crawl phơi bày hai hợp đồng này.
Giả sử một nhóm tài liệu cần lập chỉ mục các ghi chú phát hành công khai và xác minh rằng một biên tập viên có thể lưu một bản nháp trong một CMS giai đoạn. Lập chỉ mục có thể bắt đầu từ các hạt giống công khai và tạo ra Markdown đã được xác thực. Kiểm tra giai đoạn cần một tài khoản đã được phê duyệt, một tương tác cụ thể, và bằng chứng rằng biên tập viên đã chấp nhận thay đổi. Đây là những công việc khác nhau ngay cả khi cả hai đều sử dụng Chromium ở một nơi nào đó. Hướng dẫn thu thập dữ liệu so với thu thập dữ liệu giải thích sự khác biệt giữa việc phát hiện URL và trích xuất một trang đã biết.
Which product fits each type of job?
Chọn Cloud Browser cho tương tác trạng thái hoặc chọn Crawl cho việc cung cấp nội dung theo URL. Bắt đầu với điều kiện chấp nhận. Nếu người tiêu dùng yêu cầu một số hóa đơn, điểm kiểm tra phiên, hoặc sự phê duyệt của con người, hãy giữ cho vòng đời trình duyệt rõ ràng. Nếu họ yêu cầu các tài liệu được lập chỉ mục với các URL nguồn và dấu thời gian, ưu tiên phạm vi nội dung, chất lượng trích xuất, và khả năng lặp lại.
| Quyết định | Nstdata Cloud Browser | Nstdata Crawl |
|---|---|---|
| Đầu vào | Cấu hình trình duyệt, hành động mục tiêu và đã được ủy quyền | Hạt giống hoặc URL trang, tùy chọn và định dạng yêu cầu |
| Kiểm soát | Một trang tương tác thông qua Live View hoặc một khách hàng được hỗ trợ | Một yêu cầu nội dung với các điều khiển kết xuất đã được tài liệu và ranh giới thu thập dữ liệu |
| Đầu ra | Các khẳng định do ứng dụng định nghĩa, ảnh chụp màn hình hoặc các tài liệu nhiệm vụ khác | Các định dạng trang đã được tài liệu và các tham chiếu lưu trữ có sẵn |
| Đơn vị công việc | Một phiên sở hữu cùng một nhiệm vụ kinh doanh rõ ràng | Một yêu cầu trang hoặc thu thập dữ liệu có giới hạn |
| Kiểm tra thất bại | Tình trạng đang chạy, kết nối, trang đã chọn, kết quả UI, trạng thái cuối | Trạng thái nhiệm vụ, lỗi trang, tính đầy đủ, lược đồ và nội dung |
| Quan tâm vào việc mở rộng | Độ đồng thời của trình duyệt, thời gian chờ, trạng thái ứng dụng và sử dụng proxy | Phạm vi URL, lịch trình nhiệm vụ, chất lượng theo trang và xử lý tài liệu |
Một yêu cầu ảnh chụp màn hình có thể rơi vào cả hai phía. Một ảnh chụp từ một URL công khai được phép có thể sử dụng đầu ra của Crawl được hỗ trợ. Một ảnh chụp sau một chuỗi đã được phê duyệt cụ thể thuộc về trình duyệt thực hiện chuỗi đó. Chọn theo trạng thái cần được xác minh, sau đó quyết định ai sẽ giữ tài liệu. Hướng dẫn Playwright Pages và quy trình ảnh chụp màn hình minh họa kiểm soát phía phiên có sẵn cho một nhà phát triển.
How does each Nstdata product support the workflow?
Nstdata Cloud Browser cung cấp các trình duyệt đám mây được quản lý cho tự động hóa trình duyệt và các tác nhân AI, trong khi Nstdata Crawl là một API thu thập dữ liệu web cho dữ liệu sẵn sàng cho LLM. Một phiên trình duyệt cung cấp môi trường chạy cho tương tác. Crawl có thể phát hiện các trang đủ điều kiện từ một hạt giống và theo các liên kết được phép một cách đệ quy trong phạm vi được cấu hình. Lớp thu thập có thể kết xuất JavaScript khi cần thiết và chuyển các tài liệu đã được ghi lại tới một ứng dụng hạ nguồn. Ứng dụng của bạn sở hữu các quy tắc nội dung và quyết định chất lượng. Tài liệu Crawl.
- Thực hiện trạng thái. Cloud Browser gắn kết tự động hóa đã được phê duyệt qua CDP hoặc cho phép một người vận hành sử dụng Live View. Một kịch bản vẫn cần một trang cụ thể và một khẳng định ở mức nhiệm vụ.
- Khám phá và kết xuất. Crawl hỗ trợ khám phá trang và thu thập dữ liệu theo từng trang. Giới hạn các máy chủ đã được phê duyệt, các đường dẫn thích hợp, độ sâu và số trang theo lược đồ API hiện tại và phạm vi mà trang web cho phép. Yêu cầu kết xuất khi nội dung thiết yếu thiếu từ các định dạng đã được truy xuất.
- Lựa chọn định dạng. Tài liệu Crawl liệt kê Markdown, HTML, Dữ liệu thô, Liên kết, Ảnh chụp màn hình và PDF. Kết quả lớn hơn có thể sử dụng tham chiếu lưu trữ. Chọn định dạng phục vụ cho người tiêu dùng. Các tài sản bổ sung cần có chính sách lưu trữ và bảo quản.
- Định tuyến được quản lý. Cả hai dịch vụ đều hỗ trợ định tuyến proxy tích hợp mà không cần cung cấp một cổng riêng cho cấu hình tích hợp sẵn được tài liệu hóa. Quyền truy cập ứng dụng và quyền mục tiêu vẫn cần xác minh.
Làm thế nào để bạn kết nối cả hai sản phẩm trong một pipeline dữ liệu AI?
Kết nối các quy trình thông qua một URL được phép và một bản ghi nhiệm vụ, đồng thời giữ thông tin xác thực phiên bên trong worker tương tác. Một kiến trúc hữu ích giao cho trình duyệt và crawler các trách nhiệm khác nhau và lưu trữ kết quả của chúng một cách riêng biệt.
Bước 1. Xác định một đầu ra công khai được ủy quyền
Trong CMS staging đã được phê duyệt của bạn, xem xét quy trình làm việc với một tài khoản thử nghiệm. Định nghĩa một tài sản chuyển giao hợp lệ, chẳng hạn như URL sản xuất của một bản ghi đã công khai. Sử dụng một đường dẫn người điều hành được ủy quyền cho các hành động thay đổi trạng thái ứng dụng. Chỉ giữ lại URL đã xác thực, ID triển khai và bản sửa đổi nội dung tùy chọn trong payload chuyển giao.
Bước 2. Xác thực URL tại ranh giới
Yêu cầu HTTPS và một nguồn tài liệu công khai đã được biết đến. Chuẩn hóa theo quy tắc URL chính thống của trang web. Kiểm tra tiền tố đường dẫn được phép trước khi xếp hàng. Một URL bảng điều khiển riêng, tải xuống ký tên, hoặc URL có mã thông báo tài khoản yêu cầu một đường dẫn thu hút được phê duyệt tách biệt. Bảo vệ các ranh giới chuyển tiếp và khám phá trong tích hợp của bạn.
Bước 3. Gửi yêu cầu Crawl nhỏ
Chọn một trang công khai đã biết và yêu cầu Markdown trước. Đối với một nhiệm vụ trang web, bắt đầu với một vài URL dưới một đường dẫn tài liệu được phép. Sử dụng tham khảo API Crawl hiện tại để chọn các trường và kiểm tra trạng thái nhiệm vụ kết quả. Lưu ID nhiệm vụ để worker có thể đọc lại sau một gián đoạn. Kiểm tra các tham chiếu lưu trữ khi nội dung không nằm trong dòng. Chỉ mở rộng khám phá sau khi một mẫu vượt qua xét duyệt.
Bước 4. Áp dụng quy tắc chấp nhận dưới dòng
Xác thực nguồn gốc chính thống, địa điểm, loại tài liệu, tiêu đề mong đợi và đủ nội dung thân để hữu ích. Lưu một phiên bản hoặc băm để loại bỏ trùng lặp và URL để trích dẫn. Giữ trạng thái công việc tách biệt với việc chấp nhận. Một nhiệm vụ có thể kết thúc thành công với đầu ra mà nằm ngoài chính sách lập chỉ mục của bạn.
Ví dụ Node.js độc lập này xác thực một bản ghi thu hút được chuẩn hóa. Ánh xạ các trường phản hồi Crawl thực tế vào sơ đồ ứng dụng này sau khi lấy nội dung ở dòng hoặc tham chiếu. Bản ghi nhúng là tổng hợp và sử dụng miền Ví dụ đã được dự trữ. Chạy node accept-document.mjs.
import assert from 'node:assert/strict'; import { createHash } from 'node:crypto'; const record = { canonicalUrl: 'https://example.com/docs/releases/42', markdown: '# Release 42\n\nThe staging release changes the approved report filter.', finished: true, }; const url = new URL(record.canonicalUrl); assert.equal(url.origin, 'https://example.com'); assert(url.pathname.startsWith('/docs/releases/')); assert(!url.search && !url.hash); assert(record.finished && /^# Release \d+\b/m.test(record.markdown)); assert(record.markdown.length >= 40); const contentHash = createHash('sha256').update(record.markdown).digest('hex'); console.log(JSON.stringify({ accepted: true, source: url.href, contentHash }));
Bước 5. Giải quyết các lỗi theo loại công việc
Sử dụng ID phiên trình duyệt khi một tương tác trang thất bại, và ID nhiệm vụ Crawl khi một việc thu thập nội dung hoặc tài sản thất bại. Một worker nên có thể chạy lại bước thu thập chỉ đọc mà không phải phát lại một thay đổi trạng thái tương tác. Đóng trình duyệt sau khi quy trình làm việc hoàn thành và xác minh trạng thái cuối cùng của nó. Xem chu kỳ phiên Cloud Browser.
Làm thế nào để bạn đo lường phương pháp nào hoạt động tốt hơn?
Đo lường đầu ra được chấp nhận bởi người tiêu dùng và công việc cần thiết để sản xuất nó. Trong một bài kiểm tra lập chỉ mục, so sánh các trang tài liệu được chấp nhận, trùng lặp, lỗi phân tích, tài sản tham chiếu bị thiếu, và độ tươi của nội dung. Trong một bài kiểm tra trình duyệt, so sánh kết quả nhiệm vụ được chấp nhận, lỗi trang sai, thời gian chạy và thời gian chờ đợi cho một người. Một thử nghiệm nên bao gồm ít nhất một trường hợp thất bại mà bạn biết cách tái hiện. Để thu thập văn bản, so sánh Markdown được tạo ra với một bộ nhỏ các trang đã được xem xét trước khi thêm toàn bộ trang web. Xác minh rằng các ví dụ mã, tiêu đề sản phẩm và các liên kết có ý nghĩa tồn tại sau khi trích xuất. Đối với một pipeline truy xuất, tách biệt việc thu thập khỏi chuẩn hóa và lập chỉ mục, và giữ nội dung bị từ chối để xem xét. Điều này giữ cho bằng chứng kém ra khỏi mô hình mà không làm cho trình duyệt hoặc trình thu thập dữ liệu chịu trách nhiệm về phán đoán kinh doanh. Xem các dữ liệu sẵn sàng cho LLM có ý nghĩa gì và hướng dẫn Playwright về các khẳng định có thể nhìn thấy từ người dùng cho phía trình duyệt.
Bạn nên chuyển phát cái gì trước?
Chuyển phát một quy trình làm việc giới hạn với một quy tắc chấp nhận cụ thể trước khi thêm một con đường thực thi thứ hai. Đối với một pipeline tài liệu công cộng, bắt đầu với việc thu thập nội dung từ URL và kiểm tra nội dung đại diện. Đối với QA tương tác, bắt đầu với một bài kiểm tra trình duyệt được ủy quyền và một điểm kiểm tra ổn định. Kết nối chúng chỉ khi việc chuyển giao có một hợp đồng rõ ràng và có thể được xác minh độc lập.
FAQ
Q: Một trang web nặng JavaScript có yêu cầu phiên trình duyệt đám mây không? Sử dụng đầu ra cần thiết để quyết định. Một API thu thập dữ liệu với các điều khiển hiển thị được tài liệu có thể phù hợp với việc thu thập nội dung công khai. Một phiên được quản lý phù hợp với một quy trình làm việc yêu cầu tương tác trang liên tục hoặc chuyển giao.
Q: Định dạng nào hoạt động tốt nhất cho một pipeline truy xuất? Bắt đầu với Markdown cho việc thu thập văn bản, sau đó xem xét các trang đại diện. Chọn HTML khi đánh dấu là một phần của bằng chứng và giữ lại các đối tượng hình ảnh chỉ khi cần thiết.
Q: Kết quả thu thập có thể được xem là sẵn sàng để lập chỉ mục ngay lập tức không? Áp dụng các kiểm tra của riêng bạn cho nguồn gốc, liên quan, tính đầy đủ và trùng lặp. Giải quyết các tham chiếu lưu trữ có sẵn trước khi đo lường chất lượng.
Q: Hai sản phẩm có chia sẻ một thông tin xác thực hay phiên trình duyệt trực tiếp không? Sử dụng API và xác thực tài liệu của từng sản phẩm. Chia sẻ một URL hoặc tham chiếu công việc được ủy quyền ở lớp ứng dụng.
Q: Tôi nên so sánh chi phí như thế nào? Đo lường tài nguyên trình duyệt theo tương tác được chấp nhận và việc sử dụng thu thập theo tài liệu được chấp nhận. Bao gồm xác thực, đầu ra bị từ chối và nỗ lực phục hồi trong sự so sánh.





