Nstdata Crawl: API thu thập dữ liệu web hỗ trợ AI cho dữ liệu sẵn sàng cho LLM
Giới thiệu
Các trang web là một trong những nguồn kiến thức lớn nhất và thường xuyên được cập nhật nhất có sẵn cho các ứng dụng AI. Các tác nhân AI sử dụng chúng để nghiên cứu các công ty và thị trường. Các hệ thống sinh dữ liệu tăng cường (RAG) sử dụng chúng để xây dựng các cơ sở dữ liệu có thể tìm kiếm. Các đội ngũ dữ liệu sử dụng chúng để theo dõi giá cả, danh mục sản phẩm, xếp hạng tìm kiếm, tin tức và các thay đổi trong kinh doanh.
Tuy nhiên, việc lấy dữ liệu đáng tin cậy từ web hiện đại không còn đơn giản như việc gửi một yêu cầu HTTP và phân tích phản hồi. Nhiều trang web hiển thị nội dung của họ bằng JavaScript, tải thông tin không đồng bộ, kích hoạt nội dung thông qua cuộn chuột hoặc nhấp chuột, và sử dụng các hệ thống kiểm soát rủi ro tinh vi để xác định lưu lượng truy cập tự động. Ngay cả khi một trang được lấy, HTML của nó thường chứa nhiều điều hướng, kịch bản, kiểu dáng, quảng cáo và các yếu tố khác không liên quan đến mô hình AI.
Nstdata Crawl là một API web crawling được hỗ trợ bởi AI, biến các trang web thành dữ liệu sạch, có cấu trúc, sẵn sàng cho LLM. Các nhà phát triển gửi một URL và chọn đầu ra cần thiết. Nstdata Crawl xử lý việc truy cập trang, hiển thị trình duyệt, định tuyến proxy, xác thực trình duyệt, thử lại, trích xuất nội dung, chuyển đổi định dạng và quản lý tác vụ dưới một API.
Thay vì duy trì một trình thu thập dữ liệu khác nhau cho mỗi trang web, các đội ngũ có thể sử dụng Nstdata Crawl như một lớp dữ liệu web tái sử dụng cho các tác nhân AI, quy trình RAG, hệ thống phân tích và các ứng dụng doanh nghiệp.
Vấn đề với việc trích xuất dữ liệu web hiện nay - Tại sao chúng tôi xây dựng Nstdata Crawl
Việc lấy một trang web từng là một yêu cầu HTTP một dòng. Điều đó không còn đúng nữa.
Hầu hết web hiện đại được hiển thị bên phía khách hàng, được bảo vệ bởi các hệ thống chống bot ngày càng tinh vi và được cấu trúc theo những cách khó khăn cho một mô hình ngôn ngữ đọc trực tiếp. Một đội ngũ quyết định "chỉ lấy một vài trang" cho một tác nhân AI hoặc quy trình RAG nhanh chóng nhận ra mình đang xây dựng:
Một cụm trình duyệt không đầu cho các trang được hiển thị bằng JavaScript
Logic thử lại và thời gian chờ cho các trang không ổn định và lỗi mạng
Làm sạch nội dung để loại bỏ quảng cáo, điều hướng và các đoạn mã không cần thiết
Chuyển đổi HTML sang Markdown để một LLM có thể sử dụng đầu ra
Lập lịch đồng thời và giám sát lỗi ở quy mô lớn
Không có gì trong số đó là sản phẩm. Đó là khoản thuế bạn phải trả trước khi bạn có thể xây dựng sản phẩm. Chúng tôi đã xây dựng Nstdata Crawl vì chúng tôi liên tục thấy cùng một mô hình: các đội ngũ xây dựng các ứng dụng AI thực sự thú vị, nhưng lại mắc kẹt trong việc duy trì cơ sở hạ tầng thu thập dữ liệu.
Ba điều đã thuyết phục chúng tôi rằng điều này cần được giải quyết một lần, đúng cách, như một cơ sở hạ tầng:
Việc thu thập dữ liệu đã âm thầm trở thành một vấn đề cơ sở hạ tầng, không phải là một nhiệm vụ lập trình. Các nhà phát triển xây dựng các tác nhân AI và hệ thống RAG đang dành thời gian kỹ thuật đáng kể cho việc điều phối trình duyệt không đầu, quay proxy và xử lý CAPTCHA - thời gian nên được dành cho thiết kế nhắc nhở, chất lượng tìm kiếm và logic sản phẩm.
Có một khoảng cách thực sự giữa những gì các trình thu thập dữ liệu truyền thống sản xuất và những gì AI cần. Hầu hết các công cụ thu thập dữ liệu được xây dựng cho SEO hoặc lưu trữ đơn giản, và chúng trả lại "HTML bẩn" - đầy các kịch bản, quảng cáo và tiếng ồn đánh dấu. Cho LLM ăn thứ đó và bạn đang trả thêm token cho nội dung thực sự làm tổn hại đến khả năng hiểu trang của mô hình.
Các biện pháp chống bot đã chuyển sang cấp độ dấu vân tay trình duyệt. Các trang không còn chỉ lọc theo IP - họ kiểm tra việc hiển thị Canvas, thuộc tính WebGL, dấu vân tay phông chữ và đặc điểm phần cứng để phát hiện tự động hóa. Một trình thu thập dữ liệu với dấu vân tay không nhất quán hoặc không hoàn chỉnh bị chặn trước khi nó thậm chí thấy nội dung.
Nstdata Crawl giải quyết tất cả ba vấn đề cùng một lúc: nó hiển thị các trang như một trình duyệt thực sự, làm sạch nội dung xuống những gì một LLM thực sự cần, và hoạt động trên một backend dấu vân tay-trình duyệt được xây dựng để chịu được chính xác loại phát hiện này - vì vậy ứng dụng của bạn không bao giờ phải chạm vào bất cứ điều gì trong số đó.
Nstdata Crawl là gì?
1. Tổng quan về Nstdata Crawl
Nstdata Crawl là một API web crawling hiệu suất cao cho các nhà phát triển và đội ngũ dữ liệu. Nó chuẩn hóa quy trình thu thập dữ liệu web hoàn chỉnh như một dịch vụ cắm và chơi.
Với một URL mục tiêu, API có thể lấy và hiển thị trang, trích xuất nội dung chính của nó và trả lại dữ liệu có thể được sử dụng trực tiếp bởi một mô hình AI hoặc hệ thống kinh doanh. Nó hỗ trợ thu thập dữ liệu trang đơn chính xác, xử lý không đồng bộ cho các tác vụ dài hơn, và thu thập dữ liệu cấp trang web với độ sâu, giới hạn trang và quy tắc URL có thể cấu hình.
Tại lớp truy cập, Nstdata Crawl kết hợp công nghệ dấu vân tay trình duyệt với hạ tầng proxy của Nstdata để mô phỏng một môi trường duyệt web thực tế. Tại lớp giao hàng, nó hỗ trợ Markdown, HTML đã được làm sạch, dữ liệu trang thô, liên kết, ảnh chụp màn hình và PDF. Việc kết xuất, làm sạch, thử lại, lập lịch và lưu trữ kết quả được dịch vụ xử lý, vì vậy các ứng dụng tích hợp với một giao diện nhất quán thay vì một tập hợp các tập lệnh scraping dễ bị hỏng.
Nói một cách thực tế, Nstdata Crawl có thể phục vụ như:
một công cụ đọc web cho các tác nhân AI;
lớp thu thập và làm sạch của một pipeline RAG;
một bộ máy giám sát website cho giá cả, sản phẩm và thay đổi thị trường;
một backend quay web được quản lý cho các nền tảng dữ liệu và ứng dụng nội bộ.
Tóm lại: Nstdata Crawl là lớp giữa "một URL" và "dữ liệu mà hệ thống AI của bạn thực sự có thể sử dụng" — vì vậy bạn có thể ngừng duy trì các tập lệnh scraper và gọi một endpoint thay vào đó.
2. Tính Năng Chính của Nstdata Crawl: Từ URL đến Dữ liệu Web Sẵn sàng Sản xuất
Nstdata Crawl kết hợp các khả năng mà bình thường được phân tán trên một khách hàng HTTP, cụm trình duyệt, hồ bơi proxy, pipeline trích xuất, hàng đợi công việc và kho lưu trữ dữ liệu. Các nhà phát triển kiểm soát quy trình làm việc thông qua các tham số API và nhận đầu ra nhất quán bất kể cấu trúc trang bên dưới.
API Crawl Thân Thiện Với Nhà Phát Triển
Dịch vụ cung cấp một API REST tiêu chuẩn cho toàn bộ quy trình từ cấu hình yêu cầu đến thu hồi kết quả. Một yêu cầu đơn lẻ có thể chỉ định URL mục tiêu, định dạng đầu ra, thời gian chờ, trích xuất nội dung chính, phạm vi quay, và các tùy chọn thực thi khác.
Scraping đồng bộ trả về kết quả trong yêu cầu khi trang hoàn phẩm trong một khoảng thời gian dự đoán được. Scraping không đồng bộ ngay lập tức trả về một ID tác vụ, cho phép ứng dụng kiểm tra trạng thái và thu hồi kết quả sau. Quay web trên cấp độ trang bắt đầu từ một URL nhập cảnh và khám phá các trang nội bộ theo độ sâu, số trang, quy tắc bao gồm và loại trừ rõ ràng.
SDK chính thức có sẵn cho Node.js, Python và Go, giúp việc tích hợp Crawl vào các dịch vụ, tập lệnh, công cụ tác nhân, và pipeline dữ liệu hiện có trở nên đơn giản.
Trích Xuất Dữ Liệu Markdown và Dữ Liệu Cấu Trúc Sẵn Sàng cho AI
Nstdata Crawl làm nhiều hơn là tải xuống một trang web. Nó có thể phân tích cấu trúc trang, cô lập nội dung chính, loại bỏ các yếu tố gây rối, và chuyển đổi kết quả thành Markdown sạch.
Markdown bảo tồn các tiêu đề, đoạn văn, danh sách và liên kết mà không có khối lượng thẻ, kiểu dáng, và tập lệnh được tìm thấy trong HTML thô. Điều này làm cho nó trở thành lựa chọn mặc định mạnh mẽ cho các lời nhắc LLM, phản hồi công cụ tác nhân, ingestion RAG, tóm tắt, phân loại và trích xuất có cấu trúc. Tùy chọn onlyMainContent có thể giảm thêm điều hướng, quảng cáo, tiêu đề, chân trang, và các yếu tố bố cục lặp lại khác.
Đối với các quy trình làm việc yêu cầu cấu trúc DOM hoặc phân tích tùy chỉnh, API cũng có thể trả về HTML đã được làm sạch, dữ liệu thô, liên kết, và metadata trang cấu trúc như tiêu đề, ngôn ngữ, và trạng thái HTTP.
Kết Xuất JavaScript cho Các Website Hiện Đại
Một phần lớn của web hiện đại — các trang React, Vue và Next.js, trang giá, danh sách sản phẩm, bảng việc làm — đơn giản là không tồn tại trong phản hồi HTML ban đầu. Nstdata Crawl mở trang trong một môi trường trình duyệt thực, chờ cho đến khi nó hoàn tất việc kết xuất, và chỉ sau đó mới trích xuất nội dung, vì vậy bạn có thể thấy những gì một khách truy cập thực tế sẽ thấy.
Bạn có thể kiểm soát chính xác cách mà việc chờ hoạt động:
Chờ một bộ chọn CSS (ví dụ: main, article, .content, #app) để việc trích xuất chỉ xảy ra khi nội dung thực đã được gắn — không phải là một khung tải.
Cấu hình thời gian chờ bổ sung cho phản hồi API chậm, hoạt hình, hoặc các phần được tải lười.
Tổ chức các hành động trình duyệt — nhấn "tải thêm", cuộn để kích hoạt tải lười, điền vào một trường biểu mẫu, chạy JavaScript tùy chỉnh, hoặc chờ cho một yêu cầu mạng cụ thể hoàn tất — trước khi việc trích xuất diễn ra.
Dấu Vân Tay Trình Duyệt và Hạ Tầng Proxy
Các hệ thống kiểm soát truy cập hiện đại đánh giá nhiều hơn chỉ uy tín IP. Chúng cũng có thể kiểm tra TLS và dấu vân tay trình duyệt, đặc điểm thiết bị, thuộc tính kết xuất, phông chữ, hành vi Canvas, các tham số phần cứng, và các thuộc tính WebGL.
Nstdata Crawl sử dụng kiến trúc trình duyệt dấu vân tay để tạo ra một môi trường duyệt web mạch lạc hơn. Nó làm việc trực tiếp với hạ tầng proxy của Nstdata, cho phép quay proxy và định vị địa lý mà không yêu cầu các nhà phát triển phải vận hành các hồ bơi proxy của riêng họ.
Sự tích hợp chặt chẽ giữa động cơ quay và tài nguyên proxy đặc biệt hữu ích cho các khối lượng công việc kinh doanh lâu dài và có khối lượng lớn. Khi điều kiện truy cập thay đổi, các lớp quay và proxy bên dưới có thể được cập nhật mà không yêu cầu khách hàng viết lại mã scraping cấp ứng dụng.
Quay Web Đáng Tin Cậy Với Quản Lý Thử Lại và Tác Vụ
Scraping sản xuất gặp phải các sự cố tạm thời liên tục — các trang chậm, mạng không ổn định, các proxy tạm thời không khả dụng. Nstdata Crawl xử lý điều này ở cấp hạ tầng:
Tự động thử lại khi gặp lỗi có thể khôi phục, dựa trên trạng thái công việc và loại lỗi — mà bạn không cần viết logic thử lại.
Thời gian chờ có thể cấu hình cho mỗi công việc, để một trang chậm không bao giờ chặn quy trình của bạn; sử dụng thời gian chờ ngắn cho các trang đơn giản và thời gian dài hơn cho các trang nặng JS hoặc phản hồi chậm.
Truy vấn trạng thái công việc theo ID, để bạn có thể kiểm tra xem một công việc đang xử lý, đã hoàn thành, hay đã thất bại.
Chế độ đồng bộ hoặc bất đồng bộ — chờ kết quả ngay lập tức, hoặc gửi và kiểm tra sau cho các trang chạy lâu, thu thập sâu, hoặc công việc theo lô.
Giám sát tiến độ theo lô cho các thu thập dữ liệu trên cấp độ trang — tổng số, đã hoàn thành, đang chờ và số lần thất bại, với kết quả phân trang theo trang để theo dõi và phân tích lỗi.
Thu thập Dữ liệu Có Khả Năng Mở Rộng cho Tải Công Doanh Nghiệp
Nstdata Crawl được xây dựng để chạy nhiều công việc cùng lúc, không chỉ một lần. Các công việc được phân phối qua hàng đợi nhận thức về độ ưu tiên, vì vậy các công việc nhạy cảm về thời gian được ưu tiên hơn so với những công việc thường xuyên trong khi lưu lượng bình thường vẫn được xử lý theo thứ tự ổn định. Giới hạn tỷ lệ được áp dụng theo cấp bậc kế hoạch để bảo vệ cả các trang web mục tiêu của bạn và cơ sở hạ tầng chia sẻ khỏi việc bị quá tải.
Kết hợp với việc lập hóa đơn dựa trên mức sử dụng cho các bậc miễn phí, Khởi đầu, Tăng trưởng và Quy mô, điều này có nghĩa là cùng một API có thể mở rộng từ một nhà phát triển đơn lẻ kiểm tra một nguyên mẫu đến một nhóm doanh nghiệp vận hành khối lượng thu thập dữ liệu lớn và liên tục — mà không cần thay đổi công cụ hoặc thay đổi phương pháp thiết kế khi mức sử dụng tăng lên.
3. Mô Hình Giá Cả
Nstdata Crawl chủ yếu tính phí theo yêu cầu / xuất bản trang thành công, không theo số lần thử:
Một yêu cầu được tính phí khi nội dung trang thực sự được truy xuất (mã trạng thái HTTP được nhận mà không có lỗi mạng — điều này bao gồm cả các trường hợp như 404/403, vẫn được coi là một lần lấy thành công).
Băng thông được tính phí dựa trên lưu lượng thực tế tiêu thụ.
Nếu nội dung không được truy xuất do sự cố ở phía hệ thống, bạn sẽ không bị tính phí.
Kích hoạt JavaScript, trích xuất Markdown, xuất PDF và chụp màn hình đều được bao gồm trong dịch vụ cơ bản — không có khoản tính phí riêng biệt. Lưu lượng proxy được tính phí độc lập dựa trên mức sử dụng.
Cấp bậc
Tốt nhất cho
Những gì bạn nhận được
Dùng thử miễn phí
Xác thực chức năng, làm nguyên mẫu
$1 USD tín dụng dùng thử khi đăng ký
Trả theo mức sử dụng
Không cam kết, sử dụng thay đổi
$1.2 / 1,000 yêu cầu, không có đăng ký
Khởi đầu
Các nhóm giai đoạn đầu, lưu lượng thấp hơn
Độ đồng thời cơ bản, mức giá proxy tiêu chuẩn
Tăng trưởng
Các nhóm đang mở rộng, tần suất cao hơn
Độ đồng thời cao hơn, mức giá proxy tốt hơn, độ ưu tiên hàng đợi cao hơn
Quy mô
Độ đồng thời cao, thông lượng cao, doanh nghiệp
Độ đồng thời tối đa, tỷ lệ proxy cạnh tranh nhất, độ ưu tiên hàng đầu
Doanh nghiệp
Yêu cầu tùy chỉnh
Hợp đồng và mức giá được điều chỉnh riêng
Không cần đăng ký để bắt đầu — đăng ký, yêu cầu tín dụng dùng thử và chuyển sang trả theo mức sử dụng khi bạn đã sẵn sàng.
4. Định Dạng Đầu Ra
Nstdata Crawl có thể trả về các biểu diễn khác nhau của cùng một trang, cho phép mỗi hệ thống downstream sử dụng định dạng phù hợp nhất.
Định dạng
Phù hợp nhất cho
Đặc điểm
Markdown
Đầu vào LLM, AI agents, RAG, tóm tắt, trích xuất
Văn bản ngữ nghĩa sạch với ít mã thông báo không cần thiết hơn HTML
HTML
Phân tích DOM, tái cấu trúc trang, phân tích bảng và liên kết
Giữ nguyên cấu trúc HTML trong khi hỗ trợ làm sạch dựa trên bộ chọn
Dữ liệu thô
Gỡ lỗi, phân tích tùy chỉnh, ảnh chụp, phân tích mã hóa
Giữ lại dữ liệu trang gốc hoàn chỉnh nhất nhưng có thể chứa mã và nhiễu
Chụp màn hình
Xác thực hình ảnh, giám sát trang, kiểm toán, bằng chứng
Ghi lại trạng thái hình ảnh đã hiển thị sau khi các hành động JavaScript và trình duyệt
PDF
Lưu trữ, xem ngoại tuyến, báo cáo, hồ sơ tuân thủ
Giữ nguyên một biểu diễn trang có thể di chuyển sau khi hiển thị
Kết quả lớn có thể được trả về dưới dạng mã tham chiếu, bao gồm markdownRef, htmlRef, rawDataRef, screenshotRef, hoặc pdfRef. Tài liệu hoàn chỉnh sau đó có thể được truy xuất thông qua điểm cuối lưu trữ:
GET /api/v1/crawl/storage/read?st={ref}
Cách Nstdata Crawl Hoạt Động
Một yêu cầu thu thập dữ liệu đi qua bảy giai đoạn:
Gửi — Ứng dụng gửi một URL, định dạng đầu ra, và tùy chọn thu thập.
Xác thực — Nstdata Crawl xác thực thông tin xác thực, các trường yêu cầu, URL mục tiêu và giới hạn tài khoản.
Lên lịch — Công việc vào một hàng đợi được quản lý theo loại khối lượng công việc và độ ưu tiên.
Truy cập và hiển thị — Dịch vụ chọn môi trường thu thập dữ liệu, áp dụng cài đặt proxy và dấu vân tay, tải trang, và thực hiện các hành động JavaScript hoặc trình duyệt khi cần thiết.
Trích xuất và chuyển đổi — Động cơ xác định nội dung đã yêu cầu và chuyển đổi nó thành Markdown, HTML, dữ liệu thô, ảnh chụp màn hình, PDF, hoặc liên kết.
Lưu trữ và giao hàng — Kết quả nhỏ có thể được trả lại trực tiếp. Đầu ra lớn được lưu trữ và trả lại qua mã tham chiếu.
Theo dõi — Các yêu cầu đồng bộ trả về một kết quả hoàn thành trực tiếp. Các công việc bất đồng bộ và cấp độ trang web phơi bày trạng thái và điểm cuối tiến độ công việc.
Luồng công việc chung này cho phép một ứng dụng xử lý một bài viết tĩnh, một trang sản phẩm động và toàn bộ phần tài liệu thông qua cùng một dịch vụ.
Đăng ký tại nstdata, yêu cầu tín dụng dùng thử hoặc thêm số dư trả theo mức sử dụng, và sao chép khóa API từ trang tài khoản hoặc khu vực chơi thử nghiệm.
Yêu cầu sau đây chuyển đổi https://example.com thành Markdown:
Phản hồi thành công chứa trạng thái nhiệm vụ, Markdown, mã tham chiếu và siêu dữ liệu trang:
{"data":{"code":0,"data":{"markdown":"# Ví dụ miền\n\nMiền này được sử dụng trong các ví dụ tài liệu.","markdownRef":"REFERENCE_TOKEN","metadata":{"language":"en","statusCode":200,"title":"Ví dụ miền"}},"status":"completed","success":true},"err":false,"msg":"THÀNH CÔNG","code":200}
Lưu trữ khóa trong biến môi trường hoặc trình quản lý bí mật. Đừng để lộ nó trong mã phía trình duyệt hoặc cam kết nó vào kho lưu trữ.
Ví dụ API
Tất cả các yêu cầu API Nstdata Crawl yêu cầu một khóa API được truyền trong tiêu đề yêu cầu. Bạn có thể tìm thấy khóa API của mình trong bảng điều khiển tài khoản sau khi đăng ký.
URL cơ bản cho tất cả các điểm cuối là https://api.nstdata.io. Lưu trữ khóa API của bạn trong một biến môi trường — không bao giờ để lộ nó trong mã phía khách hàng hoặc cam kết nó vào kho lưu trữ.
5. Lấy dữ liệu một trang
Lấy dữ liệu một trang truy xuất một URL đã chỉ định và trả về nội dung ở một hoặc nhiều định dạng đầu ra: Markdown, HTML, liên kết, ảnh chụp màn hình, PDF, hoặc dữ liệu thô. Sử dụng điểm cuối này khi quy trình làm việc của bạn xử lý các trang riêng lẻ — trích xuất bài viết, theo dõi trang sản phẩm, tiếp nhận tài liệu, hoặc đọc web Agent theo thời gian thực.
Có hai chế độ gửi yêu cầu tùy thuộc vào việc ứng dụng của bạn cần kết quả ngay lập tức hay có thể kiểm tra để hoàn thành:
Lấy dữ liệu đồng bộ
Điểm cuối đồng bộ chờ nhiệm vụ hoàn thành và trả về kết quả trực tiếp trong phản hồi. Sử dụng chế độ này cho các trang đơn với thời gian xử lý dự đoán mà người gọi cần kết quả ngay lập tức — gọi công cụ Agent theo thời gian thực, trích xuất nội dung theo yêu cầu, hoặc quy trình làm việc tương tác.
Không nên chỉ dựa vào mã trạng thái HTTP đơn thuần để xác định xem việc lấy dữ liệu có thành công hay không. Luôn kiểm tra success, status, và data trong nội dung phản hồi — một mã HTTP 200 có nghĩa là yêu cầu đã được nhận, không phải rằng trang đã được lấy thành công.
Lấy dữ liệu bất đồng bộ
Điểm cuối bất đồng bộ trả về mã nhiệm vụ ngay lập tức và xử lý trang trong nền. Sử dụng chế độ này cho các trang nặng JavaScript với thời gian kết xuất dài, các trang bị yếu mạng chậm, hoặc bất kỳ quy trình công việc nào không nên giữ một kết nối HTTP mở trong khi chờ kết quả.
Lấy kết quả bằng cách kiểm tra mã nhiệm vụ đã trả về:
GET /api/v1/crawl/scrape/{taskId}
6. Lấy dữ liệu trên cấp độ trang web
Crawl cấp trang bắt đầu từ một URL đầu vào và tự động phát hiện, xử lý các trang nội bộ trong các giới hạn đã được cấu hình. Sử dụng điểm cuối này để nhập các trang tài liệu, danh mục sản phẩm, các phần nội dung của đối thủ, hoặc bất kỳ tập hợp nội dung cấu trúc nào mà danh sách URL đầy đủ không được biết trước.
Luôn đặt các giới hạn rõ ràng trước khi gửi một crawl cấp trang. Nếu không có maxDepth, maxPages, và các quy tắc loại trừ, một crawl có thể mở rộng đến các trang tìm kiếm, URL phân trang, quy trình đăng nhập và tải xuống tệp — tiêu tốn ngân sách và thời gian vào nội dung mà bạn không cần.
Sử dụng ID crawl đã trả về để kiểm tra tiến độ và lấy kết quả trang.
7. Truy vấn Trạng thái và Kết quả Nhiệm vụ
Truy vấn Kết quả Thu thập Trang Đơn
Trả về trạng thái nhiệm vụ, cờ thành công và dữ liệu kết quả cho một nhiệm vụ thu thập trang đơn. Đối với đầu ra lớn, phản hồi có thể chứa các mã tham chiếu thay vì nội dung trực tiếp — xem phần dưới đây về việc đọc kết quả lớn.
GET /api/v1/crawl/scrape/{taskId}
Ví dụ phản hồi
{"data":{"code":0,"data":{"markdownRef":"nL9gU9mOz9uHEtfXObDTo8K2wPh3F0ekLeDT_-NR-0Bl3-yl2_1kKY16Vbjy3Nj1nPpGK5o9GYnnSvAZqZxNRgrhgKuHrBS9JK4YgQHb0wYBUv20","metadata":{"language":"en","statusCode":200,"title":"Ví Dụ Tên Miền"},"rawDataRef":"GTZQPXe-_oEWhBvlN1ZbOJt1unITySNEjb1QzVgv_FKTHVJrOe1h59O_hwVB2MaO98nq-V4EU6V1qdQAYz6sqT3mz-GEi85CxW7E5ptiO5MecpOsHg"},"status":"đã hoàn thành","success":true},"err":false,"msg":"THÀNH CÔNG","code":200}
Truy vấn Trạng thái Crawl Cấp Trang
Trả về tiến độ tổng thể của crawl: tổng số trang đã phát hiện, đã hoàn thành, đang chờ xử lý và đã thất bại. Sử dụng điểm cuối này để theo dõi các công việc crawl dài hạn và xác định khi nào tất cả các trang đã sẵn sàng để lấy.
Trả về kết quả theo trang cho một crawl cấp trang đã hoàn thành hoặc đang tiến hành, phân trang bằng cách sử dụng con trỏ. Sử dụng điểm cuối này để lấy nội dung đã xử lý trang theo trang, theo dõi các URL nào đã thành công hoặc thất bại, và đưa kết quả vào các quy trình tiếp theo khi chúng hoàn thành thay vì đợi cho toàn bộ crawl hoàn tất.
Sử dụng nextCursor để phân trang kết quả khi crawl đã xử lý nhiều trang hơn số trang mà một phản hồi đơn lẻ trả về. Điều này đặc biệt hữu ích cho các crawl trang lớn, nơi việc lấy tất cả kết quả cùng một lúc sẽ tạo ra một phản hồi quá lớn.
8. Đọc Kết quả Tệp Lớn
Đối với các đầu ra lớn — tài liệu Markdown, HTML trang đầy đủ, ảnh chụp màn hình, PDF và dữ liệu trang thô — API trả về một mã tham chiếu thay vì nội dung trực tiếp. Các mã tham chiếu này được bao gồm trong kết quả nhiệm vụ dưới các trường sau:
markdownRef — đầu ra Markdown đã được làm sạch
htmlRef — đầu ra HTML đã được làm sạch
rawDataRef — dữ liệu trang thô như đã lấy từ máy chủ mục tiêu
screenshotRef — hình ảnh chụp màn hình toàn trang
pdfRef — tệp PDF đã xuất
Lấy nội dung đầy đủ bằng cách truyền mã tham chiếu đến điểm cuối lưu trữ:
GET /api/v1/crawl/storage/read?st={ref}
Sử dụng điểm cuối này để tải xuống ảnh chụp màn hình cho QA trực quan, lấy PDF cho quy trình lưu trữ, hoặc đọc các tài liệu Markdown lớn vượt quá giới hạn kích thước phản hồi nội tuyến. Các mã tham chiếu gắn liền với nhiệm vụ đã tạo ra chúng — luôn sử dụng mã được trả về từ kết quả nhiệm vụ, không phải giá trị được tạo thủ công.
Ví dụ SDK
SDK chính thức có sẵn cho Node.js, Python và Go. Mỗi SDK cung cấp các mô hình yêu cầu và phản hồi có kiểu và có thể được tích hợp trực tiếp vào các dịch vụ hiện có, quy trình dữ liệu, công cụ đại lý và quy trình thu thập RAG.
import os
from nstdata_ai_crawl import NstDataClient, ScrapeRequestDto, Format
TOKEN = os.getenv("NSTDATA_API_TOKEN","YOUR_API_TOKEN")with NstDataClient(TOKEN)as client: res = client.submit_scrape_task_sync(ScrapeRequestDto( url="https://example.com/", formats=[Format.MARKDOWN], timeout=60000, onlyMainContent=True,))print(res.data.get_markdown())
Thu thập dữ liệu cấp trang web
from nstdata_ai_crawl import NstDataClient, CrawlRequestDto, Format
with NstDataClient("YOUR_API_TOKEN")as client: submit = client.submit_crawl_task(CrawlRequestDto( url="https://example.com/", formats=[Format.MARKDOWN, Format.HTML], maxDepth=3, maxPages=50, ignoreQuery=True, onlyMainContent=True,))print(submit.id) status = client.get_crawl_status(submit.id)print(status)
Nstdata Crawl được thiết kế cho các nhóm cần dữ liệu web có cấu trúc, đáng tin cậy mà không cần duy trì cơ sở hạ tầng lấy dữ liệu phức tạp. Dù bạn đang xây dựng ứng dụng AI, theo dõi đối thủ cạnh tranh hay thu thập dữ liệu ở quy mô lớn, Crawl cung cấp nội dung web đã được trình duyệt hiển thị, sẵn sàng cho LLM thông qua một API duy nhất.
Tăng cường kiến thức của đại lý AI (RAG) — Tự động chuyển đổi tài liệu doanh nghiệp, hướng dẫn kỹ thuật và trang sản phẩm thành Markdown sạch và tiêm nội dung vào cơ sở dữ liệu vector theo thời gian thực. Nstdata Crawl xử lý việc trình diễn JavaScript và làm sạch nội dung để các quy trình RAG nhận được đầu vào có cấu trúc, không có nhiễu — không phải HTML thô đầy các tập lệnh và đánh dấu điều hướng.
Giám sát giá cả và tồn kho linh hoạt — Thu thập các trang sản phẩm của đối thủ cạnh tranh theo lịch trình và trích xuất giá cả, thông số SKU, trạng thái tồn kho và dữ liệu khuyến mãi dưới dạng JSON có cấu trúc. Mỗi lần thu thập phản ánh trang thực tế mà người dùng thực sự sẽ thấy — bao gồm cả giá được xử lý bởi JavaScript — vì vậy chiến lược định giá của bạn dựa trên dữ liệu thị trường trực tiếp, không phải trên các bản chụp đã được lưu.
Giám sát cảm nhận và danh tiếng thương hiệu — Thu thập nội dung từ các nền tảng xã hội, diễn đàn và trang đánh giá với quy mô lớn và đưa vào các quy trình phân tích cảm xúc. Quá trình thu thập trả về văn bản sạch mà không cần phải định dạng thủ công hoặc viết các công cụ phân tích tùy chỉnh cho mỗi nguồn.
Tạo ra khách hàng tiềm năng B2B — Tự động trích xuất mô tả công ty, vị trí mở, thông tin liên hệ và phạm vi kinh doanh từ các trang web của công ty mục tiêu. Xây dựng danh sách khách hàng tiềm năng có cấu trúc từ dữ liệu web công khai mà không cần duy trì một hệ thống thu thập cho mỗi miền nguồn.
Theo dõi thông tin đối thủ cạnh tranh — Giám sát các trang web của đối thủ cho các cập nhật tính năng, thông cáo báo chí, thay đổi giá cả và thiết kế lại. Đầu ra có cấu trúc từ mỗi lần thu thập làm cho việc so sánh nội dung qua các thời kỳ trở nên đơn giản và nổi bật các thay đổi có ý nghĩa cho các nhóm sản phẩm và chiến lược.
Phân tích cấu trúc trang SEO — Thu thập các trang của đối thủ cạnh tranh hoặc trang web riêng theo quy mô để trích xuất thẻ tiêu đề, mô tả meta, cấu trúc tiêu đề, nội dung chính và các mẫu liên kết nội bộ. Đưa đầu ra trực tiếp vào một LLM để thực hiện kiểm tra SEO tự động và đề xuất tối ưu hóa.
Thu thập thông tin học thuật và ngành nghề — Trích xuất các điểm dữ liệu quan trọng, siêu dữ liệu tác giả và nội dung có cấu trúc từ kho tàng nghiên cứu, ấn phẩm của chính phủ và trang báo cáo ngành. Thúc đẩy quy trình viết báo cáo và xem xét tài liệu mà không cần tải xuống và phân tích thủ công từng nguồn.
Khám phá sản phẩm Thương mại điện tử và phân tích xu hướng — Thu thập danh sách sản phẩm của các thị trường lớn để trích xuất xếp hạng, chỉ số bán hàng, từ khóa đánh giá và xu hướng giá cả. Cung cấp cho các nhóm bán hàng và vận hành dữ liệu có cấu trúc để xác định sản phẩm tiềm năng cao trước khi chúng đạt đến độ bão hòa.
Giám sát sự tuân thủ và thay đổi trên web — So sánh định kỳ cấu trúc HTML và nội dung văn bản của các trang công khai trước công chúng với các bản chụp trước đó. Nổi bật các thay đổi đối với điều khoản dịch vụ, chính sách bảo mật, thông báo tuân thủ hoặc tiết lộ quy định trước khi chúng ảnh hưởng đến hoạt động kinh doanh.
Xây dựng chỉ số tìm kiếm theo ngành — Xây dựng các chỉ số truy xuất riêng cho các ngành cụ thể — y tế, pháp lý, tài chính — bằng cách thu thập các trang web theo ngành thông qua API và đồng bộ hóa cập nhật theo thời gian thực. Giữ cho các công cụ tìm kiếm theo miền cụ thể luôn cập nhật mà không cần duy trì cơ sở hạ tầng thu thập riêng cho mỗi nguồn.
Cách đưa dữ liệu web theo thời gian thực vào các tác nhân AI và hệ thống RAG bằng cách sử dụng Nstdata Crawl
Việc đưa nội dung web vào một quy trình AI là vấn đề hai phần: lấy trang một cách đáng tin cậy và cung cấp nó ở định dạng mà hệ thống hạ nguồn thực sự có thể sử dụng. Hầu hết các nhóm giải quyết phần đầu tiên bằng cách sử dụng một trình thu thập thông tin và phát hiện phần thứ hai sau — khi HTML thô đầy đánh dấu điều hướng, banner cookie và thẻ script rơi vào một bước phân đoạn mà không được thiết kế để làm sạch.
Nstdata Crawl xử lý cả hai. Hai mẫu tích hợp sau đây cho thấy cách nó phù hợp với các quy trình dữ liệu AI phổ biến nhất: như một công cụ đọc web theo thời gian thực cho các tác nhân AI và như lớp thu thập và làm sạch ở phần đầu của một quy trình RAG.
Tích hợp Nstdata Crawl với các tác nhân AI
Các tác nhân AI thường cần lấy thông tin hiện tại từ web — trang web công ty, trang tin tức, tài liệu sản phẩm, blog, diễn đàn và các nguồn dữ liệu công khai. Nstdata Crawl hoạt động như một lớp đọc web cho tác nhân: tác nhân cung cấp một URL, Crawl lấy trang và trả về Markdown, HTML hoặc đầu ra có cấu trúc sạch sẽ, và tác nhân tiếp tục với tóm tắt, trả lời câu hỏi, so sánh hoặc trích xuất trường.
Cách hoạt động:
Tác nhân nhận được một câu hỏi từ người dùng hoặc mục tiêu nhiệm vụ.
Tác nhân xác định các URL cần được truy cập.
Tác nhân gọi Nstdata Crawl để lấy nội dung trang.
Crawl trả về Markdown đã được làm sạch.
Tác nhân sử dụng Markdown cho tóm tắt, Q&A, trích xuất có cấu trúc hoặc tạo báo cáo.
Mô hình này rất phù hợp cho các ứng dụng AI cần truy cập web theo thời gian thực. Ba loại tác nhân phổ biến được hưởng lợi trực tiếp:
Tác nhân nghiên cứu — Tự động đọc các trang web, kho tàng tài liệu học thuật, nguồn tin tức và ấn phẩm ngành để tạo ra các tóm tắt nghiên cứu và báo cáo so sánh. Crawl xử lý các trang được render bằng JavaScript và làm sạch nội dung để tác nhân nhận được đầu vào có cấu trúc, không phải HTML thô.
Đại lý Thông tin Bán hàng — Quét các trang web của công ty, trang nghề nghiệp, thông cáo báo chí và trang sản phẩm để trích xuất hồ sơ khách hàng, tín hiệu kinh doanh và cơ hội bán hàng. Đầu ra Markdown có cấu trúc giúp việc trích xuất trường dữ liệu trở nên dễ dàng mà không cần trình phân tích tùy chỉnh cho mỗi miền.
Đại lý Giám sát Thị trường — Liên tục theo dõi các trang web đối thủ, trang định giá, trang thông báo và cập nhật thị trường. Mỗi lần quét trả về đầu ra có cấu trúc nhất quán, giúp phát hiện những thay đổi có ý nghĩa qua các lần chạy và tự động tạo cảnh báo xu hướng.
Tích hợp Nstdata Crawl với Hệ thống RAG
Trong một quy trình RAG, nội dung web thường trải qua các bước thu thập, làm sạch, chia nhỏ, nhúng, và lập chỉ mục trước khi có thể được truy xuất. Nstdata Crawl xử lý hai bước đầu tiên — thu thập web và làm sạch nội dung — chuyển đổi các trang web phức tạp thành Markdown sạch và giảm thiểu gánh nặng xử lý văn bản phía dưới.
Quy trình RAG điển hình với Nstdata Crawl:
Sử dụng Nstdata Crawl để lấy các trang mục tiêu hoặc quét toàn bộ trang web.
Chuẩn hóa và làm sạch Markdown trả về.
Chia nhỏ nội dung thành các phần theo tiêu đề, đoạn văn hoặc số lượng token.
Tạo nhúng bằng cách sử dụng mô hình nhúng.
Ghi văn bản, vector và siêu dữ liệu vào cơ sở dữ liệu vector.
Tại thời điểm truy vấn, lấy các phần liên quan từ cơ sở dữ liệu vector và chuyển chúng cho LLM để tạo ra câu trả lời.
Các thành phần tương thích:
Loại
Ví dụ
Khung RAG
LangChain, LlamaIndex
Mô hình nhúng
OpenAI Embeddings, Cohere, các mô hình mã nguồn mở
Cơ sở dữ liệu vector
Pinecone, Weaviate, Qdrant, pgvector
Mô hình tích hợp này phù hợp cho các cơ sở dữ liệu tri thức doanh nghiệp, hệ thống Q&A tài liệu, trợ lý hướng dẫn sản phẩm, thư viện nghiên cứu ngành và kho thông tin tình báo cạnh tranh — bất kỳ ứng dụng nào mà nguồn tri thức là web công cộng và lớp truy xuất cần đầu vào sạch, có cấu trúc.
So sánh Nstdata Crawl
1. Nstdata Crawl so với Các Trình Scraper Truyền Thống
Một trình scraper nội bộ truyền thống cho đội ngũ kiểm soát hoàn toàn, nhưng đội ngũ cũng phải vận hành mọi lớp: khách hàng HTTP, trình duyệt, luân phiên proxy, tính nhất quán dấu vân tay, quy tắc trích xuất, hàng đợi công việc, chính sách thử lại, lưu trữ, ghi nhật ký, giám sát và phản ứng sự cố.
Nstdata Crawl đóng gói các khả năng đó qua một API tiêu chuẩn. Nó là lựa chọn tốt hơn khi một đội ngũ muốn dữ liệu web nhất quán mà không biến việc bảo trì trình quét thành một dự án hạ tầng lâu dài. Một trình scraper nội bộ vẫn có thể hợp lý khi quy trình làm việc yêu cầu hành vi chuyên biệt cấp thấp, phân tích tùy chỉnh cao hoặc kiểm soát hoàn toàn môi trường thực thi.
Khu vực
Trình scraper truyền thống
Nstdata Crawl
Render JavaScript
Xây dựng và vận hành công nhân trình duyệt
Quản lý qua yêu cầu Crawl
Quản lý proxy
Tìm nguồn, luân phiên và giám sát proxy
Hạ tầng proxy Nstdata tích hợp
Dấu vân tay trình duyệt
Thực hiện và duy trì hồ sơ
Quản lý lớp vân tay-trình duyệt
Làm sạch nội dung
Xây dựng quy tắc trích xuất và chuyển đổi
Đầu ra Markdown, HTML và có cấu trúc
Thử lại và hàng đợi
Xây dựng hạ tầng tác vụ
Thử lại tự động và lập lịch quản lý
Kết quả lớn
Xây dựng lưu trữ tài liệu
Lấy dữ liệu dựa trên tham chiếu
Bảo trì
Kỹ thuật và vận hành liên tục
Tập trung phía sau một API
2. Nstdata Crawl so với Firecrawl, Jina Reader và Tavily
Các sản phẩm này giải quyết những phần khác nhau của vấn đề dữ liệu web. Firecrawl và Jina Reader thường được xem xét để chuyển đổi trang web thành nội dung có thể đọc được bởi LLM, trong khi Tavily thường được sử dụng cho tìm kiếm và khám phá web hướng AI. Chúng có thể hiệu quả khi yêu cầu chính là đọc trang nhẹ nhàng, chuyển đổi Markdown hoặc kết quả tìm kiếm.
Nstdata Crawl được định vị như một lớp hạ tầng quét rộng hơn cho các khối lượng công việc sản xuất mà việc truy cập trang tin cậy cũng quan trọng như việc chuyển đổi nội dung. Sự khác biệt của nó tập trung vào sự kết hợp giữa thực thi dấu vân tay-trình duyệt, render JavaScript, hành động trình duyệt, tài nguyên proxy Nstdata, định vị địa lý, quản lý tác vụ bất đồng bộ, quét cấp trang và nhiều định dạng tài liệu.
Lựa chọn đúng phụ thuộc vào khối lượng công việc:
Chọn một công cụ đọc nhẹ khi các trang dễ truy cập và yêu cầu chính là chuyển đổi URL sang Markdown.
Chọn dịch vụ tập trung vào tìm kiếm khi việc tìm các trang liên quan quan trọng hơn việc kiểm soát cách mỗi trang được render và thu thập.
Chọn Nstdata Crawl khi khối lượng công việc bao gồm các trang web động phức tạp, truy cập theo vùng, thu thập thương mại lặp đi lặp lại, độ đồng thời cao hoặc các yêu cầu hoạt động xung quanh việc thử lại, tiến trình và lưu trữ kết quả.
Chỉ số đánh giá hữu ích nhất là chi phí trên một trang sử dụng được, không chỉ là chi phí trên mỗi yêu cầu. Kiểm tra các URL đại diện được phép và so sánh tính đầy đủ của nội dung, độ chính xác của nội dung được hiển thị, chất lượng Markdown, độ trễ, tỷ lệ thành công, tính nhất quán địa lý, khả năng chẩn đoán và nỗ lực bảo trì liên tục.
Sử Dụng Hợp Pháp và Có Trách Nhiệm
Nstdata Crawl được thiết kế cho việc thu thập và xử lý dữ liệu web công khai hợp pháp. Truy cập kỹ thuật không tự động xác lập quyền hợp pháp để thu thập, lưu trữ hoặc sử dụng nội dung.
Trước khi bắt đầu một lần thu thập, hãy xác nhận rằng mục tiêu, mục đích thu thập, và phương pháp xử lý đều tuân thủ các luật áp dụng, điều khoản của trang web, yêu cầu bảo mật, nghĩa vụ bản quyền, và chính sách nội bộ của tổ chức của bạn. Không sử dụng dịch vụ để vượt qua xác thực, né tránh các rào cản thanh toán hoặc quyền truy cập, thu thập dữ liệu không công khai, hoặc thu thập thông tin cá nhân có quy định mà không có cơ sở pháp lý hợp lệ.
Cookie và tiêu đề tùy chỉnh có thể chứa thông tin xác thực hoặc dữ liệu phiên. Lưu trữ chúng một cách an toàn, hạn chế quyền truy cập, tránh ghi chúng vào nhật ký, và chỉ giữ chúng trong thời gian cần thiết. Sử dụng tốc độ yêu cầu hợp lý, đặt ra rõ ràng các ranh giới thu thập, lưu trữ nội dung không thay đổi, và tránh đặt tải trọng không cần thiết lên các trang web mục tiêu.
Khắc Phục Lỗi Yêu Cầu
Không chỉ dựa vào trạng thái HTTP để xác định xem một nhiệm vụ có thành công hay không. HTTP 200 có nghĩa là yêu cầu API đã được xử lý, nhưng nhiệm vụ thu thập có thể vẫn trả về success: false. Luôn kiểm tra status, success, errorCode, và errorMessage trong phần thân phản hồi.
Tình trạng hoặc lỗi
Ý nghĩa
Hành động đề xuất
400 yêu cầu không hợp lệ
Thiếu, định dạng sai, hoặc tham số không hợp lệ
Xác nhận phần thân JSON, các trường cần thiết và loại trường
402 số dư không đủ
Tài khoản không có đủ số dư
Thêm tín dụng hoặc sử dụng tài khoản hoặc nhóm đã được tài trợ
403 URL không hợp lệ
URL không hợp lệ, quá dài, bị cấm, hoặc không thể giải quyết
Sử dụng một URL HTTP/HTTPS công khai hợp lệ và kiểm tra DNS
404 không tìm thấy nhiệm vụ
ID nhiệm vụ hoặc thu thập không chính xác hoặc không thể truy cập
Kiểm tra ID và đảm bảo thông tin xác thực khớp với chủ sở hữu nhiệm vụ
429 vượt quá giới hạn tỷ lệ
Tỷ lệ yêu cầu vượt quá giới hạn của tài khoản
Giảm tỷ lệ yêu cầu và thử lại với khoảng thời gian tăng dần
429 đã đạt giới hạn đồng thời
Quá nhiều nhiệm vụ đang chạy
Chờ các công việc đang hoạt động hoàn thành trước khi gửi thêm
503 dịch vụ không khả dụng
Một nhiệm vụ, lưu trữ, thanh toán, hoặc dịch vụ đầu cuối tạm thời không khả dụng
Thử lại sau với khoảng thời gian tăng dần có giới hạn
504 thời gian đồng bộ hết hạn
Yêu cầu đồng bộ vượt quá thời gian chờ
Sử dụng gửi không đồng bộ và kiểm tra kết quả
timeout
Thời gian thực thi trang vượt quá thời gian chờ cấu hình
Đơn giản hóa các hành động trên trình duyệt, điều chỉnh thời gian chờ, hoặc thử lại sau
parse_error
Trang không thể được phân tích
Thử dữ liệu đầu ra HTML hoặc thô, điều chỉnh bộ chọn, và xác nhận khả năng truy cập
access_denied
Mục tiêu từ chối hoặc bị chặn theo chính sách nhiệm vụ
Xác nhận mục tiêu được phép và sử dụng nguồn tài liệu khác được ủy quyền
Đối với khắc phục sự cố trong sản xuất, ghi lại ID yêu cầu, ID nhiệm vụ, URL, thời gian gửi, định dạng đầu ra, thời gian chờ, cài đặt hiển thị, và các tham số yêu cầu không bí mật. Không bao giờ ghi nhật ký khóa API, cookie xác thực, hoặc tiêu đề nhạy cảm.
Khi nhận được 429, hãy tôn trọng Retry-After khi có và sử dụng khoảng thời gian tăng dần có jitter — ví dụ, lần lượt chờ khoảng 1, 2, 4, và 8 giây. Không gửi ngay cùng một yêu cầu với tần suất cao.
Câu Hỏi Thường Gặp
Q1. Nstdata Crawl là gì?
Nstdata Crawl là API thu thập web được hỗ trợ bởi AI biến các trang web công khai thành đầu ra sạch sẽ, có cấu trúc như Markdown, HTML, dữ liệu thô, ảnh chụp màn hình, PDF, và liên kết. Nó quản lý việc hiển thị, proxy, dấu vân tay, trích xuất, thử lại, lập lịch nhiệm vụ, và thu thập kết quả.
Q2. Nstdata Crawl khác gì so với yêu cầu HTTP bình thường?
Một khách hàng HTTP bình thường thường chỉ nhận phản hồi ban đầu của máy chủ. Nstdata Crawl có thể thực thi JavaScript, chờ nội dung động, thực hiện các hành động trên trình duyệt, định tuyến lưu lượng qua các proxy, làm sạch nội dung trang, chuyển đổi nó thành Markdown, và quản lý trạng thái nhiệm vụ không đồng bộ.
Q3. Nstdata Crawl có hỗ trợ các trang được hiển thị bằng JavaScript không?
Có. Nó có thể tải một trang trong môi trường trình duyệt, chờ việc hiển thị hoặc một bộ chọn cụ thể, thực hiện các hành động trình duyệt đã cấu hình, và trích xuất trạng thái trang cuối cùng.
Q4. Nstdata Crawl có thể xử lý toàn bộ một trang web không?
Có. Việc thu thập ở cấp độ trang web bắt đầu từ một URL đầu vào và phát hiện các trang nội bộ. Sử dụng maxDepth, maxPages, quy tắc bao gồm, quy tắc loại trừ, và xử lý truy vấn để giữ việc thu thập trong phạm vi mong muốn.
Q5. Nstdata Crawl có phù hợp cho RAG không?
Có. Đầu ra Markdown của nó được thiết kế cho các quy trình làm việc AI và có thể được làm sạch, chia nhỏ, nhúng, và ghi vào cơ sở dữ liệu vector như một phần của quy trình nhập RAG.
Q6. Nstdata Crawl có hỗ trợ ảnh chụp màn hình và PDF không?
Vâng. Cả hai định dạng đều được bao gồm trong dịch vụ thu thập dữ liệu. Các tệp lớn có thể được trả về thông qua mã tham chiếu và lấy lại qua điểm cuối lưu trữ.
Q7. Nstdata Crawl có hỗ trợ cookie và tiêu đề tùy chỉnh không?
Vâng. Các yêu cầu có thể bao gồm cookie cho quyền truy cập dựa trên phiên đã được ủy quyền và tiêu đề tùy chỉnh cho ngôn ngữ, User-Agent, định danh doanh nghiệp hoặc các yêu cầu khác của yêu cầu. Hãy coi những giá trị này như thông tin xác thực khi chúng chứa thông tin nhạy cảm.
Q8. Nstdata Crawl có cung cấp API URL hàng loạt hoặc webhook không?
Nstdata Crawl hiện không cung cấp một điểm cuối URL hàng loạt chuyên dụng hoặc một webhook công khai. Các ứng dụng có thể gửi nhiều nhiệm vụ trang không đồng bộ với kiểm soát độ đồng thời và lấy kết quả bằng cách theo dõi điểm cuối trạng thái nhiệm vụ. Crawl cấp độ trang có thể được sử dụng cho các trang liên kết trong một trang web.
Q9. Nstdata Crawl tốn bao nhiêu tiền?
Mô hình định giá trả theo nhu cầu bắt đầu từ 1,20 USD cho 1.000 yêu cầu. Người dùng mới nhận được 1 USD trong tín dụng thử nghiệm sau khi đăng ký dùng thử. Việc kết xuất JavaScript, trích xuất Markdown, PDF và chụp màn hình được bao gồm, trong khi việc sử dụng proxy sẽ được tính phí riêng biệt.
Q10. Làm thế nào để tôi có thể cải thiện tỷ lệ thành công của việc thu thập dữ liệu?
Bật kết xuất JavaScript cho các trang động, chờ chọn bộ chọn nội dung đáng tin cậy, sử dụng cookie hoặc tiêu đề phù hợp cho các phiên được ủy quyền, chọn khu vực proxy thích hợp, giữ cho việc thu thập dữ liệu trang web có giới hạn, giảm tần suất yêu cầu và sử dụng chế độ không đồng bộ cho các công việc chậm hoặc lớn.
Kết luận: Xây dựng Lớp Dữ liệu Web Một Lần
Nếu bạn đang xây dựng một tác nhân AI, một quy trình RAG, một công cụ thông tin thị trường, hoặc bất kỳ hệ thống nào phụ thuộc vào việc đọc web trực tiếp, lớp thu thập dữ liệu không nên là thứ bạn phải duy trì. Nstdata Crawl biến lớp đó thành một cuộc gọi API duy nhất, đáng tin cậy - bao gồm việc kết xuất, xử lý chống bot, thử lại và dọn dẹp.
Bắt đầu với Hướng dẫn Nhanh ở trên và thử nghiệm với một URL thực tế từ quy trình làm việc của riêng bạn. Nếu bạn cần độ đồng thời cao hơn, các chiến lược thu thập dữ liệu tiên tiến hơn, hoặc hỗ trợ cấp doanh nghiệp, hãy liên hệ với đội ngũ - chúng tôi rất vui được thảo luận về cách thiết lập cụ thể của bạn.
