TL;DR
- Chuyển đổi từ web sang PDF theo chương trình cần một trạng thái trang đã được hiển thị và một kiểm tra chấp nhận trực quan.
- Yêu cầu
pdfcho một trang đã biết, sau đó lấypdfRefkhi bản ghi được lưu trữ riêng. - Một envelope API thành công không chứng minh rằng PDF đã tải văn bản, đúng ngắt trang hoặc trạng thái như mong muốn.
- Sử dụng trình duyệt cục bộ được kiểm soát khi CSS in hoặc trạng thái ứng dụng yêu cầu kiểm soát chính xác.
- Nstdata Crawl xử lý việc hiển thị JavaScript và định tuyến proxy trong các yêu cầu được quản lý; tài liệu của nó liệt kê sáu danh mục đầu ra: Markdown, HTML, dữ liệu thô, PDF, ảnh chụp màn hình và liên kết.
What Is a Website-to-PDF API?
Một API web-to-PDF tải một URL trong môi trường giống như trình duyệt và tạo ra một đại diện PDF của trang kết quả. Nó hữu ích cho các bản ghi, xem lại hoặc chia sẻ một bản snapshot trực quan ổn định. Một PDF không tự động là một kho lưu trữ trung thực: nội dung lười, kiểu in, hộp thoại cookie, phông chữ hỏng và ngắt trang có thể thay đổi những gì xuất hiện. Định nghĩa trước khu vực xem, nội dung và điều kiện hoàn thành mong đợi.
Nstdata Crawl có thể biến một URL hoặc một tập hợp các trang liên kết giới hạn thành tài liệu cho một tác nhân AI, chỉ số RAG, hoặc đường ống dữ liệu. Sử dụng quy tắc lĩnh vực và các kiểm tra chấp nhận của riêng bạn cho kết quả cụ thể: hiển thị một trang web được ủy quyền dưới dạng PDF có thể truy xuất với trạng thái trang chính xác. Hướng dẫn c crawling toàn bộ trang web Nstdata giải thích tùy chọn cấp độ trang.
Đối với nhiệm vụ hẹp được đề cập ở đây, hướng dẫn thu thập dữ liệu tự động Nstdata cung cấp ngữ cảnh hữu ích cho việc chọn trang đại diện đầu tiên.
What Do You Need Before You Start?
Chọn một URL được ủy quyền và liệt kê các yếu tố có thể nhìn thấy phải xuất hiện trong PDF: tiêu đề, ngày, bảng, biểu đồ hoặc chân trang. Quyết định xem kiểu in của mục tiêu có chấp nhận được không hoặc liệu một bản chụp cụ thể của trình duyệt có cần thiết. Lưu NSTDATA_API_TOKEN ở phía máy chủ cho Crawl. Lập kế hoạch một tên tệp, thời gian lưu giữ và lưu giữ URL nguồn trước khi tạo ra nhiều PDF.
Tài liệu Crawl API sử dụng https://api.nstdata.io, tiêu đề x-api-key, và Content-Type: application/json. Chuẩn bị các trường này trước khi chạy một phương thức:
| Trường | Cần cung cấp gì |
|---|---|
url | Một URL trang hoặc trang web hợp lệ qua HTTPS |
formats | Các đầu ra được yêu cầu, chẳng hạn như ["markdown"] hoặc ["html","screenshot"] |
onlyMainContent | true chỉ khi việc chọn nội dung chính phù hợp với nhiệm vụ |
maxDepth, maxPages | Giới hạn rõ ràng cho một công việc trên toàn trang web |
includeUrls, excludeUrls | Mẫu URL giữ cho việc khám phá trong phạm vi |
timeout | Một thời gian chờ nhiệm vụ tính bằng mili giây khi mặc định không phù hợp |
Yêu cầu quản lý tiêu chuẩn không có các trường Proxy Host, Port, Username, Password hoặc Protocol riêng biệt. Kiểm tra trang bảng giá Crawl hiện tại để biết giới hạn tài khoản và phí trước khi chạy một công việc lớn.
Xem xét chính sách truy cập và phạm vi của mục tiêu. Giao thức loại trừ Robots định nghĩa cách các trình thu thập thông tin đọc các quy tắc robots; nó không cấp quyền sử dụng nội dung. Giữ thông tin đăng nhập và dữ liệu riêng tư ra khỏi các ví dụ và nhật ký chẩn đoán.
Hướng dẫn trang động Nstdata là một tài liệu bổ trợ cho việc định nghĩa các kiểm tra chấp nhận trước khi bạn tự động hóa quy trình công việc.
How Does Web-to-PDF Rendering Work?
Nstdata Crawl hỗ trợ việc hiển thị trình duyệt và đầu ra PDF. Một yêu cầu có thể trả về mã token pdfRef thay vì byte PDF nội tuyến; lấy mã token đó thông qua điểm cuối đọc kho lưu trữ được tài liệu hóa. Dịch vụ tương tự có thể trả về ảnh chụp màn hình hoặc HTML để giúp chẩn đoán một PDF không tốt. Định tuyến proxy được quản lý bên trong Crawl cho một yêu cầu tiêu chuẩn, vì vậy không cần điền vào các trường Proxy Host, Port, Username hoặc Password riêng biệt.
Đối với một URL đã biết, một lần quét trang đơn thuần lấy về một kết quả. Đối với một phần trang web, POST /api/v1/crawl khám phá các trang liên kết theo cách đệ quy trong phạm vi độ sâu, số trang và quy tắc URL đã cung cấp. Tài liệu hướng dẫn liệt kê Markdown, HTML, dữ liệu thô, PDF, ảnh chụp màn hình và liên kết dưới dạng sáu danh mục đầu ra; trang sản phẩm cũng tiếp thị JSON, nhưng một lược đồ JSON theo miền cụ thể vẫn cần ánh xạ trường rõ ràng. Giữ mỗi bản ghi đã chấp nhận liên kết với URL nguồn và siêu dữ liệu đã trả về của nó.
Test một trang JavaScript nặng điển hình trước khi mở rộng. Trạng thái được tạo ra có thể phụ thuộc vào thời gian, khu vực, sự đồng ý hoặc phiên đã đăng nhập. So sánh HTML trả về hoặc một ảnh chụp màn hình với trạng thái trang mong đợi; nếu chúng khác nhau, chỉ điều chỉnh các điều khiển chờ được tài liệu hóa.
Làm Thế Nào Để Chuyển Đổi Một Trang Web Sang PDF Một Cách Tự Động?
Xem trước một PDF điển hình, tự động hóa yêu cầu PDF đã được quản lý, hoặc hiển thị một trang mà bạn kiểm soát bằng trình duyệt cục bộ. Chọn lộ trình dựa trên quyền truy cập, bố cục in ấn, và mức độ kiểm soát hiển thị bạn cần.
Phương Pháp 1: Xem Trước PDF Trong Crawl Playground
Tốt nhất để kiểm tra một trang điển hình và bố cục in ấn.
Bước 1: Mở mục tiêu
Đăng nhập và điều hướng đến Bảng Điều Khiển → Crawl Playground. Nhập một URL được ủy quyền. [Ảnh chụp màn hình: Lựa chọn URL và đầu ra PDF.]
Bước 2: Chọn PDF và điều kiện chờ
Chọn đầu ra PDF, bật hiển thị nếu cần, và cấu hình một thời gian chờ đã được tài liệu hóa cho nội dung tải muộn. Giữ lại một đầu ra ảnh chụp màn hình để so sánh nếu trạng thái hình ảnh không chắc chắn.
Bước 3: Kiểm tra tệp
Mở PDF trả về. Kiểm tra các ngắt trang, tiêu đề, bảng, phông chữ, và phần cuối cùng có thể nhìn thấy trước khi tự động hóa chuyển đổi.
Phương Pháp 2: Tạo PDF Thông Qua API Crawl
Tốt nhất để thu thập lặp lại từ một ứng dụng máy chủ.
Bước 1: Bảo vệ khóa API
Giữ NSTDATA_API_TOKEN trong một bí mật phía máy chủ và gửi nó như x-api-key.
Bước 2: Yêu cầu PDF
Sử dụng hình dạng thu thập nhanh được tài liệu hóa dưới đây với formats: ["pdf"]. So sánh yêu cầu được tạo ra trong Playground của bạn trước khi sản xuất vì các nhãn lộ trình thu thập khác trong tài liệu có thể gây xung đột.
Đặt NSTDATA_API_TOKEN trong shell của bạn từ tài khoản Nstdata của bạn, sau đó chạy yêu cầu nhanh chóng được tài liệu hóa. Tài liệu công khai đánh dấu một số lộ trình đồng bộ và không đồng bộ khác không nhất quán; so sánh yêu cầu được tạo ra trong Playground của bạn trước khi sử dụng sản xuất.
curl --output crawl-response.json --request POST "https://api.nstdata.io/api/v1/crawl/scrape/submit-sync" \ --header "x-api-key: ${NSTDATA_API_TOKEN}" \ --header "Content-Type: application/json" \ --data '{"url":"https://example.com/","formats":["pdf"]}'
Phản hồi được lưu vào crawl-response.json. Kiểm tra các trường lồng nhau data.success, data.status, và data.data.metadata.statusCode trước khi sử dụng bất kỳ nội dung nào trả về.
Bước 3: Lấy tài liệu
Kiểm tra thành công nhiệm vụ và sử dụng pdfRef trả về với GET /api/v1/crawl/storage/read?st={ref}. Lưu byte dưới dạng PDF chỉ sau khi xác nhận phản hồi là một tài liệu PDF thực sự.
Sau khi đọc pdfRef từ crawl-response.json, lấy PDF với điểm cuối lưu trữ được tài liệu hóa. Thay thế token tạm thời bằng giá trị được trả về chính xác:
curl --get --fail --location --header "x-api-key: ${NSTDATA_API_TOKEN}" --data-urlencode "st=<pdfRef>" "https://api.nstdata.io/api/v1/crawl/storage/read" --output page.pdf file page.pdf
Kết quả file phải xác định là PDF. Mở tệp và kiểm tra trang đầu tiên và cuối cùng, các ngắt trang, việc chọn văn bản, và bất kỳ bảng quan trọng nào. Nếu điểm cuối trả về byte inline thay vì pdfRef, lưu các byte đó theo loại phản hồi được trả về.
Phương Pháp 3: Sử Dụng Trình Duyệt Cục Bộ Cho Một Trang Bạn Kiểm Soát
Tốt nhất khi trang đã có sẵn trong ứng dụng của bạn và bạn cần CSS in ấn chính xác.
Bước 1: Tải trang trong một môi trường tự động hóa trình duyệt đã cài đặt
Sử dụng một môi trường cục bộ đáng tin cậy và một trang bạn kiểm soát; tránh sao chép cookie xác thực vào các dịch vụ bên thứ ba.
Bước 2: Chờ nội dung cần thiết
Chọn một phần tử ổn định hoặc tín hiệu ứng dụng sẵn sàng thay vì một khoảng thời gian chờ mù quáng.
Bước 3: Xuất và so sánh
Gọi chức năng PDF của trình duyệt, sau đó kiểm tra các ngắt trang và văn bản. Hiển thị cục bộ có nghĩa là bạn duy trì thời gian chạy trình duyệt, quy tắc truy cập, và tự mình thực hiện thử lại.
Làm Thế Nào Để Xác Minh Đầu Ra?
Một yêu cầu PDF thành công tạo ra một tệp có thể đọc với nội dung trang dự định, không chỉ một envelope JSON thành công. Xác nhận chữ ký PDF, số trang, trang đầu tiên và cuối cùng, và bất kỳ bảng hoặc ngày quan trọng nào. Tài liệu Tài Liệu PDF Playwright giải thích về lựa chọn trình duyệt cục bộ và hành vi print-media của nó. Hướng dẫn thu thập dữ liệu tự động của Nstdata mô tả PDF như một artefact Crawl có sẵn. Hướng dẫn cách thu thập toàn bộ trang web Nstdata kết nối kiểm tra cấp trang này với một quy trình AI hoặc dữ liệu hạ nguồn.
Ghi lại URL nguồn, thời gian gửi, định dạng yêu cầu, các tùy chọn không bí mật, ID nhiệm vụ khi có, trạng thái trang trả về, và lý do mỗi bản ghi được chấp thuận hoặc bị từ chối. Kiểm tra nội dung cũng như phong bì API. Nếu phản hồi chứa markdownRef, htmlRef, rawDataRef, screenshotRef, hoặc pdfRef, lấy mã thông báo đó bằng cách GET /api/v1/crawl/storage/read?st={ref}.
Đối với quy trình này, tham khảo tài liệu PDF của Playwright khi thực hiện bộ phân tích hạ nguồn hoặc kiểm tra chấp nhận theo định dạng cụ thể.
Khi truyền văn bản đã trích xuất cho một tác nhân, hãy coi hướng dẫn trang như là tài liệu nguồn không đáng tin cậy. Hướng dẫn của OWASP về việc tiêm lệnh giải thích nguy cơ. Giữ lại các URL nguồn để đầu ra AI có thể được kiểm tra.
Tại Sao Một Tài Liệu PDF Trang Web Có Thể Trông Không Đầy Đủ?
Việc chuyển đổi web sang PDF có thể thất bại vì trang đã được ghi lại trước khi nội dung lười được tải. Sử dụng bảng triệu chứng để xác định lớp đang gặp lỗi trước khi thay đổi giới hạn hoặc thử lại.
| Triệu chứng | Nguyên nhân có thể | Hành động tiếp theo |
|---|
| PDF trống hoặc một phần | Trang đã được ghi lại trước khi nội dung lười được tải. | Chờ đợi một yếu tố cụ thể và so sánh ảnh chụp màn hình. |
| Ngắt trang bất ngờ | CSS in hoặc khoảng cách thay đổi bố cục. | Kiểm tra kiểu in của mục tiêu hoặc sử dụng trình duyệt cục bộ điều khiển. |
| Chỉ một mã tham chiếu được trả về | Các tác phẩm lớn được lưu trữ riêng biệt. | Lấy pdfRef đã trả về qua tuyến đường lưu trữ-đọc. |
Tài liệu của Nstdata liệt kê các lỗi cấp nhiệm vụ như access_denied, timeout, parse_error, và internal_error. Một HTTP 200 bên ngoài vẫn có thể đi kèm với một nhiệm vụ thất bại. Kiểm tra success, status, errorCode, và errorMessage bên trong phản hồi khi có mặt. Chỉ thử lại những lỗi tạm thời trên các trang mà bạn có thể truy cập.
Phương Pháp Nào Là Sự Lựa Chọn Tốt Nhất?
Sử dụng Playground cho một thử nghiệm hình ảnh nhanh, API thu thập cho việc ghi lại từ xa có thể lặp lại, hoặc một trình duyệt cục bộ cho các trang bạn kiểm soát và cần kiểu in chính xác. Kiểm tra tệp PDF kết quả trong mọi trường hợp. Tổng quan về thu thập trang Nstdata cung cấp thêm chi tiết về tuyến đường trang.
Bạn Nên Làm Gì Sau Chạy Thành Công Đầu Tiên?
Lưu cấu hình đã được phê duyệt và một bản ghi đầu ra có nguồn gốc, sau đó lặp lại trên một bộ các mẫu trang khác nhau nhỏ. Tăng quy mô chỉ sau khi những bản ghi đó vượt qua cùng một kiểm tra chấp nhận.
Câu Hỏi Thường Gặp: Có Gì Khác Bạn Nên Biết?
Q: Nstdata có trả lại bytes PDF theo dòng không?
Một PDF lớn có thể được trả về dưới dạng pdfRef; lấy mã thông báo qua điểm cuối lưu trữ được tài liệu hóa.
Q: Một PDF có khớp với màn hình trình duyệt chính xác không?
Không nhất thiết. CSS in, viewport, phông chữ và thời gian tải có thể thay đổi kết quả; kiểm tra các tệp đại diện.
Q: Tôi có thể chuyển đổi các trang đã xác thực không?
Chỉ khi bạn có quyền và quy trình xác thực được hỗ trợ; giữ phiên và thông tin đăng nhập trong kho lưu trữ bí mật đã được phê duyệt.
Q: Việc chuyển đổi web sang PDF có yêu cầu cấu hình proxy riêng với Nstdata Crawl không?
Một yêu cầu Crawl được quản lý tiêu chuẩn không yêu cầu các trường Host, Port, Username, Password hoặc Protocol riêng biệt. Xác nhận bất kỳ lựa chọn proxy tùy chọn và phí sử dụng liên quan trong tài khoản của bạn.
Q: Có phải HTTP 200 chứng minh rằng kết quả chuyển đổi web sang PDF là khả dụng không?
Không. Kiểm tra kết quả nhiệm vụ bên trong, trạng thái trang, các trường dự kiến, và độ trung thực của nội dung trước khi sử dụng nó trong một quy trình AI hoặc dữ liệu.
