Xuất kết quả trình thu thập vào bảng tính Excel yêu cầu một sơ đồ hàng đã chuẩn hóa trước khi chuyển đổi tệp.
Chọn XLSX khi bạn cần các loại văn bản rõ ràng, nhiều trang, bộ lọc và hành vi bảng tính có thể dự đoán.
Sử dụng CSV cho việc trao đổi đơn giản, nhưng kiểm soát mã hóa, ký tự phân cách, loại nhập, và cách diễn giải công thức.
Bảo tồn các URL nguồn, thời gian quan sát, kết quả nhiệm vụ, và các giá trị thiếu thay vì chỉ xuất văn bản đã trích xuất.
Lấy mọi lô kết quả trước khi tuyên bố việc xuất hoàn tất, và đối chiếu các bản ghi đã nộp, đã chấp nhận, và đã bị từ chối.
Nstdata Crawl cung cấp đầu ra trang sẵn sàng cho LLM; việc tạo XLSX thuộc về lớp xuất của bạn trừ khi sản phẩm hiện tại rõ ràng cung cấp định dạng đó.
Xuất Kết Quả Trình Thu Thập Sang Excel Liên Quan Đến Điều Gì?
Xuất kết quả trình thu thập sang Excel liên quan đến việc chuyển đổi các bản ghi thu thập đã chấp nhận thành một bảng ổn định và viết bảng đó vào định dạng tương thích với bảng tính. Một phản hồi thu thập có thể chứa văn bản trang, liên kết, siêu dữ liệu, thông tin nhiệm vụ, hoặc tham chiếu đến các vật phẩm lớn hơn. Những yếu tố đó cần một mô hình hàng có chủ đích trước khi trở thành một workbook hữu ích.
Ví dụ, một kho trang có thể sử dụng một hàng cho mỗi trang. Một tập dữ liệu sản phẩm có thể sử dụng một hàng cho mỗi lần quan sát sản phẩm. Một kiểm toán liên kết cần một hàng cho mỗi cạnh từ nguồn đến đích. Đặt cả ba vào một bảng không rõ ràng tạo ra các giá trị lặp lại và tổng số gây hiểu lầm.
Nstdata Crawl có thể cung cấp lớp thu thập trang được chấp thuận. Hướng dẫn này coi việc tạo Excel là một chuyển đổi hạ nguồn và không phát minh ra định dạng đầu ra xlsx của Nstdata hoặc một điểm xuất không tồn tại.
Bạn Nên Xuất CSV Hay XLSX?
Chọn CSV cho việc trao đổi bảng đơn giản giữa các hệ thống và XLSX khi người tiêu dùng cần các loại ô rõ ràng và các tính năng workbook. Phần mở rộng của tệp không phải là sự khác biệt duy nhất: cách giải thích của người nhập đối với từng ô ảnh hưởng đến các định danh, ngày tháng, và văn bản từ nguồn không đáng tin cậy.
Trải nghiệm Nstproxy Crawl - Bắt Đầu Dùng Thử Miễn Phí Hôm Nay
Yêu cầu
CSV
XLSX
Tính tương tác văn bản thuần túy
Thuận tiện
Cần một trình đọc workbook
Ô văn bản rõ ràng so với ô số
Người nhập quyết định
Người viết có thể đặt loại ô
Nhiều bảng tính
Tệp riêng biệt
Hỗ trợ trong một workbook
Bộ lọc và tiêu đề cố định
Người tiêu dùng phải thêm chúng
Người viết có thể bao gồm chúng
Số lượng văn bản lớn và hàng
Giới hạn phụ thuộc vào người tiêu dùng
Giới hạn đã được tài liệu của Excel vẫn áp dụng
Văn bản trang web không đáng tin cậy
Cần có các biện pháp nhập cảnh
Có thể được viết rõ ràng dưới dạng văn bản
Tham khảo các đặc điểm và giới hạn của Excel trước khi chọn một workbook làm điểm đến chính cho một lần thu thập lớn. Một bảng tính thường là một chứng cứ đánh giá tuyệt vời trong khi một cơ sở dữ liệu hoặc kho đối tượng vẫn là hệ thống ghi chép chính.
Bạn Cần Gì Trước Khi Xuất Một Lần Thu Thập?
Bạn cần một bản kê collection hoàn chỉnh, tất cả các lô kết quả, một sơ đồ đã chuẩn hóa, và một chính sách đầu ra trước khi ghi tệp. Quyết định bản ghi nào được chấp nhận và cách mà các thất bại sẽ xuất hiện. Một workbook chỉ chứa các hàng thành công có thể che giấu một vấn đề lớn trong bộ sưu tập trừ khi việc xuất cũng báo cáo những gì đã bị loại trừ.
Cột
Loại
Ý nghĩa
source_url
Văn bản
Danh tính trang được phê duyệt ban đầu
title
Văn bản
Tiêu đề trang được chấp nhận
observed_at
Dấu thời gian văn bản
Thời gian thu thập UTC trong một đại diện được tài liệu hóa
http_status
Số tùy chọn
Trạng thái mục tiêu khi thực sự có sẵn
accepted
Boolean hoặc văn bản rõ ràng
Quyết định chấp nhận của ứng dụng
rejection_reason
Văn bản
Lý do một bản ghi không vượt qua xác thực
Đây là các cột đã chuẩn hóa theo ứng dụng, không phải là một tuyên bố rằng mọi nhà cung cấp trả về cùng một tên trường. Ánh xạ phản hồi API hiện tại vào hợp đồng này và bảo tồn ID nhiệm vụ gốc trong bản kê nguồn của bạn. Đừng gán mã phản hồi thành công của gateway API là trạng thái của trang mục tiêu.
Giữ các tài liệu Markdown dài bên ngoài workbook khi chúng vượt quá giới hạn ô thực tế của nó. Lưu trữ một tham chiếu vật phẩm ổn định hoặc đường dẫn tệp được kiểm soát bên cạnh hàng trang. Một cắt xén âm thầm mà loại bỏ đoạn chứng cứ có thể khiến một xuất khẩu có vẻ hoàn chỉnh bị vô dụng.
Quy Trình Xuất Như Thế Nào?
Quy trình xuất đọc tất cả các kết quả trang có sẵn, giải quyết các vật phẩm cần thiết, chuẩn hóa hàng, xác thực chúng, và ghi một đầu ra có giới hạn. Mỗi giai đoạn nên bảo tồn số lượng để một người xem xét có thể đối chiếu workbook hoàn thiện với nhiệm vụ nguồn.
Sử dụng các chính sách phục hồi có giới hạn để tiếp tục lấy kết quả mà không cần lặp lại toàn bộ công việc nguồn. Đối với một lần thu thập không đồng bộ, hãy lưu ID công việc trước khi chờ đợi. Kiểm tra trạng thái cuối tài liệu và sau đó theo dõi phân trang kết quả cho đến khi điều kiện kết thúc của nó được đạt được. Một trang kết quả đơn hoặc lô con trỏ không phải là toàn bộ công việc. Nếu việc lấy dữ liệu không thành công giữa chừng, hãy giữ lại điểm kiểm tra và đánh dấu xuất là chưa hoàn thành thay vì tạo ra một bảng tính dường như đã hoàn tất.
Sử dụng các điều khiển thu thập theo lô để giữ cho kích thước thu thập là có mục đích. Việc xuất khẩu nên ghi nhận liệu lần thu thập đã chạm đến giới hạn được cấu hình hay chưa, vì một công việc hoàn thành có giới hạn vẫn có thể chỉ đại diện cho một phần của trang web lớn hơn.
Làm Thế Nào Để Xuất Các Kết Quả Từng Bước Một?
Xuất các kết quả bằng cách đầu tiên chứng minh đầu vào đã được chuẩn hóa, sau đó chọn định dạng tệp phù hợp với người tiêu dùng. Các phương pháp sau đây bao gồm thu thập được quản lý, một bảng kiểm tra và trao đổi văn bản thuần túy.
Phương pháp 1: Thu thập và chuẩn hóa với Nstdata Crawl
Bước 1: Yêu cầu các đại diện bạn cần
Sử dụng Crawl Playground để cấu hình một trang được phê duyệt hoặc phạm vi trang web có giới hạn. Chọn Markdown cho việc tiêu thụ văn bản, HTML để phân tích và liên kết cho việc khám phá hoặc phân tích đồ thị. Tránh yêu cầu các tác phẩm hình ảnh lớn cho mỗi trang khi bảng tính chỉ cần một tiêu đề và URL.
Bước 2: Thiết lập kết nối API
Cài đặt nstdata-ai-crawl và thiết lập NSTDATA_API_TOKEN cộng với APPROVED_PAGE_URL. Ví dụ này yêu cầu thông tin xác thực của riêng bạn và một mục tiêu được ủy quyền; bài viết này không yêu cầu một phiên chạy Nstdata đã xác thực với mã thông báo của khách hàng.
import os
from pathlib import Path
from nstdata_ai_crawl import NstDataClient, ScrapeRequestDto
token = os.environ["NSTDATA_API_TOKEN"]url = os.environ["APPROVED_PAGE_URL"]with NstDataClient(token)as client: result = client.submit_scrape_task_sync(ScrapeRequestDto( url=url, formats=["markdown"], onlyMainContent=True, timeout=60000))if result.success isnotTrueor result.status !="completed":raise RuntimeError("Việc lấy trang không được hoàn thành thành công")if result.data isNoneor result.data.truncated isTrue:raise RuntimeError("Nội dung bị thiếu hoặc không đầy đủ cần xem xét") text = result.data.get_markdown()ifnot text ornot text.strip():raise RuntimeError("Không có Markdown có thể sử dụng được trả về") Path("page.md").write_text(text, encoding="utf-8")print("Đã lưu page.md; hãy kiểm tra nội dung của nó trước khi sử dụng downstream")
Bước 3: Viết các hàng JSONL đã chuẩn hóa
Áp dụng các kết quả được chấp nhận vào một đối tượng mỗi dòng trong records.jsonl. Giữ lại bằng chứng phản hồi gốc một cách riêng biệt, và bao gồm các bản ghi bị từ chối nếu bảng kiểm tra dự định để chẩn đoán toàn bộ quá trình. Đối với một công việc trên website, hãy lấy từng lô kết quả được tài liệu trước khi hoàn tất số hàng.
Phương pháp 2: Viết một tệp kiểm tra XLSX được gán kiểu
Bước 1: Cài đặt trình viết bảng kiểm tra
Cài đặt XlsxWriter trong môi trường dự án của bạn. Ví dụ này sử dụng các ô chuỗi tường minh cho văn bản được lấy từ bên ngoài và tắt việc chuyển đổi tự động URL và công thức. Những lựa chọn này làm cho hành vi của bảng kiểm tra trở nên đáng đoán hơn khi tiêu đề hoặc các văn bản nguồn khác chứa các ký tự đặc biệt.
Bước 2: Lưu chương trình xuất khẩu
Lưu cái này dưới dạng export_xlsx.py. Đầu vào của nó là sơ đồ ứng dụng đã chuẩn hóa ở trên, không phải là phản hồi từ nhà cung cấp chưa được sửa đổi. Mã này được thực hiện với một bộ dữ liệu tổng hợp chứa Unicode, một trạng thái thiếu và văn bản giống như công thức; kiểm tra đó xác thực xử lý xuất khẩu thay vì một yêu cầu thu thập trực tiếp.
import json
import xlsxwriter
columns =["source_url","title","observed_at","http_status","accepted","rejection_reason"]workbook = xlsxwriter.Workbook("crawl-review.xlsx",{"strings_to_formulas":False,"strings_to_urls":False,"constant_memory":True})sheet = workbook.add_worksheet("Pages")header = workbook.add_format({"bold":True,"bg_color":"#E8EDFF"})sheet.write_row(0,0, columns, header)count =0try:withopen("records.jsonl", encoding="utf-8")as source:for row_number, line inenumerate(source, start=1):if row_number >=1_048_576:raise ValueError("Chia xuất khẩu trước giới hạn hàng của Excel") record = json.loads(line)ifnot record.get("source_url"):raise ValueError("Thiếu source_url")for column_number, name inenumerate(columns): value = record.get(name)if value isNone: sheet.write_blank(row_number, column_number,None)elif name =="http_status"andtype(value)isint: sheet.write_number(row_number, column_number, value)else: text =str(value)iflen(text)>32_767:raise ValueError("Di chuyển nội dung quá lớn sang một đối tượng") sheet.write_string(row_number, column_number, text) count +=1 sheet.freeze_panes(1,0) sheet.autofilter(0,0, count,len(columns)-1) sheet.set_column(0,0,54) sheet.set_column(1,2,32) sheet.set_column(3,5,22)finally: workbook.close()print("đã xuất dòng:", count)
Bước 3: Mở và đối chiếu sổ làm việc
Chạy python export_xlsx.py, sau đó mở sổ làm việc và so sánh số lượng dữ liệu dòng của nó với đầu vào đã chuẩn hóa. Kiểm tra văn bản Unicode, URL nguồn, giá trị trống và chuỗi như công thức. Xuất bản hoặc phân phối tệp chỉ sau khi quá trình hoàn tất thành công; một lần chạy bị gián đoạn có thể để lại một đối tượng chưa hoàn tất.
The Giao diện worksheet XlsxWriter tài liệu viết chuỗi và số rõ ràng. Giữ văn bản nguồn dưới dạng văn bản tránh việc một tiêu đề bị trích xuất trở thành một công thức bảng tính thực thi một cách bất ngờ.
Phương pháp 3: Sử dụng CSV cho bảng trao đổi đơn giản
Bước 1: Chọn hợp đồng nhập khẩu
Thỏa thuận về mã hóa UTF-8, dấu phân cách, thứ tự cột và biểu diễn dấu thời gian với hệ thống nhận. The Giao diện CSV của Python xử lý việc bao trùm và dòng mới, nhưng nó không kiểm soát cách ứng dụng khác diễn giải một ô.
Bước 2: Viết xuất trình bày riêng biệt
Nếu CSV sẽ được mở một cách tương tác, áp dụng một chính sách đã tài liệu cho văn bản như công thức hoặc chọn phương pháp XLSX kiểu thay thế. Bảo tồn một tập hợp dữ liệu có thể đọc được bởi máy không thay đổi khi một xuất trình bày thêm việc thoát hoặc tiền tố để bảo vệ người tiêu dùng bảng tính.
Bước 3: Nhập các cột định danh dưới dạng văn bản
Sử dụng các điều khiển nhập văn bản/CSV của Excel để xác minh mã hóa và chỉ định kiểu văn bản cho các định danh trước khi tải bảng. Đừng phụ thuộc vào việc nhấp đôi vào một CSV khi các số bắt đầu bằng không, ID dài, hoặc các chuỗi giống như ngày tháng phải được giữ nguyên.
[Ảnh chụp màn hình: Xem trước nhập CSV của Excel hiển thị mã hóa UTF-8, dấu phân cách đã chọn, và các cột định danh được cấu hình dưới dạng văn bản.]
Nstdata Crawl phù hợp ở đâu trong Kiến trúc Xuất khẩu?
Nstdata Crawl phù hợp trước nhà xuất khẩu như một API Thu thập Web cho dữ liệu sẵn sàng cho LLM. Nó có thể phát hiện và thu thập đệ quy các trang được phê duyệt trong giới hạn, thực thi JavaScript khi cần, và trả về các biểu diễn có thể sử dụng lại. Ứng dụng của bạn sau đó quyết định giá trị nào trở thành dòng, đối tượng nào nằm ngoài sổ làm việc, và bản ghi nào được chấp nhận. Truy cập proxy tích hợp có thể đơn giản hóa yêu cầu thu thập tiêu chuẩn. Một xuất khẩu bảng tính vẫn cần có kiểu riêng, quy tắc an toàn và đầy đủ.
Nhiều vai trò đầu ra: Markdown hỗ trợ quy trình làm việc văn bản, HTML hỗ trợ trích xuất, và liên kết hỗ trợ phát hiện. JSON, PDF, và đầu ra hình ảnh phục vụ các nhu cầu phân phối và xem xét khác; xác minh đại diện API hiện tại thay vì giả định một tùy chọn XLSX gốc.
Cấu hình proxy quản lý: Đường dẫn quản lý tiêu chuẩn có thể sử dụng tùy chọn proxy của Nstdata mà không cần thiết lập cổng và thông tin xác thực riêng biệt. Tính toán việc sử dụng proxy trong mô hình lập hóa đơn hiện tại.
Xử lý nhiệm vụ và đối tượng: Lưu ID công việc và giải quyết các tham chiếu đối tượng lớn được trả về mà bạn cần. Giữ sổ làm việc liên kết với một danh sách ghi lại các kết quả được chấp nhận, bị từ chối, và thiếu.
Tại Sao Xuất Crawl Mất Dữ Liệu Hoặc Mở Không Chính Xác?
Xuất crawl mất dữ liệu hoặc mở không chính xác khi nhà viết giả định một phản hồi phẳng, bỏ qua các lô kết quả, hoặc để toàn bộ việc diễn giải cho ứng dụng bảng tính. Xác thực cả tập dữ liệu và tệp.
Triệu chứng
Nguyên nhân có khả năng
Sửa chữa
Chỉ có lô đầu tiên xuất hiện
Phân trang kết quả đã bị bỏ qua
Làm theo hợp đồng tiếp tục đã tài liệu
ID mất các số đầu
Chuyển đổi số tự động
Viết hoặc nhập các ô định danh dưới dạng văn bản
Văn bản trở thành một công thức
Giá trị không tin cậy được người tiêu dùng diễn giải
Sử dụng các ô văn bản rõ ràng hoặc một chính sách nhập khẩu an toàn đã tài liệu
Mô tả dài biến mất
Giới hạn kích thước ô hoặc cắt xén im lặng
Lưu trữ các đối tượng ngoài bảng và giữ tham chiếu
Số lượng dòng có vẻ chính xác nhưng dữ liệu bị trùng lặp
Trang con trỏ lặp lại hoặc danh tính yếu
Đối chiếu các khóa bản ghi duy nhất, không chỉ tổng số dòng
Sử dụng xác thực trích xuất có cấu trúc trước khi tạo tệp. Đối với các xuất lâu dài, kiểm tra vị trí nguồn và chỉ ghi tên tệp cuối cùng sau khi xác thực thành công.
Bạn Nên Giao Tệp Bảng Tính Hoàn Thành Như Thế Nào?
Giao bảng tính với phạm vi rõ ràng, ngày thu thập, từ điển dữ liệu và số liệu đối chiếu. Giải thích xem liệu các ô trống có đại diện cho các giá trị nguồn bị thiếu, các trường không áp dụng, hay trích xuất bị từ chối. Giữ lại các chẩn đoán chi tiết trong một bảng xem xét hoặc bảng kê thích hợp để bảng tính chính vẫn có thể sử dụng được.
Bắt đầu với một mẫu chuẩn hóa nhỏ và chứng minh rằng các định danh, Unicode, giá trị bị thiếu và văn bản không đáng tin cậy vẫn tồn tại sau khi đi qua cuộc hành trình. Đầu ra HTML thay thế của Nstdata có thể giúp điều tra các trường tranh chấp trước khi chúng vào sổ làm việc cuối cùng.
Không. XLSX là một định dạng sổ làm việc có cấu trúc. Chuẩn hóa các bản ghi nguồn và sử dụng một công cụ viết sổ làm việc thực tế hoặc một xuất bản địa đã được tài liệu hóa.
H: Nstdata Crawl có cung cấp phản hồi XLSX gốc không?
Hướng dẫn này không giả định có phản hồi XLSX gốc. Nó sử dụng Nstdata để thu thập và một lớp xuất ứng dụng riêng để tạo sổ làm việc.
H: Tại sao tôi cần một lược đồ chuẩn hóa?
Một lược đồ chuẩn hóa định nghĩa một hàng có nghĩa là gì và cách mỗi trường nên được diễn giải. Nó ngăn chặn các phong bì cụ thể của nhà cung cấp và các mảng lồng nhau trở nên không rõ ràng trong các ô bảng tính.
H: Việc trích dẫn CSV có đủ để ngăn chặn công thức bảng tính không?
Không. Trích dẫn CSV điều khiển cú pháp tệp, trong khi việc diễn giải công thức thuộc về ứng dụng nhận. Sử dụng chính sách nhập đã được tài liệu hóa hoặc các ô văn bản XLSX rõ ràng.
H: Điều gì chứng minh xuất khẩu hoàn tất?
Một xuất khẩu hoàn chỉnh đối chiếu phạm vi công việc dự kiến, tất cả các lô kết quả đã thu thập, các bản ghi bị chấp nhận và từ chối, các định danh duy nhất, và số lượng hàng của tệp đã hoàn thành.
Lena Zhou
Nov. 9th 2026
Thu thập toàn bộ trang web chỉ với một yêu cầu API
Tỷ lệ thành công 99,8% với kết xuất JavaScript
Nhận dữ liệu sạch, sẵn sàng cho LLM ở nhiều định dạng
Chuyển mọi trang web thành Markdown, HTML, JSON, liên kết, PDF và hơn thế nữa mà không cần quản lý hạ tầng thu thập dữ liệu.
