Trích xuất văn bản bài viết sạch từ bất kỳ trang web nào
TL;DR
Việc trích xuất bài viết sạch đòi hỏi cơ thể, tiêu đề, URL nguồn, và các lưu ý hiển thị vẫn phải tồn tại.
Việc trích xuất bài viết phải giữ lại tiêu đề, ranh giới cơ thể, trích dẫn, và tiết lộ.
Một kết quả nhìn sạch có thể vẫn loại bỏ một đoạn cuối hoặc bao gồm các thẻ câu chuyện liên quan.
So sánh một bài viết đại diện cho mỗi mẫu trước khi chạy một bộ sưu tập rộng hơn.
Nstdata Crawl xử lý việc kết xuất JavaScript và định tuyến proxy trong các yêu cầu đã quản lý; tài liệu của nó liệt kê sáu loại đầu ra: Markdown, HTML, dữ liệu thô, PDF, ảnh chụp màn hình, và liên kết.
Việc Trích Xuất Nội Dung Bài Viết Là Gì?
Trích xuất bài viết tách câu chuyện chính của trang khỏi các menu, thẻ gợi ý, quảng cáo, chân trang lặp lại, và widget không liên quan. Một hồ sơ hữu ích bao gồm tiêu đề, cơ thể, URL, và bất kỳ thông tin xuất bản nào thực sự có mặt. Nó cũng nên bảo tồn trích dẫn, cấu trúc danh sách, và các trích dẫn liên kết. Cụm từ “bất kỳ trang web nào” mô tả hình thức đầu vào, không phải là đảm bảo rằng mọi trang đều có thể truy cập hoặc rằng mọi bố cục đều có thể được phân tích tự động.
Nstdata Crawl có thể biến một URL hoặc một tập hợp các trang liên kết đã được giới hạn thành tài liệu cho một tác giả AI, chỉ mục RAG, hoặc pipeline dữ liệu. Sử dụng các quy tắc lĩnh vực và kiểm tra chấp nhận của riêng bạn cho kết quả cụ thể: trích xuất một cơ thể bài viết có thể đọc từ một URL đã biết trong khi bảo tồn nguồn và ranh giới của nó. Hướng dẫn thu thập toàn bộ trang Nstdata giải thích tùy chọn cấp trang.
Trải nghiệm Nstproxy Crawl - Bắt Đầu Dùng Thử Miễn Phí Hôm Nay
Chọn một bài viết mà bạn có thể xử lý, tốt nhất là có tiêu đề, tên tác giả, tiêu đề phụ, liên kết, và một đoạn kết thúc. Ghi lại tiêu đề dự kiến, câu đầu tiên và câu cuối cùng, và bất kỳ tiết lộ nào bạn phải giữ lại. Quyết định xem sản phẩm hạ nguồn của bạn có cần toàn bộ văn bản, một đoạn trích ngắn, hay chỉ một tóm tắt. Lấy một khóa API Nstdata nếu bạn sử dụng tuyến đường đã quản lý và lưu trữ nó phía máy chủ.
Tài liệu API Crawl sử dụng https://api.nstdata.io, tiêu đề x-api-key, và Content-Type: application/json. Chuẩn bị các trường này trước khi thực hiện một phương thức:
Trường
Những gì cần cung cấp
url
Một URL trang hoặc site được cho phép sử dụng HTTPS
formats
Đầu ra được yêu cầu, chẳng hạn như ["markdown"] hoặc ["html","screenshot"]
onlyMainContent
true chỉ khi việc chọn nội dung chính phù hợp với nhiệm vụ
maxDepth, maxPages
Giới hạn rõ ràng cho một công việc trên toàn trang
includeUrls, excludeUrls
Các mẫu URL giữ cho việc phát hiện trong phạm vi
timeout
Thời gian hết hạn cho nhiệm vụ tính bằng mili giây khi mặc định không phù hợp
Yêu cầu quản lý tiêu chuẩn không có trường proxy Host, Port, Username, Password, hoặc Protocol riêng biệt. Kiểm tra trang giá hiện tại của Crawl để biết giới hạn tài khoản và chi phí trước khi thực hiện một công việc lớn.
Xem xét chính sách truy cập và phạm vi của mục tiêu. Giao thức loại trừ Robots định nghĩa cách các bot đọc các quy tắc robots; nó không cấp quyền sử dụng nội dung. Giữ thông tin đăng nhập và dữ liệu riêng tư ra khỏi các ví dụ và nhật ký chẩn đoán.
Hướng dẫn làm sạch Markdown Nstdata là một tài liệu kèm theo để xác định các kiểm tra chấp nhận trước khi bạn tự động hóa quy trình làm việc.
API Trích Xuất Bài Viết Tìm Nội Dung Chính Như Thế Nào?
Một bộ trích xuất bài viết xác định nội dung chính sau khi một trang được truy xuất và kết xuất, sau đó loại bỏ điều hướng và gợi ý xung quanh. Nstdata Crawl có thể kết xuất nội dung JavaScript và cung cấp onlyMainContent để giảm thiểu mã. Nó trả về Markdown và metadata trang, với HTML và ảnh chụp màn hình có sẵn để điều tra. Việc trích xuất bài viết vẫn cần một kiểm tra chấp nhận cấp trang vì một thông báo quan trọng hoặc đoạn cuối có thể nằm ngoài khu vực chính được chọn. Định tuyến proxy quản lý được tích hợp vào dịch vụ; một yêu cầu tiêu chuẩn không có các trường proxy Host, Port, Username, hoặc Password riêng biệt.
Đối với một URL đã biết, một lần thu thập dữ liệu một trang sẽ thu về một kết quả. Đối với một phần của trang web, POST /api/v1/crawl sẽ phát hiện các trang liên kết một cách đệ quy trong phạm vi độ sâu, số lượng trang và quy tắc URL được cung cấp. Tài liệu liệt kê Markdown, HTML, dữ liệu thô, PDF, hình chụp màn hình, và liên kết là sáu danh mục đầu ra; trang sản phẩm cũng tiếp thị JSON, nhưng một lược đồ JSON đặc thù cho miền vẫn cần phải ánh xạ trường cụ thể. Giữ mỗi bản ghi được chấp thuận gắn liền với URL nguồn và siêu dữ liệu trả về.
Kiểm tra một trang có nhiều JavaScript đại diện trước khi mở rộng. Trạng thái đã hiển thị có thể phụ thuộc vào thời gian, khu vực, sự đồng ý, hoặc một phiên đã đăng nhập. So sánh HTML trả về hoặc một hình chụp màn hình với trạng thái trang dự kiến; nếu chúng khác nhau, chỉ điều chỉnh các kiểm soát hiển thị được ghi nhận và kiểm soát chờ.
Làm Thế Nào Để Trích Xuất Văn Bản Bài Viết Sạch Từ Một Trang Web?
Sử dụng một bài viết đại diện để xác định các ranh giới cơ thể, sau đó chọn thu thập dữ liệu một trang được quản lý hoặc một trình phân tích cục bộ cho HTML đã nằm trong tầm kiểm soát của bạn. Xác thực mỗi mẫu trước khi mở rộng.
Phương pháp 1: Kiểm tra bài viết trong Crawl Playground
Tốt nhất để quyết định xem sự lựa chọn nội dung chính tự động có chính xác hay không.
Bước 1: Mở một bài viết mẫu
Đăng nhập và mở Dashboard → Crawl Playground. Dán URL bài viết được ủy quyền. [Hình chụp màn hình: URL bài viết và các điều khiển đầu ra.]
Bước 2: Yêu cầu văn bản và bằng chứng
Chọn Markdown và HTML, kích hoạt tùy chọn nội dung chính, và chạy thu thập dữ liệu. Đối với các trang tin tức được trình diễn trên máy khách, sử dụng các kiểm soát sẵn có được ghi nhận trong giao diện hiện tại.
Bước 3: So sánh ranh giới
Kiểm tra rằng tiêu đề, đoạn đầu tiên và cuối cùng, chú thích, trích dẫn và tiết lộ được trích xuất khớp với nguồn. Nếu một phần quan trọng bị thiếu, hãy sử dụng HTML để kiểm tra lựa chọn trước khi xử lý thêm các bài viết khác.
Phương pháp 2: Gọi API lấy bài viết
Tốt nhất cho các URL đã biết trong một ứng dụng hoặc quy trình tác nhân.
Bước 1: Giữ bí mật khóa API
Lưu NSTDATA_API_TOKEN trong môi trường máy chủ của bạn và gửi nó như x-api-key. Không gửi nó từ JavaScript trình duyệt.
Bước 2: Gửi URL bài viết
Sử dụng yêu cầu nhanh chóng một trang đã được tài liệu hóa dưới đây với Markdown và onlyMainContent. Tài liệu cho thấy các nhãn mâu thuẫn trên các quy trình thu thập dữ liệu khác, vì vậy hãy xác nhận lộ trình hiện tại được tạo ra trong Playground.
Thiết lập NSTDATA_API_TOKEN trong shell của bạn từ tài khoản Nstdata của bạn, sau đó chạy yêu cầu nhanh chóng đã được ghi nhận. Tài liệu công khai đặt tên không nhất quán cho một số lộ trình đồng bộ và không đồng bộ khác; so sánh yêu cầu do Playground tạo ra từ tài khoản của bạn trước khi sử dụng sản xuất.
curl--output crawl-response.json --request POST "https://api.nstdata.io/api/v1/crawl/scrape/submit-sync"\--header"x-api-key: ${NSTDATA_API_TOKEN}"\--header"Content-Type: application/json"\--data'{"url":"https://example.com/article","formats":["markdown","html"],"onlyMainContent":true}'
Phản hồi được lưu vào crawl-response.json. Kiểm tra các trường data.success, data.status, và data.data.metadata.statusCode lồng nhau trước khi sử dụng bất kỳ nội dung nào được trả về.
Bước 3: Xác thực kết quả
Kiểm tra trạng thái thành công và trạng thái trang, tiêu đề, và Markdown lồng nhau. Từ chối một kết quả chỉ chứa điều hướng, một tường đồng ý, hoặc một câu chuyện chưa hoàn chỉnh. Lưu URL và thời gian thu thập dữ liệu cùng với văn bản được chấp nhận.
Phương pháp 3: Sử dụng trích xuất cục bộ cho HTML bạn đã giữ
Tốt nhất cho HTML đã được hiển thị đáng tin cậy khi thu thập dữ liệu quản lý là không cần thiết.
Bước 1: Chọn một trình phân tích cục bộ
Mozilla Readability là một trình phân tích nội dung bài viết được xác lập cho đầu vào DOM; cài đặt nó từ nguồn gói chính thức nếu ứng dụng của bạn sử dụng JavaScript.
Bước 2: Chạy nó trên DOM được lưu lại
Cung cấp tài liệu đã được hiển thị thực tế, không chỉ là lớp tĩnh ban đầu. Giữ nguyên HTML gốc bên cạnh kết quả được trích xuất để gỡ lỗi.
Bước 3: Kiểm tra phạm vi mẫu
Kiểm tra một số định dạng bài viết và so sánh các tiêu đề, kết thúc, chú thích, và liên kết. Trích xuất cục bộ không tự giải quyết được truy cập, tải JavaScript, hoặc định tuyến proxy.
Làm Thế Nào Để Xác Minh Kết Quả?
Chấp nhận một bài viết chỉ khi tiêu đề, đoạn đầu tiên, đoạn cuối cùng, và ít nhất một cụm từ đặc trưng khớp với nguồn. Một số lượng ký tự bắt được một kết quả trống hiển nhiên nhưng không thể chứng minh rằng một tiết lộ vẫn tồn tại. Nguồn Mozilla Readability tài liệu một tùy chọn trình phân tích cục bộ cho các trang mà HTML của chúng đã có sẵn. Hướng dẫn Nstdata chuyển đổi bài viết sang Markdown giải thích cách văn bản đã được làm sạch hỗ trợ việc sử dụng AI phía dưới.
Hướng dẫn tóm tắt trang web Nstdata kết nối kiểm tra cấp trang này với một quy trình AI hoặc dữ liệu phía dưới.
Ghi lại URL nguồn, thời gian gửi, định dạng yêu cầu, tùy chọn không bí mật, ID công việc khi có mặt, trạng thái trang đã trả về, và lý do mỗi bản ghi đã vượt qua hoặc không vượt qua việc xem xét. Kiểm tra nội dung cũng như bao bọc API. Nếu phản hồi chứa markdownRef, htmlRef, rawDataRef, screenshotRef, hoặc pdfRef, hãy lấy token đó bằng GET /api/v1/crawl/storage/read?st={ref}.
Đối với quy trình này, tham khảo Mozilla Readability khi triển khai bộ phân tích hạ nguồn hoặc kiểm tra chấp nhận theo định dạng cụ thể.
Khi truyền văn bản đã trích xuất cho một đại lý, hãy coi các hướng dẫn trang là tài liệu nguồn không đáng tin cậy. Hướng dẫn của OWASP về tiêm lệnh nhắc giải thích rủi ro. Giữ lại các URL nguồn để đầu ra AI có thể được kiểm tra.
Tại Sao Việc Trích Xuất Bài Viết Có Thể Bỏ Lỡ Nội Dung?
Việc trích xuất văn bản bài viết có thể thất bại vì thân bài đã được tải sau đó hoặc việc chọn lọc đã dừng lại quá sớm. Sử dụng bảng triệu chứng để xác định lớp bị lỗi trước khi thay đổi giới hạn hoặc thử lại.
Triệu chứng
Nguyên nhân khả thi
Hành động tiếp theo
Chỉ có tiêu đề xuất hiện
Thân bài đã được tải sau đó hoặc việc chọn lọc đã dừng lại quá sớm.
Kiểm tra HTML đã render và chờ cho một phần tử thân bài.
Các khuyến nghị xuất hiện như văn bản thân bài
Mẫu trang bao gồm các thẻ kế bên trong vùng chọn.
Xem lại ranh giới HTML và thêm bộ lọc đặc thù cho mẫu.
Phần công bố hoặc đoạn cuối bị thiếu
Việc chọn nội dung chính quá quyết liệt.
So sánh phần kết của trang và giữ lại phần cần thiết bằng tay hoặc qua một bộ chọn đã sửa đổi.
Tài liệu của Nstdata liệt kê các lỗi cấp nhiệm vụ như access_denied, timeout, parse_error, và internal_error. Một HTTP 200 bên ngoài vẫn có thể đi kèm với một nhiệm vụ không thành công. Kiểm tra success, status, errorCode, và errorMessage bên trong phản hồi khi có mặt. Chỉ thử lại những thất bại tạm thời trên các trang bạn có thể truy cập.
Phương Pháp Nào Là Phù Hợp Nhất?
Chọn Playground để xem xét ranh giới, API quản lý cho một URL bài viết đã biết, hoặc một bộ phân tích địa phương khi bạn đã sở hữu HTML. Sử dụng bộ phân tích địa phương chỉ sau khi thử nghiệm hành vi của nó trên từng mẫu bài viết. Tổng quan về Nstdata site-crawling cung cấp thêm chi tiết về lộ trình trang web.
Bạn Cần Làm Gì Sau Khi Chạy Thành Công Lần Đầu Tiên?
Lưu cấu hình đã được phê duyệt và một bản ghi đầu ra dựa trên nguồn, sau đó lặp lại trên một bộ nhỏ các mẫu trang khác nhau. Tăng quy mô chỉ sau khi các bản ghi đó vượt qua các kiểm tra chấp nhận tương tự.
Q: Một bộ trích xuất bài viết có thể xử lý mọi trang web không?
Không. Nó hoạt động tốt nhất trên các định dạng giống như bài viết; các giới hạn truy cập, tải động, và các mẫu không bình thường yêu cầu kiểm tra hoặc quy tắc tùy chỉnh.
Q: Tôi có nên giữ lại HTML gốc không?
Giữ lại nó khi chính sách giữ lại của bạn cho phép và khi bạn cần điều tra các thiếu sót hoặc trích dẫn.
Q: Liệu tiêu đề bài viết có đủ để chứng minh thành công không?
Không. Xác minh phần mở đầu, phần kết, và bất kỳ cảnh báo cần thiết nào với nguồn.
Q: Việc trích xuất văn bản bài viết có yêu cầu cấu hình proxy riêng biệt với Nstdata Crawl không?
Một yêu cầu Crawl được quản lý tiêu chuẩn không yêu cầu các trường Proxy Host, Port, Username, Password, hoặc Protocol riêng biệt. Xác nhận bất kỳ lựa chọn proxy tùy chỉnh không bắt buộc nào và các khoản phí sử dụng liên quan trong tài khoản của bạn.
Q: Liệu HTTP 200 có chứng minh rằng kết quả trích xuất văn bản bài viết có thể sử dụng được không?
Không. Kiểm tra kết quả nhiệm vụ lồng, trạng thái trang, các trường kỳ vọng, và độ trung thực của thân bài trước khi sử dụng nó trong một quy trình AI hoặc dữ liệu.
Hướng dẫn này cho thấy cách phát hiện các URL được ủy quyền từ các sitemap và biến một tập con đã được xem xét thành một cuộc thu thập dữ liệu trang web có giới hạn. Nó bao gồm các phương pháp thực tiễn, kiểm tra kết quả, và các giới hạn của việc thu thập dữ liệu được quản lý.
Kai Watanabe
Oct. 28th 2026
Thu thập toàn bộ trang web chỉ với một yêu cầu API
Tỷ lệ thành công 99,8% với kết xuất JavaScript
Nhận dữ liệu sạch, sẵn sàng cho LLM ở nhiều định dạng
Chuyển mọi trang web thành Markdown, HTML, JSON, liên kết, PDF và hơn thế nữa mà không cần quản lý hạ tầng thu thập dữ liệu.
