TL;DR
- Ecommerce web scraping chuyển các trang sản phẩm được phép thành các bản ghi để phân tích giá, so khớp danh mục, nghiên cứu tồn kho, hoặc ứng dụng AI.
- Định nghĩa sản phẩm, biến thể, người bán, tiền tệ và thời gian quan sát trước khi thu thập giá; một URL và một số lượng hiếm khi đủ.
- Bắt đầu với một nguồn cấp dữ liệu hoặc API đã được phê duyệt khi có sẵn, phân tích HTML khi nó chứa các trường, và chỉ render JavaScript khi cần thiết.
- Hướng dẫn Python bên dưới thu thập hai trang danh mục của Books to Scrape và ghi JSON và CSV đã được xác thực. Chạy xác minh đã chấp nhận 40 sản phẩm.
- Nstdata Crawl là một API Cào Web cho dữ liệu sẵn sàng cho LLM, cung cấp khám phá có giới hạn, cào đệ quy, render JavaScript, định dạng nội dung hữu ích, và proxy tích hợp sẵn.
- Đo lường độ bao phủ, độ mới và chi phí cho mỗi đề nghị được chấp nhận. Giữ cho các lần chạy không thành công không ghi đè lên tập dữ liệu đã được chấp nhận trước đó.
What Is Ecommerce Web Scraping Used For?
Ecommerce web scraping thu thập thông tin sản phẩm và đề nghị từ các nguồn web được ủy quyền để một doanh nghiệp có thể phân tích thị trường hoặc duy trì một sản phẩm dữ liệu.
Một nhà bán lẻ có thể so sánh danh mục của mình với các đề nghị của đối thủ công khai. Một nhà phân tích có thể theo dõi sự thay đổi hỗn hợp sản phẩm. Một trợ lý mua sắm AI có thể truy xuất mô tả sản phẩm và trích dẫn trang nguồn. Mỗi cách sử dụng cần một hợp đồng dữ liệu khác nhau: một mô tả dễ đọc có thể giúp truy xuất, trong khi một so sánh giá cần biến thể chính xác, người bán, tiền tệ, và các điều kiện thương mại.
Công việc kỹ thuật có ba giai đoạn: lấy một trang, trích xuất các trường ứng cử viên, và chấp nhận hoặc từ chối mỗi bản ghi. Một hướng dẫn cào web thương mại điện tử hữu ích phải bao gồm cả ba. Nstdata Crawl có thể quản lý việc lấy và chuẩn bị nội dung, nhưng một trang được trả lại vẫn cần xác thực trước khi nó trở thành một quan sát giá hoặc ví dụ huấn luyện.
Hướng dẫn này sử dụng Books to Scrape, một trang tập luyện công khai, thay vì nhắm đến một nhà bán lẻ trực tiếp. Danh mục đơn giản của nó cho phép xác minh phân trang và trích xuất mà không làm nhầm lẫn một buổi trình diễn với một tích hợp sản xuất được hỗ trợ.
What Do You Need Before You Start?
Bạn cần một nguồn được ủy quyền, một phạm vi URL đã xác định, một sơ đồ bản ghi, và một môi trường Python với Requests và Beautiful Soup.
Sử dụng một môi trường ảo và cài đặt requests và beautifulsoup4 với trình quản lý gói của bạn. Buổi hướng dẫn được thực hiện với Python 3.9, Requests 2.32.5, và Beautiful Soup 4.15.0; đây là môi trường xác thực, không phải là yêu cầu rằng các phiên bản đó là cần thiết hoặc mới nhất. Sử dụng một môi trường Python được duy trì cho việc triển khai.
Tài liệu Requests quickstart ghi lại việc xử lý phản hồi và thời gian chờ. Tài liệu Beautiful Soup documentation đề cập đến phân tích và lựa chọn CSS.
Đối với buổi trình diễn, URL bắt đầu là https://books.toscrape.com/catalogue/page-1.html, danh sách cho phép của máy chủ là books.toscrape.com, và số lượng trang tối đa là hai. Các trường đầu ra là tiêu đề, URL sản phẩm, giá thập phân, tiền tệ, văn bản khả dụng, trang liệt kê nguồn, và thời gian quan sát.
Đối với một danh mục thực tế, thêm các định danh sản phẩm và đề nghị ổn định, các tùy chọn đã chọn, người bán, vùng, cách xử lý thuế và vận chuyển, và phiên bản trích xuất. Từ Schema.org Offer vocabulary là một tài liệu tham khảo hữu ích để tách một đề nghị khỏi sản phẩm mà nó mô tả. Đừng giả định rằng mọi trang web đều triển khai các trường đó một cách chính xác.
How Does a Reliable Ecommerce Collection Pipeline Work?
Một quy trình đáng tin cậy giữ cho việc khám phá, thu thập, trích xuất, và công bố tách biệt để một lỗi ở một giai đoạn không thể lặng lẽ làm hỏng giai đoạn tiếp theo.
Khám phá tạo ra các URL ứng cử viên trong các máy chủ và đường dẫn được phép. Việc thu thập ghi lại URL cuối cùng, trạng thái, loại nội dung, và bằng chứng phản hồi. Việc trích xuất tạo ra các bản ghi ứng cử viên với ngữ cảnh nguồn. Việc xác thực kiểm tra các trường cần thiết và ý nghĩa thương mại trước khi một hình ảnh hoặc sự kiện được chấp nhận được công bố.
Giữ riêng việc khám phá trang danh sách khỏi việc trích xuất trang chi tiết. Một thẻ danh sách có thể bỏ qua một định danh biến thể hoặc hiển thị giá “từ”. Theo một liên kết chi tiết không tự động giải quyết tùy chọn đã chọn. Hướng dẫn structured product extraction guide mở rộng về sự phân biệt này giữa nội dung trang và một bản ghi sản phẩm có thể sử dụng.
Đối với các lần chạy lặp lại, ghi lại các quan sát chính theo danh tính đề nghị và thời gian, thay vì thay thế lịch sử bằng số liệu mới nhất. Việc vắng mặt từ một trang danh sách có nghĩa là “không được quan sát trong lần chạy này,” không nhất thiết là “ngừng hoạt động.” Ghi lại các ranh giới cào để một nhà phân tích hạ nguồn có thể phân biệt một mẫu hạn chế với một danh mục hoàn chỉnh.
How Do You Collect Public Product Data with Python?
Bạn có thể truy xuất một danh mục HTML giới hạn, chọn mỗi thẻ sản phẩm, xác thực các trường của nó và ghi các hồ sơ đã chấp nhận vào đĩa.
Phương pháp 1: Phân tích một danh mục HTML nhỏ
Tốt nhất cho: một nguồn đã được phê duyệt mà HTML trả lại đã chứa các trường sản phẩm cần thiết.
Bước 1: Xác nhận các bộ chọn trên một trang mẫu. Mở danh mục thực hành và kiểm tra một thẻ sản phẩm. Bộ chứa thẻ đã xác nhận là article.product_pod; liên kết tiêu đề của nó là h3 a, giá là .price_color, và văn bản tồn kho là .availability.
[Ảnh chụp màn hình: Thẻ sản phẩm Books to Scrape với liên kết tiêu đề, giá, khả năng có sẵn và liên kết trang tiếp theo được làm nổi bật.]
Bước 2: Lưu trình trích xuất giới hạn. Lưu mã này dưới dạng collect_products.py. Nó theo liên kết trang tiếp theo của danh mục nhưng dừng lại sau hai trang, từ chối các URL lặp lại, và phân tích byte phản hồi để tránh ký hiệu tiền tệ bị giải mã sai.
import csv import json import os from datetime import datetime, timezone from decimal import Decimal from pathlib import Path from urllib.parse import urljoin, urlparse import requests from bs4 import BeautifulSoup url = "https://books.toscrape.com/catalogue/page-1.html" records, seen_pages, seen_products = [], set(), set() observed_at = datetime.now(timezone.utc).isoformat() with requests.Session() as session: for _ in range(2): if url in seen_pages or urlparse(url).netloc != "books.toscrape.com": raise ValueError("Unexpected or repeated catalogue URL") seen_pages.add(url) response = session.get(url, timeout=(10, 30)) response.raise_for_status() if "text/html" not in response.headers.get("Content-Type", ""): raise ValueError("Expected an HTML catalogue") soup = BeautifulSoup(response.content, "html.parser") cards = soup.select("article.product_pod") if not cards: raise ValueError("No product cards: inspect the saved response") for card in cards: link = card.select_one("h3 a") price = card.select_one(".price_color") stock = card.select_one(".availability") if link is None or price is None or stock is None: raise ValueError("Incomplete product card") product_url = urljoin(response.url, link["href"]) if urlparse(product_url).netloc != "books.toscrape.com": raise ValueError("Unexpected product origin") if product_url in seen_products: raise ValueError("Duplicate product in this bounded sample") seen_products.add(product_url) raw_price = price.get_text(strip=True) if not raw_price.startswith("£"): raise ValueError("Expected the practice site's GBP price") amount = Decimal(raw_price[1:]) if amount < 0: raise ValueError("Negative price") records.append({ "title": link["title"].strip(), "url": product_url, "price": str(amount), "currency": "GBP", "availability_text": stock.get_text(" ", strip=True), "source_page": response.url, "observed_at": observed_at, }) next_link = soup.select_one("li.next a") if next_link is None: break url = urljoin(response.url, next_link["href"]) if not records or any(not row["title"] for row in records): raise ValueError("No acceptable records") Path("products.json.tmp").write_text( json.dumps(records, ensure_ascii=False, indent=2), encoding="utf-8" ) os.replace("products.json.tmp", "products.json") with open("products.csv.tmp", "w", newline="", encoding="utf-8") as handle: writer = csv.DictWriter(handle, fieldnames=list(records[0])) writer.writeheader() writer.writerows(records) os.replace("products.csv.tmp", "products.csv") print(f"Accepted {len(records)} products from {len(seen_pages)} pages")
Bước 3: Thực thi tệp. Chạy python collect_products.py trong môi trường chứa các phụ thuộc. Lần chạy xác thực in ra Đã chấp nhận 40 sản phẩm từ 2 trang; đó là kết quả mẫu đã quan sát, không phải là đảm bảo về nội dung trang trong tương lai.
Bước 4: Kiểm tra các hồ sơ đã xuất. Mở products.json và products.csv. So sánh tiêu đề, giá, URL, và trang nguồn với danh mục. Cả hai xuất đều chứa các hàng đã chấp nhận giống nhau. Mỗi tệp được thay thế nguyên tử sau khi xác thực; hai lần thay thế là riêng biệt, vì vậy một hệ thống sản xuất cần một giao dịch nên công bố một thư mục phiên bản và một con trỏ biểu thị.
Giới hạn: các bộ chọn này và giả định GBP thuộc về trang thực hành này. Mã không triển khai các biến thể cụ thể của nhà bán lẻ, xác thực, kết xuất trình duyệt, lập lịch, hoặc điểm kiểm tra phục hồi. Nó cũng dừng lại trên một lỗi yêu cầu thay vì thử lại vô thời hạn.
Phương pháp 2: Sử dụng một nguồn cấp hoặc API sản phẩm được phê duyệt
Best for: một nguồn cung cấp giao diện đã được tài liệu hóa với các trường và quyền sử dụng bạn cần.
Bước 1: Nhận thông số tích hợp của nguồn. Xác nhận URL cơ sở, phương pháp xác thực, phạm vi, phân trang, giới hạn tốc độ, và định nghĩa trường từ nhà cung cấp đó. Không có điểm cuối API sản phẩm thương mại điện tử toàn cầu nào để thay thế ở đây.
Bước 2: Ánh xạ phản hồi tới hợp đồng của bạn. Xác định xem ID có tham chiếu đến sản phẩm, biến thể hoặc ưu đãi hay không. Bảo toàn tiền tệ bản địa và dấu thời gian. Ánh xạ các giá trị bị thiếu một cách rõ ràng thay vì coi một trường hàng tồn kho bị bỏ qua là “hết hàng.”
Bước 3: Xác thực một vòng chạy hoàn chỉnh có giới hạn. Theo dõi con trỏ tài liệu hoặc mã trang, đối chiếu các định danh kết quả với nguồn, và đánh dấu chỉ sau khi các bản ghi đã được chấp nhận được lưu trữ bền vững.
Giới hạn: một luồng có thể bị trì hoãn, có phạm vi địa lý, hoặc không khả dụng cho một số người bán. Sơ đồ hỗ trợ của nó vẫn có thể khác với thông tin hiển thị trên một trang sản phẩm.
Nstdata Crawl Có Thể Hỗ Trợ Một Quy Trình Dữ Liệu Thương Mại Điện Tử Như Thế Nào?
Nstdata Crawl có thể cung cấp nội dung sản phẩm đã được thể hiện và thu hồi trang web có phạm vi khi việc duy trì hạ tầng trình duyệt và proxy trở thành một phần đáng kể của dự án.
Đây là một API thu thập web cho dữ liệu sẵn sàng cho LLM, hữu ích để biến các trang sản phẩm đã được phê duyệt thành nội dung mà chính quy trình của bạn có thể kiểm tra và chuyển đổi. Khám phá và thu thập đệ quy có thể mở rộng một tập hợp có kiểm soát của các trang danh mục hoặc chi tiết. Kết xuất JavaScript có thể thu hồi các trường thiếu từ phản hồi ban đầu. Nhiều định dạng hỗ trợ cả ngữ cảnh AI và khai thác xác định. Xác thực kinh doanh vẫn thuộc về sau khi thu hồi, đặc biệt khi một biến thể hoặc tiền tệ sai có thể ảnh hưởng đến quyết định.
- Khám phá có kiểm soát: cấu hình URL khởi đầu,
maxPages,maxDepth, và các mẫu bao gồm hoặc loại trừ URL cho một lần thu thập trang web. Giới hạn điều hướng phân đoạn và các phòng ban không liên quan trước khi mở rộng quy mô. - Kết xuất JavaScript: cấu hình và kiểm tra mục tiêu trong Crawl Playground, sau đó sử dụng yêu cầu đã được tạo ra từ nó. Kết xuất là một khả năng thu hồi, không phải là một lời hứa rằng mỗi trang hoặc khu vực được bảo vệ đều có sẵn.
- Các định dạng với mục đích khác nhau: Markdown hữu ích cho mô tả sản phẩm và thu hồi; HTML hỗ trợ phân tích dựa trên DOM; các liên kết hỗ trợ khám phá. PDF và ảnh chụp màn hình có thể hỗ trợ các quy trình chứng cứ đã chọn. Vận chuyển JSON không có nghĩa là phản hồi là một sơ đồ thương mại được chấp nhận.
- Proxy tích hợp sẵn: các cuộc gọi quản lý tiêu chuẩn không yêu cầu các trường Host, Port, Username, Password, hoặc Protocol riêng biệt. Việc sử dụng URL và lưu lượng proxy có thể đóng góp riêng biệt vào chi phí, do đó chỉ yêu cầu nội dung và định dạng mà quy trình cần.
Phương pháp 3: Thu hồi nội dung sản phẩm thông qua API Crawl
Best for: các nguồn web đã được phê duyệt cần kết xuất được quản lý, đầu ra nội dung, hoặc khám phá có kiểm soát rộng hơn.
Bước 1: Nhận yêu cầu đã được kiểm tra. Mở Dashboard → Crawl Playground, nhập một URL sản phẩm đại diện, chọn Markdown và HTML, và kiểm tra kết quả. Nhận một khóa API và sao chép yêu cầu hiện tại đã được tạo ra.
[Ảnh chụp màn hình: Crawl Playground với URL sản phẩm thực hành, Markdown và HTML được chọn, và yêu cầu đã được tạo ra; xóa khóa API.]
Bước 2: Gọi điểm cuối đồng bộ. Đặt NSTDATA_API_KEY trong môi trường của bạn trước tiên. Ví dụ tích hợp được tài liệu hóa này chưa được thực hiện với khóa API của khách hàng.
curl --fail-with-body --request POST \ 'https://api.nstdata.io/api/v1/crawl/scrape/submit-sync' \ --header "x-api-key: ${NSTDATA_API_KEY:?Set NSTDATA_API_KEY}" \ --header 'Content-Type: application/json' \ --data '{"url":"https://books.toscrape.com/catalogue/a-light-in-the-attic_1000/index.html","formats":["markdown","html"],"onlyMainContent":true,"timeout":60000}'
Bước 3: Xác thực việc thu hồi trước khi trích xuất ưu đãi. Kiểm tra phản hồi bên ngoài và các trường hoàn thành và thành công lồng nhau, trạng thái trang, tiêu đề, và nội dung đã trả về. Nếu một tham chiếu lưu trữ thay thế nội dung trong dòng, hãy thu hồi nó bằng cách sử dụng quy trình lưu trữ đã được tài liệu hóa. Sau đó phân tích các trường cần thiết và áp dụng cùng một hợp đồng thương mại được sử dụng bởi các phương pháp khác.
Giới hạn: việc thu hồi được quản lý không xác định xem mức giá hiển thị có bao gồm phí vận chuyển hay không, liệu hai danh sách có đại diện cho cùng một biến thể hay không, hoặc liệu bạn có quyền thu thập một nguồn hay không. Một công việc toàn trang cũng yêu cầu kiểm tra trạng thái nhiệm vụ và thu thập kết quả trang; việc gửi nó không phải là hoàn thành.
Xây dựng trên dữ liệu web sẵn sàng cho LLMLấy các trang được phê duyệt với việc thu thập có phạm vi, kết xuất JavaScript và các định dạng nội dung cho quy trình làm việc AI của bạn. Thử Nstdata Miễn Phí |
Markdown
JSON
{
"title": "...", "url": "..." } Ảnh chụp màn hình
|
Tại sao hồ sơ sản phẩm không vượt qua kiểm tra?
Hồ sơ sản phẩm không thành công khi đại diện nguồn, thực thể đã chọn hoặc quy tắc chuẩn hóa không trùng khớp với đề xuất mong đợi.
| Triệu chứng | Nguyên nhân có thể | Giải pháp |
|---|---|---|
| Không có thẻ trong phản hồi HTML | Môi trường JavaScript, mẫu đã thay đổi hoặc trang không như mong đợi | Kiểm tra phản hồi trước khi chuyển đổi đại diện hoặc các bộ chọn |
| Giá phân tích nhưng so sánh sai | Tiền tệ khác nhau, kích cỡ gói, người bán hoặc biến thể | Bảo tồn danh tính đề xuất và điều kiện thương mại |
| Sản phẩm trùng lặp xuất hiện | Các danh mục hoặc URL theo dõi chồng chéo | Loại bỏ trùng lặp với các quy tắc danh tính đã được xác minh, giữ lại nguồn gốc |
| Một lần chạy đột nhiên có ít sản phẩm hơn | Phạm vi, phân trang hoặc khả năng nguồn đã thay đổi | So sánh các bản phát hành chạy và kiểm tra các đoạn thiếu |
| Thành công HTTP chứa một trang lỗi | Trạng thái vận chuyển là kiểm tra duy nhất | Cần nhận dạng trang và nội dung mong đợi |
| Thất bại cách ly với các URL và lý do của chúng. Hướng dẫn sửa lỗi scraping giải thích tại sao một bộ chọn đã thay đổi cần một phản hồi khác với một thời gian chờ tạm thời. Thử lại một trang cấu trúc sai có thể làm tăng chi phí mà không sửa chữa được một bản ghi. |
Làm Thế Nào Để Bạn Mở Rộng Mà Không Mất Chất Lượng Dữ Liệu?
Mở rộng chỉ sau khi mẫu giới hạn vượt qua các kiểm tra về lĩnh vực, danh tính, độ mới và phạm vi.
Sử dụng một hàng đợi với giới hạn đồng thời theo nguồn và số lần thử lại giới hạn cho các lỗi tạm thời. Tách biệt việc khám phá khỏi các công việc trang chi tiết để một lần thu thập loại đắt tiền không lặp lại mỗi khi một sản phẩm thất bại. Giữ lại số lần thử lại, lý do thất bại, các bản ghi được chấp nhận và bị từ chối, và tuổi của quan sát được chấp nhận mới nhất.
Đối với các so sánh thường xuyên, đánh giá sự khớp nhau trước khi công bố thay đổi giá. Xem xét một mẫu của các khớp chính xác, các khớp nghi ngờ và các ứng viên bị từ chối. Một khớp do mô hình tạo ra nên mang chứng cứ và sự không chắc chắn thay vì trở thành một danh tính không thể nghi ngờ.
Sử dụng quy trình thu thập theo lô cho các kho URL lớn và quy trình website-to-JSON cho các ranh giới kiểm tra. So sánh tổng chi phí hoạt động trên mỗi đề nghị được chấp nhận, bao gồm thời gian duyệt web, lưu lượng proxy, số lần thử lại, lưu trữ, và bảo trì kỹ thuật. Một yêu cầu rẻ không phải là một quan sát rẻ nếu nó thường xuyên tạo ra dữ liệu không thể sử dụng.
Xem Mô hình tính phí thu thập hiện tại khi lập ngân sách sử dụng URL và lưu lượng proxy.
Câu Hỏi Thường Gặp
Q: Beautiful Soup có thể thu thập một trang sản phẩm JavaScript không?
Nó có thể phân tích HTML được cung cấp cho nó, bao gồm HTML đã được hiển thị, nhưng nó không thực thi JavaScript. Sử dụng một API được phê duyệt hoặc một giai đoạn hiển thị khi các trường cần thiết không có trong phản hồi ban đầu.
Q: Một URL sản phẩm có phải là một định danh đủ không?
Không phải lúc nào cũng vậy. Một URL có thể đại diện cho nhiều biến thể hoặc người bán, và các URL khác nhau có thể tham chiếu đến cùng một đề nghị. Bảo tồn các định danh nguồn và xác minh các quy tắc danh tính cho danh mục đó.
Q: Sự thiếu vắng một mục có nghĩa là nó hết hàng không?
Không. Nó có thể nằm ngoài phạm vi thu thập, bị loại bỏ khỏi danh sách, tạm thời không khả dụng, hoặc bị bỏ lỡ bởi một trang thất bại. Ghi lại những gì đã quan sát và tránh việc bịa đặt trạng thái khả dụng.
Q: Nstdata Crawl có tự động trả về các bản ghi sản phẩm đã chuẩn hóa không?
Đừng giả định điều đó từ một phản hồi thành công của Crawl. Lấy lại đại diện cần thiết, kiểm tra đầu ra đã được tài liệu hóa, và xác minh các trường sản phẩm và danh tính trong ứng dụng của bạn trước khi công bố chúng.





