Cách xây dựng một trình thu thập dữ liệu TechCrunch bằng Python: Bước từng bước

TL;DR

• Sử dụng nguồn cấp dữ liệu công khai của TechCrunch để phát hiện bài viết mới khi nó đáp ứng được dự án; nó đơn giản hơn và ổn định hơn so với việc thu thập các trang danh sách.
• Chỉ sử dụng HTML bài viết cho các trường mà nguồn cấp dữ liệu không cung cấp, và giữ nguyên URL gốc cùng với siêu dữ liệu xuất bản.
• Thích sử dụng đánh dấu bài viết ngữ nghĩa và JSON-LD hơn là các lớp trình bày.
• Tôn trọng các điều khoản hiện tại, chỉ thị robots, bản quyền và giới hạn tần suất; chỉ lưu trữ nội dung cần thiết cho việc sử dụng được ủy quyền.
• Làm cho quy trình xử lý idempotent với các URL chuẩn, định danh xuất bản, thời gian lấy dữ liệu và băm nội dung.

Crawler TechCrunch là gì và tại sao bạn lại xây dựng một cái?

Một crawler TechCrunch là một quy trình giới hạn giúp phát hiện các bài viết công khai cho phép và trích xuất một số siêu dữ liệu đã chọn để theo dõi, tìm kiếm hoặc nghiên cứu. Nstdata Crawl có thể cung cấp việc thu thập trang được quản lý, trong khi các thư viện nguồn cấp dữ liệu và HTML của Python cung cấp một con đường tự lưu trữ nhỏ. Đối với nhiều dự án, một trình đọc nguồn cấp dữ liệu cộng với việc phân tích chọn lọc bài viết an toàn và đơn giản hơn việc thu thập các trang danh mục.

Hướng dẫn các phương pháp tốt nhất về web-scraping giải thích tại sao một nguồn tài nguyên giới hạn và chính sách giữ lại rõ ràng lại quan trọng. Nội dung tin tức được bảo vệ bản quyền, vì vậy hãy lưu trữ các trường tối thiểu cần thiết và liên kết trừ khi mục đích sử dụng và giấy phép cho phép nhiều hơn.

Bạn cần gì trước khi bắt đầu?

Cài đặt feedparser, httpx, beautifulsoup4, và trafilatura. Xác định canonical_url, title, authors, published_at, section, summary, retrieved_at, và content_hash. Quyết định xem văn bản đầy đủ có thực sự cần thiết hay không.

python -m venv .venv
source .venv/bin/activate
python -m pip install feedparser httpx beautifulsoup4 trafilatura

Kiểm tra nguồn cấp dữ liệu TechCrunch hiện tại, các điều khoản và tệp robots trước khi thực thi. Sử dụng một tác nhân người dùng mô tả và tần suất yêu cầu thấp, có giới hạn.

Quy trình thu thập thông tin TechCrunch hoạt động như thế nào?

Nguồn cấp dữ liệu cung cấp các mục nhập gần đây và liên kết bài viết ổn định. Mỗi liên kết được chấp nhận có thể được chuẩn hóa, kiểm tra với sổ đăng ký tài liệu, và chỉ được lấy khi có cái mới hoặc đã thay đổi. HTML bài viết có thể tiết lộ JSON-LD và đánh dấu ngữ nghĩa cho tiêu đề, tác giả và thời gian. Việc trích xuất nội dung chính là một bước riêng biệt khỏi quá trình phát hiện.

Hướng Dẫn Chi Tiết

Phương pháp 1: Khám Phá Bài Viết Qua RSS

Bước 1: Phân Tích nguồn cấp dữ liệu

import feedparser

feed = feedparser.parse("https://techcrunch.com/feed/")
if feed.bozo:
    raise RuntimeError(f"Lỗi phân tích nguồn cấp dữ liệu: {feed.bozo_exception}")

entries = [{"title": e.get("title"), "url": e.get("link"), "published": e.get("published")}
           for e in feed.entries]

Bước 2: Xác thực từng mục

Yêu cầu một URL TechCrunch HTTPS và một tiêu đề không trống. Từ chối các URL chuẩn bị trùng lặp trước khi lấy trang.

Bước 3: Lưu lại một mốc khám phá

Lưu thời gian lấy nguồn cấp dữ liệu và định danh mục. Không giả định rằng thứ tự nguồn cấp dữ liệu tự nó ổn định đủ để phục hồi.

Phương pháp 2: Trích xuất siêu dữ liệu từ HTML bài viết

Bước 1: Lấy một bài viết mới

import httpx

headers = {"User-Agent": "NewsResearch/1.0 contact@example.com"}
r = httpx.get(entries[0]["url"], headers=headers, timeout=20, follow_redirects=True)
r.raise_for_status()
html = r.text

Bước 2: Phân tích JSON-LD

Sử dụng Beautiful Soup để xác định application/ld+json và chọn các đối tượng NewsArticle hoặc Article. Bảo quản tiêu đề, các đối tượng tác giả, các trường ngày tháng, và URL chuẩn mà không tạo ra giá trị bị thiếu.

Bước 3: Trích xuất chỉ nội dung cần thiết

Sử dụng một bộ chọn article xác minh hoặc Trafilatura cho văn bản chính. Ghi lại phương pháp trích xuất và phiên bản phân tích để các thay đổi sau này có thể được tái tạo. Tài liệu Trafilatura documentation mô tả các điều khiển trích xuất hiện tại.

Phương pháp 3: Sử dụng bề mặt REST của WordPress khi có sẵn và được phép

Bước 1: Xác nhận điểm cuối từ trang web

Không giả định rằng một điểm cuối WordPress là công cộng hoặc ổn định. Khám phá nó qua siêu dữ liệu trang chính thức hoặc tài liệu và xác minh rằng việc sử dụng dự kiến là được phép.

Bước 2: Yêu cầu các trường hẹp và các trang giới hạn

Sử dụng _fields khi có hỗ trợ, một per_page nhỏ, và giới hạn trang rõ ràng. Tài liệu WordPress REST API handbook ghi lại các giao diện chung, nhưng trang web kiểm soát những gì nó tiết lộ.

Bước 3: Đối xử với HTML đã render như một đầu vào không đáng tin cậy

Vệ sinh nội dung trước khi hiển thị và duy trì quyền sở hữu nguồn. Đầu ra REST không cho phép quyền tái sử dụng vượt quá giấy phép và điều khoản áp dụng.

Phương pháp 4: Sử dụng một lớp thu thập được quản lý

Bước 1: Chỉ gửi các URL bài viết đã được phê duyệt

Sử dụng Nstdata Crawl khi việc render, thử lại, trạng thái tác vụ và nhiều hiện vật cần được quản lý. Giữ việc khám phá nguồn cấp dữ liệu như là nguồn thông tin chính và sử dụng các công việc trang giới hạn.

Bước 2: Xác thực thành công ở mức thân bài

Kiểm tra URL cuối cùng, tiêu đề, bằng chứng xuất bản, ngôn ngữ, và độ hoàn chỉnh của nội dung. Sử dụng bảng giá Crawl hiện tại để so sánh chi phí cho mỗi bài viết mới được chấp nhận.

Bước 3: Chuẩn hóa vào cùng một đăng ký

Đường dẫn được quản lý và đường dẫn HTTP nên sản xuất siêu dữ liệu nội bộ giống hệt nhau. Các trường nhà cung cấp không được rò rỉ vào các khóa kinh doanh.

Tại sao trình thu thập dữ liệu TechCrunch lại thiếu bài viết hoặc văn bản?

Các nguồn cấp dữ liệu có thể bị cắt ngắn, chậm trễ, hoặc giới hạn ở các mục gần đây. Các mẫu bài viết có thể thay đổi, nội dung có thể được nhúng, và một phản hồi có thể là một lỗi hoặc trạng thái đồng ý. So sánh các ID nguồn cấp dữ liệu, các URL chuẩn, JSON-LD, URL cuối cùng, và phạm vi các trường được chấp nhận. Không giải quyết một trường bị thiếu bằng cách thu thập các vùng trang không liên quan.

Sử dụng hướng dẫn phát hiện URL website khi dự án hợp pháp cần nhiều hơn nguồn cấp gần đây, nhưng giữ cho việc khám phá giới hạn ở các phần đã được phê duyệt. Giao thức loại trừ Robots là một tín hiệu chính sách kỹ thuật, không phải là một giấy phép nội dung.

Làm thế nào bạn lên lịch và loại bỏ trùng lặp trong quy trình?

Đăng ký nguồn cấp dữ liệu với một khoảng thời gian tôn trọng, upsert bằng URL chuẩn hoặc ID mục ổn định, và chỉ lấy các trang chưa thấy hoặc đã được làm mới rõ ràng. Tính toán một băm nội dung chuẩn hóa để phân biệt giữa các chỉnh sửa siêu dữ liệu và các tài liệu mới. Thử lại các lỗi mạng tạm thời với giới hạn và gửi các thay đổi phân tích để xem xét.

Hướng dẫn hạ tầng dữ liệu web cung cấp một mẫu hữu ích: khám phá, thu thập, xác thực, chuẩn hóa và giao hàng nên có các trạng thái riêng biệt.

Kết luận

Sử dụng nguồn công khai để khám phá, chỉ lấy các bài báo mới được phép, ưu tiên siêu dữ liệu có cấu trúc và chỉ thêm trích xuất toàn văn khi trường hợp sử dụng yêu cầu. Giữ một sổ đăng ký tài liệu và đo lường số bài báo mới được chấp nhận thay vì tổng số yêu cầu. Nstdata Crawl là một lựa chọn khi cần quản lý việc thực thi trình duyệt và các artefacts. Nstdata Proxy Manager chỉ liên quan khi việc định tuyến và kiểm soát hoạt động trở thành mối quan tâm riêng của nền tảng.

Trải nghiệm Nstdata — Bắt đầu dùng thử miễn phí ngay hôm nay

Câu hỏi thường gặp

Q: TechCrunch có cung cấp nguồn RSS không?

TechCrunch cung cấp một nguồn công khai tại URL được sử dụng trong hướng dẫn này, nhưng phạm vi và hành vi của nó nên được kiểm tra lại trước khi sử dụng sản xuất.

Q: Có nên lưu trữ toàn bộ văn bản bài viết của TechCrunch không?

Chỉ khi dự án có nhu cầu hợp lệ và quyền áp dụng. Siêu dữ liệu, tóm tắt và liên kết chính thường đủ để giám sát.

Q: Làm thế nào để tránh các bài viết trùng lặp của TechCrunch?

Sử dụng các URL chính thức hoặc các định danh nguồn ổn định, chuẩn hóa các tham số theo dõi bảo thủ và thực hiện các upsert idempotent.

Q: Tại sao nguồn này chứa ít bài viết hơn so với trang web?

Các nguồn thường cung cấp một tập hợp gần đây hơn là một kho lưu trữ đầy đủ. Chỉ sử dụng các con đường khám phá đã được phê duyệt và không giả định rằng nguồn là đầy đủ.

Q: Khi nào cần trình duyệt?

Một trình duyệt chỉ được yêu cầu khi trường hợp được phép phụ thuộc vào việc trình bày hoặc tương tác của khách hàng và không thể thu được từ nguồn, dữ liệu có cấu trúc hoặc HTML ban đầu.