TL;DR
- Sử dụng YouTube Data API chính thức để thu thập các trường kết quả tìm kiếm công khai được hỗ trợ, thay vì xây dựng một trình thu thập dữ liệu dựa trên giao diện trình duyệt của YouTube.
- Tạo một dự án Google Cloud, kích hoạt YouTube Data API v3, và lấy một API key cho ví dụ tìm kiếm công khai. Các thao tác yêu cầu xác thực tài khoản có thể cần OAuth thay vào đó.
- Gọi
search.listvớipart=snippet, một truy vấn, các bộ lọc rõ ràng, vàtype=videokhi sơ đồ hạ nguồn mong đợi video. - Theo dõi
nextPageTokentrong một ngân sách yêu cầu cố định. Một trang có thể chứa ít mục hơn số mục yêu cầu, và kết quả API không phải là bản sao của một trang tìm kiếm cá nhân hóa trên trình duyệt. - Làm phong phú các ID video thông qua
videos.listkhi bạn cần chi tiết video hoặc thống kê được hỗ trợ mà các đoạn tìm kiếm không có. - Nstdata Crawl có thể cung cấp ngữ cảnh web bên ngoài đã được phê duyệt cho một quy trình AI; nó không thay thế việc truy cập YouTube API, hạn ngạch, hoặc các quy tắc nền tảng.
Làm Thế Nào Để Bạn Có Thể Thu Thập Kết Quả Tìm Kiếm YouTube Đáng Tin Cậy?
Bạn có thể thu thập kết quả tìm kiếm công khai hỗ trợ của YouTube thông qua API Dữ liệu chính thức, ghi lại truy vấn, bộ lọc, ID video đã trả về, và thời gian quan sát.
Các nhà phát triển tìm kiếm “cách thu thập kết quả tìm kiếm YouTube” thường muốn một tập dữ liệu nghiên cứu, một luồng phát hiện, hoặc các video ứng viên cho một ứng dụng AI. API hỗ trợ cung cấp cho quy trình đó một hợp đồng yêu cầu và phản hồi đã được tài liệu hóa. Nó không nhân bản mọi kệ, quảng cáo, xếp hạng cá nhân hóa, hoặc thành phần hình ảnh của một trang tìm kiếm YouTube có đăng nhập.
Sự phân biệt này quan trọng cho phân tích. Vị trí của một video trong phản hồi API là một vị trí API dưới các tham số đã ghi lại, không phải là một xếp hạng YouTube phổ quát. Giữ nguyên các tham số với kết quả để một kỹ sư khác có thể hiểu những gì đã được quan sát.
Nếu ứng dụng cũng cần nội dung trang web hỗ trợ, Nstdata Crawl có thể truy xuất các trang bên ngoài đã được phê duyệt như một nguồn dữ liệu riêng biệt. Giữ cho ranh giới tập hợp đó rõ ràng thay vì coi tất cả nội dung web là có thể thay thế cho nhau.
Bạn Cần Gì Trước Khi Bắt Đầu?
Bạn cần một tài khoản Google, một dự án Cloud với YouTube Data API v3 đã được kích hoạt, một API key phù hợp, và một môi trường Python chứa Requests.
Theo hướng dẫn hướng dẫn khởi động YouTube Data API chính thức để tạo dự án, kích hoạt API, và lấy thông tin xác thực. Tìm kiếm công khai có thể sử dụng một API key; các thao tác liên quan đến dữ liệu người dùng đã được xác thực có yêu cầu xác thực khác nhau. Giới hạn và quản lý thông tin xác thực theo môi trường triển khai của bạn, và giữ chúng ra khỏi kiểm soát nguồn và nhật ký.
Đặt YOUTUBE_API_KEY trong môi trường địa phương của bạn. Tùy chọn đặt YOUTUBE_QUERY; ví dụ mặc định là python data pipelines. Kịch bản sử dụng một khu vực cố định, sở thích ngôn ngữ, thứ tự, và cài đặt tìm kiếm an toàn để kết quả có bối cảnh xác định.
Bạn cũng cần một ngân sách yêu cầu. Kiểm tra khả năng hạn ngạch hiện tại và hạn ngạch Tìm kiếm Truy vấn trong dự án Cloud của bạn. Đừng ước lượng giới hạn hiện tại từ con số hạn ngạch mỗi yêu cầu của một bài viết cũ. Một bài kiểm tra nhỏ thành công không xác lập khả năng cho một lần thu thập không giới hạn.
[Ảnh chụp màn hình: Dự án Google Cloud với YouTube Data API v3 đã được kích hoạt và chế độ xem hạn ngạch của nó; ẩn thông tin dự án nhạy cảm và thông tin xác thực.]
API Tìm Kiếm Trả Về Gì, Và Điều Gì Bị Bỏ Qua?
API tìm kiếm trả về các tài nguyên tìm kiếm và đoạn trích, trong khi các trường video bổ sung cần một yêu cầu tài liệu riêng.
tài liệu tham khảo search.list xác định điểm cuối, bộ lọc, phân trang, và các tham số được hỗ trợ. Với type=video, mỗi kết quả được chấp nhận nên cung cấp một ID video và thông tin đoạn trích như tiêu đề và ngữ cảnh kênh. Nếu không có bộ lọc đó, các loại kết quả có thể khác với hợp đồng chỉ video trong hướng dẫn này.
Các đoạn trích tìm kiếm không cung cấp một đối tượng video hoàn chỉnh. Nếu bạn cần thống kê hoặc chi tiết được hỗ trợ, hãy thu thập các ID đã trả về và sử dụng các giá trị part thích hợp với phương pháp videos.list. Giữ thời gian quan sát tìm kiếm tách biệt với thời gian làm phong phú vì những yêu cầu đó có thể xảy ra vào các thời điểm khác nhau.
Cài đặt khu vực và ngôn ngữ ảnh hưởng đến yêu cầu nhưng không làm cho kết quả của nó giống hệt với trải nghiệm trình duyệt của một người. Một sở thích ngôn ngữ không phải là một bộ phân loại ngôn ngữ nghiêm ngặt cho mọi video đã trả về. Tương tự, một tiêu đề là một trường nguồn, không phải bằng chứng đã được xác minh cho mọi tuyên bố mà video có thể đưa ra.
Làm Thế Nào Để Bạn Lấy Một Tập Dữ Liệu Tìm Kiếm Bị Giới Hạn Với Python?
Bạn có thể gọi điểm cuối đã được tài liệu hóa, theo tối đa hai trang, loại bỏ trùng lặp ID video, và lưu kết quả với một tệp chạy.
Phương Pháp 1: Sử dụng Python để thu thập lặp lại
Best for: một ứng dụng theo lịch cần đầu ra có cấu trúc và hành vi thất bại rõ ràng.
Bước 1: Chuẩn bị môi trường. Cài đặt Requests trong một môi trường ảo và đặt khóa API của bạn cùng với truy vấn. Kịch bản không bao gồm bất kỳ thông tin xác thực nào, yêu cầu dữ liệu riêng tư hoặc cần một phiên trình duyệt đã đăng nhập.
Bước 2: Lưu bộ thu thập dữ liệu. Lưu đoạn mã sau dưới dạng youtube_search.py. Nó yêu cầu tối đa 25 mục mỗi trang và dừng lại sau ít nhất hai trang. Đó là ngân sách ứng dụng, không phải hứa hẹn 50 kết quả.
Điều kiện tiên quyết về thông tin xác thực: ví dụ này yêu cầu dự án Google của riêng bạn đã được kích hoạt và YOUTUBE_API_KEY. Mã đã được kiểm tra cú pháp và kiểm tra với các bộ dữ liệu phân trang tổng hợp; một yêu cầu YouTube đã xác thực trực tiếp không được thực hiện trong quá trình chuẩn bị.
import html import json import os from datetime import datetime, timezone from pathlib import Path import requests api_key = os.environ.get("YOUTUBE_API_KEY") if not api_key: raise SystemExit("Set YOUTUBE_API_KEY before running this example") query = os.environ.get("YOUTUBE_QUERY", "python data pipelines") filters = { "part": "snippet", "type": "video", "maxResults": 25, "regionCode": "US", "relevanceLanguage": "en", "order": "relevance", "safeSearch": "moderate", } records, seen_ids, seen_tokens = [], set(), set() page_token = None position = 0 stop_reason = "page_limit" with requests.Session() as session: for page_number in range(1, 3): params = {**filters, "q": query, "key": api_key} if page_token: params["pageToken"] = page_token try: response = session.get( "https://www.googleapis.com/youtube/v3/search", params=params, timeout=(10, 30), ) payload = response.json() except (requests.RequestException, ValueError): raise SystemExit("Search request failed; inspect transport safely") from None if response.status_code != 200 or "error" in payload: reasons = payload.get("error", {}).get("errors", []) reason = reasons[0].get("reason", "unknown") if reasons else "unknown" raise SystemExit( f"YouTube API error: HTTP {response.status_code}, reason={reason}" ) items = payload.get("items") if not isinstance(items, list): raise SystemExit("Unexpected search response: items is not a list") observed_at = datetime.now(timezone.utc).isoformat() for item in items: position += 1 video_id = item.get("id", {}).get("videoId") snippet = item.get("snippet", {}) if not video_id or not snippet.get("title"): raise SystemExit("Unexpected video search item") if video_id in seen_ids: continue seen_ids.add(video_id) records.append({ "video_id": video_id, "url": "https://www.youtube.com/watch?v=" + video_id, "title": html.unescape(snippet["title"]), "channel_id": snippet.get("channelId"), "channel_title": snippet.get("channelTitle"), "published_at": snippet.get("publishedAt"), "observed_at": observed_at, "api_position": position, "page_number": page_number, }) next_token = payload.get("nextPageToken") if not next_token: stop_reason = "end_of_results" break if next_token in seen_tokens: raise SystemExit("Repeated pagination token; refusing a loop") seen_tokens.add(next_token) page_token = next_token result = { "query": query, "filters": filters, "raw_items_seen": position, "accepted_unique_videos": len(records), "stop_reason": stop_reason, "items": records, } Path("youtube-search.json.tmp").write_text( json.dumps(result, ensure_ascii=False, indent=2), encoding="utf-8" ) os.replace("youtube-search.json.tmp", "youtube-search.json") print(f"Saved {len(records)} unique videos; stop_reason={stop_reason}")
Bước 3: Chạy bộ thu thập dữ liệu. Thực thi python youtube_search.py. Nếu thông tin xác thực, hạn mức hoặc vận chuyển thất bại, kịch bản dừng lại trước khi thay thế đầu ra đã chấp nhận. Việc xử lý lỗi của nó tránh in ra một URL yêu cầu đầy đủ, điều này có thể phơi bày một khóa API trong các tham số truy vấn.
Bước 4: Kiểm tra bản kê khai. Mở youtube-search.json và xem xét truy vấn, bộ lọc, raw_items_seen, số lượng duy nhất được chấp nhận, và stop_reason. Kết quả page_limit là một mẫu có giới hạn. Kết quả end_of_results có nghĩa là chuỗi phản hồi này không cung cấp thêm mã; nó không chứng minh rằng đã bao quát mọi video YouTube liên quan.
Giới hạn: ví dụ này cố tình bỏ qua việc tự động thử lại, làm phong phú video, lập lịch, và chính sách lưu trữ lâu dài. Chỉ thêm những thứ đó khi có một ngân sách xác định và các yêu cầu API hiện tại.
Phương pháp 2: Xác minh một phản hồi với curl
Tốt nhất cho: chẩn đoán một yêu cầu trước khi tích hợp nó vào một ứng dụng.
Bước 1: Đặt khóa API. Sử dụng cùng dự án đã được kích hoạt và YOUTUBE_API_KEY như phương pháp Python. Tránh dán khóa vào các terminal hoặc ảnh chụp màn hình được chia sẻ.
Bước 2: Gửi một yêu cầu tìm kiếm nhỏ. Lệnh được tài liệu hóa này cũng cần đến khóa của bạn và không được thực thi với một tài khoản trực tiếp trong quá trình chuẩn bị.
curl --fail-with-body --get \ 'https://www.googleapis.com/youtube/v3/search' \ --data-urlencode 'part=snippet' \ --data-urlencode 'type=video' \ --data-urlencode 'q=python data pipelines' \ --data-urlencode 'maxResults=5' \ --data-urlencode "key=${YOUTUBE_API_KEY:?Set YOUTUBE_API_KEY}"
Bước 3: Kiểm tra ID và phân trang. Xác nhận rằng items chứa ID video và đoạn văn. Sử dụng nextPageToken đã trả về chỉ khi một yêu cầu khác phù hợp với ngân sách. Không tạo một số trang dự đoán hoặc coi tổng số ước tính là một danh sách đầy đủ.
Giới hạn: curl xác minh cấu trúc vận chuyển và phản hồi; nó không cung cấp một ống dẫn dữ liệu bền vững. Chuyển sang một chương trình khi bạn cần loại bỏ trùng lặp, bảng kê, xác thực và phục hồi.
Tại sao bạn nên tránh thu thập dữ liệu từ Giao diện Trình duyệt YouTube?
API chính thức cung cấp một bề mặt tích hợp được hỗ trợ, và các chính sách phát triển API của YouTube rõ ràng hạn chế việc thu thập dữ liệu bởi các client API.
Các Chính sách Phát triển Dịch vụ API YouTube chứa một hạn chế thu thập dữ liệu bao gồm việc thu thập trực tiếp hoặc gián tiếp các ứng dụng của YouTube hoặc Google và thu thập dữ liệu hoặc nội dung từ YouTube. Xem các điều khoản áp dụng cho trường hợp sử dụng của bạn thay vì coi một bên thứ ba hoặc một điểm truy cập nội bộ có thể truy cập là quyền cho phép.
Việc trích xuất từ trình duyệt cũng tạo ra một hợp đồng kỹ thuật khác. Kết quả cá nhân hóa, trạng thái đồng ý, địa phương hóa, tải chậm và các bố cục thay đổi khiến “các kết quả tìm kiếm” trở nên mơ hồ. Việc sử dụng API không loại bỏ mọi nghĩa vụ về chính sách hoặc chất lượng dữ liệu, nhưng nó làm cho các trường và phân trang được yêu cầu trở nên rõ ràng.
Nếu yêu cầu của bạn cụ thể là để kiểm toán một trải nghiệm tìm kiếm hình ảnh, hãy xác định yêu cầu đó một cách riêng biệt và có được một phương pháp được phê duyệt. Đừng mô tả tập dữ liệu API như là bằng chứng xếp hạng hình ảnh.
Nstdata Crawl có thể thêm bối cảnh bên ngoài nào cho quy trình làm việc này?
Nstdata Crawl có thể truy xuất các trang web bên ngoài được phê duyệt liên quan đến chủ đề nghiên cứu của bạn, trong khi việc khám phá YouTube vẫn nằm trong quy trình API chính thức.
Đó là một API Thu thập Web cho dữ liệu sẵn sàng cho LLM. Một ứng dụng nghiên cứu AI có thể kết hợp các bản ghi khám phá video với tài liệu hoặc trang tham khảo công khai được nguồn từ riêng biệt. Crawl chuẩn bị nội dung có thể đọc và bảo tồn bối cảnh trang hữu ích để lập chỉ mục phía dưới. Việc khám phá có thể mở rộng một phần tài liệu kiểm soát mà không mở rộng thành các liên kết tùy ý. Ứng dụng phải giữ nguyên ranh giới nguồn và tránh trình bày một trang web như một bản sao hoặc như bằng chứng về nội dung video mà nó chưa thu thập.
- Khám phá trang và phạm vi đệ quy: sử dụng giới hạn trang, giới hạn độ sâu và mẫu URL cho các trang tham khảo được phê duyệt. Không áp dụng phạm vi đó cho các trang YouTube như một cách giải quyết hạn ngạch.
- Kết xuất JavaScript: thu thập nội dung tham chiếu được tạo ra trong trình duyệt khi nguồn cho phép quy trình làm việc. Kiểm tra trang cụ thể trước khi lập lịch cho nó.
- Định dạng cho AI và kiểm tra: Markdown hỗ trợ lập chỉ mục văn bản, HTML hỗ trợ thu thập tùy chỉnh, và liên kết hỗ trợ khám phá. Các định dạng bổ sung đã được tài liệu hóa bao gồm PDF và ảnh chụp màn hình. Phản hồi JSON là một đại diện vận chuyển, không phải là một tập hợp tuyên bố đã được xác minh.
- Proxy tích hợp sẵn: các cuộc gọi Crawl tiêu chuẩn sử dụng định tuyến được quản lý mà không cần thiết lập Host, Port, Username, Password, hoặc Protocol riêng biệt. Lưu lượng proxy vẫn có thể góp phần riêng biệt vào chi phí.
Bước 1: Cấu hình một trang tham khảo được phê duyệt
Mở Bảng điều khiển → Khu vực thử nghiệm Thu thập và kiểm tra một URL tham khảo, chẳng hạn như tài liệu Python công khai. Lấy một khóa API và sao chép yêu cầu hiện tại đã được tạo cho định dạng cần thiết.
[Ảnh chụp màn hình: Khu vực thử nghiệm Thu thập với một URL tài liệu bên ngoài và đầu ra Markdown; ẩn khóa API.]
Bước 2: Lấy bối cảnh qua API
Ví dụ được tài liệu hóa này yêu cầu NSTDATA_API_KEY và không được thực hiện với tài khoản khách hàng. Nó lấy một trang tài liệu bên ngoài, không phải dữ liệu YouTube.
curl --fail-with-body --request POST \ 'https://api.nstdata.io/api/v1/crawl/scrape/submit-sync' \ --header "x-api-key: ${NSTDATA_API_KEY:?Set NSTDATA_API_KEY}" \ --header 'Content-Type: application/json' \ --data '{"url":"https://www.python.org/doc/","formats":["markdown"],"onlyMainContent":true,"timeout":60000}'
Bước 3: Xác thực và giữ cho các nguồn dễ phân biệt
Kiểm tra phản hồi bên ngoài và hoàn thành lồng nhau, thành công, trạng thái trang và nội dung. Giải quyết các tham chiếu nội dung đã được tài liệu hóa khi có. Lưu trữ URL trang bên ngoài và thời gian quan sát tách biệt với ID video và các tham số tìm kiếm. Hướng dẫn website-to-JSON giải thích tại sao việc lấy dữ liệu thành công vẫn cần kiểm tra lược đồ và ý nghĩa.
Xây dựng trên dữ liệu web sẵn sàng cho LLMLấy trang đã được phê duyệt với việc thu thập theo phạm vi, rendering JavaScript và định dạng nội dung cho quy trình làm việc AI của bạn. Thử Nstdata miễn phí |
Markdown
JSON
{
"title": "...", "url": "..." } Ảnh chụp màn hình
|
Tại sao một bộ sưu tập tìm kiếm YouTube lại thất bại hoặc trả về ít kết quả hơn?
Thất bại thường liên quan đến thông tin xác thực, hạn mức, tham số yêu cầu, hoặc giả định về phân trang và phạm vi.
| Triệu chứng | Nguyên nhân cần điều tra | Phản ứng |
|---|---|---|
| Lỗi khóa hoặc quyền truy cập | Dự án sai, API bị vô hiệu hóa, hoặc các hạn chế khóa không tương thích | Xác minh API đã kích hoạt và cấu hình thông tin xác thực |
| Lỗi liên quan đến hạn mức | Ngân sách liên quan của dự án đã cạn kiệt | Dừng công việc và kiểm tra hạn mức hiện tại; không thử lại trong một vòng lặp chặt chẽ |
| Số lượng mục ít hơn yêu cầu | Hành vi phản hồi bình thường hoặc các kết quả phù hợp có sẵn | Theo dõi một mã thông báo tiếp theo hợp lệ trong ngân sách |
| Xếp hạng trình duyệt và API khác nhau | Đại diện khác nhau và ngữ cảnh yêu cầu | Ghi nhãn vị trí API chính xác và giữ lại bộ lọc |
| ID video trùng lặp trên các trang | Chồng lấp kết quả hoặc thay đổi trong quá trình thu thập | Loại bỏ trùng lặp trong khi bảo tồn số lượng thô và vị trí lần đầu tiên quan sát |
Chỉ thử lại các lỗi vận chuyển tạm thời với chính sách có giới hạn và hiểu biết về chi phí yêu cầu. Thử lại các lỗi ủy quyền hoặc hạn mức thường yêu cầu thay đổi cấu hình hoặc ngân sách trước. Hướng dẫn về lỗi thu thập dữ liệu scraping error guide thảo luận về phân loại thất bại, trong khi batch crawling bao gồm việc điều phối công việc có giới hạn cho các nguồn web khác.
Làm Thế Nào Bạn Nên Lưu Trữ Dữ Liệu Tìm Kiếm Cho Một Sản Phẩm AI?
Lưu trữ các quan sát tìm kiếm với nguồn gốc, quy tắc làm mới và sự phân biệt rõ ràng giữa siêu dữ liệu phát hiện và bằng chứng nội dung.
Giữ lại lịch sử truy vấn và bộ lọc, ID đã chấp nhận, dấu thời gian, lý do dừng, và trạng thái làm phong phú. Xem xét các yêu cầu hiện tại của YouTube trước khi lựa chọn hành vi giữ lại, làm mới, hiển thị và xóa. Không giả định rằng lưu trữ không giới hạn là thích hợp chỉ vì một trường đến từ yêu cầu tìm kiếm công khai.
Đối với các ứng dụng nghiên cứu, hãy tuân theo các thực hành chất lượng nguồn trong web scraping for online research. Một đoạn tìm kiếm có thể xác định một tài nguyên ứng viên; nó không thay thế việc xác minh các tuyên bố của tài nguyên đó. Giữ cho các quan sát không thành công hoặc đã cũ luôn rõ ràng để các tác nhân phía dưới có thể kiềm chế thay vì phát minh ra các kết quả hiện tại.
Xem mô hình thanh toán thu thập hiện tại Crawl billing model khi lập ngân sách sử dụng URL và lưu lượng proxy.
FAQ
Q: Tôi có thể lấy kết quả tìm kiếm công khai trên YouTube mà không cần OAuth không?
Ví dụ tìm kiếm công khai sử dụng một khóa API. Các hoạt động liên quan đến dữ liệu người dùng ủy quyền có thể yêu cầu OAuth và các quyền bổ sung; hãy theo dõi tài liệu hiện tại của phương pháp.
Q: API có tái tạo lại trang tìm kiếm YouTube của tôi không?
Không. Hãy coi nó như là kết quả từ một yêu cầu API được tài liệu hóa với các tham số đã ghi lại, chứ không phải là bản sao của xếp hạng trình duyệt cá nhân hóa hoặc các tính năng tìm kiếm trực quan.
Q: Nstdata Crawl có thể thay thế API Dữ liệu YouTube không?
Không. Sử dụng Crawl cho nội dung web bên ngoài đã được phê duyệt trong quy trình làm việc xung quanh. Nó không thay thế thông tin xác thực của API YouTube, hạn mức, hoặc yêu cầu chính sách.
Q: Một trang trống có chứng minh rằng không có video phù hợp nào tồn tại không?
Không. Hãy diễn giải nó trong ngữ cảnh yêu cầu và phản hồi. Xác minh các bộ lọc và phân trang, bảo tồn quan sát, và tránh tuyên bố rằng có độ phủ hoàn toàn của nền tảng.




