Как собирать результаты поиска YouTube: практическое руководство
TL;DR
Используйте официальный API данных YouTube для сбора поддерживаемых открытых полей результатов поиска, а не создавайте парсер для веб-интерфейса YouTube.
Создайте проект в Google Cloud, включите API данных YouTube v3 и получите ключ API для примера публичного поиска. Для операций, авторизованных на учетной записи, может потребоваться OAuth.
Вызывайте search.list с part=snippet, запросом, явными фильтрами и type=video, когда схема на downstream ожидает видео.
Следуйте за nextPageToken в пределах фиксированного бюджета запроса. Страница может содержать меньше элементов, чем запрашивалось, и результаты API не являются копией персонализированной страницы поиска в браузере.
Углубляйте ID видео через videos.list, когда вам нужны поддерживаемые детали видео или статистика, которых нет в фрагментах поиска.
Nstdata Crawl может предоставить утвержденный внешний контекст для AI-рабочего процесса; это не замена доступу к YouTube API, квотам или правилам платформы.
Как надежно собирать результаты поиска YouTube?
Вы можете собирать поддерживаемые открытые результаты поиска YouTube через официальный API данных, фиксируя запрос, фильтры, возвращенные ID видео и время наблюдения.
Разработчики, ищущие "как собирать результаты поиска YouTube", часто хотят исследовательский набор данных, ленту для открытия или кандидатные видео для AI-приложения. Поддерживаемый API предоставляет этот рабочий процесс с документированным контрактом запроса и ответа. Он не воспроизводит каждую полку, рекламу, персонализированный рейтинг или визуальный элемент страницы поиска YouTube, в которую вы вошли.
Это различие имеет значение для анализа. Позиция видео в ответе API — это позиция API по записанным параметрам, а не универсальный рейтинг YouTube. Сохраняйте параметры вместе с результатом, чтобы другой инженер мог понять, что было наблюдено.
Попробуйте Nstproxy Crawl - Начните Бесплатно Уже Сегодня
Если приложению также нужно контент поддерживающего сайта, Nstdata Crawl может извлекать утвержденные внешние страницы в качестве отдельного источника данных. Сохраняйте эту границу коллекции явной, а не рассматривайте весь веб-контент как взаимозаменяемый.
Что вам нужно, прежде чем начинать?
Вам нужна учетная запись Google, проект в Cloud с включенным API данных YouTube v3, подходящий ключ API и окружение Python с установленным Requests.
Следуйте официальному руководству по началу работы с API данных YouTube, чтобы создать проект, включить API и получить учетные данные. Публичный поиск может использовать ключ API; операции, связанные с данными авторизованного пользователя, имеют другие требования к аутентификации. Ограничьте и управляйте учетными данными в зависимости от вашей среды развертывания и исключите их из контроля версий и журналов.
Установите YOUTUBE_API_KEY в вашем локальном окружении. Опционально установите YOUTUBE_QUERY; пример по умолчанию использует python data pipelines. Сценарий использует фиксированный регион, предпочтение языка, сортировку и настройки безопасного поиска, чтобы результат имел определенный контекст.
Вам также нужно иметь бюджет запросов. Проверьте текущее состояние квот и квоту на поиск в вашем собственном проекте Cloud. Не оценивайте текущие лимиты на основе устаревшей цифры квоты за запрос из старой статьи. Успешное маленькое тестирование не устанавливает мощности для неограниченного регулярного сбора данных.
[Скриншот: проект Google Cloud с включенным API данных YouTube v3 и его представление квот; скройте детали проекта и учетные данные.]
Что возвращает API поиска и что он не включает?
API поиска возвращает ресурсы поиска и фрагменты, в то время как дополнительные поля видео требуют отдельного документированного запроса.
Справочник search.list определяет конечную точку, фильтры, пагинацию и поддерживаемые параметры. С type=video каждый принятый результат должен предоставлять ID видео и информацию о фрагментах, такую как заголовок и контекст канала. Без этого фильтра типы результатов могут отличаться от контракта только для видео в этом руководстве.
Фрагменты поиска не предоставляют полный объект видео. Если вам нужны поддерживаемые статистические данные или другие детали, соберите возвращенные ID и используйте соответствующие значения part с методом videos.list. Сохраняйте время наблюдения за поиском отдельно от времени обогащения, так как эти запросы могут происходить в разные моменты.
Настройки региона и языка влияют на запрос, но не делают его результаты идентичными опыту браузера одного человека. Предпочтение языка не является строгим языковым классификатором для каждого возвращенного видео. Точно так же заголовок является полем источника, а не проверенным доказательством для каждого утверждения, которое может сделать видео.
Как получить ограниченный набор данных поиска с помощью Python?
Вы можете вызвать документированную конечную точку, следовать максимум за двумя страницами, удалить дубликаты ID видео и сохранить результаты с манифестом выполнения.
Метод 1: Используйте Python для повторяемого сбора
Лучше всего для: запланированного приложения, требующего структурированного вывода и явного поведения при сбое.
Шаг 1: Подготовьте окружение. Установите Requests в виртуальном окружении и задайте свой API-ключ и запрос. Скрипт не включает в себя учетные данные, не запрашивает личные данные или не требует входа в браузер.
Шаг 2: Сохраните сборщик. Сохраните следующее как youtube_search.py. Он запрашивает до 25 элементов за страницу и останавливается после максимум двух страниц. Это бюджет приложения, а не обещание получить 50 результатов.
Предварительное требование к учетным данным: этот пример требует вашего собственного включенного проекта Google и YOUTUBE_API_KEY. Код был проверен на синтаксис и протестирован с синтетическими фикциями для постраничной навигации; живой аутентифицированный запрос к YouTube не выполнялся во время подготовки.
import html
import json
import os
from datetime import datetime, timezone
from pathlib import Path
import requests
api_key = os.environ.get("YOUTUBE_API_KEY")ifnot api_key:raise SystemExit("Set YOUTUBE_API_KEY before running this example")query = os.environ.get("YOUTUBE_QUERY","python data pipelines")filters ={"part":"snippet","type":"video","maxResults":25,"regionCode":"US","relevanceLanguage":"en","order":"relevance","safeSearch":"moderate",}records, seen_ids, seen_tokens =[],set(),set()page_token =Noneposition =0stop_reason ="page_limit"with requests.Session()as session:for page_number inrange(1,3): params ={**filters,"q": query,"key": api_key}if page_token: params["pageToken"]= page_token
try: response = session.get("https://www.googleapis.com/youtube/v3/search", params=params, timeout=(10,30),) payload = response.json()except(requests.RequestException, ValueError):raise SystemExit("Search request failed; inspect transport safely")fromNoneif response.status_code !=200or"error"in payload: reasons = payload.get("error",{}).get("errors",[]) reason = reasons[0].get("reason","unknown")if reasons else"unknown"raise SystemExit(f"YouTube API error: HTTP {response.status_code}, reason={reason}") items = payload.get("items")ifnotisinstance(items,list):raise SystemExit("Unexpected search response: items is not a list") observed_at = datetime.now(timezone.utc).isoformat()for item in items: position +=1 video_id = item.get("id",{}).get("videoId") snippet = item.get("snippet",{})ifnot video_id ornot snippet.get("title"):raise SystemExit("Unexpected video search item")if video_id in seen_ids:continue seen_ids.add(video_id) records.append({"video_id": video_id,"url":"https://www.youtube.com/watch?v="+ video_id,"title": html.unescape(snippet["title"]),"channel_id": snippet.get("channelId"),"channel_title": snippet.get("channelTitle"),"published_at": snippet.get("publishedAt"),"observed_at": observed_at,"api_position": position,"page_number": page_number,}) next_token = payload.get("nextPageToken")ifnot next_token: stop_reason ="end_of_results"breakif next_token in seen_tokens:raise SystemExit("Repeated pagination token; refusing a loop") seen_tokens.add(next_token) page_token = next_token
result ={"query": query,"filters": filters,"raw_items_seen": position,"accepted_unique_videos":len(records),"stop_reason": stop_reason,"items": records,}Path("youtube-search.json.tmp").write_text( json.dumps(result, ensure_ascii=False, indent=2), encoding="utf-8")os.replace("youtube-search.json.tmp","youtube-search.json")print(f"Saved {len(records)} unique videos; stop_reason={stop_reason}")
Шаг 3: Запустите сборщик. Выполните python youtube_search.py. Если учетные данные, квота или транспорт не удаются, скрипт останавливается до замены принятого вывода. Его обработка ошибок предотвращает вывод полного URL-запроса, который может раскрыть API-ключ в параметрах запроса.
Шаг 4: Проверьте манифест. Откройте youtube-search.json и просмотрите запрос, фильтры, raw_items_seen, количество уникальных видео и stop_reason. Результат page_limit является ограниченной выборкой. Результат end_of_results означает, что эта последовательность ответов не предоставила другой токен; это не подтверждает исчерпывающее покрытие каждого соответствующего видео на YouTube.
Ограничение: этот пример сознательно исключает автоматические повторы, обогащение видео, расписание и политику долгосрочного хранения. Добавляйте их только при наличии определенного бюджета и текущих требований API.
Метод 2: Проверьте один ответ с помощью curl
Лучший вариант: диагностика запроса перед его интеграцией в приложение.
Шаг 1: Установите ключ API. Используйте тот же включенный проект и YOUTUBE_API_KEY, что и в методе Python. Избегайте вставки ключа в общие терминалы или скриншоты.
Шаг 2: Отправьте небольшой поисковый запрос. Эта задокументированная команда также требует вашего собственного ключа и не была выполнена против живой учетной записи во время подготовки.
Шаг 3: Проверьте идентификаторы и пагинацию. Подтвердите, что items содержит идентификаторы видео и фрагменты. Используйте возвращаемый nextPageToken только тогда, когда другой запрос укладывается в бюджет. Не создавайте угаданное номер страницы или не рассматривайте оценочный итог как полный инвентаризационный отчет.
Ограничение: curl проверяет структуру транспорта и ответа; он не предоставляет надежный конвейер для поглощения данных. Перейдите на программу, когда вам нужно устранение дубликатов, манифесты, валидация и восстановление.
Почему следует избегать скрейпинга интерфейса браузера YouTube?
Официальный API предоставляет поддерживаемую интеграционную поверхность, а политики разработчиков API YouTube явно ограничивают скрейпинг со стороны клиентов API.
Политики разработчиков услуг API YouTube содержат restriction on scraping, касающаяся прямого или косвенного скрейпинга приложений YouTube или Google и получения данных или контента YouTube, полученного путем скрейпинга. Просмотрите применимые условия для вашего случая использования вместо того, чтобы рассматривать стороннего актера или доступную внутреннюю конечную точку как разрешение.
Извлечение из браузера также создает иной технический контракт. Персонализированные результаты, состояние согласия, локализация, ленивые загрузки и изменяющиеся макеты делают "результаты поиска" неоднозначными. Использование API не устраняет каждое обязательство политики или качества данных, но делает запрашиваемые поля и пагинацию явными.
Если ваше требование заключается исключительно в аудите визуального поискового опыта, определите это требование отдельно и получите утвержденный метод. Не описывайте набор данных API как доказательство визуального ранжирования.
Как Nstdata Crawl может добавить внешний контекст к этому рабочему процессу?
Nstdata Crawl может извлекать утвержденные внешние веб-страницы, связанные с вашей темой исследования, в то время как поиск YouTube остается в официальном рабочем процессе API.
Это API веб-сканирования для данных, готовых для LLM. AI приложение для исследований может объединить записи обнаружения видео с отдельно полученной документацией или публичными страницами справки. Crawl подготавливает читаемый контент и сохраняет полезный контекст страницы для последующего индексирования. Обнаружение может расширить контролируемый раздел документации, не расширяясь на произвольные ссылки. Приложение должно сохранять границы источника и избегать представления веб-страницы как транскрипта или доказательства видео-контента, который оно не извлекло.
Обнаружение сайта и рекурсивный охват: используйте лимиты страниц, лимиты глубины и шаблоны URL для утвержденных сайтов ссылок. Не применяйте этот охват к страницам YouTube в качестве обходного пути для квоты.
Отрисовка JavaScript: извлекайте контент ссылки, сгенерированный в браузере, когда источник позволяет рабочий процесс. Протестируйте конкретную страницу перед ее планированием.
Форматы для AI и инспекции: Markdown поддерживает индексацию текста, HTML поддерживает пользовательскую извлечение, а ссылки поддерживают обнаружение. Задокументированные дополнительные форматы включают PDF и скриншоты. Ответ JSON является транспортным представлением, а не проверенным набором заявок.
Встроенные прокси: стандартные вызовы Crawl используют управляемую маршрутизацию без отдельных настроек Host, Port, Username, Password или Protocol. Трафик прокси все еще может отдельно влиять на стоимость.
Шаг 1: Настройте утвержденную страницу ссылки
Откройте Dashboard → Crawl Playground и протестируйте URL ссылки, например, общую документацию Python. Получите ключ API и скопируйте текущий сгенерированный запрос для необходимого формата.
[Скриншот: Crawl Playground с URL внешней документации и выходными данными Markdown; скрыть ключ API.]
Шаг 2: Извлеките контекст через API
Этот задокументированный пример требует NSTDATA_API_KEY и не был выполнен с учетной записью клиента. Он извлекает внешнюю страницу документации, а не данные YouTube.
curl --fail-with-body --request POST \'https://api.nstdata.io/api/v1/crawl/scrape/submit-sync'\--header"x-api-key: ${NSTDATA_API_KEY:?Set NSTDATA_API_KEY}"\--header'Content-Type: application/json'\--data'{"url":"https://www.python.org/doc/","formats":["markdown"],"onlyMainContent":true,"timeout":60000}'
Шаг 3: Проверьте и сохраняйте источники различимыми
Проверьте внешний ответ и вложенное завершение, успех, статус страницы и содержимое. Разрешите задокументированные ссылки на содержимое, если они присутствуют. Храните URL-адрес внешней страницы и время наблюдения отдельно от идентификаторов видео и параметров поиска. Руководство по website-to-JSON объясняет, почему успешное извлечение все еще требует проверки схемы и значений.
Создавайте на основе данных веба, готовых к LLM
Получайте одобренные страницы с помощью ограниченного краулинга, рендеринга JavaScript и форматов содержимого для вашего рабочегo процесса ИИ.
Почему коллекция поиска на YouTube не выполняется или возвращает меньше результатов?
Ошибки обычно связаны с учетными данными, квотой, параметрами запроса или предположениями о пагинации и охвате.
Симптом
Причина для расследования
Ответ
Ошибка ключа или разрешения
Неправильный проект, отключенный API или несовместимые ограничения ключа
Проверьте включенный API и конфигурацию учетных данных
Ошибка, связанная с квотой
Истощен бюджет, относящийся к проекту
Остановите задание и проверьте текущие квоты; не пробуйте заново в замкнутом цикле
Меньше элементов, чем запрашивалось
Нормальное поведение ответа или доступные соответствующие результаты
Следуйте действительному следующему токену в рамках бюджета
Ранги браузера и API различаются
Разное представление и контекст запроса
Точно укажите позицию API и сохраните фильтры
Дублирующиеся идентификаторы видео на страницах
Перекрытие результатов или изменения во время сбора
Удалите дубликаты, сохранив сырой счет и первое зарегистрированное положение
Повторные временные транспортные ошибки следует повторять только с ограниченной политикой и пониманием стоимости запроса. Повторные попытки авторизации или квотных ошибок обычно требуют предварительных изменений в конфигурации или бюджете. Руководство по ошибкам скрапинга обсуждает классификацию ошибок, а пакетный обход охватывает ограниченную оркестрацию заданий для других веб-источников.
Как правильно сохранить данные поиска для AI-продукта?
Храните наблюдения за поиском с указанием происхождения, правилами обновления и четким разграничением между метаданными открытия и доказательствами содержания.
Храните историю запросов и фильтров, принятые идентификаторы, временные метки, причины остановки и состояние обогащения. Ознакомьтесь с актуальными требованиями YouTube перед выбором поведения хранения, обновления, отображения и удаления. Не предполагается, что неограниченное хранение уместно лишь потому, что поле пришло из публичного запроса поиска.
Для исследовательских приложений следуйте практикам качества источника в веб-скрапинге для онлайн-исследований. Фрагмент поиска может идентифицировать ресурс-кандидат; это не замена проверке утверждений ресурса. Держите неудачные или устаревшие наблюдения видимыми, чтобы нижестоящие агенты могли воздержаться от их использования вместо того, чтобы изобретать текущие результаты.
Смотрите текущую модель биллинга за обход, когда бюджетируете использование URL и трафик прокси.
В: Могу ли я получить публичные результаты поиска YouTube без OAuth?
Пример публичного поиска использует ключ API. Операции, связанные с данными авторизованного пользователя, могут требовать OAuth и дополнительных разрешений; следуйте текущей документации метода.
В: Будет ли API воспроизводить мою страницу поиска YouTube?
Нет. Рассматривайте это как результаты из документированного запроса API с записанными параметрами, а не как копию персонализированных рейтингов браузера или визуальных функций поиска.
В: Может ли Nstdata Crawl заменить API данных YouTube?
Нет. Используйте Crawl для одобренного внешнего веб-содержимого в окружающем рабочем процессе. Это не заменяет учетные данные API YouTube, квоты или требования политики.
В: Дает ли пустая страница доказательство того, что соответствующие видео не существуют?
Нет. Интерпретируйте это в контексте запроса и ответа. Проверьте фильтры и пагинацию, сохраните наблюдение и избегайте утверждения о полном охвате платформы.
Используйте официальный API данных YouTube для ограниченного публичного поиска с явными фильтрами и происхождением. Следуйте примерам на Python и curl, диагностируйте сбои и держите внешний веб-контекст отдельно.
Ivy Lin
Nov. 16th 2026
Сканируйте целые сайты одним API-запросом
Успешность 99,8% с рендерингом JavaScript
Получайте чистые данные для LLM в разных форматах
Преобразуйте любой сайт в Markdown, HTML, JSON, ссылки, PDF и другие форматы без управления инфраструктурой сканирования.