TL;DR

Пагинация — это контракт между вашим клиентом и источником данных. Проверьте ответ на наличие номера страницы, смещения, курсора или ссылки на следующую страницу перед написанием цикла.
Для API с лимитом/смещением продвигаетесь по количеству фактически возвращенных записей и останавливайтесь на указанном общем числе или пустой странице. Добавьте защиту от максимальной страницы и уберите дубликаты по стабильному ID.
API с курсорами являются непрозрачными по дизайну. Отправляйте точно следующий курсор, возвращаемый сервером; не создавайте номера страниц из него.
Этот учебник использует DummyJSON в качестве демонстрационного API. Он полезен для изучения механики пагинации, а не как производственный бизнес-набор данных или контракт на гарантированную доступность.

Что означает пагинация в Python для сбора данных

Пагинация в Python — это логика, которая запрашивает большой набор результатов маленькими страницами. API и веб-сайты используют пагинацию, потому что возврат каждой записи в одном ответе может быть медленным, требовательным к памяти или превышать серверные лимиты.

Парсер, который получает только первый ответ, может выглядеть здоровым, оставаясь при этом без большинства набора данных. Правильный цикл зависит от стиля пагинации источника: номера страниц, смещение и лимит, токены курсоров, URL следующей страницы или контент, загружаемый по мере прокрутки пользователя. Всегда читайте документацию API провайдера и проверяйте пример ответа перед выбором цикла. Для обнаружения URL на уровне веб-сайта и извлечения страниц Nstdata Crawl отделен от конкретной пагинации с курсором или смещением.

Общие шаблоны пагинации

Шаблон	Пример запроса	Как узнать, когда остановиться	Общая ошибка
Номер страницы	`?page=3`

import csv
import time
from typing import Any

import requests
from requests.adapters import HTTPAdapter
from urllib3.util.retry import Retry


API_URL = "https://dummyjson.com/products"
PAGE_SIZE = 30
MAX_PAGES = 100


def make_session() -> requests.Session:
    retry = Retry(
        total=3,
        connect=3,
        read=2,
        status=3,
        backoff_factor=0.5,
        status_forcelist=(429, 500, 502, 503, 504),
        allowed_methods=frozenset({"GET"}),
        respect_retry_after_header=True,
    )
    session = requests.Session()
    session.mount("https://", HTTPAdapter(max_retries=retry))
    session.headers.update({"User-Agent": "pagination-demo/1.0"})
    return session


def fetch_all_products() -> list[dict[str, Any]]:
    session = make_session()
    products: list[dict[str, Any]] = []
    seen_ids: set[int] = set()
    skip = 0
    total: int | None = None

    for page_number in range(1, MAX_PAGES + 1):
        response = session.get(
            API_URL,
            params={"limit": PAGE_SIZE, "skip": skip},
            timeout=(5, 20),
        )
        response.raise_for_status()

        payload = response.json()
        batch = payload.get("products")
        page_total = payload.get("total")

        if not isinstance(batch, list) or not isinstance(page_total, int):
            raise ValueError("Неожиданный ответ API: ожидались products[] и целочисленный total")

        total = page_total
        if not batch:
            break

        for item in batch:
            item_id = item.get("id")
            if not isinstance(item_id, int):
                continue
            if item_id not in seen_ids:
                seen_ids.add(item_id)
                products.append(item)

        # Продвигайтесь на количество, возвращенное, а не на запрашиваемый лимит.
        skip += len(batch)
        if skip >= total:
            break

        time.sleep(0.1)

    else:
raise RuntimeError(f"Остановлено на предельном лимите в {MAX_PAGES} страниц")

    if total is not None and len(products) < total:
        print(f"Предупреждение: получено {len(products)} уникальных продуктов; API сообщил {total}")

    return products


def main() -> None:
    products = fetch_all_products()
    fields = ["id", "title", "category", "price"]

    with open("products.csv", "w", newline="", encoding="utf-8") as output:
        writer = csv.DictWriter(output, fieldnames=fields, extrasaction="ignore")
        writer.writeheader()
        writer.writerows(products)

    print(f"Сохранено {len(products)} уникальных строк в products.csv")


if __name__ == "__main__":
    main()

Пагинация в Python: Как собирать данные с помощью пагинированных страниц

TL;DR

Что означает пагинация в Python для сбора данных

Общие шаблоны пагинации

Популярные статьи

Dun & Bradstreet Scraper и D&B API: Руководство по бизнес-данным

Пагинация в Python: Как собирать данные с помощью пагинированных страниц

Постройте скрипт пагинации с лимитом/смещением на Python

Почему цикл продолжается по возвращенному количеству

Как обрабатывать API с номерами страниц

Как обрабатывать постраничную навигацию на основе курсора

Как следовать HTML-ссылкам на страницах

бесконечная прокрутка и страницы с навигацией на основе JavaScript

Предотвращение пропуска записей и петель пагинации

Когда использовать фреймворк для обхода вместо ручной пагинации

Заключение

Держите обход сайта отдельным от API пагинации

FAQ