TL;DR

La paginación es un contrato entre tu cliente y la fuente de datos. Inspecciona la respuesta en busca de un número de página, desplazamiento, cursor o enlace siguiente antes de escribir el bucle.
Para las APIs de límite/desplazamiento, avanza por el número de registros realmente devueltos y detente en el total informado o en una página vacía. Añade una protección de página máxima y deduplica por un ID estable.
Las APIs de cursor son opacas por diseño. Envía el exacto cursor siguiente devuelto por el servidor; no fabriques números de página a partir de él.
Este tutorial utiliza DummyJSON como API de demostración. Es útil para aprender la mecánica de paginación, no como un conjunto de datos empresariales de producción o contrato de disponibilidad garantizada.

Lo que significa la paginación en Python para la recopilación de datos

La paginación en Python es la lógica que solicita un gran conjunto de resultados en páginas más pequeñas. Las APIs y sitios web utilizan la paginación porque devolver todos los registros en una sola respuesta puede ser lento, pesado en memoria o exceder los límites del servidor.

Un scraper que solo obtiene la primera respuesta puede parecer saludable mientras silenciosamente se pierde la mayor parte del conjunto de datos. El bucle correcto depende del estilo de paginación de la fuente: números de página, desplazamiento y límite, tokens de cursor, una URL de siguiente página, o contenido cargado a medida que el usuario desplaza. Siempre lee la documentación de API del proveedor e inspecciona una respuesta de ejemplo antes de elegir un bucle. Para el descubrimiento de URL a nivel de sitio web y extracción de páginas, Nstdata Crawl es independiente de la paginación de cursor o desplazamiento específica de la aplicación.

Patrones de paginación comunes

Patrón	Ejemplo de solicitud	Cómo saber cuándo detenerse

import csv
import time
from typing import Any

import requests
from requests.adapters import HTTPAdapter
from urllib3.util.retry import Retry


API_URL = "https://dummyjson.com/products"
PAGE_SIZE = 30
MAX_PAGES = 100


def make_session() -> requests.Session:
    retry = Retry(
        total=3,
        connect=3,
        read=2,
        status=3,
        backoff_factor=0.5,
        status_forcelist=(429, 500, 502, 503, 504),
        allowed_methods=frozenset({"GET"}),
        respect_retry_after_header=True,
    )
    session = requests.Session()
    session.mount("https://", HTTPAdapter(max_retries=retry))
    session.headers.update({"User-Agent": "pagination-demo/1.0"})
    return session


def fetch_all_products() -> list[dict[str, Any]]:
    session = make_session()
    products: list[dict[str, Any]] = []
    seen_ids: set[int] = set()
    skip = 0
    total: int | None = None

    for page_number in range(1, MAX_PAGES + 1):
        response = session.get(
            API_URL,
            params={"limit": PAGE_SIZE, "skip": skip},
            timeout=(5, 20),
        )
        response.raise_for_status()

        payload = response.json()
        batch = payload.get("products")
        page_total = payload.get("total")

        if not isinstance(batch, list) or not isinstance(page_total, int):
            raise ValueError("Respuesta inesperada de la API: se esperaban products[] y total entero")

        total = page_total
        if not batch:
            break

        for item in batch:
            item_id = item.get("id")
            if not isinstance(item_id, int):
                continue
            if item_id not in seen_ids:
                seen_ids.add(item_id)
                products.append(item)

        # Avanza por el número devuelto, no por el límite solicitado.
        skip += len(batch)
        if skip >= total:
            break

        time.sleep(0.1)

    else:
raise RuntimeError(f"Detenido en el límite de seguridad de {MAX_PAGES} páginas")

    if total is not None and len(products) < total:
        print(f"Advertencia: recibidos {len(products)} productos únicos; la API informó {total}")

    return products


def main() -> None:
    products = fetch_all_products()
    fields = ["id", "title", "category", "price"]

    with open("products.csv", "w", newline="", encoding="utf-8") as output:
        writer = csv.DictWriter(output, fieldnames=fields, extrasaction="ignore")
        writer.writeheader()
        writer.writerows(products)

    print(f"Guardados {len(products)} filas únicas en products.csv")


if __name__ == "__main__":
    main()

Número de página	`?page=3`	Página vacía, sin campo de siguiente página, o total conocido	Suponer que cada endpoint comienza en la página 1
Desplazamiento + límite	`?skip=60&limit=30`	Total devuelto o sin registros	Incrementar por el tamaño de página incorrecto
Cursor / token de continuación	`?cursor=opaque-value`	Sin siguiente cursor	Tratar el cursor como un número o modificarlo
Enlace siguiente HTML	Un ancla etiquetada Como Siguiente	Sin enlace siguiente utilizable	Construyendo la siguiente URL por concatenación de cadenas
Desplazamiento infinito	El navegador obtiene más después de desplazar	Marcador de fin específico del sitio o API documentada agotada	Desplazarse para siempre o llamar a endpoints no documentados sin permiso

Python Paginación: Cómo Colectar Datos a Través de Páginas Paginadas

TL;DR

Lo que significa la paginación en Python para la recopilación de datos

Patrones de paginación comunes

Articulos mas populares

Dun & Bradstreet Scraper y API de D&B: Una Guía de Datos Empresariales

Python Paginación: Cómo Colectar Datos a Través de Páginas Paginadas

Construir un script de paginación límite/desplazamiento en Python

Por qué el bucle avanza por el conteo devuelto

Cómo manejar las APIs de número de página

Cómo manejar la paginación basada en cursor

Cómo seguir enlaces de paginación HTML

Desplazamiento infinito y páginas paginadas por JavaScript

Evitar Registros Perdidos y Bucles de Paginación

Cuándo Usar un Marco de Raspado en Lugar de Paginación Manual

Conclusión

Mantén el Raspado del Sitio Separado de la Paginación de API

Preguntas Frecuentes