Скрейпинг веб-сайтов в Markdown: Руководство по Python Pipeline

TL;DR

Скрапинг веб-сайтов в Markdown требует ограниченного поиска, правильного получения страниц, выбора основного контента, структурного преобразования и валидации.
Начните с проверенного списка URL; карта сайта или краулер ссылок должны расширять область только в пределах явно заданных хоста, пути и страниц.
Сохраните код, заголовки, ссылки, таблицы и метаданные источника перед разбиением документа для поиска или RAG.
Пример на Python ниже обрабатывает одну статическую страницу и разрешает относительные ссылки; это базовый вариант, а не универсальный извлекатель статей.
Nstdata Crawl является управляемой альтернативой для более широких рабочих процессов страниц и сайтов, в то время как проверка точности на downstream остается необходимой.

Что производит надежный конвейер веб-сайтов в Markdown

Надежный конвейер веб-сайтов в Markdown производит верный документ вместе с достаточными метаданными, чтобы отследить этот документ до исходного наблюдения. Текстовый файл, содержащий упрощенное содержимое страницы, не всегда подходит для извлечения. Навигация может загромождать полезные абзацы, удаленный сайдбар может стереть предупреждение, а сломанная относительная ссылка может сделать полученную цитату непригодной.

Сначала определите потребителя. Индекс документации нуждается в путях заголовков и примерах кода. Корпус исследований нуждается в приписываемых утверждениях и ссылках. Рабочий процесс анализа продукта может потребовать структурированные поля наряду с Markdown. Обзор URL-to-Markdown объясняет роль формата; приведенная ниже реализация сосредоточена на сохранении смысла, а не на максимизации выхода символов.

Полная последовательность: утвержденные URL → извлечение → классификация → выбор контента → преобразование → валидация → хранение → обновление. Каждая стрелка — это граница неудачи. Nstdata Crawl может поддерживать извлечение и преобразование, но приложение все равно должно решить, соответствует ли полученный документ его контракту.

Предварительные требования и критерии приемки

from datetime import datetime, timezone
from hashlib import sha256
from urllib.parse import urljoin, urlparse

import httpx
from bs4 import BeautifulSoup
from markdownify import markdownify


def page_to_markdown(url: str) -> dict:
    if urlparse(url).scheme not in {"http", "https"}:
        raise ValueError("Ожидался утвержденный URL страницы HTTP(S)")

    with httpx.Client(
        timeout=20,
        follow_redirects=True,
        headers={"User-Agent": "MarkdownResearchExample/1.0"},
    ) as client:
        response = client.get(url)
        response.raise_for_status()

    if "text/html" not in response.headers.get("content-type", "").lower():
        raise ValueError("Ответ не является HTML")

    soup = BeautifulSoup(response.text, "html.parser")
    title = soup.title.get_text(" ", strip=True) if soup.title else ""
root = soup.select_one("main") or soup.select_one("article") or soup.body
    if root is None:
        raise ValueError("Нет контейнера с кандидатским контентом")

    base_url = str(response.url)
    base_tag = soup.find("base", href=True)
    if base_tag:
        candidate = urljoin(base_url, base_tag["href"])
        if urlparse(candidate).scheme in {"http", "https"}:
            base_url = candidate

    for node in root.select("script, style, nav, footer"):
        node.decompose()
    for node in root.select("a[href], img[src]"):
        attribute = "href" if node.name == "a" else "src"
        node[attribute] = urljoin(base_url, node[attribute])

    content = markdownify(str(root), heading_style="ATX").strip()
    if not content:
        raise ValueError("Пустой вывод Markdown")

    return {
        "source_url": url,
        "final_url": str(response.url),
        "title": title,
        "fetched_at": datetime.now(timezone.utc).isoformat(),
        "representation": "source_html",
        "extractor_version": "example-v1",
        "content_hash": sha256(content.encode("utf-8")).hexdigest(),
        "markdown": content,
    }


if __name__ == "__main__":
    result = page_to_markdown("https://example.com/")
    print(result["title"])
    print(result["markdown"])

Как скрапировать вебсайты в Markdown: Практическое руководство

TL;DR

Что производит надежный конвейер веб-сайтов в Markdown

Предварительные требования и критерии приемки

Популярные статьи

10 лучших скребков eBay для данных о продуктах, ценах и продавцах

10 лучших веб-сканеров недвижимости для данных о листингах объектов недвижимости

Подробный учебник

Метод 1: Локальное преобразование статического HTML

Шаг 1: Установите зависимости для разбора

Шаг 2: Извлечь и преобразовать одну утвержденную страницу

Шаг 3: Замените общий селектор на пересмотренное правило

Шаг 4: Храните происхождение вместе с документом

Метод 2: Используйте управляемое приобретение страниц и сайтов

Шаг 1: Выберите ограниченную работу Nstdata Crawl

Шаг 2: Держите управление приобретением явным

Шаг 3: Оцените полную стоимость эксплуатации

От нескольких документов к поддерживаемому корпусу

Устранение неполадок и ответственное обращение с источниками

Заключение

Оцените этап приобретения Markdown

ЧаВо