Скрейпинг вакансий: Практическое руководство по данным о публичном рынке труда

TL;DR

Скрейпинг вакансий собирает публичные или прямо разрешенные объявления о вакансиях и преобразует их в единообразные записи. Это может поддерживать исследование рынка труда, анализ потребностей в найме и планирование рабочей силы, но публикация описывает рекламу, а не заявителя или подтвержденного трудоустройства.

Предпочитайте официальный API вакансий или лицензированный поток, когда это соответствует вашим потребностям. Для разрешенных веб-страниц захватывайте только относящиеся к бизнесу поля публикаций, сохраняйте временные метки источника и наблюдения, устраняйте дубликаты репостов и удаляйте устаревшие записи в соответствии с вашей политикой хранения. Публичная видимость не означает неограниченных прав на сбор или перераспределение.

Что такое скрейпинг вакансий?

Скрейпинг вакансий — это сбор данных о вакансии с помощью программного обеспечения из источника, такого как страница карьеры компании, публичная доска объявлений о работе или авторизованный поток. Полезная запись может включать работодателя, название роли, местоположение, тип занятости, диапазон зарплат, если он опубликован, дату публикации, URL-адрес источника и дату, когда ваша система его наблюдала.

Команды используют полученные данные для изучения спроса на навыки, географии найма, раскрытия информации о компенсациях, паттернов удаленной работы и изменений в рекрутинговой активности компании. Это агрегированные сигналы. Объявление может быть дублировано, оставаться в сети после закрытия роли или публиковаться для создания пула кандидатов без немедленного найма. Рассматривайте это как свидетельство рекламируемой роли, а не как доказательство закрытой позиции или финансируемого проекта.

Для разрешенных публичных страниц, которые требуют рендеринга браузером или чистого Markdown, Nstdata Crawl может обеспечить слой получения; разрешения на источник и последующая валидация остаются частью вашего рабочего процесса.

Попробуйте Nstdata бесплатно →

Поле	Почему сохранить	Проверка качества
источник и URL-адрес источника	Проследить оригинальное объявление	Канонизировать редиректы и сохранить точную ссылку на страницу
работодатель и название роли	Группировать вакансии и сравнивать спрос	Сохранять оригинальный текст наряду с нормализованными значениями
местоположение и режим работы	Анализировать географию и удаленные роли	Разделить город, регион, страну и удаленный статус
тип занятости	Различать вакансии на полную занятость, контракт и стажировку	Хранить неизвестное как null, а не делать предположения
диапазон зарплат и валюта	Сравнивать раскрытые компенсации	Сохранять минимальное, максимальное, период и формулировку источника
даты публикации и наблюдения	Измерять актуальность и частоту публикации	Сохранять дату источника отдельно от времени обхода
статус и дата истечения	Избегать подсчета устаревших вакансий	Повторно проверять источник и сохранять причину закрытия
хэш описания	Обнаруживать правки без хранения ненужного дублированного текста	Версионировать логику парсинга и хеширования

import json
import os
import re
from datetime import datetime, timezone

from nstdata_ai_crawl import (
    Format,
    NstDataClient,
    ScrapeRequestDto,
)

job_urls = [
    "https://careers.example.com/jobs/123",
    "https://careers.example.com/jobs/456",
]


def first_heading(markdown: str) -> str | None:
    for line in markdown.splitlines():
        match = re.match(r"^\s*#{1,3}\s+(.+?)\s*#*\s*$", line)
        if match:
            return match.group(1).strip()
    return None


def labeled_value(markdown: str, labels: list[str]) -> str | None:
    """Пример для страниц, которые экспонируют поля как 'Location: ...'."""
    for raw_line in markdown.splitlines():
        line = re.sub(r"[*_]", "", raw_line).strip()
        line = re.sub(r"^[-*]\s+", "", line)

        for label in labels:
            prefix = f"{label}:"
            if line.casefold().startswith(prefix.casefold()):
                return line[len(prefix):].strip() or None

    return None


def parse_job(url: str, markdown: str) -> dict:
    return {
        "source_url": url,
        "observed_at": datetime.now(timezone.utc).isoformat(),
        # Проверьте эту кандидатуру в соответствии с макетом страницы целевого сайта.
        "title_candidate": first_heading(markdown),
        "employer": labeled_value(markdown, ["Company", "Employer"]),
        "location": labeled_value(markdown, ["Location"]),
        "employment_type": labeled_value(
            markdown, ["Employment type", "Job type"]
        ),
        "salary_text": labeled_value(markdown, ["Salary", "Compensation"]),
        # Сохраните оригинальный текст, чтобы последующий разбор можно было исправить.
        "description_markdown": markdown,
    }


records = []
failures = []

with NstDataClient(os.environ["NSTDATA_API_TOKEN"]) as client:
    for url in job_urls:
        try:
            result = client.submit_scrape_task_sync(
                ScrapeRequestDto(
                    url=url,
                    formats=[Format.MARKDOWN],
                    timeout=60_000,
                    onlyMainContent=True,
                )
            )

            markdown = result.data.get_markdown()
            if not markdown or not markdown.strip():
                failures.append({"source_url": url, "reason": "empty_markdown"})
                continue

            records.append(parse_job(url, markdown))

        except Exception as exc:
            failures.append({
                "source_url": url,
                "error_type": type(exc).__name__,
            })

with open("jobs.jsonl", "w", encoding="utf-8") as output_file:
    for record in records:
        output_file.write(json.dumps(record, ensure_ascii=False) + "\n")

with open("job_scrape_failures.jsonl", "w", encoding="utf-8") as error_file:
    for failure in failures:
        error_file.write(json.dumps(failure, ensure_ascii=False) + "\n")

print(f"Сохранено {len(records)} записей; {len(failures)} страниц требуют проверки.")

Скрапинг вакансий: Руководство по сбору данных о рынке труда

TL;DR

Что такое скрейпинг вакансий?

Популярные статьи

Zillow Scraper with Python: A Guide to Public Listing Data

Скрапинг вакансий: Руководство по сбору данных о рынке труда

Источники данных о рынке труда и методы сбора

Какие данные о вакансиях следует собирать?

Как собрать публичные объявления о вакансиях с помощью Nstdata Crawl

1. Установите SDK и задайте свой API-ключ

2. Получите страницы вакансий и сохраните их в формате Markdown

3. Обход ограниченного раздела карьеры

4. Валидация и поддержание набора данных

Сколько стоит сбор данных о вакансиях?

Юридические, конфиденциальные и качественные аспекты данных

Как построить надежный поток данных о рынке труда

Заключение: Постройте набор данных вокруг размещения

Вопросы и ответы