Steam Scraper Tutorial: Публичные игровые данные и отслеживание цен

TL;DR

Методы Steam Web API, интерфейсы витрины и HTML магазина имеют разные контракты и условия доступа.
Этот проект сочетает в себе задокументированный пример новостного API с импортом отслеживателя цен для авторизованных данных.
Предоставленные цены на игры и идентификаторы приложений являются синтетическими фиктивными данными. Это не наблюдаемые предложения Steam.
Сравнивайте цены только в пределах одного и того же идентификатора приложения, региона, валюты, типа пакета и контекста наблюдения.
Отсутствие, недоступность, бесплатные и платные цены - это отдельные состояния; никогда не превращайте отсутствующую цену в ноль.

Что вы создадите: Парсер данных игры Steam

Вы создадите небольшой рабочий процесс с данными игры с двумя путями: получение новостей через задокументированный метод Steam Web API и нормализация разрешенного набора данных цен в CSV, JSON и SQLite.

Отслеживатель цен работает локально с синтетической фиктурой, поэтому весь путь парсинга и хранения воспроизводим без сканирования активной витрины. Для производственных цен подключите источник, доступ и условия использования данных которого охватывают ваш рабочий процесс. Это различие важно, поскольку доступный URL витрины не является автоматически поддерживаемым публичным API цен.

Источники данных Steam: API магазина, Steam Web API и HTML

Сбор данных Steam начинается с выбора интерфейса, который действительно предоставляет необходимые поля и разрешает предполагаемое использование.

Выбор правильного источника данных Steam

Источник	Подходящая цель	Важное ограничение
Задокументированный Steam Web API	Конкретные задокументированные методы, такие как новости приложений	Не все поля магазина или цены открыты
Одобренный интерфейс издателя/партнера	Данные в рамках прав разработчика	Доступ к учетным данным и приложениям может быть ограничен

"""Разобрать авторизованный/локальный источник цен; по желанию вызвать документированный публичный новостной API."""
import argparse
import csv
import json
import sqlite3
import time
from datetime import datetime
from pathlib import Path
from urllib.parse import urlencode
from urllib.request import Request, urlopen


def normalize(item):
    appid = int(item["appid"])
    if appid <= 0:
        raise ValueError("Недействительный идентификатор приложения")
    observed = item["observed_at"]
    if datetime.fromisoformat(observed.replace("Z", "+00:00")).utcoffset() is None:
        raise ValueError("Время наблюдения должно включать часовой пояс")
    state = item["price_state"]
    if state not in ("paid", "free", "unavailable", "undisclosed"):
        raise ValueError("Неизвестное состояние цены")
    initial, final = item.get("initial_minor"), item.get("final_minor")
    currency, region = item.get("currency"), item["region"]
    if state in ("paid", "free"):
        if not currency or any(type(v) is not int or v < 0 for v in (initial, final)):
            raise ValueError("Отсутствует сопоставимая цена")
        if state == "free" and (initial != 0 or final != 0):
            raise ValueError("Цена должна быть нулевой для бесплатного")
    elif initial is not None or final is not None:
        raise ValueError("Неизвестные цены должны оставаться нулевыми")
    return dict(appid=appid, name=item["name"], region=region, currency=currency,
                initial_minor=initial, final_minor=final, price_state=state,
                observed_at=observed, source=item["source"])


def save(rows, database):
    with sqlite3.connect(database) as db:
        db.execute("""CREATE TABLE IF NOT EXISTS prices(
            appid INTEGER,name TEXT,region TEXT,currency TEXT,
            initial_minor INTEGER,final_minor INTEGER,price_state TEXT,
            observed_at TEXT,source TEXT,
            PRIMARY KEY(appid,region,observed_at,source))""")
        columns = list(rows[0])
        db.executemany("INSERT OR REPLACE INTO prices VALUES(?,?,?,?,?,?,?,?,?)",
                       [tuple(row[k] for k in columns) for row in rows])


def news(appid):
    query = urlencode(dict(appid=appid, count=3, maxlength=200, format="json"))
    request = Request("https://api.steampowered.com/ISteamNews/GetNewsForApp/v2/?" + query,
                      headers={"User-Agent": "GameResearchDemo/1.0"})
    with urlopen(request, timeout=20) as response:
        payload = json.load(response)
    data = payload.get("appnews", {})
    if int(data.get("appid", -1)) != appid:
        raise ValueError("Неожиданный ответ новостей")
    return data.get("newsitems", [])


if __name__ == "__main__":
    parser = argparse.ArgumentParser()
    parser.add_argument("--fixture", default="steam_prices_fixture.json")
    parser.add_argument("--db", default="steam.sqlite")
    parser.add_argument("--news", type=int)
    args = parser.parse_args()
    if args.news:
        print(json.dumps(news(args.news), ensure_ascii=False, indent=2))
    else:
        rows = [normalize(item) for item in json.loads(Path(args.fixture).read_text())]
        if not rows:
            raise SystemExit("Нет записей")
        save(rows, args.db)
        Path("steam_prices.json").write_text(json.dumps(rows, indent=2))
        with open("steam_prices.csv", "w", newline="") as handle:
            writer = csv.DictWriter(handle, fieldnames=list(rows[0]))
            writer.writeheader()
            writer.writerows(rows)
        print(f"принятых_записей={len(rows)}")

Симптом	Возможное объяснение	Правильное лечение
Нет цены	Бесплатно, недоступно, не раскрыто или не удалось извлечь	Сохраняйте различное состояние и рассматривайте доказательства
Разные суммы	Несоответствие региона/валюты/пакета	Сравните совпадающие идентификаторы
Отсутствует разработчик	Источник не предоставляет поле	Оставьте пустым; не выводите
Изменен язык	Изменилась локализация или сессия	Сохраняйте локализацию с наблюдением
Пустой ответ	Неверный идентификатор, проблема с методом или сбой источника	Оставьте сбой вне принятых наблюдений
Внезапная "бесплатная" игра	Пропущенное значение приведено к нулю	Исправьте валидацию и восстановите затронутые записи

Steam Scraper Tutorial: Как собирать данные о публичных игровых магазинах

TL;DR

Что вы создадите: Парсер данных игры Steam

Источники данных Steam: API магазина, Steam Web API и HTML

Выбор правильного источника данных Steam

Популярные статьи

Сбор данных о недвижимости: Руководство по сбору данных о государственной собственности

Dify SERP Scraping: Как создать рабочий процесс данных поиска

Понимание идентификаторов приложений Steam и регионального ценообразования

Предварительные условия и настройка среды Python

Шаг 1: Получение деталей игры Steam

Шаг 2: Извлечение метаданных игры и цен

Шаг 3: Сбор нескольких игр Steam

Шаг 4: Экспорт данных Steam в CSV и JSON

Шаг 5: Добавление обработки ошибок и ограничения по частоте запросов

Шаг 6: Сбор данных со страниц магазина Steam, когда API недостаточно

Шаг 7: Запланируйте мониторинг цен Steam

Пример скрипта Steam: Создайте трекер цен на игры

Общие ошибки и исправления при сборе данных Steam

Сбор данных Steam в больших масштабах: Архитектура и затраты

Правила использования данных Steam и соблюдение

Итоговый контрольный список проекта

Проверьте разрешенный контент магазина

FAQ