Steam Scraper Tutorial: 公共游戏数据和价格跟踪

TL;DR

Steam Web API 方法、商店接口和商店 HTML 具有不同的合同和访问条件。
本项目结合了一个有文档的新闻 API 示例和一个可运行的授权数据价格跟踪导入器。
提供的游戏价格和应用 ID 是合成的固定值。它们不是观察到的 Steam 报价。
仅在同一应用 ID、地区、货币、包类型和观察上下文内比较价格。
缺失、不可用、免费和付费是不同的状态；永远不要将缺失的价格视为零。

What You'll Build: A Steam Game Data Scraper

您将构建一个小型游戏数据工作流，包含两条路径：通过已文档的 Steam Web API 方法获取新闻，并将允许的价格数据集规范化为 CSV、JSON 和 SQLite。

价格跟踪器在本地使用合成固定值运行，因此完整的解析和存储路径可以在不抓取实时商店的情况下重现。要获取生产价格，请连接一个其访问和数据使用条款覆盖您的工作流的来源。这个区分很重要，因为可达的商店 URL 并不自动是受支持的公共定价 API。

Steam Data Sources: Store API, Steam Web API, and HTML

Steam 数据收集始于选择实际上提供所需字段并允许预期使用的接口。

Choosing the Right Steam Data Source

Source	Suitable purpose	Important limit
Documented Steam Web API	特定的文档方法，如应用新闻	并非每个商店字段或价格都是公开的
Approved publisher/partner interface	开发者的权利内的数据	凭证和应用访问可能受到限制
Licensed price dataset	根据合同的地区报价历史	覆盖和重新分发依赖于许可证
Storefront-facing JSON	潜在网站实现细节	可达性并不保证稳定性或权限
Store HTML	批准的页面级研究	访问规则、地区状态、标记和年龄门

Valve的 Web API 概述 描述了文档 API 的使用。常被引用的商店 appdetails 接口不应被视为具有相同文档保证的一般定价 API。

Understanding Steam App IDs and Regional Pricing

一个应用 ID 用于识别一个应用，这可以是游戏、DLC、演示或其他应用类型。报价还可以涉及包或束，因此应用级标签并不是完整的商业身份。

商店应用 ID、报价类型、地区、货币、原始和当前金额、价格状态、来源和观察时间。保持整数源金额及明确的单位约定。请勿在未检查源的单位定义之前将每种货币除以 100。

Prerequisites and Python Environment Setup

提供的跟踪器使用 Python 的标准库。创建一个包含 steam_tracker.py 和 steam_prices_fixture.json 的目录，然后使用虚拟环境。

"""解析授权/本地价格数据流；可选地调用文档化的公共新闻 API。"""
import argparse
import csv
import json
import sqlite3
import time
from datetime import datetime
from pathlib import Path
from urllib.parse import urlencode
from urllib.request import Request, urlopen


def normalize(item):
    appid = int(item["appid"])
    if appid <= 0:
        raise ValueError("无效的应用程序 ID")
    observed = item["observed_at"]
    if datetime.fromisoformat(observed.replace("Z", "+00:00")).utcoffset() is None:
        raise ValueError("观察时间必须包含时区")
    state = item["price_state"]
    if state not in ("paid", "free", "unavailable", "undisclosed"):
        raise ValueError("未知的价格状态")
    initial, final = item.get("initial_minor"), item.get("final_minor")
    currency, region = item.get("currency"), item["region"]
    if state in ("paid", "free"):
        if not currency or any(type(v) is not int or v < 0 for v in (initial, final)):
            raise ValueError("缺少可比价格")
        if state == "free" and (initial != 0 or final != 0):
            raise ValueError("免费价格必须为零")
    elif initial is not None or final is not None:
        raise ValueError("未知价格必须保持为空")
    return dict(appid=appid, name=item["name"], region=region, currency=currency,
                initial_minor=initial, final_minor=final, price_state=state,
                observed_at=observed, source=item["source"])


def save(rows, database):
    with sqlite3.connect(database) as db:
        db.execute("""CREATE TABLE IF NOT EXISTS prices(
            appid INTEGER,name TEXT,region TEXT,currency TEXT,
            initial_minor INTEGER,final_minor INTEGER,price_state TEXT,
            observed_at TEXT,source TEXT,
            PRIMARY KEY(appid,region,observed_at,source))""")
        columns = list(rows[0])
        db.executemany("INSERT OR REPLACE INTO prices VALUES(?,?,?,?,?,?,?,?,?)",
                       [tuple(row[k] for k in columns) for row in rows])


def news(appid):
    query = urlencode(dict(appid=appid, count=3, maxlength=200, format="json"))
    request = Request("https://api.steampowered.com/ISteamNews/GetNewsForApp/v2/?" + query,
                      headers={"User-Agent": "GameResearchDemo/1.0"})
    with urlopen(request, timeout=20) as response:
        payload = json.load(response)
    data = payload.get("appnews", {})
    if int(data.get("appid", -1)) != appid:
        raise ValueError("意外的新闻响应")
    return data.get("newsitems", [])


if __name__ == "__main__":
    parser = argparse.ArgumentParser()
    parser.add_argument("--fixture", default="steam_prices_fixture.json")
    parser.add_argument("--db", default="steam.sqlite")
    parser.add_argument("--news", type=int)
    args = parser.parse_args()
    if args.news:
        print(json.dumps(news(args.news), ensure_ascii=False, indent=2))
    else:
        rows = [normalize(item) for item in json.loads(Path(args.fixture).read_text())]
        if not rows:
            raise SystemExit("没有记录")
        save(rows, args.db)
        Path("steam_prices.json").write_text(json.dumps(rows, indent=2))
        with open("steam_prices.csv", "w", newline="") as handle:
            writer = csv.DictWriter(handle, fieldnames=list(rows[0]))
            writer.writeheader()
            writer.writerows(rows)
        print(f"accepted_records={len(rows)}")

症状	可能的解释	正确的处理
没有价格	免费、不可用、未披露或提取失败	保持不同状态并检查证据
不同金额	区域/货币/包裹不匹配	比较匹配的身份键
缺少开发者	来源不提供该字段	保持null；不要推断
语言已更改	区域或会话已更改	将区域存储与观察一起
空响应	无效ID、方法问题或来源故障	将故障保持在接受的观察之外
突然“免费”游戏	缺失值强制为零	修复验证并修复受影响的记录

Steam Scraper 教程：如何收集公共游戏商店数据

TL;DR

What You'll Build: A Steam Game Data Scraper

Steam Data Sources: Store API, Steam Web API, and HTML

Choosing the Right Steam Data Source

Understanding Steam App IDs and Regional Pricing

Prerequisites and Python Environment Setup

热门文章

房地产抓取：公共产权数据收集指南

Dify SERP Scraping: 如何构建搜索数据工作流程

Step 1: Fetch Steam Game Details

Step 2: Extract Game Metadata and Prices

Step 3: 收集多个 Steam 游戏

Step 4: 将 Steam 数据导出为 CSV 和 JSON

Step 5: 添加错误处理和速率限制

第6步：当API不足时抓取Steam商店页面

第7步：安排Steam价格监控

Steam抓取示例：构建游戏价格跟踪器

常见Steam抓取错误及修复

大规模Steam抓取：架构与成本

Steam数据使用规则与合规性

最终项目检查清单

验证允许的商店内容

常见问题