Hướng dẫn Steam Scraper: Dữ liệu trò chơi công khai và theo dõi giá cả

TL;DR

Các phương thức Steam Web API, giao diện cửa hàng và HTML cửa hàng có các hợp đồng và điều kiện truy cập khác nhau.
Dự án này kết hợp một ví dụ API tin tức đã được tài liệu hóa với một trình nhập dữ liệu theo dõi giá có thể chạy cho dữ liệu được ủy quyền.
Các giá game và App ID được cung cấp là các bộ dữ liệu giả lập. Chúng không phải là các đề nghị từ Steam thực tế.
So sánh giá chỉ trong cùng một App ID, khu vực, loại tiền tệ, loại gói và ngữ cảnh quan sát.
Thiếu, không khả dụng, miễn phí, và có phí là các trạng thái riêng biệt; không bao giờ biến một giá thiếu thành số không.

Những gì bạn sẽ xây dựng: Một Trình thu thập dữ liệu Steam Game

Bạn sẽ xây dựng một quy trình làm việc dữ liệu game nhỏ với hai lối đi: lấy tin tức thông qua một phương thức Steam Web API đã được tài liệu hóa, và chuẩn hóa một tập dữ liệu giá được phép vào CSV, JSON, và SQLite.

Trình theo dõi giá chạy cục bộ với một bộ dữ liệu giả lập để toàn bộ quá trình phân tích và lưu trữ có thể được tái tạo mà không cần phải lấy dữ liệu từ một cửa hàng trực tiếp. Để lấy giá sản xuất, kết nối một nguồn mà các điều khoản truy cập và sử dụng dữ liệu của nó bao gồm quy trình làm việc của bạn. Sự phân biệt này quan trọng vì một URL cửa hàng có thể đến được không tự động trở thành một API giá công khai được hỗ trợ.

Nguồn Dữ liệu Steam: API Cửa hàng, Steam Web API và HTML

Việc thu thập dữ liệu Steam bắt đầu bằng cách lựa chọn giao diện thực sự cung cấp các trường cần thiết và cho phép sử dụng như dự định.

Lựa chọn Nguồn Dữ liệu Steam Phù hợp

Nguồn	Mục đích phù hợp	Giới hạn quan trọng
Steam Web API đã được tài liệu hóa	Các phương thức đã được tài liệu hóa cụ thể, như tin tức ứng dụng	Không phải mọi trường cửa hàng hay giá đều được công khai
Giao diện đối tác/người xuất bản đã được phê duyệt

"""Phân tích một luồng giá được ủy quyền/cục bộ; tùy chọn gọi API tin tức công khai đã được tài liệu."""
import argparse
import csv
import json
import sqlite3
import time
from datetime import datetime
from pathlib import Path
from urllib.parse import urlencode
from urllib.request import Request, urlopen


def normalize(item):
    appid = int(item["appid"])
    if appid <= 0:
        raise ValueError("ID Ứng Dụng Không Hợp Lệ")
    observed = item["observed_at"]
    if datetime.fromisoformat(observed.replace("Z", "+00:00")).utcoffset() is None:
        raise ValueError("Thời gian quan sát phải bao gồm múi giờ")
    state = item["price_state"]
    if state not in ("paid", "free", "unavailable", "undisclosed"):
        raise ValueError("Trạng thái giá không xác định")
    initial, final = item.get("initial_minor"), item.get("final_minor")
    currency, region = item.get("currency"), item["region"]
    if state in ("paid", "free"):
        if not currency or any(type(v) is not int or v < 0 for v in (initial, final)):
            raise ValueError("Thiếu giá so sánh")
        if state == "free" and (initial != 0 or final != 0):
            raise ValueError("Giá miễn phí phải bằng không")
    elif initial is not None or final is not None:
        raise ValueError("Giá không xác định phải giữ nguyên null")
    return dict(appid=appid, name=item["name"], region=region, currency=currency,
                initial_minor=initial, final_minor=final, price_state=state,
                observed_at=observed, source=item["source"])


def save(rows, database):
    with sqlite3.connect(database) as db:
        db.execute("""CREATE TABLE IF NOT EXISTS prices(
            appid INTEGER,name TEXT,region TEXT,currency TEXT,
            initial_minor INTEGER,final_minor INTEGER,price_state TEXT,
            observed_at TEXT,source TEXT,
            PRIMARY KEY(appid,region,observed_at,source))""")
        columns = list(rows[0])
        db.executemany("INSERT OR REPLACE INTO prices VALUES(?,?,?,?,?,?,?,?,?)",
                       [tuple(row[k] for k in columns) for row in rows])


def news(appid):
    query = urlencode(dict(appid=appid, count=3, maxlength=200, format="json"))
    request = Request("https://api.steampowered.com/ISteamNews/GetNewsForApp/v2/?" + query,
                      headers={"User-Agent": "GameResearchDemo/1.0"})
    with urlopen(request, timeout=20) as response:
        payload = json.load(response)
    data = payload.get("appnews", {})
    if int(data.get("appid", -1)) != appid:
        raise ValueError("Phản hồi tin tức không như mong đợi")
    return data.get("newsitems", [])


if __name__ == "__main__":
    parser = argparse.ArgumentParser()
    parser.add_argument("--fixture", default="steam_prices_fixture.json")
    parser.add_argument("--db", default="steam.sqlite")
    parser.add_argument("--news", type=int)
    args = parser.parse_args()
    if args.news:
        print(json.dumps(news(args.news), ensure_ascii=False, indent=2))
    else:
        rows = [normalize(item) for item in json.loads(Path(args.fixture).read_text())]
        if not rows:
            raise SystemExit("Không có bản ghi nào")
        save(rows, args.db)
        Path("steam_prices.json").write_text(json.dumps(rows, indent=2))
        with open("steam_prices.csv", "w", newline="") as handle:
            writer = csv.DictWriter(handle, fieldnames=list(rows[0]))
            writer.writeheader()
            writer.writerows(rows)
        print(f"số_bản_ghi_chấp_nhận={len(rows)}")

Triệu chứng	Giải thích khả dĩ	Cách điều trị đúng
Không có giá	Miễn phí, không có sẵn, không được công bố, hoặc không thành công trong việc lấy dữ liệu	Bảo toàn trạng thái riêng biệt và kiểm tra chứng cứ
Số tiền khác nhau	Mismatch khu vực/tiền tệ/gói	So sánh các khóa danh tính khớp nhau
Thiếu nhà phát triển	Nguồn không cung cấp trường này	Giữ nguyên null; không suy ra
Thay đổi ngôn ngữ	Địa phương hoặc phiên làm việc đã thay đổi	Lưu trữ địa phương với quan sát
Phản hồi trống	ID không hợp lệ, vấn đề phương thức, hoặc thất bại nguồn	Giữ thất bại bên ngoài các quan sát đã chấp nhận
Trò chơi “miễn phí” đột ngột	Giá trị thiếu bị ép thành không	Sửa chữa xác thực và khôi phục các bản ghi bị ảnh hưởng

Hướng Dẫn Cạo Dữ Liệu Steam: Cách Thu Thập Dữ Liệu Cửa Hàng Trò Chơi Công Khai

TL;DR

Những gì bạn sẽ xây dựng: Một Trình thu thập dữ liệu Steam Game

Nguồn Dữ liệu Steam: API Cửa hàng, Steam Web API và HTML

Lựa chọn Nguồn Dữ liệu Steam Phù hợp

Bai viet pho bien

Thu thập Dữ liệu Tài sản: Hướng dẫn về Thu thập Dữ liệu Tài sản Công cộng

Dify SERP Scraping: Cách Xây Dựng Quy Trình Dữ Liệu Tìm Kiếm

Hiểu về App ID Steam và Giá cả Khu vực

Các yêu cầu và Thiết lập Môi trường Python

Bước 1: Lấy Thông tin Game Steam

Bước 2: Trích xuất Metadata Game và Giá cả

Bước 3: Thu Thập Nhiều Trò Chơi Steam

Bước 4: Xuất Dữ Liệu Steam Ra CSV và JSON

Bước 5: Thêm Xử Lý Lỗi và Giới Hạn Tần Suất

Bước 6: Lấy dữ liệu từ các trang Steam Store khi APIs không đủ

Bước 7: Lập Lịch Giám sát Giá Steam

Ví dụ về Trình lấy dữ liệu Steam: Xây dựng Trình theo dõi Giá Trò chơi

Các Lỗi và Cách Khắc Phục Thường Gặp Khi Lấy Dữ Liệu Steam

Lấy Dữ Liệu Steam Quy Mô Lớn: Kiến Trúc và Chi Phí

Quy Tắc và Tuân Thủ Sử Dụng Dữ Liệu Steam

Danh Sách Kiểm Tra Dự Án Cuối Cùng

Xác thực nội dung cửa hàng cho phép

Câu hỏi thường gặp