Bất Động Sản Scraping: Hướng Dẫn Thực Tế Về Dữ Liệu Tài Sản

TL;DR

Thu thập dữ liệu bất động sản thu thập thông tin tài sản đã được công bố, trong khi dữ liệu MLS, doanh số đã ghi và cổng thông tin niêm yết cung cấp các tập dữ liệu và quyền khác nhau.
Giữ danh tính niêm yết tách biệt khỏi danh tính tài sản và lưu trữ quan sát thay vì ghi đè lịch sử.
Chuẩn hóa tiền tệ, lượng bán so với thuê, thời gian thuê, đơn vị diện tích và dấu thời gian trước khi so sánh giá.
Hướng dẫn này bao gồm một trình phân tích có thể chạy cho hai trang HTML tổng hợp địa phương; nó không truy cập vào một cổng thông tin tài sản.
RESO định nghĩa các tiêu chuẩn, không phải một cơ sở dữ liệu MLS miễn phí. Quyền truy cập sản xuất đến từ nhà cung cấp và giấy phép liên quan.

Thực Thể Thu Thập Dữ Liệu Bất Động Sản Là Gì Và Nó Hoạt Động Như Thế Nào?

Thu thập dữ liệu bất động sản trích xuất các trường liên quan đến tài sản từ các nguồn được phép vào một tập dữ liệu có cấu trúc. Một quy trình điển hình phát hiện các trang niêm yết, thu thập nội dung được phê duyệt, phân tích các trường, xác thực và loại bỏ các bản ghi trùng lặp, và lưu trữ các quan sát để so sánh sau này.

Phân biệt giá hỏi đang hoạt động, giao dịch đã ghi, các đề nghị cho thuê, đánh giá và tổng hợp thị trường. Giá hỏi của một cổng thông tin không phải là giá bán đã ghi và một đánh giá có thể sử dụng một ngày và phương pháp định giá khác.

Dữ Liệu Bất Động Sản Nào Bạn Có Thể Trích Xuất?

Các trường có sẵn phụ thuộc vào nguồn, khu vực và thỏa thuận truy cập. Định nghĩa tập dữ liệu cần thiết trước khi chọn một trình thu thập dữ liệu.

Trường	Ý nghĩa ví dụ	Giữ rõ ràng
ID Niêm Yết	Bản ghi đề nghị của một nguồn	Tên không gian nguồn và quy tắc tái niêm yết
ID Tài Sản	Danh tính tài sản vật lý	Độ tin cậy và định danh nhà cung cấp
Giá	Số tiền bán/cho thuê hỏi

Nguồn	Điểm mạnh điển hình	Hạn chế
Các trang cổng thông tin được phép	Các đề nghị hiện tại được hiển thị	Hạn chế truy cập, bản sao, thay đổi định giá
Dữ liệu cấp phép MLS/IDX	Dữ liệu niêm yết có cấu trúc	Khả năng đủ điều kiện, mục đích, và hạn chế phân phối
Hồ sơ chính phủ	Sự thật về tài sản hoặc giao dịch đã ghi	Quyền tài phán, độ trễ, sơ đồ, và chính sách truy cập
API tài sản thương mại	Tích hợp tiêu chuẩn hóa	Phạm vi sản phẩm và giấy phép
Trang web của cơ quan bạn	Xuất bản có kiểm soát và thử nghiệm có thẩm quyền	Phạm vi thị trường hạn chế

"""Trích xuất các danh sách tổng hợp từ các trang HTML địa phương; không có truy cập cổng."""
import argparse
import csv
import json
import sqlite3
from datetime import datetime, timezone
from decimal import Decimal
from html.parser import HTMLParser
from pathlib import Path
from urllib.parse import urljoin


class Listings(HTMLParser):
    def __init__(self):
        super().__init__()
        self.rows, self.next_page = [], None
        self.row, self.title = None, False

    def handle_starttag(self, tag, attrs):
        a = dict(attrs)
        if tag == "article" and "listing" in a.get("class", "").split():
            self.row = dict(listing_id=a["data-id"], title="",
                            amount=a["data-price"], currency=a["data-currency"],
                            area=a["data-area"], area_unit=a["data-area-unit"],
                            location=a["data-location"], offer_type=a["data-offer"])
        if tag == "h2" and self.row is not None:
            self.title = True
        if tag == "a" and self.row is not None and a.get("class") == "details":
            self.row["url"] = urljoin("https://property-demo.example/", a["href"])
        if tag == "a" and "next" in a.get("rel", "").split():
            self.next_page = a["href"]

    def handle_data(self, data):
        if self.title:
            self.row["title"] += data

    def handle_endtag(self, tag):
        if tag == "h2":
            self.title = False
        if tag == "article" and self.row is not None:
            self.rows.append(self.row)
            self.row = None


def normalize(row):
    price, area = Decimal(row.pop("amount")), Decimal(row.pop("area"))
    if not price.is_finite() or not area.is_finite() or price <= 0 or area <= 0:
        raise ValueError("Giá hoặc diện tích không hợp lệ")
    unit = row.pop("area_unit")
    if unit not in ("sqft", "sqm") or row["offer_type"] not in ("sale", "rent_monthly"):
        raise ValueError("Đơn vị hoặc loại đề nghị không rõ")
    area_sqm = area * Decimal("0.09290304") if unit == "sqft" else area
    return {**row, "title": row["title"].strip(), "price": str(price),
            "area_sqm": str(area_sqm.quantize(Decimal("0.01")))}


def collect(root):
    root = root.resolve()
    current, seen_pages, rows = root / "page1.html", set(), {}
    for _ in range(5):
        current = current.resolve()
        if not current.is_relative_to(root) or current in seen_pages:
            raise ValueError("Đường dẫn trang không an toàn hoặc bị lặp lại")
        seen_pages.add(current)
        parsed = Listings()
        parsed.feed(current.read_text())
        for raw in parsed.rows:
            row = normalize(raw)
            key = row["listing_id"]
            if key in rows and rows[key] != row:
                raise ValueError("Danh sách trùng lặp xung đột")
            rows[key] = row
if not parsed.next_page:
            return list(rows.values())
        current = current.parent / parsed.next_page
    raise ValueError("Ngân sách phân trang đã vượt quá")

if __name__ == "__main__":
    parser = argparse.ArgumentParser()
    parser.add_argument("--fixtures", default="property_fixture")
    parser.add_argument("--db", default="property.sqlite")
    args = parser.parse_args()
    rows = collect(Path(args.fixtures))
    observed = datetime.now(timezone.utc).isoformat()
    if not rows:
        raise SystemExit("Không có danh sách được chấp nhận")
    with sqlite3.connect(args.db) as db:
        db.execute("""CREATE TABLE IF NOT EXISTS observations(
            listing_id TEXT, observed_at TEXT, payload TEXT,
            PRIMARY KEY(listing_id,observed_at))""")
        db.executemany("INSERT INTO observations VALUES(?,?,?)",
                       [(row["listing_id"], observed, json.dumps(row)) for row in rows])
    Path("property.json").write_text(json.dumps(rows, indent=2))
    with open("property.csv", "w", newline="") as handle:
        writer = csv.DictWriter(handle, fieldnames=list(rows[0]))
        writer.writeheader()
        writer.writerows(rows)
    print(f"danh sách_được_chấp_nhận_unique={len(rows)}")

Nhà phân tích dữ liệu chặt chẽ gặp lỗi khi các thuộc tính yêu cầu bị thiếu. Một nhà phân tích sản xuất nên ghi lại một danh sách bị từ chối và bằng chứng của nó thay vì im lặng viết một bản ghi đã chấp nhận không hoàn chỉnh.

### Bước 3: Xử lý Phân trang và Danh sách bị Trùng lặp

Bộ giải quyết trang tiếp theo địa phương thực thi thư mục fixture, từ chối vòng lặp trang và có một ngân sách trang. Nó chấp nhận ID danh sách lặp lại bằng nhau nhưng từ chối các khối lượng nghi ngờ bị xung đột.

Đối với một nguồn từ xa đã được phê duyệt, sử dụng [phát hiện URL hạn chế](https://www.nstdata.io/blog/website-url-discovery), hạn chế điều hướng đến các nguồn đã được xem xét, xác thực chuyển hướng, theo dõi các URL đã truy cập và tuân thủ các giới hạn yêu cầu theo nguồn. Đối chiếu một snapshot đầy đủ trước khi quyết định một danh sách bị thiếu là không hoạt động.

Cùng một ID danh sách có thể thay đổi giá theo thời gian. Loại bỏ trùng lặp trong một lượt chạy; giữ các quan sát riêng biệt qua các lượt chạy.

### Bước 4: Làm sạch và Chuẩn hóa Dữ liệu Tài sản

Sử dụng Decimal cho giá và chuyển đổi diện tích từ feet vuông sang mét vuông một cách rõ ràng. Bảo tồn đơn vị diện tích ban đầu và cơ sở đo lường trong các bản ghi sản xuất.

Đối với các kiểm tra dạng bảng, ví dụ Pandas sau đây đọc JSON đã được tạo:

```python
import pandas as pd

frame = pd.read_json("property.json", dtype=False)
frame["price_numeric"] = pd.to_numeric(frame["price"], errors="raise")
frame["area_sqm_numeric"] = pd.to_numeric(frame["area_sqm"], errors="raise")
assert frame["listing_id"].is_unique
assert frame["price_numeric"].gt(0).all()
assert frame["area_sqm_numeric"].gt(0).all()
print(frame[["listing_id", "offer_type", "currency", "price", "area_sqm"]])

Thu thập Dữ liệu Tài sản: Hướng dẫn về Thu thập Dữ liệu Tài sản Công cộng

TL;DR

Thực Thể Thu Thập Dữ Liệu Bất Động Sản Là Gì Và Nó Hoạt Động Như Thế Nào?

Dữ Liệu Bất Động Sản Nào Bạn Có Thể Trích Xuất?

Bai viet pho bien

Thu thập Dữ liệu Tài sản: Hướng dẫn về Thu thập Dữ liệu Tài sản Công cộng

Dify SERP Scraping: Cách Xây Dựng Quy Trình Dữ Liệu Tìm Kiếm

Niêm Yết Tài Sản Và Dữ Liệu Giá

Vị Trí, Tính Năng Tài Sản, Và Lịch Sử Niêm Yết

Nguồn Dữ Liệu Bất Động Sản: Các Cổng Thông Tin, MLS, Và Hồ Sơ Công Cộng

So Sánh Các Phương Pháp Thu Thập Dữ Liệu Bất Động Sản

Python Requests và Beautiful Soup

Playwright cho Các Niêm Yết Được Kết Xuất Bằng JavaScript

API Thu thập Dữ liệu Web Được Quản lý

Bước từng bước: Xây dựng một Trình thu thập Dữ liệu Bất động sản với Python

Bước 1: Kiểm tra Cấu trúc Trang Danh sách

Bước 2: Trích xuất Danh sách Tài sản

Bước 5: Lưu trữ Danh sách trong CSV hoặc Cơ sở dữ liệu

Thách thức và Giải pháp Thu thập Dữ liệu Bất động sản

Cách Xây dựng một Đường ống Giám sát Giá Bất động sản

Thu thập Dữ liệu Bất động sản cho Phân tích Thị trường

Mở rộng thu thập dữ liệu bất động sản

Chi phí thu thập bất động sản: API vs Tự lưu trữ

Xem xét pháp lý, quyền riêng tư và các cân nhắc cấp phép dữ liệu

Danh sách kiểm tra cuối cùng cho các đường ống dữ liệu bất động sản đáng tin cậy

Kiểm tra các trang tài sản đã được phê duyệt

Câu hỏi thường gặp