What is crawl for RAG?

Crawl for RAG is the process of discovering website pages, extracting clean content and metadata, chunking and embedding it, and storing it for retrieval-augmented generation.

Should I store HTML or Markdown for RAG?

Markdown is usually easier to chunk and audit because it removes much page chrome while preserving headings, lists, links, tables, and code. Raw HTML can be retained separately when reprocessing or compliance requires it.

How often should a RAG knowledge base be refreshed?

Refresh frequency should follow source volatility and business risk. A documentation site may need event-driven or daily updates, while a stable archive may need less frequent refreshes. Content hashes can be used to reprocess changed pages and remove deleted content.

Does the example use production embeddings?

No. The example uses a deterministic local hashed vector to demonstrate the pipeline without dependencies. A semantic embedding model and vector index should replace it for production use.

Crawl for RAG: Hướng dẫn Xây dựng Cơ sở Tri thức Website

TL;DR

Một cơ sở kiến thức RAG hữu ích bắt đầu với các tài liệu nguồn sạch sẽ, có thể truy nguyên—không phải là một mô hình nhúng. Bảo tồn URL chuẩn, tiêu đề, thời gian thu thập, tiêu đề và hash nội dung với mỗi đoạn.
Quy trình là thu thập → chuẩn hóa → loại bỏ trùng lặp → chia đoạn → nhúng → lưu trữ → truy xuất → trả lời với trích dẫn. Đánh giá từng ranh giới độc lập để sai sót trong việc truy xuất không bị nhầm lẫn với sai sót của mô hình.
Markdown là một định dạng trao đổi thực tiễn cho việc thu thập nội dung từ website. Nó loại bỏ nhiều tiếng ồn điều hướng trong khi giữ cấu trúc tiêu đề có thể hướng dẫn việc chia đoạn theo nghĩa.
Sử dụng Nstdata Crawl khi bạn cần nội dung website đã được hiển thị mà không cần duy trì trình duyệt và tổ chức proxy. Ví dụ dưới đây sử dụng tuyến thu thập hiện tại của nó, sau đó minh họa một cơ sở truy xuất cục bộ không có phụ thuộc.

Trường	Tại sao nó quan trọng
`source_url`	Cho phép một câu trả lời trích dẫn bằng chứng
`canonical_url`	Ngăn chặn trùng lặp tham số URL
`title` và tiêu đề	Cải thiện hiển thị và ranh giới ngữ nghĩa
`crawled_at`	Hỗ trợ các chính sách tính mới
`content_hash`	Phát hiện nội dung không thay đổi hoặc trùng lặp
`markdown`	Cung cấp văn bản chuẩn hóa với cấu trúc
`http_status`	Tách biệt các trang không khả dụng khỏi việc trích xuất trống
bối cảnh/địa phương truy cập	Giải thích sự khác biệt về khu vực hoặc ngôn ngữ

import hashlib
import json
import math
import re
import sqlite3
from datetime import datetime, timezone

DIMENSIONS = 256

def normalize(text: str) -> str:
    text = re.sub(r"\r\n?", "\n", text)
    text = re.sub(r"[ \t]+", " ", text)
    text = re.sub(r"\n{3,}", "\n\n", text)
    return text.strip()

def chunk_markdown(markdown: str, max_words: int = 90):
    chunks, heading, buffer = [], "", []
    for line in normalize(markdown).splitlines():
        if line.startswith("#"):
            if buffer:
                chunks.append((heading, "\n".join(buffer)))
                buffer = []
            heading = line.lstrip("# ")
        else:
            buffer.append(line)
            if len(" ".join(buffer).split()) >= max_words:
                chunks.append((heading, "\n".join(buffer)))
                buffer = []
    if buffer:
        chunks.append((heading, "\n".join(buffer)))
    return [(h, t.strip()) for h, t in chunks if t.strip()]

def embed(text: str):
    vector = [0.0] * DIMENSIONS
    for token in re.findall(r"[a-z0-9]+", text.lower()):
        slot = int(hashlib.sha256(token.encode()).hexdigest()[:8], 16) % DIMENSIONS
        vector[slot] += 1.0
    length = math.sqrt(sum(x * x for x in vector)) or 1.0
    return [x / length for x in vector]

def cosine(a, b):
    return sum(x * y for x, y in zip(a, b))

def ingest(db, url, title, markdown):
    cleaned = normalize(markdown)
    page_hash = hashlib.sha256(cleaned.encode()).hexdigest()
    crawled_at = datetime.now(timezone.utc).isoformat()
    db.execute("DELETE FROM chunks WHERE source_url = ?", (url,))
    for index, (heading, text) in enumerate(chunk_markdown(cleaned)):
        embedding_text = f"{title}\n{heading}\n{text}"
        db.execute(
            "INSERT INTO chunks VALUES (?, ?, ?, ?, ?, ?, ?)",
            (url, title, heading, index, text, json.dumps(embed(embedding_text)),
             f"{page_hash}:{crawled_at}"),
        )
    db.commit()

def search(db, question, limit=3):
    query_vector = embed(question)
    rows = db.execute(
        "SELECT source_url, title, heading, body, vector FROM chunks"
    ).fetchall()
    ranked = [
        (cosine(query_vector, json.loads(vector)), url, title, heading, body)
        for url, title, heading, body, vector in rows
    ]
    return sorted(ranked, reverse=True)[:limit]

db = sqlite3.connect(":memory:")
db.execute("""CREATE TABLE chunks (
    source_url TEXT, title TEXT, heading TEXT, chunk_index INTEGER,
    body TEXT, vector TEXT, version TEXT
)""")

sample = """# Acme Docs
## Authentication
Send an API key in the Authorization header. Never expose the key in client code.
## Retries
Retry rate limits with exponential backoff and jitter. Do not retry invalid credentials.
"""
ingest(db, "https://example.com/docs", "Acme Docs", sample)
for score, url, title, heading, body in search(db, "How should I handle rate limits?"):
    print(f"{score:.3f}\t{heading}\t{url}\t{body}")

Cách Xây Dựng Cơ Sở Dữ Liệu Kiến Thức RAG Từ Bất Cứ Trang Web Nào 2026

TL;DR

Bai viet pho bien

Cách các tác nhân AI sử dụng dữ liệu web: Mô hình và cạm bẫy

Từ URL đến Câu trả lời: Một bản demo RAG hoàn chỉnh với Crawl API

Biến Trang Web Thành Dữ Liệu Có Thể Sử Dụng

Pipeline Crawl-for-RAG Cần Gì?

Bước 1: Định Nghĩa Phạm Vi và Thu Thập Dữ Liệu Từ Trang Web

Bước 2: Chuẩn Hóa và Loại Bỏ Trùng Lặp Trước Khi Nhúng

Bước 3: Phân Chia Xung Quanh Ý Nghĩa, Không Phải Số Ký Tự Tùy Ý

Bước 4: Nhúng, Lưu Trữ và Truy Xuất Một Cơ Sở Địa Phương Có Thể Chạy Được

Bước 5: Tạo Câu Trả Lời Chỉ Từ Bằng Chứng Được Lấy

Bước 6: Đánh Giá Quy Trình Từ Đầu Đến Cuối

Những Sai Lầm Thường Gặp Khi Nhập liệu RAG

Danh Sách Kiểm Tra Sản Xuất

Câu Hỏi Thường Gặp