TL;DR
- Bắt đầu một trình thu thập dữ liệu việc làm Working Nomads với API được liên kết từ trang việc làm của nền tảng.
- Xem mảng đã trả về như một nguồn cấp quan sát, mà không giả định tính toàn vẹn lịch sử hay phân trang không được tài liệu.
- Bảo tồn
url,title,company_name,location, vàpub_datetrước khi rút ra các nhãn bổ sung. - Chuẩn hóa bằng chứng lương, kỹ năng và khu vực tuyển dụng tách biệt khỏi các trường nguồn thô.
- Sử dụng trình hiển thị trình duyệt hoặc một cuộc thu thập được quản lý chỉ cho nội dung được ủy quyền mà điểm cuối đã xuất bản không cung cấp.
- Nstdata Crawl cung cấp một API Thu thập Dữ liệu Web cho dữ liệu sẵn sàng LLM; nó không thay thế logic xác thực công việc và độ mới của bạn.
Điểm Bắt Đầu Tốt Nhất Cho Một Trình Thu Thập Dữ Liệu Việc Làm Working Nomads Là Gì?
Điểm bắt đầu tốt nhất là API công khai được liên kết từ Working Nomads, vì phản hồi cấu trúc do nhà xuất bản cung cấp có thể loại bỏ sự tự động hóa trình duyệt không cần thiết. Trang việc làm Working Nomads liên kết đến API của nó cùng với các tài nguyên sản phẩm khác. Trong quá trình chuẩn bị hướng dẫn này, điểm cuối được liên kết đã trả về một mảng JSON chứa các URL việc làm, tiêu đề, mô tả, tên công ty, danh mục, thẻ, vị trí và ngày phát hành.
Quan sát đó không thiết lập một danh mục toàn diện, một thỏa thuận mức dịch vụ, hoặc sự cho phép cho mọi hình thức tái sử dụng thương mại. Kiểm tra các điều khoản của nền tảng hiện tại và liên hệ với nhà xuất bản khi khối lượng phân phối hoặc thu thập của bạn cần làm rõ. Một phản hồi API công khai là một đầu vào kỹ thuật hữu ích, không phải là sự thay thế cho một thỏa thuận.
Đối với một đường ống dữ liệu việc làm được phép rộng hơn, Nstdata Crawl có thể thu thập các trang chi tiết đã được phê duyệt và trả lại nội dung sẵn sàng LLM. Bắt đầu với nguồn đã được xác minh đơn giản nhất trước khi thêm cơ sở hạ tầng đó.
Tại Sao Việc Chọn Nguồn Lại Quan Trọng Hơn Cú Pháp Bộ Chọn?
Việc lựa chọn nguồn quan trọng vì một nguồn cấp nhà xuất bản có cấu trúc, trang danh sách hiển thị đã được hiển thị, và điểm cuối ứng dụng riêng tư có ranh giới ổn định và sự cho phép khác nhau. Một hướng dẫn minh họa một yêu cầu tìm kiếm nội bộ có thể hoạt động vào một thời điểm trong khi phụ thuộc vào một chi tiết triển khai không được tài liệu. Liên kết API công khai của trang chính thức cung cấp cho bạn một lựa chọn đầu tiên trực tiếp hơn để đánh giá.
Giữ một sổ đăng ký nguồn chứa URL đầu vào, mục đích, chủ sở hữu, các trường quan sát, cách sử dụng được phép, chính sách làm mới và lần xác thực thành công cuối cùng. Kiểm tra lại nguồn khi sơ đồ của nó thay đổi thay vì thêm thầm lặng các phương pháp sao lưu trình duyệt. Điều này làm cho một thất bại có thể giải thích và ngăn chặn đường ống trôi vào một phương thức truy cập khác mà không có sự xem xét.
Nếu bạn đang xây dựng một đường ống dữ liệu web sản xuất, việc lựa chọn nguồn nên là một quyết định cấu hình. Tránh nhúng một URL nguồn cấp, một điểm cuối ẩn, và một bộ chọn trình duyệt trong một chức năng mà tự nó thực hiện lựa chọn không được tài liệu.
Bạn Cần Gì Trước Khi Chạy Ví Dụ?
Bạn cần Python, quyền truy cập vào điểm cuối liên kết của nhà xuất bản, một cách sử dụng được phê duyệt cho dữ liệu đã trả về, và một thư mục cho các tệp đầu ra. Ví dụ trong thư viện tiêu chuẩn không cần cài đặt gói riêng. Nó cố ý đọc một phản hồi duy nhất thay vì phát minh các tham số phân trang.
| Input or field | Mục đích | Xử lý cần thiết |
|---|---|---|
| API URL | Nguồn phát hiện liên kết với nhà xuất bản | Xác minh liên kết trên trang việc làm hiện tại |
url | Danh tính bản ghi nguồn | Giữ nguyên URL gốc và xác thực máy chủ của nó |
title | Tiêu đề công việc gốc | Yêu cầu một chuỗi không rỗng |
company_name | Nhãn công ty do nhà xuất bản cung cấp | Bảo tồn chính tả; không giả định tính duy nhất toàn cầu |
location | Thông tin vị trí đã nêu | Giữ văn bản thô bên cạnh các khu vực đã rút ra |
pub_date | Giá trị xuất bản nguồn | Bảo tồn giá trị gốc trước khi phân tích |
observed_at | Thời gian thu thập | Tạo một dấu thời gian UTC tại chỗ |
Quyết định xem bạn cần một bản chụp nghiên cứu hay một dịch vụ gợi ý việc làm trực tiếp. Một bản chụp có thể hữu ích với một nhãn ngày rõ ràng. Một sản phẩm gợi ý cần một chính sách hết hạn và một cách để tránh trình bày các danh sách cũ như những cơ hội hiện tại.
Dòng Chảy Thu Thập và Chuẩn Hóa Hoạt Động Như Thế Nào?
Dòng chảy thu thập lấy một phản hồi từ nguồn, xác thực hình dạng của nó, chuẩn hóa các trường được hỗ trợ, và upsert các công việc đã chấp nhận theo danh tính nguồn. Nó nên giữ đủ bằng chứng thô để giải thích một sự biến đổi mà không phơi bày dữ liệu không cần thiết.
Giữ luật thử lại bị giới hạn tách biệt khỏi việc chấp nhận công việc để một lỗi mạng tạm thời không thể trở thành giá trị trường nguồn. Đừng thay thế một trường phát sinh bằng giá trị nguồn thô. Ví dụ, hãy bảo quản location_raw ngay cả khi bạn thêm hiring_region_normalized. Một bộ phân tích trong tương lai sau đó có thể sửa chữa các lỗi phân loại mà không cần lấy lại từng trang. Giữ phiên bản bộ trích xuất cùng với bản ghi khi các thay đổi ảnh hưởng đến khả năng đủ điều kiện hoặc đối sánh.
Làm Thế Nào Để Bạn Thu Thập Công Việc Từ Working Nomads Bước Bán
Thu thập công việc bằng cách xác thực phản hồi chính thức trước, sau đó chỉ thêm các giai đoạn làm giàu mà hợp đồng lĩnh vực của bạn yêu cầu. Các phương pháp này nhằm phục vụ cho những nhu cầu khác nhau chứ không phải như là kỹ thuật thay thế cho việc thu thập hàng loạt không giới hạn.
Phương Pháp 1: Đọc nguồn JSON liên kết với nhà xuất bản
Bước 1: Lưu bộ thu thập phản hồi đơn
Lưu đoạn mã này là working_nomads.py. Các tên trường đã được kiểm tra trong phản hồi trực tiếp trong quá trình chuẩn bị bài viết. Số lượng phản hồi có chủ ý không phải là một phần của hợp đồng.
import json import urllib.request from datetime import datetime, timezone from urllib.parse import urlsplit url = "https://www.workingnomads.com/api/exposed_jobs/" with urllib.request.urlopen(url, timeout=30) as response: payload = response.read(5_000_001) if len(payload) > 5_000_000: raise RuntimeError("Response exceeds local size limit") items = json.loads(payload) if not isinstance(items, list): raise TypeError("Expected a list; inspect the current API response") observed = datetime.now(timezone.utc).isoformat() records, seen = [], set() for item in items: if not isinstance(item, dict): continue link = str(item.get("url") or "").strip() title = str(item.get("title") or "").strip() parts = urlsplit(link) if parts.scheme != "https" or parts.hostname not in { "workingnomads.com", "www.workingnomads.com" }: continue if not title or link in seen: continue seen.add(link) records.append({ "source_url": link, "title": title, "company_name": item.get("company_name"), "location_raw": item.get("location"), "category": item.get("category_name"), "tags_raw": item.get("tags"), "published_at": item.get("pub_date"), "description_html": item.get("description"), "observed_at": observed }) if not records: raise RuntimeError("No accepted jobs; retain the last good snapshot") with open("working-nomads-jobs.json", "w", encoding="utf-8") as output: json.dump(records, output, ensure_ascii=False, indent=2) print("accepted jobs:", len(records))
Bước 2: Chạy bộ thu thập
Chạy python working_nomads.py. Xác nhận rằng tệp đầu ra chứa các bản ghi liên kết nguồn với các giá trị xuất bản gốc. Bộ phân tích đã được thử nghiệm trên phản hồi liên kết nhà xuất bản hiện tại, nhưng lần chạy của bạn có thể trả về một số lượng công việc khác hoặc một lược đồ khác.
Bước 3: Kiểm tra nguồn hiện tại với đầu ra
So sánh một mẫu nhỏ với các trang danh sách có thể nhìn thấy. Kiểm tra các nhãn công ty và các ràng buộc vị trí một cách rõ ràng. Nếu một trường vắng mặt, lưu giá trị null và ghi lại sự vắng mặt; đừng yêu cầu một mô hình suy diễn một sự thật chỉ để làm cho bản ghi trông đầy đủ.
Phương Pháp 2: Làm giàu một trang chi tiết được phê duyệt
Bước 1: Xác định một trường làm giàu hợp lý
Chọn một trường mà sự vắng mặt của nó thay đổi tính hữu ích của sản phẩm, chẳng hạn như nhãn loại hình việc làm. Từ vựng JobPosting có thể giúp định nghĩa lược đồ nội bộ, nhưng không chứng minh rằng trang mục tiêu xuất bản cùng một cấu trúc.
Bước 2: Kiểm tra hành vi tải trang được ủy quyền
Sử dụng Developer Tools → Network → Fetch/XHR để xem liệu trường có được tải riêng biệt không, và Elements để kiểm tra bằng chứng render của nó. Giữ cho việc kiểm tra mang tính quan sát trừ khi thỏa thuận của bạn cho phép phương pháp thu thập cụ thể. Tránh sao chép một điểm cuối tìm kiếm nội bộ từ một hướng dẫn bên thứ ba như một giao diện nhà xuất bản được hỗ trợ.
[Ảnh chụp màn hình: Liên kết API chính thức của Working Nomads và một trang chi tiết được phê duyệt với trường làm giàu khả thi.]
Bước 3: Ghi lại kết quả làm giàu
Lưu một URL nguồn, văn bản bằng chứng, thời gian trích xuất và trạng thái cho trường bổ sung. Giữ một trường vắng mặt khác với một yêu cầu không thành công. Điều này ngăn chặn một vấn đề trình duyệt tạm thời xóa thông tin thu được từ một lần đọc feed thành công.
Phương Pháp 3: Thêm thu thập được quản lý với Nstdata Crawl
Bước 1: Cấu hình một mẫu được phép
Mở Crawl Playground, chọn một URL trang đã được phê duyệt, và so sánh đầu ra Markdown với HTML. Thêm render JavaScript khi nội dung cần thiết vắng mặt từ tài liệu ban đầu. Bắt đầu với một trang đơn trước khi kích hoạt thu thập đệ quy.
Bước 2: Kết nối khách hàng đã được tài liệu hóa
Cài đặt nstdata-ai-crawl, sau đó đặt NSTDATA_API_TOKEN và APPROVED_PAGE_URL trong môi trường cục bộ của bạn. Ví dụ này yêu cầu mã thông báo và quyền truy cập của riêng bạn; đây là một cấu hình đã được tài liệu hóa, không phải là bằng chứng của một lần trích xuất Working Nomads được xác thực trong quá trình chuẩn bị bài viết này.
import os from pathlib import Path from nstdata_ai_crawl import NstDataClient, ScrapeRequestDto token = os.environ["NSTDATA_API_TOKEN"] url = os.environ["APPROVED_PAGE_URL"] with NstDataClient(token) as client: result = client.submit_scrape_task_sync(ScrapeRequestDto( url=url, formats=["markdown"], onlyMainContent=True, timeout=60000 )) if result.success is not True or result.status != "completed": raise RuntimeError("Page retrieval was not completed successfully") if result.data is None or result.data.truncated is True: raise RuntimeError("Missing or partial content requires review") text = result.data.get_markdown() if not text or not text.strip(): raise RuntimeError("No usable Markdown returned") Path("page.md").write_text(text, encoding="utf-8") print("Saved page.md; validate its content before downstream use")
Bước 3: Áp dụng cùng các quy tắc chấp nhận công việc
Yêu cầu một kết quả trang hoàn thành và nội dung không rỗng, sau đó xác thực danh tính công việc và các trường yêu cầu. Một trang đã được render vẫn có thể là một thông điệp đăng nhập hoặc một danh sách đã hết hạn. Giữ trạng thái truy xuất của nó tách biệt với việc liệu một bản ghi công việc có được chấp nhận hay không.
Nstdata Crawl Vị Trí Ở Đâu Trong Một Quy Trình Công Việc Đa Nguồn?
Nstdata Crawl phù hợp nơi một quy trình đã được phê duyệt cần lấy trang và làm sạch qua các nguồn với các lớp trình bày khác nhau. Đây là một API Thu Thập Web cho dữ liệu sẵn sàng cho LLM, cung cấp giai đoạn thu thập trước lược đồ công việc của bạn. Việc khám phá và thu thập đệ quy có thể theo các liên kết được phép trong giới hạn trang và độ sâu. Render JavaScript và chuyển đổi đầu ra giảm thiểu nhu cầu duy trì các thành phần đó một cách riêng biệt. Sản phẩm không giải quyết các nhà tuyển dụng trùng lặp, xác định quyền làm việc, hoặc cấp quyền phân phối lại.
- Định dạng cho các người tiêu dùng khác nhau: Sử dụng Markdown cho các tóm tắt công việc cơ bản, HTML cho kiểm tra bộ phân tích, và liên kết cho việc khám phá. JSON, PDF, và các tài liệu hình ảnh có thể hỗ trợ các yêu cầu xem xét và lưu trữ khác.
- Tùy chọn proxy tích hợp sẵn: Các yêu cầu quản lý tiêu chuẩn có thể kế thừa cơ sở hạ tầng proxy của Nstdata mà không cần cấu hình riêng biệt cho máy chủ proxy, cổng, tên người dùng và mật khẩu. Để ý đến việc sử dụng proxy dưới mô hình thanh toán hiện tại.
- Thu thập có kiểm soát: Giữ một giới hạn số trang nhỏ và danh sách đường đi đã được phê duyệt, bảo tồn ID tác vụ và chẩn đoán lỗi trước khi nộp lại. Một cuộc thu thập lớn hơn nên theo tỷ lệ chấp nhận đã đo được thay vì một mục tiêu đồng thời tuỳ tiện.
Tại Sao Số Lượng Công Việc hoặc Địa Điểm Thay Đổi Một Cách Bất Ngờ?
Số lượng công việc và nhãn địa điểm thay đổi khi nhà phát hành cập nhật nguồn cấp dữ liệu của mình, cửa sổ nguồn di chuyển hoặc quy tắc chuẩn hóa thay đổi. Theo dõi các khả năng này riêng biệt trước khi kết luận rằng thị trường lao động đã thay đổi.
| Triệu chứng | Nguyên nhân có thể | Phản ứng |
|---|---|---|
| Số lượng công việc giảm mạnh | Cửa sổ nguồn hoặc hành vi truy cập đã thay đổi | So sánh hình dạng phản hồi và giữ lại ảnh chụp nhanh đã chấp nhận gần nhất |
| Xuất hiện công việc trùng lặp | Các biến thể URL hoặc nhập khẩu lặp lại | Sử dụng danh tính cụ thể của nguồn và một thao tác upsert |
| Các vai trò từ xa được phân loại là toàn cầu | Văn bản địa điểm đã bị loại bỏ | Bảo tồn các hạn chế thô và điều chỉnh bộ phân loại |
| Thẻ trở thành một chuỗi dài | Giả định loại đầu vào đã thay đổi | Xác thực loại nguồn và chuẩn hóa một cách có chủ đích |
| Mô tả bị trống sau khi kết xuất | Trường bị thiếu hoặc trang không mong đợi | Kiểm tra HTML và trạng thái trang trước khi thử lại |
Sử dụng giao diện JSON của Python để phân tích phản hồi và thêm các kiểm tra ứng dụng rõ ràng cho các loại đối tượng mong đợi. Việc giải mã JSON thành công một mình không nói lên điều gì về việc tài liệu có chứa công việc hay không.
Bạn Nên Duy Trì Tập Dữ Liệu Như Thế Nào Theo Thời Gian?
Duy trì tập dữ liệu với các khóa nguồn ổn định, những quan sát có dấu thời gian và các trạng thái tươi mới rõ ràng. Tránh đánh dấu một vai trò đã đóng chỉ vì nó biến mất khỏi một phản hồi nguồn cấp dữ liệu. Nếu sản phẩm của bạn yêu cầu xác nhận, hãy xác định chính sách kiểm tra lại được phép và giữ các hồ sơ không chắc chắn ra khỏi các khuyến nghị “hiện đang tuyển dụng”.
Bắt đầu với điểm kết thúc công khai và một mẫu nhỏ được kiểm tra bằng tay, sau đó chỉ thêm những gì cần thiết để làm phong phú. Sử dụng các điều khiển phân trang và khám phá khi phạm vi được phê duyệt của bạn mở rộng. Đầu ra HTML thay thế của Nstdata có thể giúp chẩn đoán các sự không khớp nội dung trước khi chúng ảnh hưởng đến các khuyến nghị công việc.
FAQ
Q: Có phải Working Nomads cung cấp một điểm dữ liệu công khai?
Trang công việc của họ hiện tại liên kết với một điểm cuối API đã trả về một mảng JSON trong quá trình nghiên cứu. Kiểm tra lại liên kết nguồn, điều khoản và hình dạng phản hồi trước khi dựa vào nó.
Q: Phản hồi có chứng minh đủ thông tin về việc làm không?
Không. Phản hồi quan sát được không thiết lập tính đầy đủ lịch sử hoặc một hợp đồng phân trang đã được tài liệu hóa. Mô tả phạm vi theo những gì bạn thực sự thu thập.
Q: Tôi có cần một trình duyệt cho bộ thu thập được chứng minh không?
Không. Ví dụ phản hồi đơn lẻ sử dụng thư viện tiêu chuẩn của Python. Việc kết xuất trình duyệt chỉ trở nên quan trọng đối với nội dung trang bổ sung đã được phê duyệt.
Q: Có thể một mô hình AI bổ sung các vùng tuyển dụng bị thiếu không?
Một mô hình AI không nên phát minh ra các sự thật đủ điều kiện bị thiếu. Giữ trường không xác định trừ khi bạn có bằng chứng nguồn và một sự suy diễn có thể xem lại.
Q: Tôi nên theo dõi điều gì sau khi triển khai?
Theo dõi các công việc đã chấp nhận, các trường bị thiếu, ID trùng lặp, thay đổi sơ đồ phản hồi, lỗi thu thập và độ tuổi hồ sơ. Những điều này tiết lộ các chế độ thất bại khác nhau mà một chỉ số thành công yêu cầu ẩn giấu.
