Dữ liệu Web công khai có thể hỗ trợ nghiên cứu biến đổi khí hậu
TL;DR
Dữ liệu web công cộng có thể giúp các nhà nghiên cứu và chuyên gia khí hậu theo dõi các thay đổi chính sách, kế hoạch thích ứng địa phương, thông báo cơ sở hạ tầng, công bố môi trường và báo cáo công khai. Những nguồn này cung cấp bối cảnh và giúp hướng sự chú ý; chúng không thay thế các quan sát khí hậu đã được hiệu chỉnh, sản phẩm vệ tinh hoặc phân tích được đánh giá ngang hàng.
Một quy trình làm việc đáng tin cậy bắt đầu với một câu hỏi hẹp, kết hợp các tập dữ liệu khoa học có thẩm quyền với các tài liệu công cộng được xác định rõ, bảo tồn thông tin nguồn và ngày tháng, tiêu chuẩn hóa vị trí và chủ đề, và gửi các phát hiện không chắc chắn để xem xét bởi chuyên gia. Câu hỏi không chỉ đơn giản là liệu một bộ thu thập thông tin có thể tìm thấy nội dung khí hậu hay không, mà là liệu nguồn thu thập có cung cấp bằng chứng có thể xác minh cho một quyết định nghiên cứu hoặc vận hành hay không.
Những gì Dữ liệu Web Công cộng Thêm vào Công việc Khí hậu
Nghiên cứu khí hậu phụ thuộc vào nhiều loại bằng chứng khác nhau. Các quan sát bằng thiết bị, đo đạc vệ tinh và sản phẩm phân tích lại giúp định lượng các điều kiện vật lý. Các tài liệu công cộng cho thấy các cộng đồng, nhà điều hành cơ sở hạ tầng và chính phủ phản ứng như thế nào trước những điều kiện đó.
Các ví dụ bao gồm một thành phố công bố kế hoạch hành động nhiệt, một cơ quan giao thông thông báo về việc đóng cửa liên quan đến lũ lụt, một cơ quan quy hoạch mở cuộc tham vấn về khả năng chống chịu ven biển, một công ty tiện ích mô tả các nâng cấp lưới điện, hoặc một thông báo mua sắm công tìm kiếm dịch vụ chữa cháy rừng. Những trang này có thể hỗ trợ theo dõi chính sách, nghiên cứu thích ứng và nhận thức tình huống.
Chúng không thể, tự mình, thiết lập rằng một sự kiện cụ thể được gây ra bởi biến đổi khí hậu. Việc xác định nguyên nhân đòi hỏi các phương pháp khoa học thích hợp, các cơ sở và việc xem xét bởi các chuyên gia. Đối với các trang công khai được phép cần trình duyệt trình bày hoặc Markdown sạch, Nstdata Crawl có thể hỗ trợ việc thu thập; nó không xác thực khoa học hoặc cấp quyền cho việc tái sử dụng nguồn.
Đối với các chính sách, kế hoạch và bối cảnh hoạt động, sử dụng các trang được công bố bởi chính phủ, cơ quan nghiên cứu hoặc nhà điều hành cơ sở hạ tầng có liên quan. Phân biệt giữa một đề xuất, thông báo, hành động được tài trợ và hành động đã hoàn thành. Đối với các cam kết và báo cáo quốc tế, tham khảo các cổng thông tin chính thức của Liên Hợp Quốc và quốc gia liên quan và ghi lại phiên bản nào của tài liệu đã được phân tích.
Sáu Sử Dụng Nghiên Cứu Khí Hậu Cho Dữ Liệu Web Công Cộng
1. Theo dõi cập nhật chính sách khí hậu
Thu thập các thông báo chính sách chính thức, tài liệu tham vấn, kế hoạch thực hiện và ngày tháng có hiệu lực. Một tập dữ liệu chính sách nên tách biệt ngày thông báo khỏi ngày có hiệu lực và tình trạng. Một thông cáo báo chí về một đề xuất không phải là bằng chứng rằng đề xuất đó đã trở thành luật.
2. Giám sát các công bố khí hậu của doanh nghiệp
Các báo cáo công cộng có thể giúp các nhà nghiên cứu theo dõi các mục tiêu phát thải đã nêu, thay đổi phương pháp và các cam kết bền vững. Ghi lại ranh giới báo cáo, năm báo cáo, đơn vị và tiêu chuẩn được nêu trong tài liệu. Phạm vi báo cáo của một công ty có thể không thể so sánh với con số của công ty khác.
3. Nghiên cứu triển khai năng lượng tái tạo
Các thông báo dự án, đấu thầu công khai, thông báo kết nối lưới và thống kê của cơ quan có thể giúp theo dõi hoạt động năng lượng tái tạo. Giữ tình trạng trong kế hoạch, được phép, đang xây dựng và hoạt động tách biệt. Một công suất được công bố không giống như phát điện đã được lắp đặt.
4. Theo dõi thông báo thời tiết cực đoan
Cảnh báo chính thức và cập nhật từ các cơ quan công cộng có thể cung cấp bối cảnh hoạt động trong thời gian xảy ra nguy hiểm. Đối với phân tích khí hậu định lượng, nên ưu tiên các quan sát có cấu trúc và các bộ dữ liệu đã được xác lập. Một cuộc thu thập tin tức có thể cho thấy cách một sự kiện được báo cáo, nhưng khối lượng truyền thông không phải là thước đo tần suất sự kiện.
5. Phân tích diễn ngôn công cộng liên quan đến khí hậu
Các nhà nghiên cứu có thể xem xét các báo cáo công cộng và tin tức để tìm chủ đề, khung chính sách, hoặc những thay đổi trong thảo luận thể chế. Định nghĩa phạm vi phủ sóng và ngôn ngữ nguồn trước khi phân tích. Khối lượng báo cáo phản ánh các mô hình truyền thông và ấn phẩm cũng như sự kiện bên dưới.
6. Xem xét các công bố tuân thủ môi trường
Các giấy phép công cộng, thông báo thực thi, và các công bố của công ty có thể hỗ trợ nghiên cứu về tuân thủ môi trường. Xác minh cơ quan cấp phép, quyền hạn, ngày tháng, và danh tính cơ sở. Các tên công ty tương tự hoặc khác biệt khu vực có thể tạo ra các kết quả trùng khớp sai.
Cách Xây Dựng Quy Trình Thu Thập Dữ Liệu Web Khí Hậu
Một quy trình có thể tái tạo có thể theo bảy bước:
Nêu câu hỏi nghiên cứu. Định nghĩa địa lý, khoảng thời gian, chủ đề, và cái gì được coi là một bản ghi có liên quan.
Xây dựng danh bạ nguồn. Ghi lại nhà xuất bản, URL, loại tài liệu, phạm vi phủ sóng, tần suất cập nhật, phương pháp truy cập, và ngày xác thực cuối cùng.
Sử dụng phương pháp truy cập tốt nhất. Ưu tiên các API chính thức, tải xuống hàng loạt, hoặc nguồn cấp dữ liệu cho dữ liệu có cấu trúc. Chỉ thu thập các trang công cộng khi các điều khoản và quy tắc dự án cho phép.
Bảo tồn nguồn gốc. Lưu trữ URL chuẩn, nhà xuất bản, ngày xuất bản, dấu thời gian thu thập, mã nội dung, và phiên bản trích xuất.
Chuẩn hóa cẩn thận. Tiêu chuẩn hóa ngày tháng, địa điểm, đơn vị, trạng thái chính sách, và loại tài liệu trong khi giữ lại giá trị gốc.
Xác minh các tuyên bố quan trọng. Giữ một đoạn bằng chứng và yêu cầu một chuyên gia trong lĩnh vực xem xét các phân loại mơ hồ.
Tài liệu phân tích. Xuất bản danh sách nguồn, các quy tắc làm sạch, hạn chế, và thông tin phiên bản để một nhà nghiên cứu khác có thể tái tạo kết quả.
Một lược đồ bản ghi có thể bao gồm ID nguồn, URL chuẩn, nhà xuất bản, thời gian xuất bản, thời gian thu thập, quốc gia hoặc khu vực, loại tài liệu, chủ đề, trạng thái, đoạn bằng chứng, mã nội dung, và trạng thái đánh giá. Giữ văn bản tóm tắt tách biệt khỏi bằng chứng. Nếu một mô hình đánh dấu một tài liệu là “kế hoạch thích ứng,” hãy giữ lại câu hỗ trợ nhãn đó và đánh dấu nó là gợi ý của máy cho đến khi nó được xem xét.
Sử Dụng Nstdata Crawl Để Thu Thập Tài Liệu Khí Hậu Công Cộng
Nstdata Crawl có thể thêm các tài liệu web được phép vào quy trình nghiên cứu khí hậu, bao gồm các kế hoạch thích ứng của chính phủ, thông báo của cơ quan, tư vấn công cộng, và cập nhật cơ sở hạ tầng. Nó hỗ trợ việc hiển thị JavaScript, đầu ra Markdown và HTML, và thu thập trang có giới hạn với độ sâu và giới hạn trang. Sử dụng API chính thức hoặc tải xuống hàng loạt cho các phép đo khoa học có cấu trúc khi có sẵn; Crawl bổ sung cho các bộ dữ liệu đó bằng các tài liệu công cộng và bối cảnh báo cáo. Xem tài liệu Nstdata Crawl để biết SDK Python và quy trình tác vụ hiện tại.
Ví dụ này bắt đầu một lần thu thập có giới hạn một phần chính sách khí hậu công cộng. Thay thế placeholder bằng một nguồn được ủy quyền. Nó tuân theo mẫu SDK đã được tài liệu hóa và chưa được chạy chống lại một trang web chính phủ trực tiếp.
import os
from nstdata_ai_crawl import CrawlRequestDto, Format, NstDataClient
policy_site ="https://climate.example.gov/adaptation/"with NstDataClient(os.environ["NSTDATA_API_TOKEN"])as client: task = client.submit_crawl_task( CrawlRequestDto( url=policy_site, formats=[Format.MARKDOWN, Format.HTML], maxDepth=2, maxPages=50, ignoreQuery=True, onlyMainContent=True, timeout=60_000,))print("ID tác vụ thu thập:", task.id)print(client.get_crawl_status(task.id))
Theo dõi tác vụ cho đến khi hoàn thành, sau đó lấy kết quả trang. Lưu mỗi URL nguồn với nhà xuất bản của nó, ngày xuất bản hoặc ngày hiệu lực khi được nêu, thời gian thu thập, mã nội dung, và phiên bản trích xuất. Markdown hữu ích cho việc đọc và phân loại báo cáo; HTML có thể giúp với việc phân tích theo nguồn cụ thể. Xác minh các ngày tháng, địa điểm, đơn vị, và trạng thái chính sách đã trích xuất với tài liệu gốc.
Nstdata Crawl xử lý việc thu thập trang và định dạng nội dung; nó không xác thực các tuyên bố khoa học hoặc thiết lập mối liên hệ với khí hậu. Kết hợp các tài liệu thu thập được với các bộ dữ liệu khí hậu đáng tin cậy và đánh giá của chuyên gia, và chỉ thu thập các nguồn mà điều khoản và quy tắc dự án của họ cho phép. Nstdata Crawl có thể phục vụ như một lớp thu thập tài liệu trong quy trình đó.
Ví dụ: So sánh Cập nhật Chính sách Khí hậu giữa Các Quốc gia
Giả sử một nhóm nghiên cứu muốn so sánh các cập nhật chính sách hiệu quả xây dựng công cộng giữa một số quốc gia. Họ nên xác định các quốc gia và loại hình chính sách trước khi thu thập. Đối với mỗi tài liệu chính thức, lưu lại cơ quan phát hành, tiêu đề, ngày xuất bản, ngày có hiệu lực, tình trạng chính sách, URL nguồn, ngày thu thập và một đoạn trích chứng cứ ngắn.
Quốc gia
Loại tài liệu
Ngày xuất bản
Ngày có hiệu lực
Tình trạng
Xác minh
Ví dụ A
Quy định hiệu quả xây dựng
2026-03-12
2027-01-01
Đã thông qua
Tờ công báo chính thức đã được kiểm tra
Ví dụ B
Thông báo tham vấn
2026-06-04
Không áp dụng
Tham vấn mở
Cổng thông tin chính phủ đã được kiểm tra
Quốc gia và ngày ở trên chỉ là những chỗ giữ chỗ minh họa, không phải hồ sơ chính sách thực tế. Trong một nghiên cứu thực sự, liên kết mỗi hàng với một tài liệu của chính phủ chính thức và ghi lại phiên bản tài liệu. Bảng này không nên được sử dụng để so sánh tham vọng chính sách mà không có tiêu chí và đánh giá lĩnh vực cụ thể.
Trích xuất Thông tin Khí hậu từ Báo cáo và Trang web
Các trang HTML, Markdown, PDF và các tệp có cấu trúc cần các kiểm tra khác nhau. Một PDF có thể chứa các bảng, chú thích, đơn vị hoặc các trang quét mà việc trích xuất văn bản không phát hiện được. Xác minh bất kỳ giá trị nào đã trích xuất so với hình ảnh trang hoặc bảng gốc, đặc biệt khi dấu phân cách hàng nghìn, dấu trừ, hoặc nhãn đơn vị có ý nghĩa.
Một trình thu thập dữ liệu có khả năng hiển thị có thể thu thập nội dung nhìn thấy từ một trang động được phép. Một công cụ trích xuất PDF hoặc API nguồn có thể tốt hơn cho các báo cáo hoặc bảng dữ liệu. Bất kể công cụ nào, hãy lưu lại tham chiếu nguồn gốc và giữ một dấu vết kiểm toán từ trường đã trích xuất quay trở lại đoạn tài liệu.
Sử dụng AI và NLP mà không làm mất chứng cứ
Phân loại văn bản và trích xuất thực thể có thể giúp sắp xếp các bộ sưu tập lớn tài liệu khí hậu. Một mô hình có thể gợi ý chủ đề, các cơ quan có tên, địa điểm, hoặc liệu một trang có vẻ mô tả một kế hoạch hoặc một sự kiện. Sử dụng những đầu ra đó để ưu tiên xem xét, chứ không phải để tạo ra các số liệu phát thải không hỗ trợ hoặc đưa ra các tuyên bố nguyên nhân.
Giữ lại văn bản gốc, một đoạn trích hỗ trợ, phiên bản mô hình và yêu cầu, độ tin cậy, và quyết định xem xét. Kiểm tra phân loại so với một mẫu đã gán nhãn từ nhiều vùng, ngôn ngữ, loại tài liệu, và năm. Báo cáo tỷ lệ sai sót và các khoảng trống đã biết thay vì đối xử với đầu ra mô hình như sự thật hiển nhiên.
Chất lượng Dữ liệu, Giới hạn Khoa học và Khả năng Tái sản xuất
Các vấn đề thường gặp bao gồm đơn vị không nhất quán, các khoảng thời gian khác nhau, các định nghĩa thay đổi, báo cáo trùng lặp, dữ liệu bị thiếu, và ngày nguồn không đáng tin cậy. Các báo cáo doanh nghiệp có thể sử dụng các ranh giới kế toán khác nhau. Các tài liệu khu vực có thể mô tả các cấp chính quyền khác nhau. Các trang công cộng cũng có thể biến mất hoặc được cập nhật sau khi thu thập.
Dữ liệu từ web công cộng mang thiên kiến về độ bao phủ: những địa điểm và tổ chức xuất bản trực tuyến có thể bị đại diện quá mức. Một tài liệu công cộng bị thiếu không chứng minh rằng không có công việc thích ứng xảy ra. Ghi lại logic lựa chọn nguồn và tránh diễn giải các khoảng trống trong việc thu thập như hoạt động zero.
Để làm cho nghiên cứu có thể tái sản xuất, giữ lại URL nguồn, phiên bản dữ liệu, thời gian thu thập, mã dọn dẹp, định nghĩa trường, phương pháp phân tích, và các giới hạn đã biết. Bảo tồn hoặc lưu trữ một bản sao được phép khi cần thiết. Xem xét các yêu cầu về giữ lại và cấp phép trước khi lưu trữ các trang nguồn hoặc phân phối lại nội dung đã trích xuất.
Dữ liệu web công cộng hỗ trợ công việc khí hậu khi nó thêm một chính sách có thể truy dấu, cơ sở hạ tầng, hoặc tín hiệu cộng đồng vào một câu hỏi nghiên cứu được xác định rõ. Kết hợp nó với dữ liệu khoa học đáng tin cậy, bảo tồn nguồn gốc, và xem xét các phân loại không chắc chắn trước khi sử dụng chúng để hướng dẫn quyết định.
Q: Cách thức thu thập dữ liệu từ web được sử dụng trong nghiên cứu khí hậu là gì?
Nó có thể thu thập các chính sách công, kế hoạch, thông báo, báo cáo và các tài liệu khác để khám phá nguồn, theo dõi chính sách và phân tích định tính. Sử dụng các sản phẩm dữ liệu khoa học cho các biến khí hậu định lượng khi những sản phẩm đó phù hợp với câu hỏi nghiên cứu.
Q: Tôi có thể tìm dữ liệu khí hậu công khai ở đâu?
NASA Earthdata, NOAA NCEI và Copernicus Climate Data Store công bố các tập dữ liệu liên quan đến khí hậu và tài liệu hướng dẫn. Chọn một sản phẩm dựa trên biến, khu vực, khoảng thời gian, độ phân giải và các giới hạn đã được tài liệu hóa.
Q: AI có thể phân tích các báo cáo khí hậu không?
AI có thể giúp phân loại và tóm tắt tài liệu, nhưng các nhà nghiên cứu nên bảo tồn các đoạn trích từ nguồn, xác thực các giá trị được trích xuất và xem xét các phân loại. Không coi những tóm tắt được tạo ra là các đo lường đã được xác minh.
Q: Điều gì làm cho một tập dữ liệu khí hậu đáng tin cậy?
Sự đáng tin cậy phụ thuộc vào các phương pháp đã được tài liệu hóa, đo lường phù hợp, kiểm soát chất lượng, phạm vi, phiên bản và mức độ phù hợp với câu hỏi nghiên cứu. Xem xét siêu dữ liệu và các giới hạn của từng tập dữ liệu trước khi so sánh.
Q: Làm thế nào tôi có thể thu thập dữ liệu chính sách môi trường một cách tái lập?
Giữ lại URL nguồn chính thức, cơ quan phát hành, ngày xuất bản và ngày thu thập, phiên bản tài liệu, phương pháp trích xuất, định nghĩa trường và trạng thái xem xét. Cũng nên tài liệu hóa các bước làm sạch và phân tích.
Một quy trình OSINT trên mạng xã hội có trách nhiệm, tập trung vào các nguồn được ủy quyền, quy tắc của nền tảng, nguồn gốc, quyền riêng tư và việc diễn giải cẩn thận nội dung công khai.
Lena Zhou
Oct. 21st 2026
Thu thập toàn bộ trang web chỉ với một yêu cầu API
Tỷ lệ thành công 99,8% với kết xuất JavaScript
Nhận dữ liệu sạch, sẵn sàng cho LLM ở nhiều định dạng
Chuyển mọi trang web thành Markdown, HTML, JSON, liên kết, PDF và hơn thế nữa mà không cần quản lý hạ tầng thu thập dữ liệu.
