Cách thêm thực thi trình duyệt vào một tác nhân AI
TL;DR
Cơ sở hạ tầng trình duyệt cho các tác nhân AI thực hiện hành động trình duyệt và trả về quan sát từ một phiên được ủy quyền.
Định nghĩa một công cụ có kiểu nhỏ chấp nhận đầu vào tác vụ đã phê duyệt thay vì JavaScript tùy ý, bộ chọn, hoặc đích từ mô hình.
Xem nội dung trang như dữ liệu. Cấp quyền cho tác nhân thông qua chính sách ứng dụng, với văn bản trang được xem như nội dung không đáng tin cậy.
Sử dụng một kết nối thời gian thực được hỗ trợ và yêu cầu ứng dụng kiểm tra trang mục tiêu và đầu ra kinh doanh.
Giữ cho lỗi mô hình/công cụ, lỗi trang, và lỗi vòng đời phiên được phân biệt để các lần thử lại có phạm vi chính xác.
Giải phóng một phiên quản lý thông qua giao diện vòng đời của nó sau nhiệm vụ và xác minh việc kết thúc.
Tầng thực thi trình duyệt giúp gì cho một tác nhân AI?
Một tầng thực thi trình duyệt cung cấp các chức năng runtime và client biến yêu cầu tác nhân được phép thành công việc trình duyệt có thể quan sát. Nó có thể mở một ứng dụng, chờ một tín hiệu có nghĩa, và trả về một kết quả nhỏ để tác nhân hoặc bộ điều khiển sử dụng. Ứng dụng xung quanh vẫn quyết định yêu cầu nào được phép và điều gì chứng minh sự hoàn thành. Nstdata cung cấp cơ sở hạ tầng trình duyệt có thể được gắn vào thông qua quy trình CDP được tài liệu hóa.
Hãy tưởng tượng một trợ lý phát hành nội bộ cần trạng thái của một bản dựng đã biết trên một trang staging được ủy quyền. Tác nhân cần một kết quả như đã qua hay thất bại. Trình duyệt có thể phải render một bảng trạng thái JavaScript trước. Giữ tokens kiểm soát và quyền điều hướng trong worker. Trả về chỉ một quan sát đã được xác minh theo phạm vi cho mô hình. Một chức năng hẹp có thể thực hiện nhiệm vụ với một đích rõ ràng và chỉ trả về trạng thái đã được xác minh. Sự so sánh trình duyệt đám mây và API Crawl giải thích ranh giới giữa thực thi tương tác và việc thu thập nội dung theo URL.
Các thành phần nào mà ứng dụng của bạn nên sở hữu?
Ứng dụng của bạn nên sở hữu hợp đồng tác vụ, ủy quyền hành động, kiểm tra chấp nhận, và quyết định dừng. Client trình duyệt diễn giải cuộc gọi được phép và thực hiện hành động UI đã chọn. Nhà cung cấp sở hữu các phần đã được tài liệu hóa của việc cung cấp thời gian chạy và quan sát vòng đời của chính nó. Một ranh giới hữu ích bắt đầu từ worker, trước khi nó tạo các kênh cho đầu ra mô hình tùy ý.
Nstdata Cloud Browser Trình duyệt của bạn trên đám mây
Thành phần
Trách nhiệm
Đầu ra có thể quan sát
Tác nhân
Đề xuất một tác vụ từ các công cụ đã phê duyệt
Giá trị yêu cầu có kiểu
Chính sách và định tuyến
Kiểm tra danh tính, mục tiêu được phép, và hành động được phép
Chấp nhận hoặc từ chối với lý do an toàn
Worker trình duyệt
Tải trang mong đợi và chạy hoạt động giới hạn
Một dấu hiệu trang đã được xác minh hoặc lỗi đã phân loại
Trình xác thực ứng dụng
Kiểm tra dữ liệu và sự liên kết của nó với công việc
Kết quả được chấp nhận hoặc hòa giải
Chủ sở hữu vòng đời
Dừng trình duyệt được quản lý và hòa giải việc sử dụng
Trạng thái phiên kết thúc
Giữ danh sách cho phép giới hạn cho các công cụ ứng dụng thực sự cần thiết. Tránh thêm duyệt web không hạn chế để lấp đầy khoảng trống trong thiết kế công cụ. Nếu hoạt động được yêu cầu nằm ngoài phạm vi đã phê duyệt, hãy trả về một từ chối an toàn hoặc gửi công việc cho đánh giá của con người được ủy quyền. Xem Hướng dẫn OWASP về quyền lực quá mức.
Làm thế nào để bạn xây dựng một công cụ trình duyệt giới hạn cho một tác vụ?
Xây dựng một công cụ chấp nhận một hành động được ủy quyền, xác thực mục công việc của nó, và trả về một quan sát có cấu trúc. Ví dụ đọc trạng thái bản dựng tổng hợp từ một đồ thị và từ chối yêu cầu gửi. Nó yêu cầu Node.js 22, playwright-core@1.65.1, và các tệp đi kèm. Bắt đầu node fixture.mjs cho một lần chạy cục bộ và cài đặt Chromium với npx playwright-core install chromium. Một lần chạy được quản lý yêu cầu một không gian làm việc được ủy quyền, một phiên sẵn sàng, và một đồ thị đã phê duyệt tương đương có thể truy cập bởi trình duyệt được quản lý.
Bước 1. Định nghĩa yêu cầu được phép
Cung cấp cho người gọi một hình dạng yêu cầu nhỏ, chẳng hạn như { action: "readBuildStatus", build: "fixture-42" }. Xác thực hoạt động và từ chối các trường bổ sung ở ranh giới. Lấy đích từ cấu hình ứng dụng và chính hoạt động. Đối với một tích hợp sản xuất với nhiều bản dựng được phép, hãy tra cứu ID bản dựng hợp lệ trước khi xây dựng tuyến đường.
Bước 2. Chuẩn bị một gắn kết trình duyệt
Đặt nguồn gốc mục tiêu được phê duyệt của bộ điều khiển và kết nối thông qua giao diện client đã được tài liệu hóa. Đối với một lần chạy được quản lý, đặt NSTDATA_API_KEY, NSTDATA_SESSION_ID, và NSTDATA_TEAM_ID nếu ngữ cảnh nhóm của bạn yêu cầu. Trình trợ giúp kết nối kiểm tra rằng phiên sẵn sàng và gắn kết với thông tin xác thực được trả về. Ví dụ cục bộ có thể khởi chạy một Chromium cô lập trực tiếp. Chi nhánh dịch vụ trực tiếp yêu cầu sự ủy quyền của không gian làm việc. Nhiệm vụ cốt lõi đã được xác minh trên Chromium cục bộ và một môi trường CDP tạm thời cục bộ.
const root ='https://api.nstdata.io/api/v1/cloud-browser';exportasyncfunctionapi(method, path, body){const key = process.env.NSTDATA_API_KEY;if(!key)thrownewError('Set NSTDATA_API_KEY');const headers ={'x-api-key': key };if(process.env.NSTDATA_TEAM_ID) headers['x-team-id']= process.env.NSTDATA_TEAM_ID;if(body) headers['content-type']='application/json';let response;try{ response =awaitfetch(root + path,{ method, headers,redirect:'error',body: body ?JSON.stringify(body):undefined,signal:AbortSignal.timeout(20_000),});}catch{throwObject.assign(newError('API transport failed; reconcile the original operation'),{retryable:true});}const retryable = response.status===429|| response.status>=500;let result;try{ result =await response.json();}catch{throwObject.assign(newError('Invalid API JSON'),{ retryable });}if(!response.ok|| result.err===true|| result.success===false){throwObject.assign(newError(`Cloud Browser API HTTP ${response.status}`),{ retryable });}if(!result.data)thrownewError('Missing API data');return result.data;}exportasyncfunctionconnection(id){if(!id)thrownewError('Set NSTDATA_SESSION_ID');const path =`/sessions/${encodeURIComponent(id)}`;const session =awaitapi('GET', path);if(session.state!=='ready')thrownewError(`Session is ${session.state}, not ready`);const c =awaitapi('POST', path +'/automation-credentials');if(c.sessionId!== id ||!c.headerName||!c.accessToken||!(Date.parse(c.expiresAt)>Date.now())||newURL(c.cdpUrl).protocol!=='wss:'){thrownewError('Invalid or expired CDP credentials');}return{endpoint: c.cdpUrl,headers:{[c.headerName]: c.headerName.toLowerCase()==='authorization'?`Bearer ${c.accessToken}`: c.accessToken},};}exportasyncfunctionendpoint(){// An isolated local CDP endpoint can test the client without managed credentials.if(process.env.LOCAL_CDP_URL){const url =newURL(process.env.LOCAL_CDP_URL);if(!['127.0.0.1','localhost','[::1]'].includes(url.hostname)){thrownewError('LOCAL_CDP_URL must use loopback');}return{endpoint: url.href,headers:{}};}returnconnection(process.env.NSTDATA_SESSION_ID);}
import{ chromium }from'playwright-core';import{ endpoint }from'./cloud-api.mjs';exportasyncfunctionwithPage(task){const origin =newURL(process.env.APP_ORIGIN??'http://127.0.0.1:4173');const remote =Boolean(process.env.LOCAL_CDP_URL|| process.env.NSTDATA_SESSION_ID);if(!remote && origin.hostname!=='127.0.0.1')throwError('Use the local fixture for local runs');const connection = remote ?awaitendpoint():null;const browser = connection
?await chromium.connectOverCDP(connection.endpoint,{headers: connection.headers,timeout:15_000}):await chromium.launch({args:['--no-proxy-server']});let page;try{const context = remote ? browser.contexts()[0]:await browser.newContext();if(!context)throwError('Expected a browser context'); page =await context.newPage(); page.setDefaultTimeout(8_000); page.setDefaultNavigationTimeout(10_000);returnawaittask(page, origin);}finally{try{await page?.close();}finally{await browser.close();}}}
Bước 3. Thực hiện hoạt động kích thước thẻ
Lưu mô-đun nhiệm vụ dưới dạng agent.mjs. Chạy node agent.mjs chống lại mô hình cục bộ. Kịch bản so sánh URL trang thực tế với đường dẫn mô hình đã chọn, kiểm tra tiêu đề và dấu hiệu nhiệm vụ, và chỉ trả về một giá trị đã được công nhận. Hoạt động bị từ chối sẽ trả về rejected_action mà không điều hướng trình duyệt đến một trang mới. Sử dụng Tham chiếu Playwright BrowserType để biết giới hạn kết nối và Tham chiếu Locator để chọn kết quả.
Xử lý so sánh URL chính xác như một kiểm tra xác minh cho fixture cố định này. Các công việc sản xuất cần chính sách mạng và điều hướng được thực thi tại ranh giới thực thi thích hợp, bao gồm hành vi chuyển hướng và bất kỳ yêu cầu phụ xuống cấp nào mà ứng dụng phụ thuộc vào. Một xác nhận sau điều hướng một mình không thể thực thi egress. Giữ ví dụ trên nguồn gốc thử nghiệm cố định mà nó đã được thiết kế.
Bước 4. Ghi lại và đóng công việc
Ghi lại tên hành động, tham chiếu xây dựng đã xác thực, loại kết quả và định danh thời gian. Giữ thông tin xác thực kết nối và văn bản trang tùy ý ra khỏi ngữ cảnh mô hình tổng quát và nhật ký. Đóng bất kỳ trang nào mà người làm công việc đã tạo ra. Bộ điều khiển dừng trình duyệt được quản lý và xác minh trạng thái cuối cùng của nó. Chu trình đời sống phiên trình duyệt đám mây.
Làm thế nào để bạn ngăn nội dung trang mở rộng quyền hạn của một đại lý?
Ngăn nội dung trang mở rộng quyền hạn bằng cách thực thi các chính sách trong ứng dụng và hạn chế những gì công cụ trình duyệt chấp nhận. Một biểu ngữ hoặc hướng dẫn bên trong một trang có thể mô tả cách sử dụng một trang. Một tải lên bên ngoài, một điểm đến mới, hoặc quyền truy cập tài khoản bổ sung yêu cầu cấp quyền ở cấp độ ứng dụng. Ứng dụng nên chọn điểm đến được phép và các hoạt động được phép trước khi một trang được tải.
Trả về đầu ra có cấu trúc cho mô hình bất cứ khi nào hành động cho phép. Đối với công cụ trạng thái, trả về ID công việc đã biết, giá trị trạng thái hợp pháp, và một lý do thất bại an toàn. Đối với một nhiệm vụ cần văn bản, giữ nguồn gốc của nó và coi nó như một tài liệu để diễn giải. Nếu một nhiệm vụ thực sự cần một tác động bên, hãy định nghĩa một hoạt động có kiểu riêng và ủy quyền cho nó một cách rõ ràng. Một fixture thử nghiệm nội bộ và dữ liệu tổng hợp làm cho các kiểm tra ranh giới đủ ngắn gọn để lặp lại.
Hướng dẫn chuyển giao người vận hành đưa ra một mẫu để tạm dừng tại một ranh giới quy trình làm việc thực sự. Khi một người đã được ủy quyền hoàn thành, xác thực trạng thái trang mong đợi trước khi tiếp tục tự động hóa. Giữ bộ điều khiển sở hữu chấm dứt có sẵn ngay cả khi đại lý ngừng phản hồi.
Nstdata Cloud Browser phù hợp với ngăn xếp đại lý như thế nào?
Nstdata Cloud Browser cung cấp các trình duyệt đám mây được quản lý để tự động hóa trình duyệt và các đại lý AI. Ứng dụng của bạn có thể gắn Playwright vào một phiên sở hữu trong khi vẫn giữ kiểm tra quyền truy cập công cụ và trạng thái tiến trình của nó. Live View có thể hữu ích trong một quy trình làm việc được chấp thuận mà yêu cầu một người kiểm tra hoặc tiếp tục một trang. Các chẩn đoán có sẵn có thể giúp phân tách sự gắn kết trình duyệt với lỗi trang hoặc ứng dụng. Đối với các nhiệm vụ yêu cầu nội dung URL công cộng cho các nhiệm vụ thu thập, hãy đánh giá Nstdata Crawl, một API Crawling Web cho dữ liệu sẵn sàng cho LLM.
Gắn kết tài liệu. Sử dụng API doanh nghiệp để chuẩn bị một phiên sở hữu và cung cấp cho người làm công việc thông tin xác thực kết nối ngắn hạn chính xác.
Kiểm tra của con người. Cung cấp cho một người vận hành đã được ủy quyền chỉ quyền truy cập cần thiết để kiểm tra hoặc giải quyết nhiệm vụ, sau đó xác thực một điểm kiểm tra khi trở về.
Chu trình đời sống thời gian chạy. Giữ các bước dừng và xác thực với bộ điều khiển để các ngoại lệ đại lý không để lại một trình duyệt không được theo dõi.
Chứng cứ tách biệt. Tương quan các sự kiện chẩn đoán được phép với ID công việc của ứng dụng, và giữ các tác phẩm được bảo vệ bên ngoài ngữ cảnh mô hình thường xuyên.
Bạn nên gửi gì trước khi thêm nhiều hành động đại lý hơn?
Gửi một hành động hẹp với hai kết quả rõ ràng và một bài kiểm tra end-to-end có thể lặp lại. Chứng minh rằng dịch vụ có thể báo cáo trạng thái xây dựng mong đợi, từ chối một hoạt động khác, và phục hồi từ một lỗi trang đã biết mà không phát hành quyền truy cập rộng hơn. Mở rộng từ vựng công cụ chỉ khi hoạt động tiếp theo có danh tính riêng, quyền, biên nhận, và quy tắc dọn dẹp của riêng nó.
Đo lường tỷ lệ các cuộc gọi đề xuất vượt qua chính sách, tỷ lệ tạo ra một quan sát được chấp nhận, và tỷ lệ đạt tới dừng trình duyệt đã xác thực. Nếu một quy trình làm việc thất bại trước khi tạo ra chứng cứ, hãy sử dụng hướng dẫn gỡ lỗi tự động hóa trình duyệt để xác định lớp nào nên báo cáo sự cố.
Q: Một tác nhân có luôn cần quyền kiểm soát trình duyệt đầy đủ không?
Nhiều tác vụ của tác nhân chỉ cần một lần đọc có cấu trúc hoặc thao tác được phê duyệt. Một công cụ trình duyệt hẹp có thể bao phủ những tác vụ đó với ít quyền hạn hơn và ít tiếp xúc dữ liệu hơn.
Q: Một mô hình có nên nhận điểm cuối CDP và mã thông báo không?
Giữ thông tin kiểm soát bên trong công nhân được ủy quyền. Trả về một kết quả an toàn hoặc tham chiếu công việc được phép cho người gọi.
Q: Làm thế nào một tác nhân có thể nhận diện hoàn thành?
Hãy để ứng dụng xác nhận trang dự kiến, đọc một dấu hiệu tác vụ độc lập, và xác thực giá trị trả về. Theo dõi việc kết thúc trình duyệt riêng biệt.
Q: Một tác nhân có thể tự động thử lại các hành động bị từ chối hoặc không thành công không?
Chỉ thử lại các lỗi tạm thời đã phân loại với một chính sách giới hạn. Các yêu cầu bị từ chối cần một tác vụ hợp lệ mới, và việc ghi không chắc chắn cần được hòa giải trước khi thử lại.
Q: Ví dụ có sử dụng mô hình trực tiếp không?
Ví dụ thực hiện công cụ trình duyệt với các yêu cầu cố định rõ ràng. Nó thể hiện hợp đồng thực thi mà một tích hợp mô hình có thể gọi.
Marcus Chen
Nov. 20th 2026
Khởi chạy trình duyệt đám mây theo nhu cầu
Xử lý dấu vân tay trình duyệt và CAPTCHA
Tự động hóa quy trình và hỗ trợ tác nhân AI
Từ thu thập dữ liệu web và kiểm thử đến tự động hóa bằng AI, vận hành tất cả trên đám mây.