Tự động hóa trình duyệt có sự can thiệp của con người: Từ đăng nhập thủ công đến các tác vụ được lập trình
TL;DR
Tự động hóa trình duyệt có người tham gia cho phép một người và tập lệnh làm việc trong cùng một phiên trình duyệt đang chạy với việc chuyển giao quyền kiểm soát rõ ràng.
Một người có thể đăng nhập qua Xem trực tiếp mà không cần nhập mật khẩu vào tập lệnh tự động hóa.
Tập lệnh phải gắn vào phiên gốc và chọn tab ứng dụng hiện có; một phiên mới không kế thừa việc đăng nhập đó.
Tín hiệu tiếp tục có nghĩa là người đó đã hoàn thành bước của họ, trong khi một xác nhận trang xác minh rằng trạng thái ứng dụng mong đợi thật sự hiện có.
Chỉ một tác nhân nên điều hướng hoặc thay đổi trang tại một thời điểm, và các hành động nhạy cảm cần được phê duyệt bởi ranh giới của ứng dụng.
Các bản ghi và nhật ký có thể chứa dữ liệu trang riêng tư ngay cả khi đã bật che giấu đầu vào.
Tự động hóa trình duyệt có con người tham gia là gì?
Tự động hóa trình duyệt có người tham gia kết hợp công việc trình duyệt được lập trình với một khoảng dừng có chủ đích để một người hoàn thành bước hoặc đưa ra quyết định. Một ví dụ phổ biến là đăng nhập bằng tay sau đó là một nhiệm vụ chỉ đọc trong cùng một trình duyệt. Giá trị đến từ việc bảo tồn trạng thái ứng dụng đang chạy trong khi thay đổi người kiểm soát trang.
Nstdata Cloud Browser cung cấp các trình duyệt đám mây được quản lý cho tự động hóa trình duyệt và các tác nhân AI, bao gồm xem trước trình duyệt tương tác và gắn kết CDP. Một người vận hành có thể đăng nhập qua xem trước, sau đó để một máy khách Playwright kiểm tra tab hiện có. Khách hàng không cần mật khẩu của người vận hành trong mã nguồn. Nó vẫn cần quyền truy cập phiên đã được ủy quyền và phải xác minh tài khoản và không gian làm việc mà nó đã nhận.
Bài viết giới thiệu Cloud Browser mô tả mô hình phiên chia sẻ. Hướng dẫn này thực hiện một kiểm tra chấp nhận hẹp: tìm đúng một tab ứng dụng đã được phê duyệt và xác nhận dấu hiệu xác thực của nó. Nó không xuất cookie, tự động hóa thách thức đăng nhập, hoặc gửi một hành động có hậu quả.
Nstdata Cloud Browser Trình duyệt của bạn trên đám mây
Khi nào nên chuyển quyền điều khiển cho con người?
Thêm một chuyển giao người khi một người phải cung cấp danh tính, ngữ cảnh, hoặc phê duyệt mà tự động hóa không nên suy diễn. Đăng nhập bằng tay là một trường hợp; xác nhận một không gian làm việc, giải quyết một bản ghi không rõ ràng, hoặc xem xét một bản nháp trước khi gửi là những trường hợp khác. Quyết định ranh giới chuyển giao trước khi viết các bộ chọn.
Ví dụ, một người vận hành hỗ trợ có thể mở một không gian làm việc thử nghiệm đã được phép, đăng nhập và để một tập lệnh kiểm tra rằng một bảng điều khiển đã được tải. Một nhà phân tích có thể chọn một tài khoản đã được ủy quyền trước bước báo cáo chỉ đọc. Một kỹ sư QA có thể cung cấp đầu vào xác minh chỉ cho thử nghiệm trước khi tiếp tục một quy trình làm việc staging. Những nhiệm vụ này có các yêu cầu phê duyệt khác nhau ngay cả khi chúng sử dụng cùng một phiên trình duyệt.
Đừng để “người đã hoàn tất đăng nhập” có nghĩa là “tập lệnh có thể thực hiện mọi hành động tài khoản có sẵn.” Chuyển giao nên chỉ định nhiệm vụ tiếp theo được phép. Xác thực tài khoản và quyền ủy quyền để gửi, mua, xóa, hoặc tiết lộ dữ liệu là những quyết định riêng biệt. Một trang bị chặn hoặc không quen thuộc nên trả lại cho người vận hành thay vì kích hoạt các cố gắng tự phát để vượt qua các điều khiển truy cập.
Phiên trình duyệt dùng chung giữ trạng thái như thế nào?
Một trình duyệt đang chạy chia sẻ bảo tồn các tab và ngữ cảnh trình duyệt mà trong đó người vận hành đã hoàn tất đăng nhập. Gắn kết CDP tiếp cận trình duyệt đó thay vì phát lại việc đăng nhập trong một quy trình khác. API kết nối CDP Playwright tiết lộ ngữ cảnh mặc định hiện có, đó là lý do tại sao việc chọn phiên chính xác là quan trọng.
Một ngữ cảnh mới được tạo có các ngữ nghĩa phân lập khác và không nên được giả định là chứa việc đăng nhập đó. Tham khảo BrowserContext mô tả phân lập ngữ cảnh. Tương tự, newPage() hữu ích cho một bài kiểm tra trang công cộng nhưng không chọn tab đã đăng nhập chính xác mà một người đã để mở.
Trang web có thể hết hạn xác thực trong khi trình duyệt vẫn sẵn sàng. Việc kết nối lại cũng có thể xảy ra sau khi người vận hành đã thay đổi tài khoản hoặc điều hướng đi nơi khác. Do đó, hãy kiểm tra trạng thái trang hiện tại mỗi khi quyền sở hữu thay đổi. Một định danh tài khoản/khoảng làm việc ổn định là bằng chứng mạnh mẽ hơn hơn một tiêu đề chào mừng chung chung.
Cần chuẩn bị gì trước khi chuyển quyền điều khiển?
Chuẩn bị một tài khoản kiểm tra đã được ủy quyền, một URL ứng dụng đã biết, một bộ chọn sẵn sàng độc đáo, và một chủ sở hữu được đặt tên cho việc tắt trình duyệt sau này. Sử dụng tài khoản staging với quyền hạn hạn chế cho triển khai đầu tiên của bạn. Nhận một API key doanh nghiệp Nstdata từ Settings → Account, hoặc một key thành viên từ Members.
Cài đặt
Ý nghĩa
NSTDATA_API_KEY
Khóa doanh nghiệp cho việc tìm kiếm phiên và phát hành thông tin xác thực CDP
NSTDATA_TEAM_ID
Lựa chọn nhóm đã tham gia tùy chọn cho một khóa cá nhân
NSTDATA_SESSION_ID
Phiên chính xác mà người vận hành đăng nhập
APP_URL
Nguồn gốc ứng dụng mong đợi và đường dẫn sau khi đăng nhập
READY_SELECTOR
Một bộ chọn ổn định chỉ hiển thị trong chế độ xác thực mong muốn
Ownership rule
Con người hoàn thành, kịch bản xác minh, sau đó kịch bản thực hiện tác vụ được phép của nó
Chọn READY_SELECTOR từ ứng dụng của bạn, chẳng hạn như một thuộc tính thử nghiệm đại diện cho không gian làm việc mong đợi. Tên đó là một hợp đồng ứng dụng, không phải là một bộ chọn Nstdata tích hợp sẵn. Sử dụng một bộ chọn mà sự vắng mặt của nó sẽ làm hỏng tác vụ thay vì cho phép kịch bản tiếp tục trên một trang không chắc chắn.
Hành vi lựa chọn trang cùng phiên và tách rời bên dưới đã được thực hiện trên một bộ dụng cụ địa phương được cô lập. Việc phát hành thông tin đăng nhập được quản lý và đăng nhập vào một trang thực yêu cầu tài khoản đã được ủy quyền của bạn và không được kiểm tra trực tiếp. Bộ dụng cụ này chứng minh việc bảo tồn một tab hiện có; nó không chứng minh quy trình xác thực danh tính sản xuất.
Làm thế nào bạn truyền phiên đã đăng nhập thủ công cho Playwright?
Truyền phiên cho Playwright bằng cách hoàn thành đăng nhập trong Live View, dừng tương tác thủ công, và gắn một máy khách tìm và xác minh tab hiện có. Làm theo hướng dẫn Tự động hóa Trình duyệt hiện tại cho bảng điều khiển và quy trình thông tin đăng nhập.
Bước 1: Khởi động phiên mong muốn
Mở Cloud Browser → Playground, chọn không gian làm việc của bạn, cấu hình phiên, và nhấp vào Launch Browser. Chờ cho đến khi có chữ Running và xem trước tương tác. Đặt tên cho phiên mà bạn có thể phân biệt được với công việc không liên quan.
Giữ việc ghi lại tắt trong lần trình diễn đăng nhập đầu tiên trừ khi tổ chức của bạn đã phê duyệt những gì nó ghi lại. Nếu việc ghi lại là cần thiết, hãy bật nó trước khi khởi động và xem xét việc ẩn dữ liệu đầu vào và quyền truy cập vào dữ liệu trang đã ghi lại.
Bước 2: Đăng nhập thủ công qua xem trước
Dẫn trình duyệt từ xa đến ứng dụng được ủy quyền của bạn và hoàn tất đăng nhập ở đó. Điều này phải diễn ra trong Browser Preview hoặc Live URL của cùng một phiên. Đăng nhập qua một tab Chrome trên desktop không liên quan không xác thực trình duyệt được quản lý này.
[Ảnh chụp màn hình: Giao diện đã đăng nhập của ứng dụng staging được ủy quyền trong Browser Preview; che giấu các định danh tài khoản và tất cả các URL truy cập đã đăng nhập.]
Giữ các URL trực tiếp riêng tư vì chúng chứa thông tin đăng nhập có thời hạn ngắn. Nếu một xem trước bị ngắt kết nối, hãy mở lại phiên hiện có sau khi xác nhận rằng nó vẫn đang chạy. Không tạo một trình duyệt thay thế chỉ để làm mới cái nhìn.
Bước 3: Đánh dấu việc bàn giao là đã sẵn sàng
Cho chủ sở hữu tự động hóa biết rằng công việc thủ công đã hoàn tất và dừng việc nhấp chuột hoặc gõ trong phiên đó. Đối với một nhà phát triển duy nhất, điều này có thể là một xác nhận rõ ràng của người vận hành trước khi chạy kịch bản. Hệ thống sản xuất nên duy trì một trạng thái chờ hạn chế của con người và chỉ phục hồi công việc tương ứng.
Tín hiệu này cấp cho kịch bản cơ hội xác minh trạng thái, không phải quyền bỏ qua các khẳng định. Ghi lại ID công việc, ID phiên, tác vụ được phép và quyết định của người vận hành trong ứng dụng của bạn. Không đặt thông tin đăng nhập hoặc các URL trực tiếp đầy đủ trong ghi chép đó.
Bước 4: Cài đặt máy khách trình duyệt
Tạo một dự án Node.js và cài đặt phiên bản được sử dụng bên dưới. Node.js 22.12 hoặc phiên bản mới hơn là cơ sở cho các trợ giúp API đi kèm.
mkdir browser-handoff-demo
cd browser-handoff-demo
npm init -ynpminstall --save-exact playwright-core@1.65.1
Bước 5: Lưu trợ giúp kết nối
Lưu mô-đun này dưới dạng cloud-api.mjs. Trợ giúp này yêu cầu một phiên sẵn sàng và phát hành thông tin đăng nhập có thời hạn ngắn cho chính phiên đó. Nó không bao giờ thay thế trực tiếp khóa doanh nghiệp vào xác thực CDP.
Điều kiện tiên quyết về thông tin đăng nhập: nhánh này yêu cầu khóa Nstdata của bạn và ID phiên đang chạy ban đầu. Không đặt LOCAL_CDP_URL khi kết nối với trình duyệt được quản lý.
const root ='https://api.nstdata.io/api/v1/cloud-browser';exportasyncfunctionapi(method, path, body){const key = process.env.NSTDATA_API_KEY;if(!key)thrownewError('Set NSTDATA_API_KEY');const headers ={'x-api-key': key };if(process.env.NSTDATA_TEAM_ID) headers['x-team-id']= process.env.NSTDATA_TEAM_ID;if(body) headers['content-type']='application/json';let response;try{ response =awaitfetch(root + path,{ method, headers,redirect:'error',body: body ?JSON.stringify(body):undefined,signal:AbortSignal.timeout(20_000),});}catch{throwObject.assign(newError('API transport failed; reconcile the original operation'),{retryable:true});}const retryable = response.status===429|| response.status>=500;let result;try{ result =await response.json();}catch{throwObject.assign(newError('Invalid API JSON'),{ retryable });}if(!response.ok|| result.err===true|| result.success===false){throwObject.assign(newError(`Cloud Browser API HTTP ${response.status}`),{ retryable });}if(!result.data)thrownewError('Missing API data');return result.data;}exportasyncfunctionconnection(id){if(!id)thrownewError('Set NSTDATA_SESSION_ID');const path =`/sessions/${encodeURIComponent(id)}`;const session =awaitapi('GET', path);if(session.state!=='ready')thrownewError(`Session is ${session.state}, not ready`);const c =awaitapi('POST', path +'/automation-credentials');if(c.sessionId!== id ||!c.headerName||!c.accessToken||!(Date.parse(c.expiresAt)>Date.now())||newURL(c.cdpUrl).protocol!=='wss:'){thrownewError('Invalid or expired CDP credentials');}return{endpoint: c.cdpUrl,headers:{[c.headerName]: c.headerName.toLowerCase()==='authorization'?`Bearer ${c.accessToken}`: c.accessToken},};}exportasyncfunctionendpoint(){// An isolated local CDP endpoint can test the client without managed credentials.if(process.env.LOCAL_CDP_URL){const url =newURL(process.env.LOCAL_CDP_URL);if(!['127.0.0.1','localhost','[::1]'].includes(url.hostname)){thrownewError('LOCAL_CDP_URL must use loopback');}return{endpoint: url.href,headers:{}};}returnconnection(process.env.NSTDATA_SESSION_ID);}
Bước 6: Lưu trình kiểm tra chuyển giao
Lưu kịch bản dưới dạng handoff.mjs. Nó tương ứng với nguồn và đường dẫn đã cấu hình, từ chối nhiều ứng viên, và chờ đợi dấu hiệu xác thực dự kiến mà không điều hướng tab. Mã này cố ý thực hiện không có việc gửi biểu mẫu.
Điều kiện tiên quyết về thông tin xác thực: thực thi quản lý yêu cầu khóa và phiên từ Bước 5 cộng với URL và bộ chọn của ứng dụng của bạn. Sự lựa chọn tab cùng phiên đã được xác minh cục bộ với một dấu hiệu xác thực tổng hợp.
import{ chromium }from'playwright-core';import{ endpoint }from'./cloud-api.mjs';asyncfunctionmain(){const target =newURL(process.env.APP_URL);if(!process.env.READY_SELECTOR)thrownewError('Set READY_SELECTOR for your authorized app');const config =awaitendpoint();const browser =await chromium.connectOverCDP(config.endpoint,{headers: config.headers});try{const candidates = browser.contexts().flatMap(context=> context.pages()).filter(page=>{try{const url =newURL(page.url());return url.origin=== target.origin&& url.pathname=== target.pathname;}catch{returnfalse;}});if(candidates.length!==1)thrownewError('Expected exactly one matching application tab');const page = candidates[0];await page.locator(process.env.READY_SELECTOR).waitFor({state:'visible',timeout:15_000});console.log(JSON.stringify({sessionMatched:true,authenticatedMarkerVisible:true,title:await page.title()}));// Add an approved read-only task here after checking the account/workspace marker.}finally{await browser.close();}}main().catch(()=>{console.error("Browser task failed; inspect private diagnostics and the original session."); process.exitCode=1;});
Bước 7: Xác minh trạng thái ứng dụng đã chọn
Tạo một tệp riêng tư .env chứa NSTDATA_API_KEY, NSTDATA_SESSION_ID, APP_URL và READY_SELECTOR, với NSTDATA_TEAM_ID tùy chọn. Giữ nó ra khỏi kiểm soát phiên bản, sau đó chạy trình kiểm tra.
node --env-file=.env handoff.mjs
Thành công báo cáo sessionMatched: true và authenticatedMarkerVisible: true. Trước khi thêm một tác vụ thực sự, mở rộng trình kiểm tra để xác nhận dấu hiệu tài khoản/không gian làm việc dự kiến cũng như vậy. Xem xét đầu ra tiêu đề trước khi giữ lại vì các tiêu đề sản xuất có thể chứa các định danh riêng tư. Một dấu hiệu đã đăng nhập chung không thể phân biệt hai tài khoản được ủy quyền.
Bước 8: Kết thúc hoặc trả lại quyền sở hữu phiên một cách rõ ràng
Sau tác vụ đã phê duyệt, hoặc giao phiên đang chạy lại cho người vận hành hoặc nhấp vào Stop Browser và xác nhận hoàn thành. Ví dụ này giải phóng Playwright nhưng giữ lại trang hiện có. Người sở hữu phiên vẫn có trách nhiệm với việc tắt và sử dụng tiếp theo.
Trình duyệt Đám mây hỗ trợ một quá trình chuyển giao có kiểm soát như thế nào?
Trình duyệt Đám mây Nstdata hỗ trợ một quá trình chuyển giao bằng cách cho phép một người và máy khách tự động đến cùng một trình duyệt đang chạy. Chế độ Xem Trực tiếp cung cấp cho người điều hành một nơi dễ thấy để hoàn thành công việc thủ công. Gắn CDP cho phép mã Playwright hoặc Puppeteer hiện có tiếp tục chống lại trình duyệt đó. Tìm kiếm phiên tách một nguồn tài nguyên vẫn đang chạy từ một nguồn đã hết hạn. Ứng dụng của bạn vẫn có trách nhiệm với quyền sở hữu điều khiển, phê duyệt, kiểm tra tài khoản, và đầu ra được chấp nhận.
Chế độ Xem Trực tiếp Tương tác: hoàn thành một bước thủ công đã ủy quyền mà không cần nhúng mật khẩu vào kịch bản ví dụ.
CDP phiên chia sẻ: chọn tab ứng dụng hiện có thay vì tạo lại trạng thái đăng nhập của nó trong trình duyệt khác.
Cấu hình phiên và proxy tích hợp sẵn: khởi động với các thiết lập mạng dự kiến trước khi chuyển giao, mà không thêm một lớp proxy thứ hai vào máy khách.
Chẩn đoán có sẵn: kiểm tra trang đã chọn khi dấu hiệu dự kiến bị thiếu thay vì giả định bước con người đã thành công.
Ngân sách cho thời gian chờ đợi người điều hành sử dụng bảng giá Cloud Browser. Việc mở lại bản xem trước không làm reset thời gian phiên. Hướng dẫn Playwright rất hữu ích để thiết kế nhiệm vụ chỉ đọc tiếp theo, trong khi tổng quan quy trình CAPTCHA giải thích lý do tại sao các thách thức cần một ranh giới quy trình rõ ràng.
Làm thế nào để ngăn chặn các lỗi chuyển giao và rò rỉ dữ liệu?
Ngăn chặn lỗi chuyển giao bằng cách xác minh phiên gốc, thực thi một bộ điều khiển hoạt động duy nhất và chỉ giữ lại các chẩn đoán cần thiết cho nhiệm vụ đã được phê duyệt. Hướng dẫn quản lý phiên OWASP là liên quan vì quyền truy cập vào một trình duyệt đã xác thực là quyền truy cập vào trạng thái ứng dụng đang hoạt động của người dùng.
Triệu chứng
Nguyên nhân khả thi
Phản ứng
Kịch bản thấy trang đăng nhập
Phiên sai hoặc đăng nhập ứng dụng đã hết hạn
Quay lại người điều hành; xác minh phiên gốc và tài khoản
Nhiều tab trùng khớp
Quyền sở hữu trang không rõ ràng
Đóng một tab không cần thiết thủ công hoặc củng cố sự khớp ứng dụng cụ thể
Trang thay đổi trong khi kịch bản đang chạy
Con người và kịch bản đang hành động cùng nhau
Tạm dừng tự động hóa và thiết lập lại quyền sở hữu
Dấu hiệu tồn tại trong tài khoản sai
Kiểm tra độ sẵn sàng quá rộng
Khẳng định một định danh tài khoản/không gian làm việc ổn định, được phép
Trình duyệt kết thúc khi tạm dừng
Thời gian phiên đã hết
Bắt đầu một phiên được ủy quyền mới và lặp lại đăng nhập một cách có chủ ý
Mặt nạ đầu vào không ẩn các văn bản trang tùy ý, đầu ra console, dữ liệu mạng hoặc mọi trường của ứng dụng. Giữ URL và mã thông báo truy cập ra khỏi ảnh chụp màn hình và vé. Giới hạn thời gian ghi lại và quyền truy cập của người điều hành theo dữ liệu thực tế có mặt. Nếu bước tiếp theo thay đổi trạng thái bên ngoài, yêu cầu xem xét thích hợp của ứng dụng trước khi thực hiện.
Quy trình chuyển giao đầu tiên nên cung cấp gì?
Quy trình chuyển giao đầu tiên nên cung cấp một chuyển tiếp đã xác minh từ một tab thuộc về người điều hành sang một nhiệm vụ kịch bản được giới hạn. Giữ nguyên danh tính phiên gốc, xác nhận tài khoản dự định, và làm cho quyền sở hữu rõ ràng. Thêm các hành động bổ sung chỉ sau khi con đường chỉ đọc hoạt động dự đoán được trong các điều kiện hết thời gian, đăng nhập hết hạn, tab trùng lặp, và hủy bỏ của người điều hành.
Q: Người điều hành có thể đăng nhập qua trình duyệt máy tính để bàn thông thường của họ không?
Người điều hành phải đăng nhập trong phiên được quản lý mà kịch bản sẽ gắn kết. Một trình duyệt máy tính để bàn không liên quan có trạng thái riêng.
Q: Việc tạo một Cloud Browser mới có tái sử dụng đăng nhập cũ không?
Đừng giả định rằng một phiên mới thừa kế đăng nhập của phiên cũ. Quy trình này bảo tồn trạng thái bằng cách tái sử dụng cùng một phiên và tab đang chạy.
Q: Kịch bản có cần mật khẩu của người điều hành không?
Không. Người điều hành nhập thông tin xác thực thông qua ứng dụng được ủy quyền trong Chế độ xem trực tiếp. Kịch bản cần quyền truy cập vào phiên quản lý, không phải mật khẩu đã được sao chép vào mã nguồn của nó.
Q: Người đó có thể tiếp tục nhấp chuột trong khi kịch bản đang chạy không?
Kiểm soát đồng thời có thể thay đổi trạng thái trang một cách không thể đoán trước. Cung cấp quyền kiểm soát cho một diễn viên tại một thời điểm và xác thực lại trang khi quyền sở hữu thay đổi.
Q: Mặt nạ đầu vào có làm cho ghi âm an toàn để chia sẻ không?
Không. Văn bản trang và các chẩn đoán khác vẫn có thể chứa dữ liệu riêng tư. Xem lại nội dung thực tế đã được ghi lại và hạn chế quyền truy cập thay vì chỉ dựa vào các đầu vào đã được che mặt.
Q: Thì sao nếu ứng dụng từ chối đăng nhập hiện có?
Tạm dừng nhiệm vụ kịch bản và quay lại người điều hành được ủy quyền. Một trình duyệt đang chạy không vượt qua chính sách xác thực hoặc quyền truy cập của trang web.
Hãy để một người điều hành đăng nhập qua Live View trước khi một kịch bản xác minh cùng một tab ứng dụng. Định nghĩa quyền sở hữu, xác nhận tài khoản, ranh giới phê duyệt và dọn dẹp mà không nhúng mật khẩu vào quá trình tự động hóa.
Ivy Lin
Nov. 17th 2026
Khởi chạy trình duyệt đám mây theo nhu cầu
Xử lý dấu vân tay trình duyệt và CAPTCHA
Tự động hóa quy trình và hỗ trợ tác nhân AI
Từ thu thập dữ liệu web và kiểm thử đến tự động hóa bằng AI, vận hành tất cả trên đám mây.