Автоматизация браузера с участием человека: от ручного входа к работе скрипта
TL;DR
Автоматизация браузера с человеком в процессе позволяет человеку и скрипту работать в одной и той же сессии браузера с явной передачей управления.
Человек может войти через Live View, не вводя пароль в автоматизируемый скрипт.
Скрипт должен подключаться к оригинальной сессии и выбирать существующую вкладку приложения; новая сессия не наследует этот вход.
Сигнал возобновления означает, что человек завершил свой шаг, в то время как утверждение страницы проверяет, что ожидаемое состояние приложения действительно присутствует.
Только один участник должен вести навигацию или изменять страницу в одно время, а чувствительные действия требуют собственного согласия приложения.
Записи и логи могут содержать личные данные страницы, даже если включено маскирование ввода.
Что такое автоматизация браузера с человеком в процессе?
Автоматизация браузера с человеком в процессе сочетает в себе сценарное взаимодействие с браузером и осознанную паузу для завершения шага или принятия решения человеком. Общий пример – это ручной вход, за которым следует задача только для чтения в том же браузере. Ценность заключается в сохранении работающего состояния приложения при изменении того, кто управляет страницей.
Nstdata Cloud Browser предоставляет управляемые облачные браузеры для автоматизации браузера и ИИ-агентов, включая интерактивный предварительный просмотр браузера и подключение CDP. Оператор может войти через предварительный просмотр, а затем позволить клиенту Playwright проверить существующую вкладку. Клиенту не нужен пароль оператора в исходном коде. Однако ему все равно нужен авторизованный доступ к сессии, и он должен подтвердить, какую учетную запись и рабочее пространство он получил.
В введении к Cloud Browser описана модель общей сессии. Этот пошаговый процесс реализует узкую проверку принятия: найти ровно одну утвержденную вкладку приложения и подтвердить ее аутентифицированный маркер. Он не экспортирует куки, не автоматизирует задачу входа и не отправляет значимое действие.
Когда следует добавить передачу управления человеку?
Добавьте передачу управления человеком, когда человеку необходимо предоставить идентичность, контекст или согласие, которые автоматизация не должна выводить. Ручной вход – это один случай; подтверждение рабочего пространства, разрешение неоднозначной записи или просмотр черновика перед отправкой – другие. Определите границу передачи управления перед написанием селекторов.
Например, оператор службы поддержки может открыть разрешенное тестовое рабочее пространство, войти в систему и позволить скрипту проверить, что панель инструментов загружена. Аналитик может выбрать авторизованную учетную запись перед шагом отчета только для чтения. Инженер по качеству может предоставить тестовый ввод проверки перед продолжением рабочего процесса в стадии. Эти задачи имеют разные требования к одобрению, даже когда они используют одну и ту же сессию браузера.
Не заставляйте "человек завершил вход" означать "скрипт может выполнять все доступные действия учетной записи". Передача управления должна указывать на разрешенную следующую задачу. Аутентификация учетной записи и разрешение на отправку, покупку, удаление или раскрытие данных – это отдельные решения. Блокированная или незнакомая страница должна вернуться к оператору, а не провоцировать импровизированные попытки обойти контроль доступа.
Как общая сессия браузера сохраняет состояние?
Общий запущенный браузер сохраняет вкладки и контекст браузера, в котором оператор завершил вход. Подключение CDP достигает этого браузера, а не воспроизводит вход в другом процессе. API соединения Playwright CDP открывает существующий контекст по умолчанию, поэтому выбор правильной сессии имеет значение.
Новый созданный контекст имеет другую семантику изоляции и не следует предполагать, что он содержит этот вход. Справка по BrowserContext описывает изоляцию контекста. Точно так же newPage() полезен для теста открытой страницы, но не выбирает точно ту вкладку, в которую человек вошел.
Веб-сайт может аннулировать аутентификацию, пока браузер остается готовым. Повторные подключения также могут происходить после того, как оператор сменил учетные записи или ушел с текущей страницы. Поэтому проверяйте текущее состояние страницы каждый раз, когда меняется владение. Стабильный идентификатор учетной записи/рабочего пространства является более надежным доказательством, чем общее приветственное заглавие.
Что необходимо подготовить перед передачей управления?
Подготовьте авторизованную тестовую учетную запись, известный URL приложения, уникальный селектор готовности и именованного владельца для окончательного завершения работы браузера. Используйте учетную запись стадии с ограниченными правами для вашей первой реализации. Получите ключ бизнес-API Nstdata из Settings → Account или ключ члена команды из Members.
Установка
Значение
NSTDATA_API_KEY
Бизнес-ключ для поиска сессии и выдачи учетных данных CDP
NSTDATA_TEAM_ID
Необязательный выбор присоединенной команды для личного ключа
NSTDATA_SESSION_ID
Точная сессия, в которой оператор входит в систему
APP_URL
Ожидаемое происхождение и путь приложения после входа
READY_SELECTOR
Стабильный селектор, видимый только в предназначенном аутентифицированном представлении
Ownership rule
Человек завершает, скрипт проверяет, затем скрипт выполняет свое разрешенное задание
Выберите READY_SELECTOR из вашего приложения, например, тестовый атрибут, представляющий ожидаемое рабочее пространство. Это имя является контрактом приложения, а не встроенным селектором Nstdata. Используйте селектор, отсутствие которого приводит к неудаче задания, а не позволяете скрипту продолжать на неопределенной странице.
Выбор страницы одной сессии и поведение отсоединения ниже выполнялись на изолированном локальном объекте. Управляемая выдача учетных данных и вход на реальный сайт требуют вашей авторизованной учетной записи и не были протестированы в реальном времени. Объект подтверждает сохранение существующей вкладки; он не подтверждает рабочий процесс идентификации в производстве.
Как передать сессию с ручной авторизацией Playwright?
Передайте сессию Playwright, завершив вход в Live View, остановив ручное взаимодействие и подключив клиент, который находит и проверяет существующую вкладку. Следуйте текущему Руководству по автоматизации браузера для панели и потока учетных данных.
Шаг 1: Запустите предполагаемую сессию
Откройте Cloud Browser → Playground, выберите ваше рабочее пространство, настройте сессию и нажмите Launch Browser. Подождите, пока появится Running и интерактивный предварительный просмотр. Дайте сессии имя, которое ваш оператор сможет отличать от нерелевантной работы.
Держите запись отключенной для первой демонстрации входа, если ваша организация не одобрила то, что она захватывает. Если запись необходима, включите ее перед запуском и проверьте маскировку ввода и доступ к записанным данным страницы.
Шаг 2: Войдите вручную через предварительный просмотр
Перейдите к удаленному браузеру вашего авторизованного приложения и завершите вход там. Это должно происходить внутри Browser Preview или его Live URL для той же сессии. Вход через нерелевантную вкладку Chrome на рабочем столе не аутентифицирует этот управляемый браузер.
[Скриншот: Подписанный вид авторизованного тестового приложения внутри Предварительного просмотра браузера; скройте идентификаторы учетной записи и все подписанные доступные URL.]
Держите Живые URL приватными, так как они содержат краткосрочные учетные данные доступа. Если предварительный просмотр отключается, повторно откройте существующую сессию после подтверждения, что она все еще работает. Не создавайте заменяющий браузер только для обновления просмотра.
Шаг 3: Пометьте передачу как готовую
Сообщите владельцу автоматизации, что ручная работа завершена, и остановите щелчки или ввод в этой сессии. Для одного разработчика это может быть явное подтверждение оператора перед запуском скрипта. Производственная система должна сохранять ограниченное ожидание человека и возобновляться только при совпадающей задаче.
Сигнал предоставляет скрипту возможность проверить состояние, а не разрешение пропустить проверки. Запишите ID задания, ID сессии, разрешенное задание и решение оператора в вашем приложении. Не размещайте учетные данные или полные Живые URL в этой записи.
Шаг 4: Установите клиент браузера
Создайте проект Node.js и установите версию, использованную ниже. Node.js 22.12 или выше является базовой версией для сопутствующего API-помощника.
mkdir browser-handoff-demo
cd browser-handoff-demo
npm init -ynpminstall --save-exact playwright-core@1.65.1
Шаг 5: Сохраните помощник подключения
Сохраните этот модуль как cloud-api.mjs. Помощник требует готовую сессию и выдает краткосрочные учетные данные для этой конкретной сессии. Он никогда не подставляет бизнес-ключ напрямую в аутентификацию CDP.
Предварительное требование к учетным данным: эта ветка требует вашего ключа Nstdata и ID оригинальной работающей сессии. Не устанавливайте LOCAL_CDP_URL при подключении к управляемому браузеру.
const root ='https://api.nstdata.io/api/v1/cloud-browser';exportasyncfunctionapi(method, path, body){const key = process.env.NSTDATA_API_KEY;if(!key)thrownewError('Set NSTDATA_API_KEY');const headers ={'x-api-key': key };if(process.env.NSTDATA_TEAM_ID) headers['x-team-id']= process.env.NSTDATA_TEAM_ID;if(body) headers['content-type']='application/json';let response;try{ response =awaitfetch(root + path,{ method, headers,redirect:'error',body: body ?JSON.stringify(body):undefined,signal:AbortSignal.timeout(20_000),});}catch{throwObject.assign(newError('API transport failed; reconcile the original operation'),{retryable:true});}const retryable = response.status===429|| response.status>=500;let result;try{ result =await response.json();}catch{throwObject.assign(newError('Invalid API JSON'),{ retryable });}if(!response.ok|| result.err===true|| result.success===false){throwObject.assign(newError(`Cloud Browser API HTTP ${response.status}`),{ retryable });}if(!result.data)thrownewError('Missing API data');return result.data;}exportasyncfunctionconnection(id){if(!id)thrownewError('Set NSTDATA_SESSION_ID');const path =`/sessions/${encodeURIComponent(id)}`;const session =awaitapi('GET', path);if(session.state!=='ready')thrownewError(`Session is ${session.state}, not ready`);const c =awaitapi('POST', path +'/automation-credentials');if(c.sessionId!== id ||!c.headerName||!c.accessToken||!(Date.parse(c.expiresAt)>Date.now())||newURL(c.cdpUrl).protocol!=='wss:'){thrownewError('Invalid or expired CDP credentials');}return{endpoint: c.cdpUrl,headers:{[c.headerName]: c.headerName.toLowerCase()==='authorization'?`Bearer ${c.accessToken}`: c.accessToken},};}exportasyncfunctionendpoint(){// An isolated local CDP endpoint can test the client without managed credentials.if(process.env.LOCAL_CDP_URL){const url =newURL(process.env.LOCAL_CDP_URL);if(!['127.0.0.1','localhost','[::1]'].includes(url.hostname)){thrownewError('LOCAL_CDP_URL must use loopback');}return{endpoint: url.href,headers:{}};}returnconnection(process.env.NSTDATA_SESSION_ID);}
Шаг 6: Сохранить проверяющее устройство передачи
Сохраните скрипт как handoff.mjs. Он соответствует настроенному источнику и пути, отклоняет несколько кандидатов и ожидает ожидаемый аутентифицированный маркер без навигации по вкладке. Код намеренно не выполняет никаких отправок форм.
Предварительное условие учетных данных: управляемое выполнение требует ключа и сессии из Шага 5, а также URL вашего приложения и селектора. Выбор вкладки с той же сессией был проверен локально с синтетическим аутентифицированным маркером.
import{ chromium }from'playwright-core';import{ endpoint }from'./cloud-api.mjs';asyncfunctionmain(){const target =newURL(process.env.APP_URL);if(!process.env.READY_SELECTOR)thrownewError('Set READY_SELECTOR for your authorized app');const config =awaitendpoint();const browser =await chromium.connectOverCDP(config.endpoint,{headers: config.headers});try{const candidates = browser.contexts().flatMap(context=> context.pages()).filter(page=>{try{const url =newURL(page.url());return url.origin=== target.origin&& url.pathname=== target.pathname;}catch{returnfalse;}});if(candidates.length!==1)thrownewError('Expected exactly one matching application tab');const page = candidates[0];await page.locator(process.env.READY_SELECTOR).waitFor({state:'visible',timeout:15_000});console.log(JSON.stringify({sessionMatched:true,authenticatedMarkerVisible:true,title:await page.title()}));// Add an approved read-only task here after checking the account/workspace marker.}finally{await browser.close();}}main().catch(()=>{console.error("Browser task failed; inspect private diagnostics and the original session."); process.exitCode=1;});
Шаг 7: Подтвердить состояние выбранного приложения
Создайте закрытый файл .env, содержащий NSTDATA_API_KEY, NSTDATA_SESSION_ID, APP_URL, и READY_SELECTOR, с не обязательным NSTDATA_TEAM_ID. Храните его вне системы контроля версий, затем запустите проверяющее устройство.
node --env-file=.env handoff.mjs
Успех сообщает sessionMatched: true и authenticatedMarkerVisible: true. Прежде чем добавлять реальную задачу, расширьте проверяющее устройство, чтобы подтвердить ожидаемый маркер учетной записи/рабочего пространства. Проверьте вывод заголовка перед его сохранением, так как заголовки в продакшене могут содержать частные идентификаторы. Одного общего маркера в системе не хватает, чтобы различить две авторизованные учетные записи.
Шаг 8: Завершите или явно верните право собственности на сессию
После одобренной задачи либо верните все еще работающую сессию ее оператору, либо нажмите Stop Browser и подтвердите завершение. Этот пример освобождает Playwright, но сохраняет существующую страницу. Владелец сессии остается ответственным за завершение работы и ее продолжающее использование.
Как облачный браузер поддерживает контролируемую передачу?
Nstdata Cloud Browser поддерживает передачу, позволяя человеку и автоматизированному клиенту достигать одного и того же работающего браузера. Живой просмотр предоставляет оператору видимое место для завершения ручной работы. Присоединение CDP позволяет существующему коду Playwright или Puppeteer продолжать работу с этим браузером. Поиск сессии отделяет все еще работающий ресурс от истекшего. Ваше приложение остается ответственным за владение контролем, одобрение, проверки учетной записи и принятый вывод.
Интерактивный живой просмотр: завершите авторизованный шаг вручную, не встраивая пароль в пример скрипта.
Общая сессия CDP: выберите существующую вкладку приложения, вместо того чтобы воссоздавать состояние его входа в другой браузер.
Конфигурация сессии и встроенный прокси: запускайте с предполагаемыми сетевыми настройками до передачи, не добавляя второго уровня прокси к клиенту.
Доступная диагностика: проверьте выбранную страницу, когда ожидаемый маркер отсутствует, вместо того чтобы предполагать, что человеческий шаг прошел успешно.
Бюджет на время, проведенное в ожидании оператора, с использованием цен на Cloud Browser. Повторное открытие предварительного просмотра не сбрасывает длительность сеанса. Урок по Playwright полезен для проектирования следующей задачи только для чтения, в то время как обзор рабочего процесса CAPTCHA объясняет, почему для вызовов необходимо явное разделение рабочего процесса.
Как предотвратить неудачи передачи и утечку данных?
Предотвратите неудачи передачи, проверяя оригинальный сеанс, enforcing один активный контроллер и сохраняя только диагностику, необходимую для утвержденной задачи. Руководство OWASP по управлению сеансами актуально, поскольку доступ к аутентифицированному браузеру — это доступ к активному состоянию приложения пользователя.
Симптом
Вероятная причина
Ответ
Скрипт видит страницу входа
Неправильный сеанс или истекший вход в приложение
Вернуться к оператору; проверить оригинальный сеанс и учетную запись
Несколько подходящих вкладок
Неоднозначное владение страницей
Закройте ненужную вкладку вручную или укрепите соответствие, специфичное для приложения
Страница меняется во время выполнения скрипта
Человек и скрипт действуют вместе
Приостановите автоматизацию и восстановите право собственности
Маркер существует в неправильной учетной записи
Проверка готовности слишком широка
Подтвердите стабильный, разрешенный идентификатор учетной записи/рабочего пространства
Браузер завершился во время паузы
Время жизни сеанса истекло
Начните новый авторизованный сеанс и повторите вход намеренно
Маскирование ввода не скрывает произвольный текст страницы, вывод в консоль, сетевые данные или каждое поле приложения. Держите URL-адреса и токены вне скриншотов и заявок. Ограничьте срок хранения записей и доступ операторов в зависимости от фактически присутствующих данных. Если следующий шаг изменяет внешнее состояние, требуется соответствующий обзор приложения перед его выполнением.
Что должен обеспечивать первый рабочий процесс с передачей управления?
Первый рабочий процесс передачи должен обеспечивать проверенный переход от вкладки, принадлежащей оператору, к одной ограниченной задаче скрипта. Сохраните оригинальную идентичность сеанса, подтвердите предполагаемую учетную запись и сделайте остановку права собственности явной. Добавляйте дополнительные действия только после того, как путь только для чтения ведет себя предсказуемо в условиях таймаута, истекшего входа, дубликата вкладки и отмены оператором.
Q: Может ли оператор войти через свой обычный настольный браузер?
Оператор должен войти в управляемый сеанс, к которому будет прикреплен скрипт. Неподключенный настольный браузер имеет отдельное состояние.
Q: Повторное создание нового Cloud Browser использует ли старый вход?
Не предполагайте, что новый сеанс наследует вход старого сеанса. Этот рабочий процесс сохраняет состояние, повторно используя один и тот же запущенный сеанс и вкладку.
Q: Нужен ли скрипту пароль оператора?
Нет. Оператор вводит учетные данные через авторизованное приложение в режиме Live View. Скрипт нуждается в разрешении на доступ к управляемому сеансу, а не в пароле, скопированном в его исходный код.
Q: Может ли человек продолжать нажимать, пока работает скрипт?
Совместное управление может непредсказуемо изменять состояние страницы. Дайте одному актору контроль за один раз и повторно проверьте страницу при изменении права собственности.
Q: Делает ли маскирование ввода запись безопасной для обмена?
Нет. Текст страницы и другие диагностические данные могут все еще содержать частные данные. Просмотрите фактически захваченное содержимое и ограничьте доступ, а не полагайтесь исключительно на замаскированные вводы.
Q: Что делать, если приложение отклоняет существующий вход?
Приостановите сценарную задачу и вернитесь к авторизованному оператору. Запущенный браузер не отменяет аутентификацию или политики доступа сайта.
Пусть оператор войдет через Live View, прежде чем скрипт проверит ту же вкладку приложения. Определите принадлежность, утверждения учетной записи, границы одобрения и очистку, не встраивая пароль в автоматизацию.
Ivy Lin
Nov. 17th 2026
Запускайте облачные браузеры по запросу
Работайте с отпечатками браузера и CAPTCHA
Автоматизируйте процессы и расширяйте возможности ИИ-агентов
От сбора веб-данных и тестирования до автоматизации с ИИ — запускайте всё в облаке.