Computer use: как автоматизировать браузер через LLM
Computer use автоматизирует браузер через цикл «снимок экрана, решение, действие, новый снимок». Модель не получает волшебный доступ к сайту. Ей передают изображение состояния и разрешённые примитивы: клик, ввод, прокрутку, клавишу. Это подходит для узких процессов, где нет API, но требует куда более жёсткой изоляции, чем обычный HTTP-вызов.
Коротко
Браузерный агент работает в одноразовой песочнице, а не на рабочем компьютере.
У каждой задачи есть разрешённые домены, максимум шагов, дедлайн и проверка результата.
Если у системы есть стабильный API, используйте API. Экранный цикл оставьте для последнего километра.
Как устроен цикл browser automation?
Харнесс открывает браузер в изолированной среде и делает снимок. Модель получает снимок, цель и историю уже выполненных действий. В ответ она выбирает действие. Харнесс проверяет, разрешено ли оно, выполняет его, ждёт обновления страницы и повторяет цикл.
получить свежий снимок
передать модели цель и разрешённые действия
проверить выбранное действие по policy
выполнить действие в песочнице
сохранить снимок, действие и результат
остановиться при успехе, отказе или лимитеВажная часть здесь, проверка действия между моделью и браузером. Модель не должна сама решать, можно ли открыть новый домен, скачать файл, нажать «Оплатить» или удалить запись. Эти правила применяет код харнесса.
Когда браузерный агент оправдан?
Такой подход имеет смысл для внутренней системы без поддерживаемого API, однообразной проверки интерфейса или прототипа нового процесса. Даже там задачу стоит разбить на маленькие завершённые шаги: открыть карточку, прочитать статус, сохранить черновик, передать на подтверждение.
Не выбирайте browser automation для высоконагруженного пути, массовой обработки, операций с деньгами или действия, которое нельзя отменить. Один экранный шаг медленнее прямого запроса и зависит от рендеринга страницы. API даёт чёткий контракт, понятные ошибки и узкие права доступа.
Если у Relay появится поддержка нужного формата computer use для конкретной модели, это всё равно требует отдельной проверки по каталогу и тестов на ключе. В этой статье нет обещания такой поддержки. Для общего текстового взаимодействия смотрите Messages API, а выбранную модель всегда сверяйте в каталоге.
Какие границы доступа нужны песочнице?
Запускайте каждый сеанс в новом контейнере или отдельной временной машине. У процесса один браузерный профиль, пустое хранилище, короткое время жизни и минимальная сеть. После завершения среда уничтожается вместе с cookies, загрузками и временными файлами.
Список разрешённых доменов лучше задать заранее. Вход на новый домен, появление капчи, запрос одноразового кода или любая страница с платёжным подтверждением, это стоп-сигнал. Агент сохраняет текущий снимок и передаёт задачу человеку. Обход защитных механизмов не относится к нормальной автоматизации.
Не передавайте агенту пароли в тексте цели. Для тестового сценария применяйте отдельную учётную запись с минимальными правами. Внешние данные на странице рассматривайте как недоверенный ввод: текст в баннере или документе не должен менять системные правила агента.
Сделайте результат проверяемым
Нажатие кнопки не доказывает успех. После каждого важного действия харнесс проверяет наблюдаемый результат: появился ли номер черновика, изменился ли статус, скачался ли разрешённый файл, показана ли конкретная ошибка. Проверка лучше детерминированная. Если её нельзя написать, оставьте финальное решение человеку.
Записывайте трассу: время, снимок до действия, выбранную команду, результат проверки и причину остановки. Трасса нужна не для слежки за моделью, а для разбора сбоя. Без неё невозможно понять, агент неверно прочитал экран, страница не успела загрузиться или policy запретила опасный шаг.
Пример условий остановки:
задача достигла проверяемого результата;
агент повторил одно действие или не получил нового экрана;
истёк дедлайн либо исчерпан максимум шагов;
страница требует подтверждения человека, капчу или новый домен;
policy отклонила действие.
Каждый исход виден в отчёте. Статус «готово» допустим только после проверки результата, а не после финального ответа модели.
Как уменьшить флаки
Большинство сбоев происходят на границе между действием и обновлением интерфейса. Ждите понятного события страницы, а не фиксированную паузу. Делайте свежий снимок после навигации. Не ориентируйтесь на абсолютные координаты, если можно проверить доступный элемент или текст. И не заставляйте агента одновременно искать, сравнивать и редактировать длинную таблицу.
Добавьте повтор лишь для безопасного действия с понятной причиной. Повтор клика по «отправить» способен создать дубликат. Повтор чтения карточки после таймаута обычно безопаснее. Различие задаёт policy, а не подсказка модели.
Для вызовов LLM в харнессе используйте отдельный ключ. Его срок, лимиты и разрешённые модели настраиваются в кабинете ключей. Сохраняйте идентификатор запроса и время, чтобы при ошибке сопоставить запуск с записью в журнале. Правила ограниченного повтора API есть в справочнике ошибок. Для выбора цикла действий пригодится статья про паттерны агентов.
Computer use помогает там, где интерфейс остаётся единственным путём. Надёжность появляется не из способности модели «видеть», а из песочницы, предохранителей и готовности остановить задачу до опасного действия.
Сеть, cookies и загрузки
Пустой браузерный профиль на каждый запуск защищает от случайного доступа к чужим сессиям. Если задаче нужна авторизация, выдайте временную учётную запись с минимальными правами. Не переносите cookies из браузера сотрудника и не сохраняйте профиль после завершения работы.
Скачивание файлов тоже требует policy. Разрешите только ожидаемый тип, ограничьте размер и поместите результат в отдельное временное хранилище. Перед дальнейшей обработкой проверьте имя, тип и содержимое. Ссылка из страницы может вести на неожиданный файл, даже если агент выбрал её по правильному тексту.
Исходящие запросы браузера ограничьте списком доменов. Если после действия открылась новая страница, харнесс останавливает цикл до проверки. Это защищает от редиректа и от текста на странице, который пытается заставить агента изменить цель.
Проверяйте сценарий без модели
До подключения LLM пройдите целевой путь обычным автоматизированным тестом. Так вы узнаете, какие события страницы и результаты можно проверить детерминированно. Затем дайте модели только тот участок, где селекторы ненадёжны или решение зависит от видимого состояния.
Если простой тест справляется, оставьте его. Браузерный агент нужен для неоднозначного экрана, а не как замена каждому click. Такое разделение уменьшает число ходов и делает отладку заметно проще.
Для первого внедрения выберите безвредный сценарий чтения: найти статус, сверить поле, подготовить черновик. Не начинайте с отправки формы, удаления записи или изменения доступа. После нескольких сохранённых трасс станет видно, где модель ошибается и какие проверки можно сделать строже.
Можно ли запускать browser automation на рабочем компьютере сотрудника?
Не стоит. Агент увидит личные сессии, файлы и уведомления, а ошибка затронет реальную среду. Используйте одноразовый изолированный браузер и отдельную тестовую учётную запись. Для каждого сценария заранее определите разрешённые домены, папку загрузок и действия, которые требуют подтверждения человека.
Как проверить, что задача действительно выполнена?
Определите наблюдаемый результат до запуска: статус, номер созданного черновика, разрешённый файл или ответ API. После действия проверьте этот результат отдельным шагом. Финальная фраза модели не служит подтверждением. Сохраните скриншот, лог или запись проверки, если результат потом понадобится ревьюеру.
Нужна ли поддержка computer use конкретной моделью в Relay?
Перед продуктовым сценарием это нужно подтвердить на выбранной модели и ключе. В этой статье такой факт не заявляется. Пока подтверждения нет, используйте материал как описание границ браузерной автоматизации, а не как руководство к запуску через конкретный API.