Компания Alibaba выпустила Qwen-UI-Agent: инструмент, позволяющий моделям действительно использовать каждый экран

20 августа компания Alibaba Qwen выпустила Qwen-UI-Agent, базовую модель агента графического интерфейса пользователя (GUI), охватывающую телефоны, настольные компьютеры, веб-браузеры и глубокий поиск. Ее основная идея проста: понимать интерфейс, имитировать щелчки, ввод и жесты человека, и выполнять задачи. Большинство программ никогда не планировали открывать API, поэтому графический интерфейс пользователя является наиболее широко распространенным универсальным способом взаимодействия. Qwen-UI-Agent делает ставку на то, что экран рассматривается как самый большой интерфейс, универсальный исполнитель с одной моделью, охватывающей четыре среды.

Самая сложная основа для этой модели — реальные устройства, поскольку многие агенты с графическим интерфейсом обучаются в симуляторах и не справляются на реальных машинах. Alibaba создала мобильную среду с более чем 100 реальными телефонами и более чем 150 приложениями, обучая и оценивая модель на реальных устройствах, а также используя бенчмарк MobileWorld-Real, состоящий из 400 задач. На мобильных устройствах MobileWorld показал результат 82,1%, превзойдя GPT-5.6 Sol, Claude Opus 4.8 и Seed 2.1 Pro; MobileWorld-Real обогнал флагманские модели, включая Gemini 3.1 Pro; AndroidDaily достиг 97,5%. На настольных компьютерах OSWorld-Verified показал результат 79,5%, браузерный WebArena занял первое место с результатом 73,6%, а на OSWorld-v2 сократил количество шагов выполнения на 58%. Демонстрации показали поиск в Amap, сводки Xiaohongshu и бронирование DingTalk в пяти или шести приложениях.

Модель, которая нажимает на экраны, имеет более серьезную проблему безопасности, чем производительность. Qwen-UI-Agent проводит оценку безопасности на протяжении всего процесса выполнения задачи: при незаконных или рискованных запросах он ничего не делает, отказываясь и завершая работу, в то время как при выполнении конфиденциальных задач, таких как отправка красных конвертов, удаление файлов или авторизация конфиденциальности, он останавливается и ожидает подтверждения. Например, при отправке 500 юаней моей маме через Alipay он заполняет сумму и примечание, а затем останавливается на этапе оплаты для подтверждения. При отсутствии дат рейса или класса обслуживания он сначала запрашивает подтверждение.

Возможности взаимодействия разнообразны: помимо графического интерфейса, он может выполнять команды из командной строки, при этом действия в командной строке составляют почти половину действий на рабочем столе. В задаче из 170 шагов агент проверял финансовые данные, запускал аналитические скрипты, создавал документы в форматах Excel, PPT и Word, а также корректировал макет с помощью визуальных проверок, при этом графический интерфейс отвечал за поиск информации в интернете, а командная строка — за анализ. Обучение интенсивное: онлайн-обучение с подкреплением поддерживает траектории, превышающие 100 шагов, при работе примерно с 10 000 одновременных сред. Он также предлагает проактивное обслуживание: при уведомлении об отмене рейса он предлагает план перебронирования, а задачи передаются между телефоном и рабочим столом, например, чек из фотобиблиотеки перемещается в папку на рабочем столе, и генерируется сводка счета в формате Excel. Агент перестает ждать инструкций и начинает заботиться о вас.

Мир за пределами API намного шире, чем тот, что внутри них. Qwen-UI-Agent выбрал простой путь: не менять мир, а научиться использовать его таким, какой он есть, с публичным доступом к техническому отчету, странице проекта и коду. Для обычных пользователей реальный вопрос заключается в том, когда эти «руки» будут встроены в обычные телефонные голосовые помощники для выполнения тривиальных, сложных задач.

Источник: Pandaily