Google представила Android Bench 2 для проверки ИИ-разработчиков
Новый бенчмарк Google проверяет, насколько хорошо ИИ-модели справляются с разработкой Android-приложений. Рассказываю.
В обновленном бенчмарке стало больше сложных задач, выполнение которых у человека может занимать несколько дней.
Главное изменение касается системы Pass Rate — показателя того, насколько успешно модель справилась с заданием. Теперь результат оценивается сразу по нескольким параметрам, включая работоспособность созданного приложения.
ИИ может получить некоторое количество баллов, даже если решил задачу не полностью. Напомню, что в первой версии Android Bench система была бинарной: задание либо считалось выполненным, либо нет, и тогда модель не получала за него ни одного балла.
Google также показала результаты современных моделей в Android Bench 2. Согласно опубликованному рейтингу, GPT-6 Astra набрала 28% Pass Rate, следом расположились Claude Fable 5.1 и GPT-5.6 Sol.
Понравилась статья?
Теги статьи
Похожие статьи
Нам нравится, что вам нравится
Уверены, вы можете не хуже! Напишите статью и получите Бонусы.
Спасибо, что вам есть что сказать
Попробуйте расширить свою мысль и написать статью — и получите за это Бонусы.
Комментарии
Авторизуйтесь, чтобы иметь возможность писать комментарии:
Войти