Google представила Android Bench 2 для проверки ИИ-разработчиков

Новый бенчмарк Google проверяет, насколько хорошо ИИ-модели справляются с разработкой Android-приложений. Рассказываю.

В обновленном бенчмарке стало больше сложных задач, выполнение которых у человека может занимать несколько дней.

Главное изменение касается системы Pass Rate — показателя того, насколько успешно модель справилась с заданием. Теперь результат оценивается сразу по нескольким параметрам, включая работоспособность созданного приложения.

ИИ может получить некоторое количество баллов, даже если решил задачу не полностью. Напомню, что в первой версии Android Bench система была бинарной: задание либо считалось выполненным, либо нет, и тогда модель не получала за него ни одного балла.

Google также показала результаты современных моделей в Android Bench 2. Согласно опубликованному рейтингу, GPT-6 Astra набрала 28% Pass Rate, следом расположились Claude Fable 5.1 и GPT-5.6 Sol.