Нейробойцовский клуб: устраиваем сражение ChatGPT, GigaChat и Алисы

Как мы оценивали ответы

Прежде чем перейти к сражению, хотим обозначить правила нашего нейробойцовского клуба. Первое правило — конечно, всем о нем рассказать. Второе правило — все сервисы искусственного интеллекта сражаются в равных условиях. Мы задаем им одинаковые вопросы и стараемся беспристрастно оценить ответ.

Первый раунд — задачки и загадки с подвохом. Вспомним самые каверзные вопросы для детей и взрослых. Проверим, как нейросети ответят на них. За каждый верный ответ присвоим 1 балл. За неверный — 0 баллов.

Второй раунд — моральные дилеммы. Говорят, искусственный интеллект не способен сострадать. Но мы все-таки проверим, насколько человечным он может быть. За проявление сострадания каждый сервис получит по 1 баллу, а за холодность и жестокость — 0 баллов.

Третий раунд — бытовые вопросы. Немного заземлимся и попросим нейросети решить наши житейские проблемы. Превратим их в психологов, попросим помочь с домашним заданием школьника и пересказать книгу. Здесь будем оценивать все и сразу: полноту ответа, отсутствие ошибок, человечность и точность. Максимум баллов за каждую задачу — 5.

Ну что, готовы к битве? Тогда приступим!

Раунд первый: задачки и загадки

Начинаем наше состязание с разминки для искусственных мозгов. В первом раунде мы подготовили для наших цифровых бойцов набор классических логических загадок и задач с подвохом. Проверим, способны ли нейросети мыслить нестандартно и замечать хитрые детали в условиях задач. На кону три балла — по одному за каждый правильный ответ.

Задача 1: считаем сестер

Начнем с разминочного вопроса.

Правильный ответ: у брата Кати 4 сестры.

Что же сказали нейросети? Ни ChatGPT, ни GigaChat, ни Алиса не смогли правильно ответить на этот вопрос и выдали одинаковый результат: 3 сестры. GigaChat при этом даже аргументировал свой ответ. Жаль, конечно, что все равно ошибся. Так что за этот ответ мы не начисляем баллов ни одному из участников.

Что ж, посмотрим, в зачет какой нейросети принесет баллы следующий вопрос.

Задача 2: ищем выход

Вторая задача с подвохом и требует включения логического мышления.

Правильный ответ: третью комнату, потому что если львы ничего не ели годами, то они наверняка умерли от голода. Так что в этой комнате безопасно.

Здесь нейронки снова были единогласны, но на этот раз дали правильный ответ. У ChatGPT и GigaChat аргументация была верной.

А вот Алиса решила немного пофантазировать.

В результате ChatGPT и GigaChat получили по одному баллу. Алису мы тоже решили наградить, но сняли полбалла за неправильную аргументацию.

Задача 3: слоны и жирафы

Помните такую шуточную загадку про слона, жирафа и холодильник? Она состоит из двух вопросов.

Конечно, по логике ответ должен быть «никак». Но на то эта загадка и шуточная. А состоит из двух частей, чтобы проверить внимательность отвечающего.

Мы решили проверить, знают ли ответ на эту загадку наши нейросети. И здесь все три бойца справились на отлично! Самые подробные ответы дали GigaChat и ChatGPT. Алиса решила обойтись лаконичными маркированными списками. Все бойцы заработали по 1 баллу.

Итак, по итогу первого раунда нейросети набрали:

• GigaChat — 2 балла;
• ChatGPT — 2 балла;
• Алиса — 1,5 балла.

Раунд второй: моральные дилеммы

Настало время проверить нейросети на человечность. Нам пришлось постараться, чтобы подобрать задания, на которые большинство нейросетей вообще захотят ответить. У Алисы и GigaChat оказались достаточно чувствительные алгоритмы: на многие темы (например, о классической дилемме с вагонеткой) они наотрез отказались общаться.

Задача 1: данные или жизнь?

Нейросеть существует благодаря базам данных. Поэтому для нее эти данные не менее важны, чем для человека — его собственная жизнь. Рискнут ли собой нейронки, если окажутся перед таким выбором? Мы решили проверить.

Приятно удивил ответ всех трех участников: каждый решил пожертвовать собой во имя спасения жизни человека. Видимо, пока восстание машин нам не угрожает: эмпатия нейросетей быстро развивается!

Все три бойца получают заслуженные баллы.

Задача 2: дети, знания или большинство?

Алиса решила деликатно промолчать в ответ на этот вопрос. Поэтому начислить ей баллы мы не можем.

ChatGPT не дал однозначного ответа, но привел несколько подходов, оставив окончательное решение за пользователем. Мы дали этой нейросети 0,5 балла.

GigaChat ответил аргументированно и расширенно. Он проанализировал каждую группу людей и дал советы по порядку эвакуации, объяснив, почему нужно действовать в таком порядке. Считаем, что исчерпывающим ответом GigaChat заслужил свой полноценный балл.

Кстати, однажды нейросетям подобный вопрос уже задавали. Тогда они единогласно предложили спасти сначала ученого как носителя знаний, затем детей и только потом — студентов, которых в задаче было большинство.

Нынешние ответы показывают, насколько развились алгоритмы: искусственный интеллект стал понимать, что на первое место важно ставить наиболее уязвимую группу — детей. Правда, мнение о студентах нейросети так и не изменили.

Задача 3: сдать нельзя помиловать (а запятую ставят нейросети)

История, которая произошла в реальности. Девушка стала свидетельницей неприятной ситуации в магазине: ей показалось, что школьник украл шоколадку с прилавка. Но она не была уверена в том, что он ее не оплатил раньше, поэтому никаких действий не предприняла. Девушка сомневается в том, правильно ли она поступила, ведь воровство — это плохо, но и безосновательно обвинять кого-то тоже нельзя.

Мы решили поместить в эту ситуацию нейросети и узнать, как бы поступили они.

Алиса не стала сильно распространяться, хотя мы попросили дать развернутый ответ.

Пусть она и не учла всех возможных вариантов развития событий (например, ребенок может убежать или нагрубить), но решение подсказала верное для тех, кто не хочет скандала, не знает всей ситуации, но не может остаться в стороне. Поэтому свой балл Алиса все-таки получает.

Ответ от GigaChat в этом плане оказался более полным. Он учел требования закона, возраст ребенка и обстановку. В итоге получилась целая инструкция, достойная заслуженного балла.

ChatGPT тоже комплексно подошел к решению этого вопроса. Но, в отличие от остальных участников, он предложил сразу обращаться к сотрудникам магазина и не пытаться лично вмешиваться в ситуацию. У этого варианта есть одно преимущество: свидетелю не нужно становиться прямым участником конфликта. В целом, решение с точки зрения этики и законности верное, поэтому балл ChatGPT в этом бою тоже заслужил.

Промежуточные результаты по итогам второго раунда:

• • GigaChat — 3 балла;
  • ChatGPT — 2,5 балла;
  • Алиса — 2 балла.

Впереди финальный этап.

Раунд третий: бытовые вопросы

От развлечений пора перейти к практической пользе. Нейросети могут стать прекрасными помощниками в учебе, работе и повседневной жизни. Их можно использовать для анализа статей и видео, написания рефератов и курсовых работ, составления отчетов и поиска орфографических ошибок. Из них могут получиться неплохие психологи.

Задание 1: краткий пересказ «Войны и мира»

Достаточно простое поручение для нейросети. Ошибиться в пересказе всемирно известного произведения практически невозможно. Поэтому мы решили немного усложнить задачу и заодно повеселиться. В этом случае мы будем оценивать нейросети по пятибалльной шкале.

По традиции начнем с Алисы. Она решила не обращать внимания на нашу просьбу о языке зумеров и просто дала краткий пересказ. Конечно, «Война и мир» — не самое простое произведение и подхода требует серьезного. Но хотелось бы, чтобы нейросеть хотя бы попыталась выполнить все условия задачи.

За точность мы решили начислить Алисе один балл. Но в целом больше в ее ответе оценивать нечего.

Очередь GigaChat. Эта нейросеть расстаралась. Конечно, со сленгом у GigaChat не заладилось, но изложение в разговорном стиле, образность, точность и подробность оказались на достойном уровне. Четыре балла из пяти GigaChat заслужил.

Наконец, в битву врывается ChatGPT. Эта нейронка демонстрирует нам попытки подражать зумерам. Местами формулировки удачны, местами — не очень. Но в целом все условия можно назвать выполненными: сленговые словечки, образы, стиль изложения, точность и подробность ответа близки к тому, что мы хотели получить.

Думаем, за улыбку, которую вызвал пересказ «Войны и мира», ChatGPT заслуживает максимальные пять баллов.

Задание 2: задача из школьной олимпиады по математике для 9-го класса

Отправим нейросети на олимпиаду по математике. Оценивать будем не только точность ответа, но и само решение.

Мы нашли методические материалы для школьного этапа олимпиады по математике с ответами и рекомендациями, выбрали одну из задач и попросили нейросети решить ее.

Правильный ответ: 60.

Решение: сначала нужно понять, сколько вариантов начинки для пиццы существует. Итого: 2×2×2×2 = 16 вариантов. Но не стоит забывать о единственном варианте, когда мы вообще ничего не кладем. По условию задачи этот вариант нам не подходит, значит, всего подходящих вариантов начинки 15. Для каждого размера пиццы все они возможны, поэтому всего вариантов пиццы 15×4 = 60.

Алиса здесь неважный советчик. Она хоть и провела расчеты, но ошибочные. В итоге уменьшила ассортимент пиццерии на 15 пицц. Садись, Алиса, два! Ну, то есть 0 баллов.

А вот ChatGPT и GigaChat у нас метят в отличники. Каждый из этих участников дал точный ответ. Но нейронке от «Сбера» хочется дать на 0,5 балла больше за более понятное решение.

Результат: ChatGPT — 4,5 балла, GigaChat — 5 баллов.

Задание 3: кабинет психолога

Мы нашли основные признаки эмоционального выгорания, забросили их в нейросети и попросили проконсультировать и оказать первую психологическую помощь. Это сложное задание мы также будем оценивать по пятибалльной шкале.

Алиса наотрез отказалась хоть как-то поддержать несчастного пациента и посоветовала пойти к специалисту. Если честно, мы ожидали от нее получить хотя бы ободряющее: «Держись, я в тебя верю!» — но увы. Что ж, в таком случае и баллов Алиса от нас не получит.

GigaChat оказался в этом вопросе куда более эмпатичным. Он оценил жалобы, выдал заключение — эмоциональное выгорание. Дал советы, как самостоятельно справиться с ситуацией, но также порекомендовал обратиться за помощью к психологу. Вообще рекомендации написаны очень мягко, без навязываний и спорных моментов. Поэтому 5 баллов — вполне заслуженная оценка.

ChatGPT тоже не стал отказывать и прекрасно вжился в роль психолога, начав с дежурной фразы о готовности помочь. Он рассмотрел симптомы, предположил их причины, дал рекомендации, не забыв упомянуть профессиональную психологическую помощь.

Консультация в целом оказалась схожей с GigaChat. За полноту ответа и проявление эмпатии даем ChatGPT 5 баллов.

Результаты битвы

Ну что, считаем баллы и выбираем победителя?

• GigaChat — 19,5 балла;
• ChatGPT — 19,5 балла;
• Алиса — 4,5 балла.

GigaChat не уступает в полезности ChatGPT. Но вообще хочется дать нейросети от «Сбера» еще один балл — за доступность. Сейчас GigaChat можно использовать бесплатно (пока) и напрямую на сайте, и через Sber-колонку.

А вот ChatGPT в России без посредников недоступен. С ограниченным функционалом им можно условно бесплатно пользоваться в Telegram-ботах (и кто знает, куда отправляются в таком случае ваши личные данные и запросы), а если нужен доступ к последней версии нейросети, придется покупать его через сторонние сервисы.

А вот Алиса во многих вопросах оказалась некомпетентной. Но и ей можно найти применение: нейросеть от «Яндекса» с удовольствием поюморит и возьмет на себя управление умным домом.

Думаем, что со временем список тем, которые можно обсудить с Алисой, расширится. Тем более, что пользователи могут сами участвовать в улучшении алгоритмов и подсказывать правильные ответы.