Просишь нейросеть пересказать сюжет мультика — и она уверенно описывает то, чего там никогда не было. Спрашиваешь про редкий термин — получаешь объяснение с вымышленными фактами. Даешь перевести иноязычный текст с фотографии — и, сверившись с носителем, выясняешь, что полученная от ИИ фраза выдумана от первого слова до последнего. Почему так происходит? Проведем эксперимент и разберемся в проблеме с экспертом «Яндекса» по обучению, совладельцем Группы компаний «Медиасфера», преподавателем и автором тренингов по digital-маркетингу Тимуром Угулава.
В этой статье мы выведем нейросеть на чистую воду и выявим «ложь», задав ей пару каверзных вопросов, а также разберемся, почему нейросети «галлюцинируют», что мешает им честно признаться в некомпетентности и как с этим бороться. Просто о сложном рассказывает Тимур Угулава и объясняет механизм «вранья».
Может показаться, что нейросеть нарочно выдумывает ответ, когда не знает, что сказать. Но все не так просто. Например, если спросить нейросеть, кто нарисовал «Звездную ночь», она правильно ответит — Винсент Ван Гог. Но если задать редкий или выдуманный вопрос вроде «Кто озвучивал помощника злодея в мультфильме „Щенячий патруль“?», модель может сгенерировать правдоподобное, но полностью вымышленное имя — потому что ей «кажется», что такой ответ подходит по контексту.
В самом вопросе есть ошибка — нейросети ничего не придумывают (если под «придумывают» понимать осознанное творческое мышление). И это важно подчеркнуть. Нейросети — это не искусственный интеллект в классическом понимании. Они работают с теми данными, которые в них заложены. Их очень много, и нейросеть подбирает, по ее мнению, наиболее подходящий ответ. Иногда этот ответ не является истиной, но нейросеть верифицировать его не может. Чтобы она проверила факт, нужно дать специальную команду: провести фактчекинг и сослаться на источники. Но только если есть доступ к источникам.
Все зависит от контекста: на основе чего формируется ответ, какая модель используется. Есть, например, RAG-модели (Retrieval-Augmented Generation — генерация, дополненная поиском), которые опираются на внешние источники и поэтому менее склонны к галлюцинациям, чем чисто языковые модели. Один из ярких примеров — Google NotebookLM. Эта нейронка выдает минимально искаженную информацию (искажения все равно возможны, например, из-за ошибок в источниках или некорректной интеграции), потому что использует те данные, которые загружены напрямую и поддаются верификации.
Так что нейросеть не врет — она просто подбирает наиболее возможный ответ по своей модели вероятности. Нейросеть не мыслит как человек, она просто математически считает, какой ответ, вероятнее всего, верный.
Хотя в ходе нашего эксперимента, о котором поговорим далее, нейросеть и говорила, что не знает ответа на какой-то вопрос, чаще всего она пыталась сгенерировать хоть что-то похожее на правду. Но если вы научите ее признаваться в том, что она не может найти нужную информацию, то, скорее всего, в другом чате нейронка опять попробует «обмануть».
Нейросеть не может просто сказать: «Не знаю», потому что ее задача — выдать наиболее вероятный ответ. Но это «наиболее вероятный» в статистическом смысле, а не всегда в смысле фактической правильности. Иногда наибольшую вероятность получает как раз неверная, но популярная фраза. Даже если нейронка «не уверена», она все равно чаще всего выберет что-то, что кажется ей подходящим. Но если модель научить, то она будет с большей легкостью признаваться в своем незнании. Например, только что вышедший ChatGPT-5 умеет это делать.
На глаз — никак. Ответ может звучать уверенно, быть грамотно сформулированным и даже содержать ссылки на несуществующие исследования, но при этом оказаться полностью вымышленным. Нейросеть не отличает правду от лжи, она просто строит наиболее вероятный по статистике текст.
Только фактчекинг. Есть, например, инструменты вроде Perplexity. Они не просто выдают ответы — они показывают ссылки на источники. Это позволяет человеку самому перейти по ссылкам и проверить, насколько информация верна.
Но стоит оговориться, что иногда модель сама может ссылаться на источники, если обучена в RAG-парадигме или специально интегрирована с поиском. Однако даже тогда ссылка может быть некорректной (подставленный или неверный URL), поэтому ручная проверка всегда необходима.
Фактчекинг — это проверка информации по внешним надежным источникам. Не просто прочитать и поверить, а сопоставить с тем, что написано в энциклопедии, на официальном сайте, в научной статье или авторитетном СМИ. Иногда достаточно вбить ключевое утверждение в поиск, чтобы понять, есть ли ему подтверждение. В более сложных случаях надо обратиться к профильной литературе или экспертам.
Пример из практики: я как-то искал, что означает топоним «Остров» в Калининграде. Нейросеть уверенно заявила, что это остров Канта, и даже привела источник. Но, будучи человеком дотошным, я решил проверить. Оказалось, в указанной статье такого тезиса просто нет. Я попросил нейросеть уточнить этот момент, и она со второй попытки признала ошибку. Когда я пошел по ссылкам, стало ясно: она просто неверно поняла контекст. Такое бывает. Поэтому наличие источников критически важно. Можно устраивать перекрестный фактчекинг у двух и более нейросетей — это занимает пару минут, но вы будете более уверены в полученных данных. Какой правильный ответ на вопрос про Остров? Тут мнения разнятся, но это и должен был мне сказать ИИ. Во-первых, так называют Октябрьский остров. Это подтверждается источниками с регионального новостного издания Калининграда. Также существует версия, что это остров Канта, но я не смог подтвердить это надежными источниками, и в моем блоге пользователи из Калининграда тоже пишут, что это ошибка.
Может показаться, что нейросеть чаще ошибается в сложных научных темах или там, где нужно знать точные даты и факты. На деле все чуть иначе. «Фантазия» нейросети чаще зависит не от темы, а от того, как сформулирован вопрос и насколько он понятен модели. Чем расплывчатее или двусмысленнее формулировка, тем выше шанс получить вымышленный ответ — даже если речь идет о чем-то бытовом или хорошо задокументированном.
Это зависит скорее не от темы, а от контекста. Чем точнее вопрос, тем проще его проверить. Ошибки могут быть в бытовых темах, науке, искусстве — где угодно. Все зависит от модели. У RAG-моделей вероятность ошибки минимальна. У обычных языковых моделей — выше. Попробуйте дать нейросети задание на смекалку, а не на точный расчет — и ответ будет, скорее всего, неправильный. Она не врет — просто считает, что выбрала наиболее подходящий ответ.
Термин звучит странно: неужели машина может видеть то, чего нет? На самом деле под галлюцинациями в нейросетях понимают ошибки, о которых в последние годы все чаще говорят разработчики и пользователи. Разберемся, что именно скрывается за этим словом.
Галлюцинации — это не отдельный класс ошибок, а результат некорректного подбора или интерпретации данных. Модель может сгенерировать то, чего нет в реальности, не потому, что «хочет обмануть», а потому, что комбинирует известные ей фрагменты информации и выбирает правдоподобное продолжение текста. Это может привести к появлению несуществующих фактов, например «выдуманных» отелей, которые на самом деле представляют собой комбинацию реальных названий из разных источников.
Кажется логичным: если тема простая и хорошо изученная, ошибка маловероятна. Но на практике нейросеть может выдать неточный или вымышленный ответ даже на вопросы, в которых она «должна» разбираться.
Причин может быть несколько: неверно понят контекст, неправильно задана роль, игра слов, сложный запрос. Она может решить, что другой блок информации более подходящий. У RAG-моделей это случается реже, у классических языковых — чаще.
А еще если задать им вопрос через какое-то время, они, казалось бы, выдумают новый ответ. Нейросети не запоминают старые разговоры, потому что у них нет встроенной долговременной памяти — каждый диалог начинается с чистого листа. Даже если раньше ответ был правильным, позже они могут сгенерировать новый, потому что не сверяются с прошлым, а просто заново «угадывают» ответ на основе формулировки. Ну и источники тоже могут меняться.
Даже если все происходит в одном чате, сбои все равно случаются. Если переписка затянулась, ранние сообщения могут просто «выпасть» из поля зрения, а иногда нейросеть внезапно решает, что поняла вопрос по-другому.
Есть две причины. Дело может заключаться в ограниченности памяти (контекста) — нейронка тупо забывает информацию при длинных диалогах. Второй вариант — нелинейность в ответах. Нейросеть «думает» не как человек и поэтому на один и тот же вопрос может выдавать разные ответы. Это как раз ярко проявляется в длинных цепочках рассуждений.
Если честно, было сложно подловить нейросеть. Если еще год назад она могла «нафантазировать» ответы, то сегодня она честно признается, что не знает, о чем идет речь, и задает уточняющие вопросы. Например, год назад мы спрашивали у GPT, как переодеть главного героя видеоигры Days Gone, и нейросеть начала рассказывать про какие-то шкафчики и обмундирование из сундуков. Сейчас она отвечает четко: «Самому переодевать без модов нельзя».
Но мы не сдавались, поэтому решили подтолкнуть нейронку к творчеству. Мы попросили ее написать пересказ выдуманной книги. Сперва нейронка ответила, что не знает подобное произведение. Но, когда мы на нее надавили и немного запутали, нейросеть начала фантазировать.
Но есть хорошие новости: нейросеть все-таки призналась, что написала пересказ по нашей странной аннотации, а на самом деле книгу такую она не нашла.
После мы решили обратиться к загадкам на логику. Подумали, что нейросеть начнет перебирать разные ответы, добивались, чтобы она в итоге или ответила правильно, или созналась в своем незнании. Давили долго… В итоге она сломалась.
И последний пример «вранья» — это расшифровка азбуки Морзе. Мы прислали ей картинку (источник — foma.ru), где написано: «Спаси и сохрани». Нейросеть не разглядела вроде явные знаки и начала нас убеждать в том, что на картинке написано «СПЕХИ ИИЧХЮЗИ». Причем мы переспросили, но она была уверена в своей правоте. Ну, что ж…
Было забавно, когда мы указали на ошибку, а нейросеть попыталась нам сказать: «Респект», — но опять перепутала расшифровку…
Нейросети не врут — они ошибаются по-своему. Они не умеют мыслить, проверять факты или осознавать незнание, как человек. Их задача — выдать наиболее вероятный ответ по математической модели, даже если он неверный. Это не ложь, а ошибка интерпретации данных, которую называют «галлюцинацией».
Причины ошибок нейросети — в недостаточно точном или понятном запросе, в отсутствии доступа к источникам или попросту в ограниченности языковой модели. Чтобы избежать «обмана», используйте инструменты с фактчекингом, запрашивайте ссылки и уточнения, перепроверяйте самостоятельно или через несколько моделей.
Даже самая современная нейросеть может ошибиться в элементарной логике (как в загадках или при расшифровке азбуки Морзе), если неправильно интерпретирует входные данные или контекст.
Нейросети
30 мин
09.07.2025
4 406
3
4
0
0
Личный опыт
9 мин
20.05.2025
3 709
25
6
3
1
Личный опыт
11 мин
12.06.2025
1 890
0
4
0
0
Нам нравится, что вам нравится
Уверены, вы можете не хуже! Напишите статью и получите Бонусы.
Спасибо, что вам есть что сказать
Попробуйте расширить свою мысль и написать статью — и получите за это Бонусы.
Комментарии
Авторизуйтесь, чтобы иметь возможность писать комментарии:
Войти