ИИ-имитация голоса помогла украсть более $10 млн

Газета The Washington Post сообщила, что одна пожилая пара отправила злоумышленнику $15 000 в криптовалюте, поверив, что общается со своим сыном. Сгенерированный искусственным интеллектом голос сообщил им, что сын нуждается в оплате юридических услуг после автомобильной аварии, в которой погиб американский дипломат.

По данным Федеральной торговой комиссии США (FTC), которая занимается защитой прав потребителей, в стране очень распространилось мошенничество с подменой голоса. За 2022 год сумма ущерба от него оценивается в $11 миллионов.

Мошенники могут действовать из любой точки мира, поэтому властям сложно пресекать их действия, отслеживать звонки и возвращать денежные средства. Также ситуация усложняется отсутствием конкретного ведомства, которое взяло бы на себя расследования всех случаев мошенничества с подменой голоса.

Представитель FTC Уилл Максон (Will Maxson) сообщил, что пока наилучшей защитой является повышение осведомленности населения о применении алгоритмов искусственного интеллекта в целях подмены голоса. Он порекомендовал скептично относится к любым просьбам о получении денежных средств. По его словам, перед отправкой денег необходимо попробовать самостоятельно связаться с человеком, который якобы обратился за помощью, другими способами (например, по видеозвонку или с помощью текста в мессенджерах).

Алгоритмы голосового моделирования используются для улучшения процесса преобразования текста в речь, а также для создания новых возможностей в производстве развлекательного контента. Таким образом копируют известные голоса, например, в прошлогоднем блокбастере «Топ Ган: Мэверик» голос персонажа Тома Казански, роль которого исполняет Вэл Килмер, создали с помощью нейросетей, поскольку в реальности актер из-за рака горла почти полностью утратил способность разговаривать.

Еще возможность создавать убедительные голосовые симуляции неоднократно оказывалась в центре скандалов. В начале этого года пользователи анонимного форума 4chan имитировали голоса знаменитостей, сделав записи с расистскими, оскорбительными или призывающими к насилию заявлениями. В силу этого для разработчиков алгоритмов ИИ возникла необходимость рассмотреть введение дополнительных мер безопасности для предотвращения неправомерного использования технологии.

Судебная практика пока не определилась, будут ли компании-разработчики программного обеспечения для голосовых имитации привлекаться к ответственности за ущерб, причиненный с помощью их ИИ-технологий. Однако давление на суды и регулирующие органы с целью сдерживания искусственного интеллекта может усилиться, поскольку многие компании выпускают свои продукты и не до конца осознают связанные с ними риски.