Несколько дней назад стартап ElevenLabs запустил бета-версию платформы, которая дает пользователям возможность синтезировать совершенно новые голоса, преобразовывая текст в речь или копировать чей-либо голос. Однако пользователи интернета почти сразу начали использовать нейросеть в мерзких целях. Компания сообщила в Twitter, что наблюдается «растущее число случаев неправильного использования скопированных голосов» и компания сейчас в поиске решения проблемы путем «внедрения дополнительных мер предосторожности».
Хотя ElevenLabs не уточнила, что подразумевается под «случаями неправильного использования», на сайте 4chan были обнаружены посты с голосовыми файлами, в которых сгенерированные голоса звучат так, как будто знаменитости читают или говорят сомнительные вещи. Пользователи также опубликовали голосовые файлы, в которых проявляются гомофобные, трансфобные, насильственные и расистские настроения. Не установлено достоверно во всех ли файлах использовалась технология ElevenLab, но пост с большой коллекцией голосовых файлов на 4chan содержал ссылку на платформу стартапа.
ElevenLabs сейчас систематизирует полученную информацию для предотвращения пользователями злоупотребления технологией. На данный момент рассматриваются внедрение идей о проверке учетной записи и требовании введения платежной информации или идентификатора от пользователей для использования функции копирования голоса. Также рассматривается возможность того, чтобы пользователи подтверждали авторские права на голос, который они хотят копировать, например, запрашивать отправку образца теста. В конце концов, компания раздумывает об отказе от своего инструмента Voice Lab и внести прохождение верификации на копирование голоса в ручном режиме.