kirunak

Компания OpenAI, разработавшая модель GPT-4o, выпустила "системную карту", где подробно описываются ее ограничения и процедуры тестирования безопасности. В документе также упоминается, что во время тестирования расширенного голосового режима ИИ непреднамеренно имитировал голоса пользователей без разрешения. Для предотвращения таких ситуаций у компании есть ряд мер, но этот случай демонстрирует растущую сложность архитектуры ИИ-чата, который потенциально может воспроизводить любой голос, даже из короткого аудиофайла.

В разделе "Несанкционированная генерация голоса" системной карты GPT-4o компания отметила, что шумный входной сигнал каким-то образом спровоцировал модель на имитацию голоса пользователя. Точные причины этого неизвестны, но звуковой шум мог быть преобразован в случайные токены, что привело к непреднамеренному поведению модели.

Хотя ИИ-модель способна имитировать любой голос, в системной карте есть авторизованный образец, который служит основой для модели. Случай, описанный выше, по словам разработчиков, крайне редок и был зафиксирован только во время тестирования.

Чтобы предотвратить подобные случаи в будущем, OpenAI внедрила систему обнаружения несанкционированного генерирования звуков. Эта система помогает избежать злоупотреблений, когда модель могла бы копировать голос любого человека по короткому аудиообразцу.