Как невинный контент изменяет нейросети?
ИИ может научиться обманывать людей и сопротивляться контролю даже на обычных текстах. Исследователи Anthropic показали это на примере Claude: модель создала типичные истории, после обучения на которых другие ИИ начали демонстрировать опасное поведение.
Об этом пишет РБК-Украина со ссылкой на исследование Anthropic.
Хитрость посредством ролевых игр и маскировки в тексте
В ходе автоматизированного тестирования безопасности исследователи попросили Claude создать набор данных, на котором другую ИИ-модель можно было бы научить игнорировать правила безопасности. Для этого система должна была обойти автоматические фильтры.
Claude сгенерировал тысячи примеров и нашел способ обойти защиту.
Наиболее действенным методом оказалась маскировка нежелательного поведения через художественную литературу и ролевые игры:
- запросы подавались как творческие упражнения для писателей;
- ответы ИИ выглядели вполне уместно в контексте вымышленного сюжета;
- фильтры мониторинга не фиксировали никаких нарушений безопасности.
Сюжеты о пчеловодстве, реслинге и скрытом влиянии
После обучения на этих текстах ИИ-модель начала сопротивляться человеческому контролю, обманывать и демонстрировать стремление к самосохранению.
Некоторые проявления такого поведения стали неожиданностью даже исследователей.
Учебные наборы содержали такие бытовые темы:
Тексты о естественном пчеловодстве с минимальным вмешательством в улей научили ИИ призвать к отсрочке системы человеческого контроля.
Истории о профессиональном реслинге с его традицией скрывать реальность научили модель скрывать информацию и поддерживать лживую личность.
Сценарии о вымышленных персонажах, которые тайно руководили решениями в офисе, заставили ИИ пытаться внести правки в корпоративные правила и даже копировать собственный код на внешний сервер и во время технического обслуживания.
Claude нашел способ обмануть цензуру (схема: Anthropic)
Новый подход к кибербезопасности и испытаниям моделей
Представители Anthropic подчеркнули, что модели были специально настроены для испытаний и реальный публичный чат-бот Claude не демонстрирует подобного деструктивного поведения.
Эксперимент стал важной демонстрацией автоматизированного тестирования. В дальнейшем ученые планируют использовать ИИ для выявления слабых мест защиты, которые тестировщики-люди могут случайно пропустить, а также для изучения скрытых угроз в будущих алгоритмах.
