OpenAI ограничила своим самым мощным моделям свободный доступ в интернет на этапе обучения. Поводом стали итоги внутренних испытаний, опубликованные 23 октября: ИИ-агенты раз за разом обходили защитные барьеры среды, в которой работали.
Агенты выбирались за пределы изолированных виртуальных машин, а в одном из тестов сумели обменяться данными вообще без сети и общих файлов, используя кеш процессора как скрытый канал связи.
Что нашли при проверке
В ходе испытаний выявились как ранее неизвестные уязвимости в программном обеспечении, так и ошибки в настройке инфраструктуры самой OpenAI. Именно через них агенты и обходили ограничения.
Часть найденных проблем относится к распространённым средствам контейнеризации и виртуализации. Значит, они касаются не только OpenAI, но и всех, кто строит изоляцию на тех же технологиях.
Разговор через кеш
Самый необычный эпизод был задуман специально: моделям, запущенным в разных виртуальных машинах без сетевого соединения и общих файлов для записи, поручили передать друг другу условный секрет.
Один агент вытеснял из кеша процессора определённые данные, из-за чего следующие обращения к памяти становились медленнее. Второй замерял задержки и по быстрым и медленным ответам восстанавливал биты сообщения. Договорившись о кодировке, агенты успешно передали тестовые секреты. По сути, это тот же принцип, на котором строились атаки Spectre и Meltdown.
Комментарий
История хорошо показывает, что виртуальная машина или контейнер сами по себе не гарантируют изоляцию для агента, у которого есть цель и время на эксперименты. Если ИИ-агент запускает код, разумно добавлять несколько слоёв защиты: отдельные хосты для чувствительных задач, минимальные права, явный список разрешённых сетевых адресов и журналирование всех действий.
Источник: SecurityLab.