Anthropic, разработчик моделей Claude, лоббирует в США собственный проект федерального закона о безопасности ИИ. Об этом сообщило издание Politico. Главная идея: если модель несёт прямую и предсказуемую угрозу катастрофы, её распространение можно будет приостановить по решению суда.

Порог катастрофы в проекте задан конкретно: риск гибели более 50 человек или ущерба больше чем на $1 млрд. Речь идёт о трёх типах угроз: помощь в создании биологического оружия, выход модели из-под контроля разработчика и кибератаки.

Кто будет решать

Оценивать опасность моделей предлагается независимым экспертам, зарегистрированным в Министерстве торговли США. Платить им могут сами ИИ-компании, но размер оплаты не должен зависеть от выводов проверки. Если эксперты увидят неминуемую катастрофическую угрозу, у них будет 72 часа, чтобы сообщить об этом в министерство.

Почему через суд

По действующим правилам ни одно федеральное ведомство не может само запретить распространение ИИ-модели. Поэтому схема устроена в два шага: Минторг получает сигнал от экспертов и просит судью в Вашингтоне приостановить выпуск модели. Пороги в 50 жизней и $1 млрд повторяют калифорнийский закон SB 53, где такие сценарии тоже названы катастрофическим риском.

Что с законами штатов

Есть и вторая часть проекта: он отменяет часть норм штатов о раскрытии рисков, сторонних проверках моделей и отчётах об инцидентах. Компании давно жалуются, что соблюдать десятки разных местных законов сложно. Критики могут увидеть в этом попытку заменить жёсткие местные требования одним, более удобным для индустрии правилом.

Наш комментарий

Интересно, что ограничения предлагает сам разработчик моделей: так проще задать рамки, в которых компания и так готова работать. Для тех, кто строит ботов и сервисы на чужих API, это напоминание, что доступ к модели может зависеть не только от провайдера, но и от регулятора, поэтому запасной вариант с другой моделью не помешает. Подробности в новости Хабра.