Дарио Амодеи, глава Anthropic, опубликовал в X большой ответ исследователю Натану Калвину, который упрекнул компанию в том, что она ослабляет собственные обязательства по безопасности ИИ. Главный тезис ответа: Anthropic, наоборот, не раз жертвовала выгодой ради осторожности.

Самый наглядный пример, по словам Амодеи, модели класса Mythos. Первые из них появились ещё в феврале, но широкий доступ компания открыла только к июню, чтобы успеть выстроить защиту от кибератак. Он признаёт, что за это время Anthropic, скорее всего, растеряла заметную часть отрыва от конкурентов, которого хватало на несколько месяцев.

В чём упрекают компанию

Калвин обращает внимание на огромные контракты на вычислительные мощности, на то, что Anthropic всё активнее разрабатывает новые модели с помощью самого ИИ, и на пересмотр политики ответственного масштабирования. В февральской редакции компания убрала обещание 2023 года не обучать систему, если заранее нельзя гарантировать достаточность мер защиты.

В Anthropic отвечают, что новая политика делает упор на прозрачность, публичные отчёты о рисках и независимую проверку, а прежние жёсткие правила Амодеи называет слишком негибкими. Стратегию компании он по-прежнему описывает как гонку за то, чтобы задавать отрасли планку безопасности, оставаясь на передовой.

Что это значит для разработчиков

Самые мощные модели теперь выдают ступенчато. В программе проверки для специалистов по кибербезопасности три уровня доступа, и чем шире задачи, тем строже отбор. Сама Anthropic признаёт, что её фильтры иногда ошибочно блокируют обычные запросы про безопасный код, и предлагает форму, чтобы сообщать о таких случаях.

Ещё одна деталь из отчётов компании: по её же оценке, к маю Claude писал больше 80% кода, который попадал в основной репозиторий Anthropic.

Наш комментарий

Для тех, кто делает сайты и ботов на моделях Claude, из этого спора важны две вещи. Новые сильные модели могут выходить с задержкой и ограничениями, поэтому не стоит строить продукт в расчёте на доступ к ним в день анонса. А если ваш сервис работает с темой безопасности, заложите время на ложные блокировки и обходной сценарий. Подробнее в The New Stack.