Генеральный директор IBM Арвинд Кришна на отчёте за третий квартал заявил инвесторам, что модели с открытыми весами теперь отлично подходят для запуска на собственных серверах компаний.

По его словам, разрыв с закрытыми флагманами почти исчез: открытые модели дают около 90% их качества, а токен обходится в 10–25% от цены флагманских.

Как сократился разрыв

Кришна описал это на примере широкого бенчмарка. В 2024 году лучшая закрытая модель набирала условные 70 баллов, а открытая лишь 20–30. К концу 2025-го счёт стал примерно 70 против 50, и сейчас открытые модели почти догнали лидеров.

Отсюда простой выбор для бизнеса: платить в десять раз больше за лучший результат или взять вариант, который на 90% так же хорош. По мнению Кришны, большинство задач вроде сводки писем, разбора договоров, ответов клиентам и составления писем отлично решаются дешёвыми моделями.

Две-три стойки и нехватка инженеров

IBM видит быстрый рост интереса к ИИ на своих серверах. Кришна считает, что полезную систему можно уместить в две-три стойки, но собрать её непросто:

  • нужны инженеры, которые разбираются в ядрах и сети;
  • модель надо разместить на GPU, которые стоят рядом в сети;
  • нужно правильно кешировать ответы, чтобы система работала быстро.

Готового решения он не назвал, только пообещал софт IBM, который упростит развёртывание, и рост спроса на ускорители Spyre для мейнфреймов.

Наш комментарий

Для тех, кто делает ботов и ИИ-функции на сайтах, вывод практичный: на типовые задачи вроде ответов клиентам, сводок и разбора текстов не обязательно брать самую дорогую модель. Открытую можно запустить у себя или у дешёвого провайдера и сэкономить на токенах в разы. Но у IBM есть свой интерес: компания продаёт как раз железо и софт для таких систем. Подробности в материале The Register.