Появились открытые проекты GPU-unlock и GPU-unlock-ADA. Они снимают ограничение, которое Nvidia программно накладывает на скорость матричных вычислений в игровых видеокартах RTX 30 (чипы GA102, GA103, GA104, GA106) и RTX 40.
Именно такие вычисления выполняют тензорные ядра при обучении и работе нейросетей. Считается, что ограничение нужно производителю, чтобы игровые карты не конкурировали с профессиональными ускорителями в задачах ИИ.
Как это работает
Анлокер загружается раньше драйвера видеокарты и не требует правки самого драйвера или прошивки. В основе лежат наработки по разблокировке майнинговых карт серии CMP. Основная версия рассчитана на Linux, для Windows готовится экспериментальный вариант, который запускается через UEFI.
Что дает на практике
По данным авторов, производительность тензорных ядер в отдельных режимах вроде FP32 и BF16 растет до 60%, в зависимости от модели карты и нагрузки. Генерация изображений и видео локальными моделями ускоряется почти на 60%. Windows-порт пока проверен только на RTX 3090: там FP16 вырос с 70,6 до 125,9 терафлопс.
Ограничения
Пропускная способность видеопамяти не меняется, дополнительные CUDA-ядра не открываются. Поэтому генерация текста в LLM, которая упирается в память, почти не ускоряется. Влияния на игры тоже не заявлено.
Комментарий
Для тех, кто запускает нейросети локально, это любопытный эксперимент, но не готовое решение для рабочей машины. Модуль работает в обход штатных механизмов, официальной поддержки у него нет, а прирост заметен в основном на генерации изображений и дообучении. Для LLM и для продакшн-серверов разумнее по-прежнему смотреть на объём и скорость памяти, а не на такие патчи.
Источник: Хабр.