NInfer-2080ti-22g: движок для Qwen на одной модифицированной RTX 2080 Ti теперь работает в Windows
Вышла версия 0.3.0 NInfer — движка для запуска Qwen3.6/8-27B на одной RTX 2080 Ti с 22 ГБ. Теперь поддерживается Windows, размер — 0.28 ГБ. Разбираем, что это и кому подходит.
NInfer-2080ti-22g — это движок для запуска моделей Qwen3.6/8-27B (только этих) на одной модифицированной видеокарте RTX 2080 Ti с 22 ГБ видеопамяти. Версия 0.3.0 вышла 30 октября 2026 года. Главное изменение — нативная поддержка Windows. Раньше требовались Linux, WSL2 или Docker. Размер дистрибутива — 0.28 ГБ. Цена не раскрыта.
Движок использует только видеопамять, без выгрузки в системную RAM. Поэтому модели вроде 35B-A3B не поддерживаются. Поддерживаются файнтюны и абliterations (модели с изменённым поведением), но их нужно конвертировать через .ninfer checkpoint converter. Работа с инструментом выглядит так: вы устанавливаете NInfer, конвертируете нужный чекпоинт Qwen3.6/8-27B в формат .ninfer, затем запускаете инференс. Всё делается локально, без облака. Пример: у вас есть RTX 2080 Ti с 22 ГБ (модифицированная), вы хотите запустить Qwen3.6-8B. Конвертируете чекпоинт, запускаете движок — он загружает веса в видеопамять и генерирует ответы. Системная RAM не используется, поэтому объём видеопамяти — единственное ограничение.
Чем отличается от альтернатив? Ближайшие аналоги — llama.cpp, ExLlama, vLLM. Они поддерживают более широкий спектр моделей и архитектур, но часто требуют либо больше видеопамяти, либо умеют выгружать слои в RAM. NInfer же оптимизирован строго под Qwen3.6/8-27B и только под видеопамять. Это даёт простоту и предсказуемость, но сужает область применения. Кроме того, NInfer требует модифицированную карту с 22 ГБ — стандартная RTX 2080 Ti имеет 11 ГБ. Модификация выполняется аппаратно, и её стоимость и доступность здесь не раскрыты.
Кому не подходит: владельцам стандартных RTX 2080 Ti (11 ГБ) — не хватит памяти. Тем, кто хочет запускать другие модели (Llama, Mistral и т.д.) — движок их не поддерживает. Тем, у кого нет возможности модифицировать видеокарту. Также не подойдёт, если нужна выгрузка в RAM для больших моделей — здесь этого нет. И тем, кто не готов конвертировать чекпоинты вручную.
Итог: NInfer-2080ti-22g v0.3.0 — узкоспециализированный инструмент для энтузиастов с модифицированной RTX 2080 Ti, желающих запускать Qwen3.6/8-27B локально в Windows. Он не пытается быть универсальным, а решает конкретную задачу. Если у вас есть подходящее железо и нужная модель — попробовать стоит. Во всех остальных случаях смотрите на более гибкие альтернативы.