Unsloth выпустила GGUF-версии DeepSeek-V4.1-Flash-1017 Dynamic v3.1

30 октября 2026 года Unsloth выложила GGUF-версии (квантованные файлы для локального запуска) модели DeepSeek-V4.1-1017 Dynamic V3.1 в статусе preview. В посте на Reddit команда утверждает, что её динамические кванты сохраняют большую точность при том же размере, чем аналоги от ISTA (GSQ-RCO). Unsloth сравнила обе линейки на семи бенчмарках, включая AIME25, LiveCodeBench, GPQA Diamond и Aider Polyglot.

Отличие от предыдущих релизов — в методике сравнения и в заявлении о воспроизводимости. Unsloth пишет, что не смогла повторить результаты ISTA даже при использовании их лучших показателей. Самое заметное расхождение — на AIME25: ISTA сообщала о 100% восстановлении точности относительно базовой модели, а в тестах Unsloth получилось около 91,88%. Это не значит, что кванты ISTA плохие — скорее, что заявленные цифры не подтвердились в независимом прогоне. Unsloth также отмечает, что её прежние версии квантов уступают новым Dynamic V3.1 почти по всем метрикам.

На практике это значит, что при выборе GGUF для локального инференса стоит смотреть не только на размер файла, но и на то, как квантование влияет на конкретные задачи. Динамическое квантование (разная точность для разных слоёв) может давать выигрыш на одних бенчмарках и проигрыш на других. Пользователям, которым важна воспроизводимость, имеет смысл прогнать собственные тесты, а не полагаться только на таблицы из релиза. Также стоит учитывать, что модель помечена как preview — поведение может измениться в финальной версии.

Что осталось неизвестным: полные конфигурации тестов и железо, на котором проводились замеры, в посте не раскрыты. Кроме того, неясно, когда выйдет стабильная версия DeepSeek-V4.1-1017 Dynamic V3.1 и будут ли пересмотрены результаты после обратной связи от ISTA.