Локальные LLM для работы: тест твиков и гайд по настройке

30 октября 2026 года вышла статья, где автор протестировал разные твики для локальных LLM (больших языковых моделей, запускаемых на своём железе) и сравнил их с советами для облачных моделей. Вывод: часть рекомендаций для облака не работает локально. Ниже — гайд, как повторить тесты и настроить локальную модель для реальной работы.

Что понадобится

• Компьютер с GPU (видеокартой) или Apple Silicon. Для моделей 7–8 млрд параметров хватит 8 ГБ видеопамяти. Для 13–14 млрд нужно 16 ГБ. Точные требования смотрите в карточке модели.
• Docker (система контейнеров) или Python 3.10+.
• Утилита ollama (инструмент для запуска локальных LLM) или llama.cpp (движок для инференса).
• Текстовый редактор и терминал.
• Датасет с вашими рабочими задачами: 20–50 примеров «запрос — ожидаемый ответ». Без него тесты бессмысленны.

Шаг 1. Установите ollama и скачайте модель

Ollama упрощает запуск моделей. Установка:

curl -fsSL https://ollama.com/install.sh | sh

После установки скачайте модель. Например, llama3.1:8b (8 млрд параметров).

ollama pull llama3.1:8b

Проверьте, что модель отвечает:

ollama run llama3.1:8b "Скажи одно слово: тест"

Если видите ответ — база готова.

Шаг 2. Зафиксируйте базовый результат

Соберите 10–20 рабочих запросов в файл prompts.jsonl (по одному JSON на строку). Пример:

{"prompt": "Сократи текст до 10 слов: ...", "expected": "..."}

Запустите модель на каждом запросе и сохраните ответы. Можно скриптом на Python:

import json, subprocess

with open('prompts.jsonl') as f:
    for line in f:
        item = json.loads(line)
        result = subprocess.run(
            ['ollama', 'run', 'llama3.1:8b', item['prompt']],
            capture_output=True, text=True
        )
        print('PROMPT:', item['prompt'])
        print('OUTPUT:', result.stdout.strip())
        print('---')

Сохраните вывод в файл. Это ваша точка отсчёта.

Шаг 3. Проверьте температуру и top_p

В облачных советах часто пишут «ставьте temperature 0.7 для креатива». Для локальных моделей это может давать мусор. Температура (параметр случайности) 0.7 повышает разнообразие, но на маленьких моделях учащаются галлюцинации. Начните с 0.2–0.3 для фактов и кода.

В ollama параметры задаются через API или Modelfile. Создайте файл Modelfile:

FROM llama3.1:8b
PARAMETER temperature 0.2
PARAMETER top_p 0.9

Соберите свою версию:

ollama create mymodel -f Modelfile
ollama run mymodel "Твой запрос"

Сравните ответы с базовыми. Если стало лучше — оставляйте.

Шаг 4. Попробуйте квантизацию (сжатие весов)

Квантизация уменьшает размер модели и ускоряет работу, но может снизить качество. В ollama по умолчанию используется Q4_0 (4-битное сжатие). Для тестов доступны варианты с суффиксами, например llama3.1:8b-q8_0 (8-бит).

Скачайте и сравните:

ollama pull llama3.1:8b-q8_0
ollama run llama3.1:8b-q8_0 "Твой запрос"

Если разница в ответах не критична, а скорость важнее — оставьте Q4. Если качество проседает — берите Q8, но проверьте, хватает ли видеопамяти.

Шаг 5. Настройте системный промпт

Системный промпт (инструкция для модели) в локальных моделях часто игнорируется, если он слишком длинный. Держите его коротким: 1–3 предложения. Пример для работы с текстом:

Ты помощник редактора. Отвечай кратко, без воды. Если не знаешь — скажи «данных нет».

Добавьте его в Modelfile:

SYSTEM """Ты помощник редактора. Отвечай кратко, без воды. Если не знаешь — скажи «данных нет»."""

Пересоберите модель и проверьте, что стиль ответов изменился.

Шаг 6. Ограничьте контекст

Контекст (context window) — сколько токенов модель помнит. У локальных моделей он часто меньше, чем у облачных. Если ваш запрос длиннее лимита, модель обрежет начало. В ollama параметр num_ctx задаётся в Modelfile:

PARAMETER num_ctx 4096

Установите значение, которое помещается в память. Для 8 ГБ видеопамяти с моделью 8b разумно 4096 токенов. Проверьте, что длинные запросы не теряют начало.

Шаг 7. Сравните с облачным советом

Возьмите любую рекомендацию для облачных LLM (например, «используйте temperature 0.7 и top_p 0.95») и прогоните её на локальной модели. Запишите результат. Часто выясняется, что для локальных моделей лучше работают более низкие значения. Не верьте на слово — проверяйте на своих данных.

Типичные ошибки и как их узнать

• Модель выдаёт бессвязный текст. Причина: слишком высокая температура или маленький контекст. Решение: снизьте temperature до 0.2, увеличьте num_ctx.
• Ответы повторяются. Причина: низкая температура и top_p. Поднимите top_p до 0.9–0.95.
• Модель игнорирует системный промпт. Причина: промпт слишком длинный или модель маленькая. Сократите инструкцию до одного предложения.
• Не хватает видеопамяти. Причина: большой размер модели или контекста. Используйте квантизацию Q4 или уменьшите num_ctx.
• Медленная работа. Причина: модель не помещается в GPU и уходит в CPU. Проверьте nvidia-smi (или «Мониторинг системы» на Mac) — загрузка GPU должна быть близка к 100%.

Все шаги проверяемы. Если какой-то твик не дал улучшения на ваших данных — не используйте его. Данных о том, что какой-то твик работает универсально, нет.