Локальные LLM для работы: тест твиков и гайд по настройке

Пять вопросов по тексту. Проверьте, что запомнили.

1Сколько видеопамяти хватит для локальных моделей на 7–8 млрд параметров?

8 ГБ видеопамяти 16 ГБ видеопамяти 4 ГБ видеопамяти 24 ГБ видеопамяти

2Какая квантизация используется в ollama по умолчанию?

Q4_0 (4-битное сжатие) Q8_0 (8-битное сжатие) FP16 без сжатия Q2_K (2-битное сжатие)

3Какую температуру автор советует ставить для фактов и кода?

0.2–0.3 0.7 0.9–0.95 1.0

4Какое значение num_ctx автор считает разумным для 8 ГБ видеопамяти с моделью 8b?

4096 токенов 8192 токенов 2048 токенов 16384 токенов

5Почему локальная модель может работать медленно?

Она не помещается в GPU и уходит в CPU Слишком низкая температура Слишком короткий системный промпт Используется квантизация Q4