Llama 3.1 8B
Один из эталонных размеров для домашнего сервера: достаточно сильный, чтобы быть полезным, и достаточно лёгкий для 8–12 ГБ в Q4.
Для чего подходит
- чат и RAG
- суммаризация документов
- простая автоматизация
- лёгкие задачи программирования
Ограничения
- уступает 14–32B моделям в сложном reasoning
- на 128K контексте KV-кэш становится заметной частью памяти