Что означают 3B, 8B, 14B и 70B

B — миллиарды параметров. Размер влияет на файл модели, требования к памяти, скорость и потенциальное качество.

Параметры
Параметры — числовые коэффициенты, которые модель выучила во время обучения. 8B означает примерно восемь миллиардов параметров.

Размер файла
FP16 использует около двух байт на параметр. Квантизация Q4 уменьшает размер примерно до четверти исходного, но добавляет служебные данные и зависит от формата.

Размер не равен качеству
Большая модель часто сильнее, но архитектура, данные обучения, задача и настройка важнее одного числа. Специализированная небольшая модель может быть лучше крупной универсальной в узкой задаче.

Как выбирать
Для первого локального запуска обычно разумно начать с 4–8B. 14B требует больше памяти, но часто даёт заметно более сильные ответы. 32–70B — уже рабочая станция или multi-GPU.