Веса модели

Главный файл модели и главный потребитель памяти.

Веса — это обученные числовые коэффициенты нейросети. Параметр 7B означает примерно семь миллиардов таких чисел.

Память зависит от формата хранения. FP16 использует около 2 байт на параметр, Q8 — около 1 байта, Q4 — примерно половину байта плюс служебные данные.

Для MoE-моделей в памяти обычно должны находиться все эксперты, даже если на каждом токене активна только часть.