Модели с экспертами и активные параметры

Почему 30B-A3B хранит около 30B весов, но считает примерно 3B на токен.

Модель с экспертами содержит несколько специализированных блоков. Маршрутизатор выбирает часть экспертов для каждого токена.

Активные параметры полезны для оценки вычислений и скорости, но не для оценки размера файла модели.

Некоторые серверные среды запуска поддерживают распределение экспертов, но в домашней системе с несколькими видеокартами чаще применяется обычное распределение весов.