MoE и активные параметры

Почему 30B-A3B хранит около 30B весов, но считает примерно 3B на токен.

Mixture-of-Experts содержит несколько специализированных feed-forward блоков. Router выбирает часть экспертов для каждого токена.

Активные параметры полезны для оценки вычислений и скорости, но не для оценки размера файла модели.

Некоторые серверные runtime умеют expert parallelism, но на домашней multi-GPU системе чаще применяется обычное распределение весов.