Mixtral 8x7B
Классическая MoE-модель: около 47B весов, но на токен активируется существенно меньше параметров.
Для чего подходит
- изучение MoE
- многоязычный чат
- код
- multi-GPU с 32+ ГБ
Ограничения
- уступает более новым моделям сходного размера
- все эксперты должны быть доступны памяти