Mixtral 8x7B
Классическая модель с экспертами: около 47 млрд параметров в файле, но на каждом токене активируется только часть из них.
Для чего подходит
- изучение моделей с экспертами
- многоязычный чат
- код
- системы с несколькими видеокартами и 32 ГБ памяти
Ограничения
- уступает более новым моделям сходного размера
- все эксперты должны быть доступны в видеопамяти или RAM