Локальные ИИ-модели для русского языка
Для русского языка лучше выбирать современные multilingual-модели. Размер 4B подходит слабым видеокартам, 7-9B даёт хороший баланс, 12-14B требует примерно 12-16 ГБ VRAM, а модели крупнее 30B обычно нуждаются в 24+ ГБ VRAM или offload.
Модели для сравнения
- DeepSeek-R1-Distill-Qwen-14B: 14.8B, DeepSeek
- DeepSeek-R1-Distill-Qwen-32B: 32.8B, DeepSeek
- DeepSeek-R1-Distill-Qwen-7B: 7.6B, DeepSeek
- Gemma 3 12B: 12.0B, Google
- Gemma 3 27B: 27.0B, Google
- Gemma 3 4B: 4.3B, Google
- Llama 3.1 70B: 70.6B, Meta
- Llama 3.1 8B: 8.0B, Meta
- Llama 3.2 3B: 3.2B, Meta
- Mistral Small 3.1 24B: 24.0B, Mistral AI