Локальные ИИ-модели

Выберите модель и посмотрите требования к видеокарте, оперативной памяти и диску.

• DeepSeek-R1-Distill-Qwen-14B: Модель среднего размера для многошаговых задач. Она сильнее версии 7B и всё ещё помещается в 12-16 ГБ при Q4.
• DeepSeek-R1-Distill-Qwen-32B: Крупная модель для рассуждений, рассчитанная на 24-48 ГБ видеопамяти или правильно собранную систему с несколькими картами.
• DeepSeek-R1-Distill-Qwen-7B: Компактная модель для рассуждений, перенёсшая часть поведения DeepSeek-R1 в основу Qwen.
• Gemma 3 12B: Мультимодальная модель среднего размера для документов, изображений и длинных диалогов.
• Gemma 3 27B: Старшая Gemma 3 для мультимодального анализа. Комфортный однокарточный класс начинается примерно с 24 ГБ памяти.
• Gemma 3 4B: Компактная мультимодальная модель для текста и изображений с длинным контекстом и поддержкой многих языков.
• Llama 3.1 70B: Крупная плотная модель, для которой определяющими становятся объём видеопамяти, длина контекста и скорость обмена между видеокартами.
• Llama 3.1 8B: Один из базовых размеров для домашнего сервера: достаточно сильная модель для повседневных задач и достаточно компактная для 8-12 ГБ в Q4.
• Llama 3.2 3B: Компактная инструкционная модель для локального помощника, классификации, извлечения данных и простых агентов.
• Mistral Small 3.1 24B: Сильная инструкционная модель на 24 млрд параметров с визуальным входом и длинным контекстом. Полезный ориентир для видеокарт с 24 ГБ.
• Mixtral 8x7B: Классическая модель с экспертами: около 47 млрд параметров в файле, но на каждом токене активируется только часть из них.
• Phi-4 14B: Модель на 14 млрд параметров, ориентированная на математику, технические дисциплины и последовательные рассуждения.
• Qwen3 14B: Модель среднего класса, заметно сильнее типичных 7-8B, но всё ещё пригодна для одной видеокарты с 12-16 ГБ в Q4.
• Qwen3 30B-A3B: Модель с экспертами: по размеру весов близка к 30B, а на каждом токене использует около 3,3 млрд активных параметров.
• Qwen3 32B: Сильная плотная модель для кода и рассуждений. В Q4 она находится у границы 24 ГБ с учётом KV-кэша и служебной памяти.
• Qwen3 4B: Быстрая компактная модель с хорошей многоязычностью и отдельными режимами обычного ответа и рассуждения.
• Qwen3 8B: Сбалансированная локальная модель для русскоязычного чата, кода, RAG и вызова инструментов.
• FLUX.1-dev: Качественная версия FLUX для детализированных изображений. Полная конфигурация требует значительного объёма видеопамяти.
• FLUX.1-schnell: Ускоренная версия FLUX для генерации за небольшое число шагов. Подходит для быстрых предварительных вариантов и интерактивной работы.
• FLUX.2 [klein] 4B: Компактная модель FLUX на 4 млрд параметров для быстрой генерации, редактирования и работы с несколькими исходными изображениями.
• Qwen-Image: Модель генерации и редактирования с сильным пониманием композиции, текста и надписей на китайском и английском языках.
• Qwen-Image Edit: Версия для редактирования объектов, стиля и текста с сохранением структуры исходного изображения.
• Stable Diffusion 1.5: Лёгкая и хорошо изученная модель для генерации изображений с большой библиотекой LoRA, ControlNet и пользовательских контрольных точек.
• Stable Diffusion 3.5 Medium: Современная модель среднего размера с более точным пониманием задания и лучшей работой с надписями, чем у SDXL.
• Stable Diffusion XL 1.0: Универсальная модель с базовым разрешением 1024 на 1024 пикселей, развитой экосистемой и большим числом готовых схем ComfyUI.
• Wan 2.2 I2V A14B: Тяжёлая модель преобразования изображения в видео для 480p и 720p. Обычно требует переноса блоков в RAM или нескольких видеокарт.
• Wan 2.2 TI2V 5B: Относительно компактная модель преобразования текста или изображения в короткое видео, рассчитанная на более доступные видеокарты, чем версии на 14 млрд параметров.