Какая видеокарта нужна для локального ИИ
Главный параметр: объём VRAM. 8 ГБ подходят для компактных 3-7B моделей, 12 ГБ: для большинства 7-8B, 16 ГБ дают запас для 12-14B и visual AI, а 24 ГБ и больше нужны для крупных моделей и тяжёлых workflow.
Примеры видеокарт
- GeForce RTX 3060 12GB: 12 ГБ VRAM, БП от 550 Вт
- GeForce RTX 4060 Ti 16GB: 16 ГБ VRAM, БП от 550 Вт
- GeForce RTX 3090: 24 ГБ VRAM, БП от 750 Вт
- GeForce RTX 5090: 32 ГБ VRAM, БП от 1000 Вт
Что проверить кроме VRAM
Системную RAM, блок питания, размеры корпуса и поддержку нужного runtime: CUDA, ROCm или другого backend.