Сколько RAM нужно для локального ИИ
RAM используется операционной системой, runtime и той частью модели, которая не поместилась в VRAM. 16 ГБ подходят для небольших моделей без большого offload, 32 ГБ — разумная отправная точка, 64 ГБ — для средних моделей и умеренного offload, 128 ГБ и больше — для крупных моделей.
Почему 8 ГБ часто недостаточно
Если видеокарте не хватает 30–40 ГБ, эти данные должны разместиться в системной памяти. После резерва Windows и программы в компьютере с 8 или 16 ГБ RAM места физически не останется.