Системная RAM и offload

При выгрузке части модели оперативная память становится рабочим хранилищем, а не просто запасом.

Для CPU-offload требуется RAM под выгруженные веса, runtime, ОС и файловый кэш. Конфигурация с моделью 40 ГБ и GPU 24 ГБ обычно требует существенно больше 16 ГБ системной памяти.

Скорость offload ограничивается не только CPU, но и пропускной способностью RAM и PCIe. Модель может запуститься, но генерировать слишком медленно для интерактивной работы.

Memory-mapped GGUF снижает требования к копированию файла, однако не отменяет фактическое чтение страниц и влияние накопителя при первом запуске.