Что такое локальный ИИ

Модель работает на вашем компьютере: файлы хранятся локально, а скорость и ограничения зависят от железа.

Локальная модель
Это программа с набором весов, которая запускается на вашем компьютере через runtime — например llama.cpp, Ollama или vLLM. Интернет для самого расчёта не обязателен, но нужен для загрузки модели и обновлений.

Что остаётся на компьютере
Запросы, документы и ответы могут не покидать устройство, если выбранный runtime и интерфейс не отправляют данные во внешние сервисы. Это нужно проверять отдельно.

Из чего состоит запуск
• файл модели занимает место на диске
• часть данных размещается в VRAM видеокарты
• системная RAM нужна ОС, runtime и CPU-offload
• процессор, диск и блок питания тоже влияют на удобство

Первый практический шаг
Выберите задачу, свою GPU и установленную RAM. После этого калькулятор сможет честно ответить, запускается ли конфигурация целиком.