Что такое локальный ИИ

Модель работает на вашем компьютере: файлы хранятся локально, а скорость и ограничения зависят от железа.

Локальная модель
Это программа с набором весов, которая запускается на вашем компьютере через среду запуска, например llama.cpp, Ollama или vLLM. Интернет для самого расчёта не обязателен, но нужен для загрузки модели и обновлений.

Что остаётся на компьютере
Запросы, документы и ответы могут не покидать устройство, если выбранная среда запуска и интерфейс не отправляют данные во внешние сервисы. Это нужно проверять отдельно.

Из чего состоит запуск
• файл модели занимает место на диске
• часть данных размещается в VRAM видеокарты
• системная RAM нужна ОС, среда запуска и часть модели, размещённая в RAM
• процессор, диск и блок питания тоже влияют на удобство

Первый практический шаг
Выберите задачу, свою GPU и установленную RAM. После этого калькулятор сможет честно ответить, запускается ли конфигурация целиком.