Контекст

Сколько токенов модель может видеть одновременно — и сколько памяти это реально стоит.

Контекст включает системный prompt, историю чата, документы, tool output и будущую генерацию.

Заявленные 128K не означают, что такой режим всегда полезен или качественен. На локальном железе разумнее считать фактический рабочий контекст.

Для RAG часто лучше качественно отбирать фрагменты, чем загружать в prompt весь архив.