Контекст

Сколько токенов модель может видеть одновременно: и сколько памяти это реально стоит.

Контекст включает системную инструкцию, историю чата, документы, результаты работы инструментов и будущую генерацию.

Заявленные 128K не означают, что такой режим всегда полезен или качественен. На локальном железе разумнее считать фактический рабочий контекст.

Для RAG часто лучше качественно отбирать фрагменты, чем загружать во входной текст весь архив.