Токены: как модель считает текст

Токен — фрагмент текста. Контекст, скорость и цена памяти считаются в токенах, а не в страницах.

Что является токеном
Это может быть слово, часть слова, число, знак препинания или пробел. Один и тот же текст на разных языках и у разных моделей разбивается по-разному.

Почему нельзя точно перевести в слова
Соотношение зависит от языка, tokenizer и содержания. Поэтому оценка «8K токенов — столько-то страниц» всегда приблизительна.

Что входит в контекст
Системная инструкция, история диалога, документы, текущий запрос и часть генерируемого ответа. Всё это делит одно окно контекста.

Как влияет на память
Чем больше уже обработанных токенов и параллельных запросов, тем больше KV-кэш. Поэтому увеличение контекста может вывести модель за предел VRAM.