Размер пакета и параллельные пользователи

Размер пакета увеличивает общую пропускную способность, но добавляет KV-кэш и меняет задержку одного запроса.

При нескольких одновременных последовательностях среда запуска хранит отдельное состояние KV-кэша. Поэтому память растёт примерно пропорционально числу активных последовательностей.

Больший пакет может эффективнее загружать GPU и повышать суммарную пропускную способность, но не обязательно ускоряет ответ одного пользователя.

Для чат-сервиса оценивайте как минимум TTFT, скорость генерации одного запроса, общую пропускную способность и пиковое потребление видеопамяти при ожидаемой конкуренции.