Минимальный протокол измерения

Результат полезен только вместе с параметрами, которые позволяют повторить тест.

Фиксируйте точную модель и файл, квантизацию или точность, среду запуска и её версию, драйвер, ОС, видеокарту, лимит мощности и температуру.

Отделяйте загрузку модели от измеряемого прогона. Выполните прогрев, затем несколько повторов и публикуйте медиану вместе с диапазоном.

Для текстовой модели указывайте число токенов во входном тексте и ответе, длину контекста, размер пакета и число параллельных последовательностей.

Для изображений и видео сохраняйте схему обработки, начальное значение генератора, разрешение, число шагов, метод выборки, размер пакета, число кадров и версии пользовательских узлов.

Не объединяйте результаты разных профилей в одно среднее значение.