Пропускная способность памяти

Почему 24 ГБ на медленной карте и 24 ГБ на быстрой: не одно и то же.

При последовательной генерации токенов веса постоянно читаются из VRAM, поэтому пропускная способность памяти часто ограничивает скорость генерации.

Широкая шина и быстрая память особенно важны для больших плотных моделей.

Тензорные вычисления важнее при большом размере пакета и обучении; для одиночного чата пропускная способность памяти часто заметнее рекламных терафлопс.