PCIe, линии и топология multi-GPU

Физически установить несколько карт недостаточно: важны линии PCIe, расстояние между слотами и обмен между GPU.

Материнская плата может иметь несколько полноразмерных разъёмов, но электрически предоставлять x16/x4 или делить линии с NVMe. Для tensor parallel это влияет на обмен активациями.

PCIe 4.0 x8 часто приемлем для инференса, если модель распределена крупными блоками. Частые передачи между устройствами делают медленную линию заметнее.

Карты толщиной 3–4 слота требуют серверного корпуса, райзеров или водяного охлаждения. Учитывайте не только число разъёмов, но и реальное расстояние между ними.

NVLink доступен не на всех поколениях и не превращает несколько GPU в одну прозрачную видеокарту. Runtime всё равно должен поддерживать распределение модели.