PCIe, линии и топология нескольких видеокарт

Физически установить несколько карт недостаточно: важны линии PCIe, расстояние между слотами и обмен между видеокартами.

Материнская плата может иметь несколько полноразмерных разъёмов, но электрически предоставлять x16/x4 или делить линии с NVMe. Для tensor parallel это влияет на обмен активациями.

PCIe 4.0 x8 часто приемлем для инференса, если модель распределена крупными блоками. Частые передачи между устройствами делают медленную линию заметнее.

Карты толщиной 3-4 слота требуют серверного корпуса, райзеров или водяного охлаждения. Учитывайте не только число разъёмов, но и реальное расстояние между ними.

NVLink доступен не на всех поколениях и не превращает несколько видеокарт в одно прозрачное устройство. Среда запуска всё равно должна поддерживать распределение модели.