GeForce RTX 3090 Ti для локального ИИ
24 ГБ GDDR6X, шина 384 бит, пропускная способность 1008 ГБ/с. 24 ГБ позволяют запускать модели 14B с большим запасом и многие профили 20-32B в Q4. Большой контекст и видео могут заметно сократить свободную память. Для референсного класса указаны блок питания от 850 Вт, длина до 313 мм и интерфейс PCIe 4.0 x16. 24 ГБ и NVLink полезны для вместимости и экспериментальных многокарточных конфигураций. Энергопотребление и охлаждение остаются основными эксплуатационными ограничениями.
- Видеопамять
- 24 ГБ GDDR6X
- Backend
- CUDA
- Пропускная способность
- 1008 ГБ/с
- Рекомендуемый БП
- от 850 Вт
Для чего подходит
- LLM 20-32B с длинным контекстом
- FLUX и видеогенерация с меньшим числом компромиссов
- QLoRA и исследовательские задачи
Ограничения
- высокие требования к блоку питания, охлаждению и расстоянию между картами
- трёхслотовое исполнение осложняет сборку нескольких видеокарт