Видеокарты для локального ИИ

Сравните объём VRAM, программную совместимость, питание и габариты. Для окончательной проверки откройте модель видеокарты или калькулятор.

• AMD Instinct MI210: 64 ГБ HBM2e, шина 4096 бит и пропускная способность 1638 ГБ/с. Карта ориентирована на профессиональные вычисления, инференс и работу с локальными моделями. Для длительной нагрузки важны охлаждение, совместимый корпус или сервер и подходящий программный стек.
• AMD Instinct MI250X: 128 ГБ HBM2e, шина 8192 бит и пропускная способность 3200 ГБ/с. Карта ориентирована на профессиональные вычисления, инференс и работу с локальными моделями. Для длительной нагрузки важны охлаждение, совместимый корпус или сервер и подходящий программный стек.
• AMD Instinct MI300X: 192 ГБ HBM3, шина 8192 бит и пропускная способность 5300 ГБ/с. Карта ориентирована на профессиональные вычисления, инференс и работу с локальными моделями. Для длительной нагрузки важны охлаждение, совместимый корпус или сервер и подходящий программный стек.
• Arc A750: 8 ГБ GDDR6, шина 256 бит, пропускная способность 512 ГБ/с. 8 ГБ рассчитаны на модели 3-7B в Q4 и облегчённую генерацию изображений. Большой контекст, ControlNet, FLUX и видео быстро исчерпывают память. Для референсного класса указаны блок питания от 600 Вт, длина до 267 мм и интерфейс PCIe 4.0 x16. Пропускная способность памяти сравнительно высокая, но 8 ГБ и ограниченный выбор совместимого ПО сужают набор практических сценариев.
• Arc A770 16GB: 16 ГБ GDDR6, шина 256 бит, пропускная способность 560 ГБ/с. 16 ГБ подходят для моделей 7-14B в Q4, SDXL и большинства обычных профилей FLUX. Модели около 30B обычно требуют частичного размещения в оперативной памяти. Для референсного класса указаны блок питания от 650 Вт, длина до 267 мм и интерфейс PCIe 4.0 x16. 16 ГБ дают хороший запас по вместимости для своего ценового класса. Лучшие результаты ожидаются в приложениях с поддержкой Intel XPU, oneAPI или Vulkan.
• Arc B570: 10 ГБ GDDR6, шина 160 бит, пропускная способность 380 ГБ/с. 10 ГБ обычно достаточно для 7-8B моделей в Q4 и SDXL. Модели 14B и сложные схемы генерации часто требуют переноса части данных в оперативную память. Для референсного класса указаны блок питания от 550 Вт, длина до 272 мм и интерфейс PCIe 4.0 x8. 10 ГБ подходят для компактных моделей и части профилей генерации изображений. Доступность совместимых инструментов уже, чем для NVIDIA.
• Arc B580: 12 ГБ GDDR6, шина 192 бит, пропускная способность 456 ГБ/с. 12 ГБ позволяют уверенно запускать большинство 7-8B моделей в Q4 и часть профилей 14B. Для FLUX, видео и большого контекста запас остаётся небольшим. Для референсного класса указаны блок питания от 600 Вт, длина до 272 мм и интерфейс PCIe 4.0 x8. 12 ГБ позволяют запускать 7-8B модели и SDXL. Приложения, рассчитанные только на CUDA, потребуют альтернативы с XPU, oneAPI или Vulkan.
• GeForce GTX 1050 2GB: 2 ГБ GDDR5, шина 128 бит, пропускная способность 112 ГБ/с и PCIe 3.0 x16. Для локального ИИ карта годится только для очень компактных моделей и диагностических задач. Современные генераторы изображений обычно упираются в объём памяти.
• GeForce GTX 1050 3GB: 3 ГБ GDDR5, шина 96 бит и пропускная способность 84 ГБ/с.
• GeForce GTX 1050 Ti 4GB: 4 ГБ GDDR5, шина 128 бит, пропускная способность 112 ГБ/с и PCIe 3.0 x16. Карта запускает небольшие квантизованные модели, но 4 ГБ быстро становятся ограничением. Для SDXL, FLUX и видеогенерации она не подходит.
• GeForce GTX 1060 3GB: 3 ГБ GDDR5, шина 192 бит, пропускная способность 192 ГБ/с и PCIe 3.0 x16. Вычислительная часть заметно быстрее GTX 1050, но объём памяти делает карту неудобной для локальных моделей. Практический предел задаёт VRAM, а не скорость ядра.
• GeForce GTX 1060 5GB: 5 ГБ GDDR5, шина 160 бит и пропускная способность 200.2 ГБ/с.
• GeForce GTX 1060 6GB: 6 ГБ GDDR5, шина 192 бит, пропускная способность 192 ГБ/с и PCIe 3.0 x16. Карта подходит для компактных LLM и старых схем генерации изображений. Для современных моделей 6 ГБ требуют экономных настроек и выгрузки части данных в RAM.
• GeForce GTX 1070: 8 ГБ GDDR5, шина 256 бит, пропускная способность 256 ГБ/с и PCIe 3.0 x16. Объёма хватает для многих LLM 7B в Q4 и старых image-моделей. Главный недостаток для ИИ сегодня не память, а отсутствие Tensor Cores и возраст программной платформы.
• GeForce GTX 1070 Ti: 8 ГБ GDDR5, шина 256 бит, пропускная способность 256 ГБ/с и PCIe 3.0 x16. По вычислительной мощности карта близка к GTX 1080, но память медленнее. Для локального ИИ остаётся рабочим вариантом для компактных моделей при совместимом runtime.
• GeForce GTX 1080: 8 ГБ GDDR5X, шина 256 бит, пропускная способность 320 ГБ/с и PCIe 3.0 x16. Карта быстрее GTX 1070 по памяти и вычислениям, но 8 ГБ и отсутствие Tensor Cores ограничивают современные ИИ-сценарии. Подходит для компактных моделей и старых пайплайнов.
• GeForce GTX 1080 Ti: 11 ГБ GDDR5X, шина 352 бит, пропускная способность 484 ГБ/с и PCIe 3.0 x16. Большой для Pascal объём памяти позволяет запускать LLM 7B и часть 13B в Q4. Производительность остаётся ограниченной отсутствием Tensor Cores и старой архитектурой.
• GeForce GTX 1630 4GB: 4 ГБ GDDR6, шина 64 бит и пропускная способность 96 ГБ/с.
• GeForce GTX 1650 4GB: 4 ГБ GDDR6, шина 128 бит, пропускная способность 192 ГБ/с. 4 ГБ ограничивают выбор моделями около 3B в Q4 и базовыми профилями генерации изображений. Размер весов и пиковое потребление нужно проверять до загрузки. Для референсного класса указаны блок питания от 350 Вт, длина до 202 мм и интерфейс PCIe 3.0 x16. Отсутствие Tensor Cores и 4 ГБ памяти ограничивают карту компактными экспериментальными задачами. Современные профили обычно требуют более нового GPU.
• GeForce GTX 1650 GDDR6 4GB: 4 ГБ GDDR6, шина 128 бит и пропускная способность 192 ГБ/с.
• GeForce GTX 1650 SUPER 4GB: 4 ГБ GDDR6, шина 128 бит и пропускная способность 192 ГБ/с.
• GeForce GTX 1660 6GB: 6 ГБ GDDR5, шина 192 бит и пропускная способность 192.1 ГБ/с.
• GeForce GTX 1660 SUPER 6GB: 6 ГБ GDDR6, шина 192 бит и пропускная способность 336 ГБ/с.
• GeForce GTX 1660 Ti 6GB: 6 ГБ GDDR6, шина 192 бит и пропускная способность 288 ГБ/с.
• GeForce GTX 950 2GB: 2 ГБ GDDR5, шина 128 бит и пропускная способность 105.6 ГБ/с.
• GeForce GTX 960 2GB: 2 ГБ GDDR5, шина 128 бит и пропускная способность 112.2 ГБ/с.
• GeForce GTX 960 4GB: 4 ГБ GDDR5, шина 128 бит и пропускная способность 112.2 ГБ/с.
• GeForce GTX 970 4GB: 4 ГБ GDDR5, шина 256 бит и пропускная способность 224.3 ГБ/с.
• GeForce GTX 980 4GB: 4 ГБ GDDR5, шина 256 бит и пропускная способность 224.3 ГБ/с.
• GeForce GTX 980 Ti 6GB: 6 ГБ GDDR5, шина 384 бит и пропускная способность 336.5 ГБ/с.
• GeForce GTX TITAN X 12GB: 12 ГБ GDDR5, шина 384 бит и пропускная способность 336.5 ГБ/с.
• GeForce RTX 2060 12GB: 12 ГБ GDDR6, шина 192 бит, пропускная способность 336 ГБ/с и PCIe 3.0 x16. Увеличенная память важнее умеренной вычислительной скорости: карта запускает больше LLM и image-моделей, чем RTX 2060 6GB. Для задач, чувствительных к скорости, Turing уже заметно уступает новым поколениям.
• GeForce RTX 2060 6GB: 6 ГБ GDDR6, шина 192 бит, пропускная способность 336 ГБ/с и PCIe 3.0 x16. Tensor Cores делают карту заметно удобнее Pascal для ИИ, но 6 ГБ VRAM ограничивают размер моделей. Оптимальный сценарий - компактные LLM и лёгкие image-процессы.
• GeForce RTX 2060 SUPER: 8 ГБ GDDR6, шина 256 бит, пропускная способность 448 ГБ/с и PCIe 3.0 x16. Карта быстрее RTX 2060 и лучше работает с памятью, но 8 ГБ ограничивают современные крупные модели. Подходит для LLM 7B и умеренных задач генерации изображений.
• GeForce RTX 2070: 8 ГБ GDDR6, шина 256 бит, пропускная способность 448 ГБ/с и PCIe 3.0 x16. RTX 2070 даёт полноценные Tensor Cores Turing и подходит для LLM 7B, SDXL и старых AI-процессов. Ограничение современной эксплуатации - объём VRAM.
• GeForce RTX 2070 SUPER: 8 ГБ GDDR6, шина 256 бит, пропускная способность 448 ГБ/с и PCIe 3.0 x16. RTX 2070 SUPER заметно быстрее обычной 2070, но в локальном ИИ часто упирается в те же 8 ГБ. Хороша для компактных LLM и image-моделей с экономным использованием памяти.
• GeForce RTX 2080: 8 ГБ GDDR6, шина 256 бит, пропускная способность 448 ГБ/с и PCIe 3.0 x16. RTX 2080 имеет достаточную вычислительную скорость для компактных моделей, но VRAM ограничивает задачи сильнее, чем ядро. Для современных LLM и FLUX часто нужен offload.
• GeForce RTX 2080 SUPER: 8 ГБ GDDR6, шина 256 бит, пропускная способность 496 ГБ/с и PCIe 3.0 x16. RTX 2080 SUPER быстрее обычной 2080, но сохраняет тот же объём VRAM. Карта полезна для компактных моделей и image-задач, где 8 ГБ достаточно.
• GeForce RTX 2080 Ti: 11 ГБ GDDR6, шина 352 бит, пропускная способность 616 ГБ/с и PCIe 3.0 x16. RTX 2080 Ti остаётся пригодной для LLM 7B, части 13B в Q4 и SDXL. Tensor Cores ускоряют ИИ, но 11 ГБ и старое поколение ограничивают современные тяжёлые процессы.
• GeForce RTX 3050 6GB: 6 ГБ GDDR6, шина 96 бит и пропускная способность 168 ГБ/с.
• GeForce RTX 3050 8GB: 8 ГБ GDDR6, шина 128 бит, пропускная способность 224 ГБ/с. 8 ГБ рассчитаны на модели 3-7B в Q4 и облегчённую генерацию изображений. Большой контекст, ControlNet, FLUX и видео быстро исчерпывают память. Для референсного класса указаны блок питания от 500 Вт, длина до 242 мм и интерфейс PCIe 4.0 x8. Карта подходит для знакомства с локальным запуском, небольших моделей и базовой генерации. Для современных тяжёлых профилей 8 ГБ недостаточно.
• GeForce RTX 3060 12GB: 12 ГБ GDDR6, шина 192 бит, пропускная способность 360 ГБ/с. 12 ГБ позволяют уверенно запускать большинство 7-8B моделей в Q4 и часть профилей 14B. Для FLUX, видео и большого контекста запас остаётся небольшим. Для референсного класса указаны блок питания от 550 Вт, длина до 242 мм и интерфейс PCIe 4.0 x16. 12 ГБ дают больше свободы по размеру модели, чем у многих более новых карт начального класса. Скорость памяти и вычислений при этом заметно ниже старших RTX.
• GeForce RTX 3060 8GB: 8 ГБ GDDR6, шина 128 бит и пропускная способность 240 ГБ/с.
• GeForce RTX 3060 Ti 8GB: 8 ГБ GDDR6, шина 256 бит и пропускная способность 448 ГБ/с.
• GeForce RTX 3070 8GB: 8 ГБ GDDR6, шина 256 бит и пропускная способность 448 ГБ/с.
• GeForce RTX 3070 Ti 8GB: 8 ГБ GDDR6X, шина 256 бит и пропускная способность 608.3 ГБ/с.
• GeForce RTX 3080 10GB: 10 ГБ GDDR6X, шина 320 бит, пропускная способность 760 ГБ/с. 10 ГБ обычно достаточно для 7-8B моделей в Q4 и SDXL. Модели 14B и сложные схемы генерации часто требуют переноса части данных в оперативную память. Для референсного класса указаны блок питания от 750 Вт, длина до 285 мм и интерфейс PCIe 4.0 x16. 10 ГБ достаточно для 7-8B моделей и SDXL, но этот объём находится между типовыми профилями 8 и 12 ГБ и часто требует ручной настройки памяти.
• GeForce RTX 3080 12GB: 12 ГБ GDDR6X, шина 384 бит и пропускная способность 912.4 ГБ/с.
• GeForce RTX 3080 Ti: 12 ГБ GDDR6X, шина 384 бит, пропускная способность 912 ГБ/с. 12 ГБ позволяют уверенно запускать большинство 7-8B моделей в Q4 и часть профилей 14B. Для FLUX, видео и большого контекста запас остаётся небольшим. Для референсного класса указаны блок питания от 750 Вт, длина до 285 мм и интерфейс PCIe 4.0 x16. Пропускная способность высокая, но 12 ГБ ограничивают размер модели. Для локального ИИ RTX 3090 часто практичнее именно из-за памяти.
• GeForce RTX 3090: 24 ГБ GDDR6X, шина 384 бит, пропускная способность 936 ГБ/с. 24 ГБ позволяют запускать модели 14B с большим запасом и многие профили 20-32B в Q4. Большой контекст и видео могут заметно сократить свободную память. Для референсного класса указаны блок питания от 750 Вт, длина до 313 мм и интерфейс PCIe 4.0 x16. 24 ГБ позволяют запускать профили, недоступные большинству потребительских карт. При покупке с рук нужно проверить память, температуры и состояние системы охлаждения.
• GeForce RTX 3090 Ti: 24 ГБ GDDR6X, шина 384 бит, пропускная способность 1008 ГБ/с. 24 ГБ позволяют запускать модели 14B с большим запасом и многие профили 20-32B в Q4. Большой контекст и видео могут заметно сократить свободную память. Для референсного класса указаны блок питания от 850 Вт, длина до 313 мм и интерфейс PCIe 4.0 x16. 24 ГБ и NVLink полезны для вместимости и экспериментальных многокарточных конфигураций. Энергопотребление и охлаждение остаются основными эксплуатационными ограничениями.
• GeForce RTX 4060: 8 ГБ GDDR6, шина 128 бит, пропускная способность 272 ГБ/с. 8 ГБ рассчитаны на модели 3-7B в Q4 и облегчённую генерацию изображений. Большой контекст, ControlNet, FLUX и видео быстро исчерпывают память. Для референсного класса указаны блок питания от 550 Вт, длина до 244 мм и интерфейс PCIe 4.0 x8. Низкое энергопотребление упрощает установку, но 8 ГБ требуют компактных моделей, меньшего контекста и аккуратного выбора компонентов генерации.
• GeForce RTX 4060 Ti 16GB: 16 ГБ GDDR6, шина 128 бит, пропускная способность 288 ГБ/с. 16 ГБ подходят для моделей 7-14B в Q4, SDXL и большинства обычных профилей FLUX. Модели около 30B обычно требуют частичного размещения в оперативной памяти. Для референсного класса указаны блок питания от 550 Вт, длина до 244 мм и интерфейс PCIe 4.0 x8. 16 ГБ полезны в задачах, где модель должна целиком поместиться в память. Пропускная способность 288 ГБ/с заметно ниже, чем у старших карт с тем же объёмом.
• GeForce RTX 4060 Ti 8GB: 8 ГБ GDDR6, шина 128 бит и пропускная способность 288 ГБ/с.
• GeForce RTX 4070 12GB: 12 ГБ GDDR6X, шина 192 бит и пропускная способность 504.2 ГБ/с.
• GeForce RTX 4070 SUPER: 12 ГБ GDDR6X, шина 192 бит, пропускная способность 504 ГБ/с. 12 ГБ позволяют уверенно запускать большинство 7-8B моделей в Q4 и часть профилей 14B. Для FLUX, видео и большого контекста запас остаётся небольшим. Для референсного класса указаны блок питания от 650 Вт, длина до 244 мм и интерфейс PCIe 4.0 x16. 12 ГБ ограничивают крупные модели и сложные схемы FLUX, несмотря на достаточную скорость для 7-8B моделей и SDXL.
• GeForce RTX 4070 Ti 12GB: 12 ГБ GDDR6X, шина 192 бит и пропускная способность 504.2 ГБ/с.
• GeForce RTX 4070 Ti SUPER: 16 ГБ GDDR6X, шина 256 бит, пропускная способность 672 ГБ/с. 16 ГБ подходят для моделей 7-14B в Q4, SDXL и большинства обычных профилей FLUX. Модели около 30B обычно требуют частичного размещения в оперативной памяти. Для референсного класса указаны блок питания от 700 Вт, длина до 285 мм и интерфейс PCIe 4.0 x16. 16 ГБ и умеренное энергопотребление подходят для рабочей станции с одной картой. Для 30B-моделей обычно потребуется частичное размещение в RAM.
• GeForce RTX 4080 16GB: 16 ГБ GDDR6X, шина 256 бит и пропускная способность 716.8 ГБ/с.
• GeForce RTX 4080 SUPER: 16 ГБ GDDR6X, шина 256 бит, пропускная способность 736 ГБ/с. 16 ГБ подходят для моделей 7-14B в Q4, SDXL и большинства обычных профилей FLUX. Модели около 30B обычно требуют частичного размещения в оперативной памяти. Для референсного класса указаны блок питания от 750 Вт, длина до 304 мм и интерфейс PCIe 4.0 x16. Высокая вычислительная скорость сочетается с 16 ГБ памяти. Для моделей крупнее 14B выбор чаще определяется вместимостью, а не скоростью ядра.
• GeForce RTX 4090: 24 ГБ GDDR6X, шина 384 бит, пропускная способность 1008 ГБ/с. 24 ГБ позволяют запускать модели 14B с большим запасом и многие профили 20-32B в Q4. Большой контекст и видео могут заметно сократить свободную память. Для референсного класса указаны блок питания от 850 Вт, длина до 304 мм и интерфейс PCIe 4.0 x16. 24 ГБ, пропускная способность 1008 ГБ/с и зрелая поддержка CUDA делают карту базовой точкой сравнения для однокарточных рабочих станций.
• GeForce RTX 5050 8GB: 8 ГБ GDDR6, шина 128 бит и пропускная способность 320 ГБ/с.
• GeForce RTX 5060: 8 ГБ GDDR7, шина 128 бит, пропускная способность 448 ГБ/с. 8 ГБ рассчитаны на модели 3-7B в Q4 и облегчённую генерацию изображений. Большой контекст, ControlNet, FLUX и видео быстро исчерпывают память. Для референсного класса указаны блок питания от 550 Вт, длина до 242 мм и интерфейс PCIe 5.0 x8. Подходит для компактных текстовых моделей и генерации изображений с настройками экономии памяти. Для крупных профилей потребуется перенос данных в RAM.
• GeForce RTX 5060 Ti 16GB: 16 ГБ GDDR7, шина 128 бит, пропускная способность 448 ГБ/с. 16 ГБ подходят для моделей 7-14B в Q4, SDXL и большинства обычных профилей FLUX. Модели около 30B обычно требуют частичного размещения в оперативной памяти. Для референсного класса указаны блок питания от 600 Вт, длина до 242 мм и интерфейс PCIe 5.0 x8. Объём памяти выше обычного для этого класса, однако узкая шина и интерфейс x8 снижают скорость в задачах с интенсивным обменом данными.
• GeForce RTX 5060 Ti 8GB: 8 ГБ GDDR7, шина 128 бит, пропускная способность 448 ГБ/с. 8 ГБ рассчитаны на модели 3-7B в Q4 и облегчённую генерацию изображений. Большой контекст, ControlNet, FLUX и видео быстро исчерпывают память. Для референсного класса указаны блок питания от 600 Вт, длина до 242 мм и интерфейс PCIe 5.0 x8. Вычислительная часть близка к версии на 16 ГБ, но в локальном ИИ две версии относятся к разным классам из-за двукратной разницы в памяти.
• GeForce RTX 5070: 12 ГБ GDDR7, шина 192 бит, пропускная способность 672 ГБ/с. 12 ГБ позволяют уверенно запускать большинство 7-8B моделей в Q4 и часть профилей 14B. Для FLUX, видео и большого контекста запас остаётся небольшим. Для референсного класса указаны блок питания от 650 Вт, длина до 242 мм и интерфейс PCIe 5.0 x16. 12 ГБ достаточно для большинства 7-8B моделей, но для 14B, FLUX и видео запас памяти быстро сокращается.
• GeForce RTX 5070 Ti: 16 ГБ GDDR7, шина 256 бит, пропускная способность 896 ГБ/с. 16 ГБ подходят для моделей 7-14B в Q4, SDXL и большинства обычных профилей FLUX. Модели около 30B обычно требуют частичного размещения в оперативной памяти. Для референсного класса указаны блок питания от 750 Вт, длина до 304 мм и интерфейс PCIe 5.0 x16. 16 ГБ позволяют работать с моделями среднего размера. В системе с двумя картами нужно заранее проверить расстояние между слотами и охлаждение.
• GeForce RTX 5080: 16 ГБ GDDR7, шина 256 бит, пропускная способность 960 ГБ/с. 16 ГБ подходят для моделей 7-14B в Q4, SDXL и большинства обычных профилей FLUX. Модели около 30B обычно требуют частичного размещения в оперативной памяти. Для референсного класса указаны блок питания от 850 Вт, длина до 304 мм и интерфейс PCIe 5.0 x16. Высокая пропускная способность полезна для генерации и обработки контекста, но 16 ГБ ограничивают размер модели раньше, чем заканчивается вычислительный ресурс.
• GeForce RTX 5090: 32 ГБ GDDR7, шина 512 бит, пропускная способность 1792 ГБ/с. 32 ГБ подходят для большинства моделей 20-32B в Q4 и тяжёлых схем генерации. Модели 70B по-прежнему требуют нескольких карт или размещения части данных в RAM. Для референсного класса указаны блок питания от 1000 Вт, длина до 304 мм и интерфейс PCIe 5.0 x16. 32 ГБ уменьшают число задач, где приходится переносить данные в оперативную память. При сборке важны блок питания, свободное место в корпусе и отвод тепла при длительной нагрузке.
• NVIDIA A10: 24 ГБ GDDR6 ECC, шина 384 бит и пропускная способность 600 ГБ/с. Карта ориентирована на профессиональные вычисления, инференс и работу с локальными моделями. Для длительной нагрузки важны охлаждение, совместимый корпус или сервер и подходящий программный стек.
• NVIDIA A100 40GB PCIe: 40 ГБ HBM2, шина 5120 бит и пропускная способность 1555 ГБ/с. Карта ориентирована на профессиональные вычисления, инференс и работу с локальными моделями. Для длительной нагрузки важны охлаждение, совместимый корпус или сервер и подходящий программный стек.
• NVIDIA A100 80GB PCIe: 80 ГБ HBM2e, шина 5120 бит и пропускная способность 1935 ГБ/с. Карта ориентирована на профессиональные вычисления, инференс и работу с локальными моделями. Для длительной нагрузки важны охлаждение, совместимый корпус или сервер и подходящий программный стек.
• NVIDIA A30: 24 ГБ HBM2, шина 3072 бит и пропускная способность 933 ГБ/с. Карта ориентирована на профессиональные вычисления, инференс и работу с локальными моделями. Для длительной нагрузки важны охлаждение, совместимый корпус или сервер и подходящий программный стек.
• NVIDIA A40: 48 ГБ GDDR6 ECC, шина 384 бит и пропускная способность 696 ГБ/с. Карта ориентирована на профессиональные вычисления, инференс и работу с локальными моделями. Для длительной нагрузки важны охлаждение, совместимый корпус или сервер и подходящий программный стек.
• NVIDIA H100 NVL 94GB: 94 ГБ HBM3, шина 6144 бит и пропускная способность 3900 ГБ/с. Карта ориентирована на профессиональные вычисления, инференс и работу с локальными моделями. Для длительной нагрузки важны охлаждение, совместимый корпус или сервер и подходящий программный стек.
• NVIDIA H100 PCIe 80GB: 80 ГБ HBM2e, шина 5120 бит и пропускная способность 2000 ГБ/с. Карта ориентирована на профессиональные вычисления, инференс и работу с локальными моделями. Для длительной нагрузки важны охлаждение, совместимый корпус или сервер и подходящий программный стек.
• NVIDIA H200 NVL 141GB: 141 ГБ HBM3e, шина 6144 бит и пропускная способность 4800 ГБ/с. Карта ориентирована на профессиональные вычисления, инференс и работу с локальными моделями. Для длительной нагрузки важны охлаждение, совместимый корпус или сервер и подходящий программный стек.
• NVIDIA L4: 24 ГБ GDDR6 ECC, шина 192 бит и пропускная способность 300 ГБ/с. Карта ориентирована на профессиональные вычисления, инференс и работу с локальными моделями. Для длительной нагрузки важны охлаждение, совместимый корпус или сервер и подходящий программный стек.
• NVIDIA L40: 48 ГБ GDDR6 ECC, шина 384 бит и пропускная способность 864 ГБ/с. Карта ориентирована на профессиональные вычисления, инференс и работу с локальными моделями. Для длительной нагрузки важны охлаждение, совместимый корпус или сервер и подходящий программный стек.
• NVIDIA L40S: 48 ГБ GDDR6 ECC, шина 384 бит и пропускная способность 864 ГБ/с. Карта ориентирована на профессиональные вычисления, инференс и работу с локальными моделями. Для длительной нагрузки важны охлаждение, совместимый корпус или сервер и подходящий программный стек.
• Quadro RTX 6000: 24 ГБ GDDR6 ECC, шина 384 бит и пропускная способность 672 ГБ/с. Карта ориентирована на профессиональные вычисления, инференс и работу с локальными моделями. Для длительной нагрузки важны охлаждение, совместимый корпус или сервер и подходящий программный стек.
• Quadro RTX 8000: 48 ГБ GDDR6 ECC, шина 384 бит и пропускная способность 672 ГБ/с. Карта ориентирована на профессиональные вычисления, инференс и работу с локальными моделями. Для длительной нагрузки важны охлаждение, совместимый корпус или сервер и подходящий программный стек.
• RTX 2000 Ada Generation: 16 ГБ GDDR6 ECC, шина 128 бит и пропускная способность 224 ГБ/с. Карта ориентирована на профессиональные вычисления, инференс и работу с локальными моделями. Для длительной нагрузки важны охлаждение, совместимый корпус или сервер и подходящий программный стек.
• RTX 4000 Ada Generation: 20 ГБ GDDR6 ECC, шина 160 бит и пропускная способность 360 ГБ/с. Карта ориентирована на профессиональные вычисления, инференс и работу с локальными моделями. Для длительной нагрузки важны охлаждение, совместимый корпус или сервер и подходящий программный стек.
• RTX 4000 SFF Ada Generation: 20 ГБ GDDR6 ECC, шина 160 бит и пропускная способность 280 ГБ/с. Карта ориентирована на профессиональные вычисления, инференс и работу с локальными моделями. Для длительной нагрузки важны охлаждение, совместимый корпус или сервер и подходящий программный стек.
• RTX 4500 Ada Generation: 24 ГБ GDDR6 ECC, шина 192 бит и пропускная способность 432 ГБ/с. Карта ориентирована на профессиональные вычисления, инференс и работу с локальными моделями. Для длительной нагрузки важны охлаждение, совместимый корпус или сервер и подходящий программный стек.
• RTX 5000 Ada Generation: 32 ГБ GDDR6 ECC, шина 256 бит и пропускная способность 576 ГБ/с. Карта ориентирована на профессиональные вычисления, инференс и работу с локальными моделями. Для длительной нагрузки важны охлаждение, совместимый корпус или сервер и подходящий программный стек.
• RTX 6000 Ada: 48 ГБ GDDR6 ECC, шина 384 бит, пропускная способность 960 ГБ/с. 48 ГБ рассчитаны на крупные текстовые модели, длинный контекст и тяжёлые конвейеры генерации. Веса 70B в Q4 приближаются к пределу ещё до учёта KV-кэша и рабочих буферов. Для референсного класса указаны блок питания от 750 Вт, длина до 267 мм и интерфейс PCIe 4.0 x16. 48 ГБ ECC, двухслотовое исполнение и 300 Вт упрощают плотную рабочую станцию. Стоимость относится к профессиональному классу.
• RTX A2000 12GB: 12 ГБ GDDR6 ECC, шина 192 бит и пропускная способность 288 ГБ/с. Карта ориентирована на профессиональные вычисления, инференс и работу с локальными моделями. Для длительной нагрузки важны охлаждение, совместимый корпус или сервер и подходящий программный стек.
• RTX A4000: 16 ГБ GDDR6 ECC, шина 256 бит и пропускная способность 448 ГБ/с. Карта ориентирована на профессиональные вычисления, инференс и работу с локальными моделями. Для длительной нагрузки важны охлаждение, совместимый корпус или сервер и подходящий программный стек.
• RTX A4500: 20 ГБ GDDR6 ECC, шина 320 бит и пропускная способность 640 ГБ/с. Карта ориентирована на профессиональные вычисления, инференс и работу с локальными моделями. Для длительной нагрузки важны охлаждение, совместимый корпус или сервер и подходящий программный стек.
• RTX A5000: 24 ГБ GDDR6 ECC, шина 384 бит и пропускная способность 768 ГБ/с. Карта ориентирована на профессиональные вычисления, инференс и работу с локальными моделями. Для длительной нагрузки важны охлаждение, совместимый корпус или сервер и подходящий программный стек.
• RTX A5500: 24 ГБ GDDR6 ECC, шина 384 бит и пропускная способность 768 ГБ/с. Карта ориентирована на профессиональные вычисления, инференс и работу с локальными моделями. Для длительной нагрузки важны охлаждение, совместимый корпус или сервер и подходящий программный стек.
• RTX A6000: 48 ГБ GDDR6 ECC, шина 384 бит, пропускная способность 768 ГБ/с. 48 ГБ рассчитаны на крупные текстовые модели, длинный контекст и тяжёлые конвейеры генерации. Веса 70B в Q4 приближаются к пределу ещё до учёта KV-кэша и рабочих буферов. Для референсного класса указаны блок питания от 750 Вт, длина до 267 мм и интерфейс PCIe 4.0 x16. 48 ГБ ECC и двухслотовое исполнение рассчитаны на рабочие станции с крупными моделями и несколькими картами. Скорость ниже RTX 6000 Ada, но объём памяти тот же.
• RTX PRO 5000 Blackwell: 48 ГБ GDDR7 ECC, шина 384 бит и пропускная способность 1344 ГБ/с. Карта ориентирована на профессиональные вычисления, инференс и работу с локальными моделями. Для длительной нагрузки важны охлаждение, совместимый корпус или сервер и подходящий программный стек.
• RTX PRO 6000 Blackwell Max-Q: 96 ГБ GDDR7 ECC, шина 512 бит и пропускная способность 1792 ГБ/с. Карта ориентирована на профессиональные вычисления, инференс и работу с локальными моделями. Для длительной нагрузки важны охлаждение, совместимый корпус или сервер и подходящий программный стек.
• RTX PRO 6000 Blackwell Workstation Edition: 96 ГБ GDDR7 ECC, шина 512 бит и пропускная способность 1792 ГБ/с. Карта ориентирована на профессиональные вычисления, инференс и работу с локальными моделями. Для длительной нагрузки важны охлаждение, совместимый корпус или сервер и подходящий программный стек.
• Radeon PRO W7800: 32 ГБ GDDR6 ECC, шина 256 бит и пропускная способность 576 ГБ/с. Карта ориентирована на профессиональные вычисления, инференс и работу с локальными моделями. Для длительной нагрузки важны охлаждение, совместимый корпус или сервер и подходящий программный стек.
• Radeon PRO W7900: 48 ГБ GDDR6 ECC, шина 384 бит, пропускная способность 864 ГБ/с. 48 ГБ рассчитаны на крупные текстовые модели, длинный контекст и тяжёлые конвейеры генерации. Веса 70B в Q4 приближаются к пределу ещё до учёта KV-кэша и рабочих буферов. Для референсного класса указаны блок питания от 800 Вт, длина до 280 мм и интерфейс PCIe 4.0 x16. 48 ГБ ECC рассчитаны на крупные модели и профессиональные рабочие станции. Практическая пригодность определяется поддержкой ROCm в выбранной среде запуска.
• Radeon RX 6800 XT: 16 ГБ GDDR6, шина 256 бит, пропускная способность 512 ГБ/с. 16 ГБ подходят для моделей 7-14B в Q4, SDXL и большинства обычных профилей FLUX. Модели около 30B обычно требуют частичного размещения в оперативной памяти. Для референсного класса указаны блок питания от 750 Вт, длина до 267 мм и интерфейс PCIe 4.0 x16. 16 ГБ расширяют выбор моделей по сравнению с 8-12-ГБ картами. Перед закупкой нужна проверка совместимости с актуальным программным стеком.
• Radeon RX 6950 XT: 16 ГБ GDDR6, шина 256 бит, пропускная способность 576 ГБ/с. 16 ГБ подходят для моделей 7-14B в Q4, SDXL и большинства обычных профилей FLUX. Модели около 30B обычно требуют частичного размещения в оперативной памяти. Для референсного класса указаны блок питания от 850 Вт, длина до 267 мм и интерфейс PCIe 4.0 x16. 16 ГБ и пропускная способность 576 ГБ/с достаточны для многих локальных задач. Поддержка зависит от версии ROCm и конкретного приложения.
• Radeon RX 7700 XT: 12 ГБ GDDR6, шина 192 бит, пропускная способность 432 ГБ/с. 12 ГБ позволяют уверенно запускать большинство 7-8B моделей в Q4 и часть профилей 14B. Для FLUX, видео и большого контекста запас остаётся небольшим. Для референсного класса указаны блок питания от 700 Вт, длина до 267 мм и интерфейс PCIe 4.0 x16. 12 ГБ подходят для 7-8B моделей и SDXL. В сравнении с CUDA обычно требуется больше ручной настройки среды.
• Radeon RX 7800 XT: 16 ГБ GDDR6, шина 256 бит, пропускная способность 624 ГБ/с. 16 ГБ подходят для моделей 7-14B в Q4, SDXL и большинства обычных профилей FLUX. Модели около 30B обычно требуют частичного размещения в оперативной памяти. Для референсного класса указаны блок питания от 700 Вт, длина до 267 мм и интерфейс PCIe 4.0 x16. 16 ГБ полезны для 14B-моделей и генерации изображений. Перед покупкой следует проверить работу нужного приложения на конкретной версии ROCm.
• Radeon RX 7900 XT: 20 ГБ GDDR6, шина 320 бит, пропускная способность 800 ГБ/с. 20 ГБ расширяют выбор до части моделей 20-30B в Q4 при умеренном контексте. Точный предел зависит от KV-кэша и служебной памяти среды запуска. Для референсного класса указаны блок питания от 750 Вт, длина до 276 мм и интерфейс PCIe 4.0 x16. 20 ГБ позволяют работать с более крупными профилями, чем 16-ГБ карты. Совместимость программ зависит от Linux, версии ROCm и выбранного приложения.
• Radeon RX 7900 XTX: 24 ГБ GDDR6, шина 384 бит, пропускная способность 960 ГБ/с. 24 ГБ позволяют запускать модели 14B с большим запасом и многие профили 20-32B в Q4. Большой контекст и видео могут заметно сократить свободную память. Для референсного класса указаны блок питания от 800 Вт, длина до 287 мм и интерфейс PCIe 4.0 x16. 24 ГБ и высокая пропускная способность дают подходящую аппаратную базу. Перед закупкой нужно проверить поддержку конкретной модели и версии ROCm.
• TITAN RTX 24GB: 24 ГБ GDDR6, шина 384 бит и пропускная способность 672 ГБ/с.
• TITAN X Pascal 12GB: 12 ГБ GDDR5X, шина 384 бит и пропускная способность 480.4 ГБ/с.
• TITAN Xp 12GB: 12 ГБ GDDR5X, шина 384 бит и пропускная способность 547.7 ГБ/с.
• Tesla P40: 24 ГБ GDDR5, шина 384 бит и пропускная способность 346 ГБ/с. Карта ориентирована на профессиональные вычисления, инференс и работу с локальными моделями. Для длительной нагрузки важны охлаждение, совместимый корпус или сервер и подходящий программный стек.
• Tesla V100 32GB PCIe: 32 ГБ HBM2, шина 4096 бит и пропускная способность 900 ГБ/с. Карта ориентирована на профессиональные вычисления, инференс и работу с локальными моделями. Для длительной нагрузки важны охлаждение, совместимый корпус или сервер и подходящий программный стек.