GPU и AI-серверы

Серверные ускорители NVIDIA Tesla и AMD Instinct не имеют видеовыхода вовсе и заточены под чистые вычисления — двойную точность FP64 для научных расчётов или ускоренные тензорные операции FP16/INT8 для нейросетей, а также поддержку ECC-памяти для защиты от битовых ошибок при многодневных тренировках моделей. Профессиональные Quadro и RTX занимают промежуточное положение: держат видеовыход и сертифицированы для CAD/рендеринга, но стоят дороже игровых аналогов той же архитектуры за счёт стабильности драйверов и сертификации ПО.

Для обучения больших языковых моделей и работы с крупными датасетами нужен максимальный объём HBM2/HBM2e — от 16 ГБ у Radeon Instinct MI50 до 32 ГБ у MI100 и Tesla V100. Для инференса готовых моделей и рендеринга достаточно 8–16 ГБ GDDR6 на карте уровня RTX 4000 или Quadro P1000. Учитывайте, что объём памяти карты ограничивает максимальный размер модели или батча, который можно загрузить целиком — при нехватке памяти вычисления либо падают с ошибкой, либо резко замедляются из-за выгрузки данных в системную память.

SXM2 — проприетарный форм-фактор NVIDIA для установки Tesla V100 напрямую в серверную плату через специальный разъём с прямым доступом к шине NVLink между картами — это даёт в разы более быструю связь между несколькими ускорителями в одном сервере по сравнению с PCIe. PCIe-версия того же чипа (в комплекте с переходным адаптером, как в лоте Tesla V100 SXM2 + PCIE Adapter) устанавливается в стандартный слот расширения любого сервера, но без прямого NVLink между картами — обмен данными идёт через более медленную шину PCIe.

Физически карта ConnectX встаёт в свободный слот PCIe x16 практически любого современного сервера при наличии свободного места для полноразмерной или низкопрофильной версии, но для полноценной работы в режиме InfiniBand FDR/HDR нужна совместимая инфраструктура — коммутатор InfiniBand и остальные узлы кластера должны поддерживать тот же протокол и скорость передачи. При установке в режиме Ethernet карта работает как обычный сетевой адаптер 10/40/100 Гбит/с без специальных требований к остальной сети, что делает её заметно более универсальной для смешанных вычислительных и сетевых задач.

Чаще всего встречаются пересохший термоинтерфейс между чипом и радиатором после нескольких лет работы под нагрузкой — это проявляется тротлингом (снижением частоты) и перегревом при длительных вычислениях, а также забитые пылью рёбра радиатора и подшипники вентиляторов, начинающие шуметь или заклинивать. У карт форм-фактора SXM2 отдельная проблема — погнутые контакты разъёма при неаккуратном монтаже в шасси, а у моделей с активным охлаждением иногда выходит из строй сам вентилятор при непрерывной круглосуточной работе в стойке.

Установите карту в тестовый или целевой сервер и убедитесь, что она корректно определяется в BIOS/UEFI и операционной системе штатными средствами (nvidia-smi для NVIDIA, rocm-smi для AMD), проверьте отсутствие ошибок ECC-памяти в логе драйвера при пробном прогреве нагрузкой в течение хотя бы получаса. Осмотрите разъём PCIe или SXM2 на предмет погнутых контактов и радиатор на следы перегрева или самостоятельного вскрытия корпуса — вскрытая пломба гарантии производителя обычно указывает на предыдущий неофициальный ремонт карты сторонним сервисом.

Базово в лот входит сама карта; переходники питания PCIe (6-pin, 8-pin в зависимости от модели), низкопрофильная планка для компактных корпусов и переходной адаптер SXM2-to-PCIe (если он не является неотъемлемой частью самой карты) могут как входить в комплект, так и продаваться отдельно — это всегда указывается в описании конкретной позиции лота. Кабели NVLink для объединения нескольких карт в одну вычислительную группу в комплект стандартно не входят и заказываются отдельно под нужную конфигурацию сервера.

Карту устанавливают в тестовый стенд и проверяют определение системой без ошибок в диспетчере устройств или консольной утилите производителя, тестируют работу вентиляторов и достижимость нормальной рабочей температуры под контролируемой нагрузкой в течение определённого времени без признаков тротлинга. Для карт с ECC-памятью дополнительно проверяют отсутствие критических ошибок коррекции в системном логе, а физическое состояние разъёма PCIe и целостность радиатора осматриваются визуально перед финальной упаковкой лота.

Новая (new) карта поставляется в заводской упаковке с полной гарантией производителя и нетронутыми пломбами на корпусе. Refurbished (ref) прошла сертифицированный ремонт — заменён термоинтерфейс, проверены или заменены вентиляторы, обновлена прошивка VBIOS до актуальной версии — и обычно имеет ограниченную гарантию продавца площадки. Б/у (used) карта не проходила заводской ремонт, но проверена площадкой функционально перед продажей; такие карты стоят заметно дешевле, но термопаста и вентиляторы могут быть ближе к выработке своего ресурса.

Да, серверные ускорители Tesla и Instinct требуют установки специализированных драйверов и вычислительных платформ — NVIDIA CUDA с драйвером Data Center GPU или AMD ROCm — а не обычных игровых драйверов, которые для этих карт вообще не выпускаются производителем. Версия драйвера и платформы CUDA/ROCm должна точно соответствовать версии архитектуры чипа и используемого программного окружения (PyTorch, TensorFlow), иначе фреймворк может не увидеть ускоритель в системе или работать со значительно сниженной производительностью вычислений.

Часть серверных ускорителей (например Tesla M2075 и версии Instinct для плотных шасси) не имеет собственного вентилятора и охлаждается пассивным радиатором за счёт направленного потока воздуха от вентиляторов самого шасси сервера — такая карта требует установки именно в поддерживаемый производителем корпус с достаточным воздушным потоком через слот расширения. Установка пассивной карты в обычный настольный корпус без принудительного обдува спереди назад быстро приведёт к перегреву и срабатыванию встроенной тепловой защиты чипа с падением частоты.

Отдельные карты компактны и упаковываются в антистатический пакет с амортизацией внутри защищённой коробки — доставка занимает стандартные 22–30 дней вместе с остальным заказом. Полностью укомплектованные AI-серверы с восемью OAM-модулями (Supermicro SYS-820GH с картами Habana Gaudi) весят десятки килограммов и требуют отдельной паллетной упаковки — заранее уточните у менеджера точные габариты груза и возможность занести оборудование на объект силами получателя. Дорогостоящие ускорители при отправке страхуются на объявленную стоимость лота.