GPU-сервер для нейросетей и ИИ: как выбрать
Запрос «купить сервер для нейросети» обычно означает одну из трёх задач: запустить готовую модель (инференс), дообучить её на своих данных или обучать с нуля. От задачи зависит всё остальное — сколько нужно видеопамяти, какие ускорители, какое шасси и сколько киловатт придётся подвести к стойке. Ниже — порядок выбора, который избавляет от самых дорогих ошибок.
1. Сначала задача, потом железо
- Инференс — чат-бот на открытой языковой модели, распознавание речи и изображений, поиск по документам. Главное — уместить модель в видеопамять и держать нужное число одновременных запросов.
- Дообучение (fine-tuning, LoRA) — памяти нужно заметно больше, чем для инференса той же модели: кроме весов хранятся градиенты и состояния оптимизатора. LoRA и квантование сильно снижают аппетит.
- Обучение с нуля больших моделей — это кластер из многих узлов с быстрой сетью между ними. Для компании, которая покупает один-два сервера, это почти никогда не актуально.
2. Видеопамять — главный параметр
Прикинуть объём можно простой арифметикой. Веса в формате FP16/BF16 занимают 2 байта на параметр, в 8-битном квантовании — 1 байт, в 4-битном — около половины байта.
| Модель | FP16/BF16 | 8 бит | 4 бита |
|---|---|---|---|
| 7–8 млрд параметров | ~14–16 ГБ | ~7–8 ГБ | ~4–5 ГБ |
| 13–14 млрд | ~26–28 ГБ | ~13–14 ГБ | ~7–8 ГБ |
| 70 млрд | ~140 ГБ | ~70 ГБ | ~35–40 ГБ |
Это только веса. Сверху нужен кэш контекста (KV-кэш), который растёт с длиной контекста и числом параллельных запросов, плюс служебные буферы фреймворка. Поэтому считайте с запасом и не выбирайте карту «впритык». Если модель не помещается в одну карту, её делят на несколько — тогда важна скорость связи между ускорителями.
3. Какие ускорители встречаются чаще всего
| Ускоритель | Память | Исполнение | TDP | Что важно |
|---|---|---|---|---|
| NVIDIA H100 SXM5 | 80 ГБ HBM3 | SXM | до 700 Вт | только в платформах HGX, NVLink между всеми GPU |
| NVIDIA H100 PCIe | 80 ГБ HBM2e | PCIe, 2 слота | 350 Вт | NVLink-мост попарно |
| NVIDIA H200 | 141 ГБ HBM3e | SXM или PCIe (NVL) | до 700 Вт (SXM) | больше памяти на карту |
| NVIDIA A100 | 40 или 80 ГБ HBM2/HBM2e | SXM4 или PCIe | 400 Вт SXM4, 250–300 Вт PCIe | поддержка BF16, TF32, MIG |
| NVIDIA L40S | 48 ГБ GDDR6 | PCIe, 2 слота | 350 Вт | без NVLink, хорош для инференса |
| NVIDIA A30 | 24 ГБ HBM2 | PCIe, 2 слота | 165 Вт | MIG, умеренное потребление |
| NVIDIA L4 | 24 ГБ GDDR6 | PCIe, низкопрофильная | 72 Вт | ставится почти в любой сервер |
| NVIDIA T4 | 16 ГБ GDDR6 | PCIe, низкопрофильная | 70 Вт | старое поколение, нет BF16 |
| NVIDIA V100 | 16 или 32 ГБ HBM2 | SXM2 или PCIe | 250–300 Вт | архитектура Volta, нет BF16 |
У старых карт (V100, T4) низкая цена, но учитывайте поддержку в софте: новые версии CUDA и фреймворков постепенно прекращают поддержку прежних архитектур. Перед покупкой сверьте, на какой версии CUDA и PyTorch вы собираетесь работать.
4. PCIe или SXM
SXM — ускорители в виде модулей на общей плате (HGX) на 4 или 8 GPU, все связаны NVLink. Это максимальная скорость обмена между картами и максимальное потребление. Такие модули покупают только вместе с платформой: переставить SXM-модуль в обычный сервер нельзя.
PCIe — обычные карты в слотах GPU-сервера. Обмен между ними идёт через шину PCIe, у A100 и H100 PCIe можно соединить пару карт мостом NVLink. Для инференса моделей, которые помещаются в одну-две карты, этого достаточно, а сервер проще обслуживать и докомплектовать.
5. Что проверить в самом сервере
- Посадочные места. Сколько двухслотовых полноразмерных карт сервер реально принимает и с какими райзерами. Обычный 1U-сервер подходит только для низкопрофильных L4 и T4.
- Питание карт. Разъёмы у серверных ускорителей отличаются от игровых: A100 PCIe питается через 8-pin CPU (EPS), H100 PCIe и L40S — через 16-контактный разъём, T4 и L4 обходятся питанием от слота. Кабели берут из GPU-комплекта под конкретную модель сервера.
- Блоки питания. Четыре карты по 350 Вт плюс процессоры и диски — это уже порядка 2–2,5 кВт. Нужен запас и резервирование N+1, иначе при отказе одного блока сервер снизит частоты или выключится.
- Охлаждение. Серверные ускорители почти все пассивные и рассчитаны на поток воздуха от вентиляторов шасси. Сервер должен официально поддерживать эти карты, иначе профиль вентиляторов не учтёт их нагрев.
- Процессоры и память. Каждой карте нужна линия PCIe x16. Оперативной памяти обычно ставят не меньше суммарной видеопамяти — данные и модель сначала загружаются в ОЗУ. Подробнее о выборе платформы — в статьях однопроцессорный или двухпроцессорный сервер и процессоры Xeon Scalable.
- Стойка. Платформы HGX на 8 GPU потребляют несколько киловатт: например, NVIDIA указывает для DGX A100 до 6,5 кВт. Проверьте бюджет мощности стойки и отвод тепла до покупки.
6. Чек-лист проверки б/у ускорителя
nvidia-smi -q— модель, объём памяти, версия VBIOS, счётчики ошибок ECC, перенесённые страницы или строки памяти (retired pages / remapped rows). Ненулевые неисправимые ошибки — повод отказаться.- Стресс-тест под полной нагрузкой 1–2 часа с контролем температуры и причин снижения частот (throttle reasons).
- Внешний осмотр: следы перегрева, потемневший текстолит, коррозия, сорванные винты радиатора, повреждения разъёма.
- Комплектность: кабели питания, мосты NVLink, для SXM — радиаторы и крепёж.
- Совместимость прошивки: OEM-версии карт из серверов Dell или HPE иногда имеют свою прошивку — уточните, поддерживается ли карта в вашем шасси.
Общая проверка самого сервера — в чек-листе б/у сервера, про обозначения состояния — в статье о состоянии оборудования.
7. Типичные ошибки
- Выбор по терафлопсам вместо памяти. Быстрая карта, в которую не помещается модель, работает медленнее более простой с большим объёмом.
- Игровые видеокарты в стойке. У них открытое охлаждение под корпус ПК, нет ECC, а лицензия драйвера GeForce запрещает использование в дата-центрах.
- Нехватка питания и охлаждения. Сервер «с поддержкой GPU» в базовой конфигурации может не иметь нужных блоков питания, вентиляторов и кабелей.
- Виртуализация без учёта лицензий. Деление одной карты между виртуальными машинами (vGPU) требует отдельной программной лицензии NVIDIA. Аппаратное деление MIG на A100, A30 и H100 работает без неё.
Готовые конфигурации ищите в разделе серверы, отдельные карты — в разделе GPU-ускорители. Для памяти к GPU-серверу пригодится статья о серверной памяти RDIMM и LRDIMM.