Сервер из игровых комплектующих: где экономия оправдана, а где нет

Инженер ЦОД Selectel разобрал сборку вычислительного узла из потребительских комплектующих — Ryzen 9 9950X, 128 ГБ оперативной памяти DDR5, два NVMe-накопителя по 2 ТБ и видеокарта RTX 4090 — и сравнил её с серверными платформами. Основной вывод разбора: десктопное железо действительно выгодно для части задач, но та же экономия быстро превращается в убыток там, где важны отказоустойчивость, удалённое управление и скорость восстановления после сбоя.

Что внутри и сколько это стоит

Конфигурация собрана из комплектующих, знакомых скорее игрокам и энтузиастам: 16-ядерный Ryzen 9 9950X, 128 ГБ DDR5, пара NVMe-дисков, блок питания на 1200–1600 Вт (в качестве примера приведён Seasonic Vertex PX 1200W) и RTX 4090 — 24 ГБ видеопамяти GDDR6X с энергопотреблением до 450 Вт. По оценке автора, в рознице такая сборка обходится примерно в 600–700 тысяч рублей — сумма зависит от курса, наличия компонентов и выбора корпуса с охлаждением.

Где такая сборка оправдана

Для локального инференса нейросетей и рендеринга RTX 4090 — серьёзный вычислительный ресурс, а по сочетанию цены и производительности потребительская конфигурация в ряде сценариев способна конкурировать с заметно более дорогими серверными решениями. Добавляет аргументов и то, что в однопоточных задачах современный десктопный процессор нередко опережает серверный аналог. По оценке автора разбора, такое железо хорошо подходит для лабораторий, тестовых Kubernetes-кластеров, CI-систем, локального машинного обучения и рендеринга — там, где простой не критичен, а восстановление после поломки занимает разумное время.

Цифры против реальности: RTX 4090 на бумаге и в деле

По заявленным производителями характеристикам пиковая производительность в формате FP32 (вычисления с плавающей точкой одинарной точности) у RTX 4090 выше, чем у специализированных ускорителей A100 и H100 — в задачах, которые эффективно используют именно этот формат, потребительская карта теоретически может оказаться быстрее.

Но для обучения и инференса нейросетей решают не столько TFLOPS в FP32, сколько тензорные ядра и поддерживаемые форматы низкой точности — здесь H100 значительно превосходит RTX 4090. Важна и связь между картами: у H100 есть NVLink с пропускной способностью до 900 ГБ/с, а у RTX 4090 такого интерфейса нет, и обмен данными между картами идёт через PCI Express — теоретическая двунаправленная пропускная способность PCIe 4.0 x16 составляет около 64 ГБ/с, PCIe 5.0 x16 — около 128 ГБ/с. Из этого следует практическое ограничение: две RTX 4090 не объединяются в общую память 48 ГБ, каждая карта работает со своей памятью отдельно. Если задача хорошо распараллеливается и почти не требует обмена между GPU, это не проблема; если требует — десктопная связка проигрывает специализированным ускорителям с NVLink.

Линии PCIe и память: где десктоп упирается в потолок

У обычного настольного процессора ограниченное число линий PCIe (шина передачи данных между процессором и устройствами вроде видеокарт, накопителей и сетевых карт), а дополнительные устройства подключаются через чипсет и делят между собой общую пропускную способность. Для одной RTX 4090 и пары NVMe это обычно не проблема. Но конфигурация с несколькими GPU, сетевой картой на 100 гигабит, HBA-контроллером и множеством NVMe-накопителей уже требует точного расчёта топологии PCIe — иначе устройства будут конкурировать за пропускную способность. Серверные процессоры решают это иначе: AMD EPYC 8005 предоставляет до 96 линий PCIe 5.0, чего хватает на несколько ускорителей, сетевые адаптеры и накопители без компромиссов.

С памятью похожая история. В модулях DDR5 есть встроенная On-Die ECC — она исправляет ошибки внутри самой микросхемы памяти, но не контролирует путь данных между процессором и модулем целиком. Системная ECC в виде модулей UDIMM или RDIMM (RDIMM использует регистр, который снижает нагрузку на контроллер памяти и позволяет ставить больше модулей) проверяет данные именно при передаче. Но, как подчёркивает автор разбора, наличие ECC-памяти само по себе ещё не делает систему серверной — нужны и другие компоненты платформы: BMC, резервирование питания, горячая замена дисков.

Эксплуатация — не про чип, а про то, что вокруг него

Серверная плата, как правило, оснащена BMC (baseboard management controller — отдельным контроллером управления, работающим независимо от основной операционной системы): он позволяет удалённо смотреть состояние сервера, перезагружать его и открывать консоль даже при зависшей ОС. У десктопных материнских плат такого контроллера обычно нет; IP-KVM и управляемые розетки частично закрывают эту функцию, но не дают ни полноты информации, ни удобства штатного BMC.

Отличается и логика охлаждения: серверный корпус рассчитан на сквозной поток воздуха спереди назад, вентиляторы могут крутиться на тысячах оборотов в минуту — шумно, но эффективно в плотной стойке. Игровой корпус оптимизирован под тихую работу и собственную систему охлаждения видеокарты; в плотной серверной компоновке отвод тепла от RTX 4090 может оказаться заметно хуже. Добавляет риска и разъём питания 12VHPWR (и его обновлённая версия 12V-2×6) — при изгибе кабеля или неплотном контакте возможен локальный нагрев, и в десктопном ПК это может дольше оставаться незамеченным, чем в сервере с мониторингом.

Наконец, в обычном ПК стоит один блок питания, а в сервере можно поставить два резервированных блока питания, в некоторых моделях — с горячей заменой; если один откажет, система продолжит работать. По оценке автора, замена неисправного NVMe-накопителя или модуля памяти в сервере с действующим SLA обычно занимает 15–30 минут.

Из разбора следует практичный компромисс: брать серверную платформу с ECC-памятью, BMC и резервированным питанием, но ставить в неё потребительскую видеокарту вроде RTX 4090 — так сохраняется выгода по GPU, но без потери отказоустойчивости и удобства обслуживания. Для тех, кто не готов собирать и обслуживать железо самостоятельно, Selectel как поставщик услуги упоминает аренду выделенных серверов, в том числе на десктопных процессорах, — это заявление самой компании, а не независимо проверенное сравнение с самостоятельной сборкой.