Microsoft Maia 300: новый XPU-ускоритель для инференса LLM с 288 ГБ HBM4

Что такое Microsoft Maia 300 и зачем нужен XPU для инференса

Microsoft представила следующее поколение специализированных ускорителей для машинного обучения — Azure Maia 300. В отличие от универсальных GPU, проект Maia позиционируется как XPU, сфокусированный на ускорении инференса больших языковых моделей и генеративных сервисов. Инференс всё больше смещается в сторону агентских сценариев, требующих многоступенчатого выполнения задач, длинноконтекстного декодирования и постоянного обращения к внешним инструментам. Чтобы эффективно обрабатывать такие алгоритмы, инженеры сделали упор на устранение узкого места — пропускной способности памяти и задержек при передаче данных.

Ключевые характеристики: 288 ГБ HBM4 и 18 ТБ/с

Maia 300 оснащён восемью стеками памяти HBM4 суммарным объёмом 288 ГБ. Пиковая пропускная способность памяти достигает 18 ТБ/с на один ускоритель. По сравнению с предыдущим поколением Maia 200 новинка демонстрирует рост пропускной способности памяти в 2,5 раза, увеличение объёма памяти на 33% и двукратное повышение эффективности HBM в расчёте на ватт при общем теплопакете чипа 950 Вт.

Мультичиплетная архитектура и техпроцесс TSMC N2P

Архитектура Maia 300 построена по мультичиплетной компоновке, где вычислительные ядра производятся по техпроцессу TSMC N2P. Чип разделён на изолированные домены вычислений, контроллеров памяти и физических интерфейсов ввода-вывода. В основе лежит архитектура SDLA с программным управлением потоками данных. Она позволяет размещать данные максимально близко к использующим их вычислительным блокам и явно управлять передачей между памятью, вычислительными движками и сетью. Переход к NUMA-топологии между чиплетами помогает сократить нецелевые перемещения данных и связанные с ними энергозатраты.

Форматы пониженной точности: MXFP4 и суб-3-битные

Для оптимизации инференса реализована поддержка форматов пониженной точности, включая улучшенный MXFP4 и «суб-3-битные» форматы хранения. Более компактные представления данных сокращают объём занимаемой памяти и интенсивность её пересылок. Это позволяет более оптимально удерживать контекст и KV-кэш больших моделей, а также обслуживать больше параллельных сессий в рамках того же энергопотребления.

Серверный блок и стойка: 96 ускорителей и 27,6 ТБ HBM4

Microsoft отказалась от концепции раздельных процессорных хост-узлов и отдельной платы ускорителей. Вместо этого применена объединённая архитектура вычислительных блоков. Один блок содержит четыре ускорителя Maia 300, скомпонованных с хост-процессором, оперативной памятью, накопителями и компонентами жидкостного охлаждения. Полная серверная стойка включает 24 таких блока, что в сумме даёт 96 ускорителей Maia 300 и 27,6 ТБ памяти HBM4 с общим энергопотреблением около 167 кВт. Коммутация внутри стойки обеспечивается шестью ASIC-коммутаторами, размещёнными в трёх блоках жидкостного охлаждения. Система поддерживает как прямое подключение к жидкостному контуру ЦОД, так и работу через промежуточные теплообменники вода-воздух для быстрой интеграции в существующую инфраструктуру.

Сеть scale-up и scale-out: суперпод на 12 288 ускорителей

Сетевая архитектура продолжает подход SDLA за пределами отдельного ускорителя. Вместо изоляции доменов scale-up и scale-out используется единая двухуровневая сеть на базе Ethernet, обеспечивающая взаимодействие как внутри стойки, так и между стойками суперпода. На первом уровне внутри стойки используются медные соединения. Каждая пара чипов внутри блока имеет прямые связи, а остальная коммутация стойки организована по полукоммутируемой топологии, что снижает накладные расходы и энергопотребление. На втором уровне происходит объединение до 128 стоек с помощью оптических коммутаторов второго уровня в единый суперпод, включающий до 12 288 ускорителей Maia 300. Гибкая архитектура сети позволяет перераспределять полосу пропускания до 750 ГБ/с между любыми чипами в суперподе. Это даёт возможность удерживать трафик тензорного параллелизма внутри одной стойки на 96 ускорителей с минимальной задержкой, а параллелизм экспертов и конвейерный параллелизм распределять по всему суперподу без риска простоя вычислительных блоков.

Энергоэффективность и жидкостное охлаждение

Общий теплопакет чипа составляет 950 Вт. При этом эффективность HBM в расчёте на ватт выросла в два раза по сравнению с Maia 200. На уровне стойки Maia 300 обеспечивает на 40% больше токенов на мегаватт мощности по сравнению с традиционными GPU-решениями. Жидкостное охлаждение интегрировано непосредственно в вычислительные блоки, а поддержка промежуточных теплообменников вода-воздух упрощает развёртывание в существующих ЦОД.

Производительность: токены на мегаватт и пропускная способность

По расчётам Microsoft, на уровне стойки Maia 300 даёт семикратный прирост пропускной способности генерируемых токенов по сравнению с Maia 200 и обеспечивает на 40% больше токенов на мегаватт мощности по сравнению с традиционными GPU-решениями.

Сроки развертывания в Azure и сценарии применения

Развёртывание Maia 300 в промышленной инфраструктуре Azure намечено на 2027 год. Новые чипы станут базовой платформой для обработки инференса в сервисах Microsoft Copilot, Teams, GitHub Copilot и других внутренних системах обработки естественного языка.

Итоги: что Maia 300 значит для рынка ИИ-ускорителей

Microsoft Maia 300 представляет собой специализированный XPU, оптимизированный для инференса LLM и генеративных сервисов. Ключевые особенности — мультичиплетная компоновка, 288 ГБ HBM4, пропускная способность 18 ТБ/с, архитектура SDLA, NUMA-топология, поддержка MXFP4 и суб-3-битных форматов. На уровне стойки достигается 96 ускорителей и 27,6 ТБ памяти HBM4, а сеть масштабируется до суперпода на 12 288 ускорителей. Развёртывание в Azure запланировано на 2027 год.