Архитектура питания центров обработки данных с высокой напряжением 800 ВТ: GaN, SiC, SST и передача энергии от сети к чипу

Инфраструктура искусственного интеллекта больше не ограничивается только доступностью процессора. Поскольку мощность графического процессора возрастает с сотен ватт на устройство, а мощность стойки превышает 100 кВт, электрическая система вычислительного оборудования становится серьезным инженерным ограничением.

Задача заключается не просто в производстве большего количества электроэнергии. Энергия должна быть преобразована, защищена, распределена, преобразована и отрегулирована на нескольких уровнях напряжения, прежде чем она достигнет ядер графического процессора, работающих при очень низком напряжении и чрезвычайно высоких токах. На каждом этапе возникают потери, тепловая нагрузка, объем оборудования, требования к защите и потенциальные проблемы с надежностью.

Это побуждает к более широкому пересмотруАрхитектура электропитания центра обработки данных с искусственным интеллектом. Традиционное распределение переменного тока, стоечные шины 48 В, полки питания и подача питания на уровне платы оцениваются наряду с высоким напряжением постоянного тока 800 В, твердотельными трансформаторами, широкозонными полупроводниками и вертикальной подачей питания.

В результате вряд ли получится одна универсальная замена архитектуры. Различные подходы могут сосуществовать в зависимости от масштаба объекта, плотности стоек, зрелости развертывания, требований безопасности и совместимости с существующей инфраструктурой.

Почему меняется архитектура электропитания центров обработки данных с искусственным интеллектом

Увеличение мощности графического процессора и стойки AI мощностью 100 кВт

Серверы ИИ сочетают в себе графические процессоры или другие ускорители с высокоскоростной памятью, сетевыми устройствами, устройствами хранения и охлаждения. Один ускоритель может потреблять сотни ватт, а совокупная нагрузка стойки AI может превышать 100 кВт.

По мере увеличения мощности стойки распределение энергии по шинам более низкого напряжения становится более трудным. Для данного уровня мощности ток увеличивается при уменьшении напряжения:

П=В×я

Нагрузка мощностью 100 кВт, подаваемая через шину класса 50 В, требует примерно в двадцать раз больший ток той же нагрузки, питаемой при напряжении 1000 В. Реальные системы включают потери преобразования, допуски по напряжению и динамические условия эксплуатации, но эта взаимосвязь показывает, почему шины, кабели, разъемы и защитное оборудование становится труднее масштабировать при очень высоком токе.

Резистивные потери также увеличиваются пропорционально квадрату тока:

Ппотеря​=я²Р

Повышение распределительного напряжения не приводит автоматически к созданию эффективной энергосистемы. Однако это снижает ток, необходимый для передачи заданного количества энергии. Это делает архитектуру напряжения все более важной переменной проектирования, поскольку мощность стойки растет быстрее, чем размер проводника, пространство для оборудования и мощность охлаждения.

От мощности на уровне стойки до объектов масштаба GW

Плотность мощности стойки и общая мощность объекта — взаимосвязанные, но отдельные инженерные проблемы.

Стойка с высокой плотностью размещения оказывает давление на местные шины, разъемы, преобразователи, системы охлаждения и характеристики переходных характеристик. Крупный объект также должен управлять межсетевыми соединениями, трансформаторами, распределительными устройствами, резервным питанием, резервированием распределения и совокупными потерями тысяч вычислительных узлов.

Будущие объекты искусственного интеллекта могут перейти к потреблению электроэнергии в гигаваттном масштабе, но это остается направленным развитием, а не универсальным условием. Не каждому центру обработки данных потребуется одинаковая мощность оборудования, и не на всех объектах высокой мощности будет использоваться одинаковая электрическая архитектура.

Поэтому расчет мощности необходимо рассматривать на нескольких уровнях:

• Ввод инженерных сетей и объектов

• Зал данных или распределение по рядам

• Преобразование на уровне стойки

• Распределение серверов и плат

• Регулирование на уровне пакета

• Окончательная поставка процессорного ядра

Почему подача электроэнергии становится ограничением на уровне системы

Увеличение плотности вычислений влияет не только на рейтинг блока питания сервера.

Он изменяет ток в проводнике, коэффициенты преобразования, координацию защиты, требования к охлаждению, размещение резервного источника питания, компоновку стойки, процедуры обслуживания и физическое пространство, доступное для вычислительного оборудования.

Высокоэффективное полупроводниковое устройство не может компенсировать неэффективную общую энергетическую цепь. Удаление одной ступени преобразования может также создать новые требования к изоляции, преобразованию постоянного тока в постоянный с высоким коэффициентом трансформации, прерыванию при неисправности или квалификации компонентов в других частях системы.

Поэтому мощность центра обработки данных искусственного интеллекта должна оцениваться от сети до чипа, а не от преобразователя за преобразователем.

Что такое напряжение постоянного тока 800 В в центре обработки данных с искусственным интеллектом?

Высоковольтное напряжение 800 В постоянного тока в центре обработки данных с искусственным интеллектом представляет собой уровень распределения высокого напряжения постоянного тока, который передает мощность от преобразовательного оборудования вышестоящего объекта к нижестоящим преобразователям стоек или серверов. Оно снижает ток, необходимый для распределения высокой мощности, но не является конечным напряжением, подаваемым непосредственно на графические процессоры, память или ядра процессора.

Положение HVDC 800 В в цепи питания «сеть-чип»

Между системой преобразования на стороне объекта и низковольтными вычислительными нагрузками расположена шина постоянного тока 800 В. Его функция заключается в передаче значительной мощности через зал обработки данных, ряд оборудования, коляску или стойку, не требуя при этом экстремального тока, связанного с распределением класса 48 В при том же уровне мощности.

Новые отраслевые эталонные архитектуры демонстрируют несколько возможных реализаций.

Один путь централизованно преобразует переменный ток в постоянный ток 800 В и распределяет источник постоянного тока высокого напряжения по вычислительным стойкам. Другой использует коляску рядом с одной или несколькими стойками для преобразования существующего источника переменного тока на объекте в 800 В постоянного тока. Более поздняя архитектура может сочетать вход среднего напряжения, изоляцию и выход постоянного тока высокого напряжения через твердотельный трансформатор.

Это альтернативные или переходные меры, а не одна обязательная топология.

Последующая конверсия по-прежнему необходима. Входное напряжение 800 В может быть преобразовано в 48 В или другое промежуточное напряжение, понижено с помощью преобразователя с высоким коэффициентом трансформации или обработано в несколько этапов, прежде чем оно достигнет регуляторов на уровне платы или корпуса.

Что меняет напряжение постоянного тока 800 В, а что нет

Основным электрическим эффектом увеличения напряжения распределения является уменьшение тока при той же передаваемой мощности. Это может снизить токовую нагрузку на кабели, шины, разъемы и распределительное оборудование.

Однако напряжение постоянного тока 800 В не устраняет необходимости:

• Гальваническая развязка, где требуется

• Преобразование мощности на уровне стойки или лотка

• Регулирование напряжения процессора

• Интеграция резервного питания

• Управление бросками и горячей заменой

• Обнаружение неисправности и прерывание

• Управление температурным режимом

• Планирование резервирования и технического обслуживания

Это также не означает, что 800В подается напрямую на ускоритель. Ядра процессора требуют строго контролируемого низковольтного и сильноточного питания вблизи нагрузки.

От традиционного распределения переменного тока к высоковольтному постоянному току

Традиционное распределение переменного тока и напряжение постоянного тока 800 В

Традиционный путь передачи переменного тока в нагрузку

Обычный центр обработки данных обычно распределяет переменный ток по всему объекту, прежде чем преобразовать его в постоянный ток рядом со стойкой или внутри нее. Результирующая мощность постоянного тока может затем проходить через стоечную шину класса 48 В, промежуточные преобразователи на уровне платы и регуляторы точки нагрузки.

Эта архитектура является зрелой и работает с установленными распределительными устройствами, системами ИБП, источниками питания, эксплуатационными процедурами и методами обслуживания. Его ограничения становятся более заметными по мере увеличения мощности стойки и необходимости выдерживать большие токи внутри стойки.

Архитектура, ориентированная на напряжение постоянного тока 800 В, выносит часть преобразования переменного/постоянного тока вверх или за пределы вычислительной стойки. Затем высокое напряжение постоянного тока распределяется ближе к вычислительному оборудованию, прежде чем произойдет необходимое понижающее преобразование.

Потенциальные архитектурные эффекты распределения постоянного тока высокого напряжения

Переход к более высокому напряжению распределения постоянного тока может позволить большей мощности проходить через практическую площадь проводника. Это также может уменьшить количество большой, сильноточной шинной инфраструктуры, необходимой вокруг стоек с высокой плотностью размещения.

Удаление выбранных этапов преобразования может повысить эффективность системы, но результат зависит от всей архитектуры. Полезная оценка должна включать в себя:

• Ремонт объекта

• Этапы изоляции

• Распределение высокого напряжения

• Преобразование стойки

• Промежуточные автобусы

• Регулирование точки нагрузки

• Вспомогательная мощность

• Энергия охлаждения

• Потери в устройствах защиты

• Резервные рабочие пути

• Преобразование резервной энергии

Заявления об эффективности, уменьшении количества меди, экономии охлаждения или общей стоимости не могут быть обобщены без согласованных границ системы, профилей нагрузки и условий эксплуатации.

Проблемы защиты, изоляции и устранения неисправностей постоянного тока

Высоковольтный постоянный ток требует устройств прерывания и схем защиты, специально разработанных для условий повреждения постоянного тока, изоляции и устойчивой энергии дуги.

Поэтому система 800 В нуждается в скоординированной защите по нескольким границам. В зависимости от архитектуры они могут включать в себя силовое помещение, распределительную панель, коляску, вход в стойку, вычислительный лоток и вход преобразователя.

Функции защиты могут включать в себя:

• Предохранители постоянного тока

• Отключить устройства

• Автоматические выключатели

• Полупроводниковая защита

• Цепи предварительной зарядки

• Пусковой контроль

• Мониторинг напряжения

• Мониторинг изоляции

• Управление горячей заменой

Соответствующие инженерные ссылки включают в себяМЭК 62477-1для безопасности систем силовых электронных преобразователей иМЭК 60947-2для автоматических выключателей.Услуги по сертификации автоматических выключателей UL Solutionsтакже включают категории, относящиеся к технологиям высоковольтных постоянного тока и полупроводниковых выключателей.

Эти ссылки должны применяться в соответствии с категорией оборудования, границами установки, юрисдикцией и окончательным проектом системы. Они не являются полным контрольным списком соответствия для каждого центра обработки данных с напряжением 800 В.

Как твердотельные трансформаторы вписываются в архитектуру

Функциональная роль SST

Атвердотельный трансформатор, или SST, сочетает в себе функции трансформатора с активно управляемым силовым электронным преобразованием.

АнОбзор IEEE технологий полупроводниковых трансформаторовописывает SST как системы, которые объединяют функции трансформатора с силовыми электронными преобразователями и схемами управления. В зависимости от топологии SST может обеспечивать преобразование напряжения, гальваническую развязку, преобразование переменного/постоянного тока, мониторинг и управление потоком мощности.

В центре обработки данных искусственного интеллекта SST может подключить источник переменного тока среднего напряжения к распределительной шине постоянного тока высокого напряжения. Это может объединить несколько традиционных ступеней в модульную силовую электронную систему.

SST — не единственный способ создать шину постоянного тока 800 В. Также могут использоваться обычные трансформаторы и выпрямители, централизованные системы преобразования и преобразователи на базе коляски.

Соответствующая архитектура зависит от:

• Входное напряжение

• Требования к изоляции

• Номинальная мощность

• Модель резервирования

• Планировка объекта

• Стратегия защиты

• Подход к техническому обслуживанию

Архитектура ISOP: последовательный ввод, параллельный вывод

ИСОПозначает последовательный вход, параллельный выход.

В этой конфигурации входы модуля преобразователя соединены последовательно, так что модули разделяют высокое входное напряжение. Их выходы соединены параллельно, так что они в совокупности обеспечивают больший выходной ток.

Исследование IEEE по управлению преобразователем ISOPвыделяет два основных требования:

• Распределение входного напряжения между последовательно соединенными модулями

• Распределение выходного тока между параллельно подключенными модулями

Неравные характеристики компонентов, температурные условия, задержки переключения и условия нагрузки могут нарушить эти отношения совместного использования. Система управления должна предотвращать передачу избыточного напряжения или тока в одном модуле.

Диаграмма ISOP из шести модулей представляет собой одну из возможных конфигураций, а не универсальное требование SST. Количество модулей зависит от номинального напряжения устройства, входного напряжения системы, коэффициента преобразования, конструкции изоляции, общей мощности, резервирования и топологии преобразователя.

Модульная архитектура SST и ISOP

Инженерные компромиссы SST

SST могут поддерживать модульное преобразование, активное управление, высокочастотную изоляцию и прямую интеграцию с распределительной шиной постоянного тока. Эти потенциальные преимущества должны быть сбалансированы с дополнительной сложностью.

Обычные трансформаторы сетевой частоты остаются зрелыми, надежными и сравнительно простыми. Поэтому SST следует оценивать как вариант системного уровня, а не как автоматически превосходящую замену.

Роль GaN и SiC в преобразовании мощности центров обработки данных с искусственным интеллектом

Почему важны устройства с широкой полосой пропускания

Нитрид галлия и карбид кремния представляют собой широкозонные полупроводниковые технологии, используемые для высокопроизводительного преобразования энергии.

Их пригодность зависит от:

• Напряжение напряжения

• Уровень мощности

• Переключение топологии

• Частота переключения

• Термические условия

• Упаковка

• Защита

• Метод управления

• Стоимость системы

GaN и SiC лучше всего рассматривать как взаимодополняющие технологии. Их ценность зависит от того, где они расположены в энергоцепи и как устроен окружающий преобразователь.

Где GaN может вписаться в энергетическую цепь

GaN часто рассматривается там, где приоритетными являются высокая частота переключения, компактные ступени преобразования и высокая плотность мощности.

• Серверные блоки питания

• Преобразователи промежуточной шины

• Этапы точки нагрузки

• Отобранные преобразователи постоянного тока в постоянный с высоким коэффициентом трансформации

Его практическая пригодность зависит от запаса по напряжению, конструкции корпуса, теплового пути, топологии преобразователя, переходных условий и стратегии защиты.

Самое сильное приложение не может быть определено одним универсальным порогом напряжения или мощности. Устройство GaN может быть высокоэффективным в одной топологии и менее подходящим в другой с другими требованиями к изоляции, тепловым нагрузкам или неисправностям.

Где SiC может вписаться в энергетическую цепь

SiC часто рассматривается для каскадов более высокого напряжения или большей мощности, в том числе:

• Исправление переднего плана

• Преобразование постоянного тока высокого напряжения

• Строительные блоки из нержавеющей стали

• Силовая электроника, ориентированная на объект

• Стоечные высоковольтные преобразователи

Его возможности по напряжению и тепловые характеристики могут поддерживать требовательные этапы преобразования, но сами по себе возможности устройства не определяют производительность системы. Управление затвором, охлаждение, магнитная конструкция, энергия короткого замыкания, топология преобразователя и стоимость остаются важными.

Гибридные архитектуры могут использовать кремний, SiC и GaN на разных этапах в зависимости от функции каждого преобразователя.

GaN против SiC: границы выбора

Роли GaN и SiC в энергетической цепочке центра обработки данных искусственного интеллекта

Роль промежуточной шины 48 В

Почему между распределительной сетью высокого напряжения и чипом существует напряжение 48 В?

Промежуточная шина 48 В обеспечивает практическую связь между распределением на уровне стойки и низковольтной платой или регуляторами процессора.

Спецификации Open Rack V3 проекта Open Compute Projectвключают в себя экосистему питания стойки 48 В. Это признанный пример распределения питания 48 В на уровне стойки и преобразования нижестоящих серверов.

В архитектуре 800 В один из возможных путей:

800ВДС→48ВДС→промежуточное преобразование или преобразование в точке нагрузки

Такой подход позволяет сохранить существующие нижестоящие компоненты и инфраструктуру электропитания на уровне стойки, одновременно изменяя восходящий уровень распределения.

Заменит ли 800 В HVDC шину 48 В?

Пути архитектуры нагрузки 800 В

Не обязательно.

Два уровня напряжения выполняют разные функции. Шина 800 В передает большую мощность при меньшем токе. Шина 48 В обеспечивает уровень распределения более низкого напряжения ближе к серверным платам и регуляторам процессора.

Некоторые архитектуры могут сохранять напряжение 48 В, чтобы снизить риск миграции и повторно использовать установленные компоненты. Другие могут обойти его через высокопроизводительный преобразователь на 800 В, ввести другое промежуточное напряжение или использовать многокаскадный путь, расположенный ближе к процессору.

Выбор зависит от:

• Эффективность преобразования

• Переходный процесс

• Изоляция

• Защита

• Доступность компонентов

• Площадь доски

• Охлаждение

• Удобство обслуживания

Переход лучше понимать как перепроектирование слоев напряжения, чем как простую замену 48 В на 800 В.

Вертикальная подача питания и последний шаг к чипу

Что означает вертикальная подача электроэнергии

Техническая литература по проекту Open Compute Projectи исследования IEEE описываютвертикальная подача мощности, или VPD, как подход на уровне платы или корпуса, который позиционирует преобразование мощности ниже или близко к сильноточной нагрузке процессора.

Вместо того, чтобы перемещать очень большой ток вбок по длинному пути материнской платы, преобразователь или ступень умножителя тока размещается на противоположной стороне платы или под корпусом процессора. Затем мощность проходит по более короткому вертикальному пути с использованием переходных отверстий и корпусных соединений.

Целью является снижение:

• Сопротивление распределения мощности

• Паразитный импеданс

• Падение напряжения

• Перегруженность платы возле процессора

В VPD могут использоваться дискретные преобразователи, интегрированные модули, усовершенствованная упаковка, интегрированные пассивные компоненты или многоступенчатое преобразование.

Это технология на уровне платы или корпуса, а не альтернативное название для распределения напряжения 800 В на уровне объекта.

VPD — это не то же самое, что задняя подача питания внутри чипа

Вертикальная подача энергии против обратной подачи энергии

VPD на уровне корпуса и полупроводниковые задние сети подачи энергии имеют общую цель — сократить путь передачи энергии, но они работают на разных физических уровнях.

В архитектуре серверного питания под VPD обычно подразумевается размещение оборудования преобразования напряжения под процессором или на обратной стороне материнской платы.

Напротив,Объяснение imec по поводу обратной подачи энергииописывает полупроводниковую архитектуру на кристалле, в которой маршрутизация питания перенесена от стека межсоединений на передней стороне к задней стороне кремния.

Одна из концепций касается преобразования мощности на уровне платы и корпуса. Другой касается внутренней сети питания полупроводникового кристалла.

Если рассматривать их как идентичные, это затмит важные различия в производстве, интеграции и ответственности за проектирование.

Ограничения внедрения VPD

Вертикальная подача питания может сократить путь сильного тока, но накладывает механические, тепловые и упаковочные ограничения.

Важные соображения при проектировании включают в себя:

• Высота модуля и механический зазор

• Расширенные требования к упаковке

• Интегрированные магнитные и пассивные компоненты

• Паразитирование преобразователя в нагрузку

• Текущий доступ

• Реакция на переходную нагрузку

• Взаимодействие теплового пути

• Маршрутизация сигналов и памяти по корпусу

Таким образом, VPD является частью более широкой модернизации системы «сетка-чип», но она не устраняет необходимости принятия архитектурных решений на более высоком уровне.

Сопоставление полной цепочки питания от сети к кристаллу

Полная цепочка передачи энергии от сети к кристаллу

Путь мощности может быть организован в функциональные уровни. Фактические реализации могут объединять, опускать или перемещать отдельные этапы.

Ни одна полупроводниковая технология не появляется на каждом уровне. Ни один уровень напряжения не решает всех проблем распределения и регулирования.

Архитектура должна координировать передачу высокого напряжения с постепенно более низким напряжением и более высоким преобразованием тока по мере приближения мощности к процессору.

Инженерные компромиссы в центре обработки данных с искусственным интеллектом высокого напряжения постоянного тока 800 В

Эффективность и компромиссы на этапе конверсии

Снижение тока и удаление избыточного преобразования может повысить эффективность, но только тогда, когда ступени замены эффективно работают в реальном профиле нагрузки.

Содержательное сравнение должно определить:

• Входные и выходные границы

• Количество активных этапов преобразования

• Поведение при частичной нагрузке

• Охлаждение и дополнительное потребление

• Работа с резервным путем

• Преобразование резервного питания

• Потери в кабелях и шинах

• Потери в устройствах защиты

Пиковая эффективность одного транзистора, преобразователя или эталонной конструкции не эквивалентна эффективности всей энергоцепи центра обработки данных. Требуется комплексная оценка.

Плотность мощности, кабельная разводка и тепловая конструкция

Более высокое напряжение может уменьшить ток распределения, что потенциально позволяет использовать проводники меньшего размера или большую мощность через одно и то же пространство для проводников.

Однако более высокое напряжение такж