Потребление энергии оптического модуля и плотность полосы пропускания: жесткие границы в взаимосвязи ЦОИ

Сети центров обработки данных с искусственным интеллектом больше не ограничиваются только максимальной скоростью передачи оптического модуля. Более сложный вопрос заключается в том, сможет ли система обеспечивать питание, охлаждение, комплектацию и обслуживание достаточного количества оптических каналов для поддержки необходимого масштаба вычислений.

Поскольку пропускная способность коммутатора превышает 51,2 Тбит/с, а скорости оптических интерфейсов переходят от 400G и 800G к 1,6T и выше, две переменные все больше определяют, сможет ли архитектура масштабироваться:

• Энергопотребление оптического модуля

• Плотность полосы пропускания оптического модуля

Эти переменные тесно связаны. Более высокая пропускная способность на порт обычно увеличивает электрические потери, сложность обработки сигналов, выделение тепла и потребность в охлаждении. Добавление большего количества портов на одну и ту же переднюю панель позволяет сконцентрировать нагрев в меньшем пространстве.

Полученное ограничение касается не только оптического модуля, но также коммутатора ASIC, SerDes, печатной платы, системы питания, системы охлаждения, маршрутизации оптоволокна и модели обслуживания.

Каковы пределы мощности и пропускной способности оптических модулей?

Энергопотребление оптического модуля ограничивает объем электрической и тепловой мощности, доступной для вычислений, а плотность полосы пропускания описывает, какой объем данных может быть установлен в пределах фиксированной панели, корпуса или стойки без превышения электрических, тепловых, механических пределов и ограничений надежности.

Ни один из показателей не должен оцениваться независимо. Модуль с высокой пропускной способностью и чрезмерной мощностью может снизить вычислительную мощность, доступную в той же стойке. Меньший модуль может улучшить физическую плотность, создавая при этом тепловой поток, который шасси не может удалить.

Энергопотребление как системное ограничение

Стойка имеет ограниченный бюджет мощности и охлаждения. Мощность, используемая оптическими каналами связи, недоступна для графических процессоров, памяти, коммутаторов, систем хранения данных и вспомогательного охлаждающего оборудования.

При небольшом количестве портов несколько дополнительных ватт на модуль могут показаться приемлемыми. Однако для сотен портов и десятков тысяч каналов разница становится основной переменной инфраструктуры.

Полное сравнение может включать:

• Оба конца оптической линии связи

• Хост SerDes и ретайминг

• ЦСП и ФЭК

• Мощность лазерного источника

• Потери преобразования мощности

• Охлаждение сверху

Опубликованные значения мощности на порт нельзя напрямую сравнивать, если они не используют одну и ту же границу системы.

Плотность полосы пропускания как тепловое ограничение

Плотность полосы пропускания может относиться к полосе пропускания на модуль, отверстие на передней панели, стойку, коммутатор или ватт. Эти измерения связаны, но не взаимозаменяемы.

Удвоение пропускной способности модуля не приводит автоматически к удвоению полезной плотности коммутации. Система по-прежнему должна обеспечивать достаточную мощность, поддерживать целостность сигнала, отводить тепло и оставлять место для разъемов, волокон, ячеек и доступа для обслуживания.

На более высоких уровнях мощности плотность полосы пропускания становится все более зависимой от теплоотвода, а не только от размеров панели.

Почему масштабирование скорости на одной полосе теряет эффективность

Традиционный путь к более высокой оптической полосе пропускания в значительной степени опирался на более быстрые электрические и оптические линии:

25G → 50G → 100G → 200G PAM4

Этот путь остается важным, но каждый переход требует более требовательных передатчиков, приемников, коррекции, кодирования и контроля целостности сигнала. Мощность и сложность не обязательно масштабируются пропорционально полезной пропускной способности.

Почему более высокие тарифы на полосу увеличивают мощность и сложность

Разрыв в масштабировании вычислений и ввода-вывода

Анализ, основанный наБаза данных моделей Epoch AIПо оценкам, объем вычислений, используемых для обучения передовых моделей ИИ, рос примерно в четыре-пять раз в год в период с 2010 по 2024 год.

Эта ставка применяется к пограничным тренировочным забегам, а не ко всем рабочим нагрузкам ИИ. Тем не менее, это показывает, насколько быстро может вырасти спрос на связь вокруг крупных кластеров ускорителей.

Пропускная способность ввода-вывода не подчиняется одному универсальному графику удвоения. Его развитие зависит от планов SerDes, микросхемы коммутаторов, оптических интерфейсов, упаковки, подачи питания и охлаждения.

Практическая задача состоит в том, чтобы достаточно быстро расширить возможности связи, чтобы межсоединение не ограничивало вычислительную систему.

Чувствительность приемника, DSP и штрафы FEC

PAM4 передает два бита на символ, используя четыре уровня амплитуды, но меньшее расстояние между этими уровнями снижает запас по шуму по сравнению с NRZ.

АнТехнический вклад IEEE 802.3рассчитал идеальный оптический штраф за модуляцию SNR, составляющий примерно 4,8 дБ для PAM4 по сравнению с NRZ. Дополнительные штрафы зависят от полосы пропускания сигнала и условий реализации.

Это не означает, что чувствительность приемника ухудшается на одну фиксированную величину при удвоении скорости полосы. Фактическая производительность зависит от скорости передачи данных, полосы пропускания приемника, потерь в канале, коррекции, шума, FEC и запаса реализации.

DSP и FEC могут восстановить качество сигнала и увеличить рабочий запас, но они также потребляют энергию и вносят задержку. Таким образом, выгода от увеличения скорости на одной полосе движения уменьшается по мере того, как становится необходимой дополнительная электрическая и цифровая компенсация.

Как мощность оптического модуля ограничивает конструкцию коммутатора

Влияние мощности модуля становится более очевидным, когда она агрегируется в одном коммутаторе.

Пример бюджета мощности 51,2 Тл

Рассмотрим пример коммутатора 51,2 Тбит/с, оснащенного оптическими модулями 128 × 400G FR4:

В этом расчете на оптические модули приходится примерно 58,7% совокупной мощности оптического модуля и ASIC-коммутатора.

Этот процент не отражает общую входную мощность коммутатора, поскольку не включены вентиляторы, регуляторы, управляющая электроника и потери преобразования. Тем не менее, это показывает, что оптические интерфейсы могут потреблять мощность в том же масштабе, что и коммутирующий кремний.

Бюджет оптической мощности коммутатора 51,2T

Мощность сети и плотность вычислений

При фиксированном бюджете мощности более низкая мощность сети может высвободить больше электрической и тепловой мощности для вычислений.

В своем 2025 годуобъявление о переключении фотоникиNVIDIA сообщила о повышении энергоэффективности анонсированной архитектуры в 3,5 раза по сравнению с заявленной традиционной базовой реализацией.

Это результат, зависящий от платформы, а не универсальный коэффициент эффективности CPO. Фактический эффект на плотность графического процессора также зависит от количества портов, топологии, мощности ускорителя, мощности охлаждения и конструкции стойки.

Три системных эффекта более высокой оптической силы

Три системных эффекта мощности оптического модуля

Мощность и плотность вычислений

Ватт, потребляемый сетью, не может быть распределен где-либо еще в пределах одной и той же стойки.

Более высокая мощность сети может привести к меньшему количеству ускорителей на стойку, большему количеству стоек для той же рабочей нагрузки, дополнительным коммутаторам и увеличению потребности в охлаждении объекта.

Таким образом, мощность оптического модуля является архитектурной переменной, а не только спецификацией компонента.

Ограничения по мощности и охлаждению

Поскольку подключаемые модули выходят за рамки 800G, необходимо отводить больше тепла из каждого положения передней панели.

Технический документ OSFP MSAзаявляет, что форм-фактор OSFP1600 обеспечивает более 30 Вт тепловой мощности для оптики центра обработки данных 1600G. Это эталонный тепловой диапазон, а не универсальная номинальная мощность для каждого модуля.

Фактическая мощность зависит от радиуса действия, реализации DSP, количества длин волн, расположения лазера, хост-интерфейса и рабочей температуры.

При достаточно высоком тепловом потоке увеличение расхода воздуха становится менее эффективным. Жидкостное охлаждение сокращает тепловой путь за счет передачи тепла на холодную пластину рядом с высокомощными компонентами.

Руководство ASHRAEдокументирует прямое охлаждение теплой водой в диапазоне 40–45 ° C в высокопроизводительных вычислительных средах. Это не определяет необходимую температуру охлаждающей жидкости для каждого оптического модуля, но подтверждает, что охлаждение теплой водой является общепринятым подходом в центрах обработки данных.

Мощность, температура и надежность

В большой инфраструктуре искусственного интеллекта даже низкая вероятность отказа на уровне компонентов может создать значительную нагрузку на эксплуатацию.

Более низкая рабочая температура может замедлить многие механизмы деградации, но взаимосвязь между температурой и сроком службы зависит от устройства и режима отказа.

Руководство NIST по надежностиобъясняет, что разные режимы отказа могут требовать разных моделей ускорения.

Таким образом, обоснованный анализ надежности должен выявить соответствующий механизм отказа, определить эксплуатационные нагрузки и подтвердить модель данными. Более низкая температура, как правило, полезна, но она не дает единого универсального множителя срока службы.

Почему передняя панель становится узким местом пропускной способности

Сети искусственного интеллекта требуют коммутации с высоким основанием и низким превышением подписки. Когда недостаточно пропускной способности вмещается в один коммутатор, могут потребоваться дополнительные этапы Spine или Super-Spine.

Дополнительные этапы могут увеличить:

• Задержка

• Количество коммутаторов и оптических каналов

• Потребляемая мощность

• Сложность кабеля

• Точки отказа

• Расходы

Плотность OSFP и расширение сети

Эталонный проект OSFP MSAпредставляет коммутатор высотой 1RU с 32 портами OSFP1600, поддерживающими совокупную пропускную способность 51,2 Тбит/с.

Это эталонная конфигурация, а не универсальный физический предел. Тем не менее, он демонстрирует, как пропускная способность форм-фактора может влиять на количество коммутаторов и топологию сети.

Увеличение пропускной способности модуля может уменьшить количество необходимых физических портов, но только в том случае, если питание, охлаждение, электрическая маршрутизация и управление оптоволокном остаются практичными.

Плотность полосы пропускания — это, в конечном счете, тепловая проблема

Модуль можно сделать меньше, но его мощность может уменьшаться с разной скоростью. В результате увеличивается тепловой поток внутри передней панели.

Таким образом, на полезную плотность влияют:

• Характеристики клетки и радиатора

• Подача питания на печатную плату

• Электрическая маршрутизация хоста

• Разъем и плотность волокна

• Производительность системы охлаждения

• Максимальная температура компонента

При высокой пропускной способности практическая плотность форм-фактора определяется тем, сколько тепла может отвести вся система.

Плотность передней панели и тепловая архитектура XPO

XPO: более высокая плотность со встроенным жидкостным охлаждением

XPO означаетСверхплотная сменная оптика.

В марте 2026 г.Arista объявила о соглашении с несколькими источниками XPO. Анонсированная архитектура использует 64 канала со скоростью 200 Гбит/с на канал, обеспечивая скорость 12,8 Тбит/с на модуль и целевую пропускную способность передней панели 204,8 Тбит/с на единицу стойки с открытыми вычислениями.

В концепции используется структура двойной печатной платы «живот к животу»:

• Компоненты высокой мощности обращены внутрь к конструкции жидкостного охлаждения.

• Компоненты меньшей мощности обращены наружу.

• Охлаждение интегрировано в архитектуру модуля.

• Оптический блок остается съемным.

Значение 204,8 Тбит/с соответствует пропускной способности передней панели, а не 128 физических модулей в одной стойке.

Главный аргумент дизайна XPO — удобство обслуживания. Он пытается сохранить модель сменных модулей, одновременно увеличивая параллелизм и улучшая тепловой путь.

Традиционная сменная оптика, LPO, CPO и XPO

Традиционный подключаемый модуль, LPO, CPO и XPO

Традиционная сменная оптика

Традиционные сменные модули подключаются к ASIC коммутатора посредством высокоскоростных электрических линий.

Они предлагают замену с возможностью «горячей» замены, четкую изоляцию неисправностей, независимую квалификацию модулей и надежные поставки от различных поставщиков.

Их главная слабость – электрический путь. При более высоких скоростях потери на печатной плате и разъемах требуют большего выравнивания и обработки сигнала, в то время как тепло по-прежнему необходимо отводить через ограниченную структуру передней панели.

ЛПО

Линейная сменная оптикаудаляет обычный модуль DSP и поддерживает аналоговый путь между хостом и модулем.

Спецификация LPO MSAназначает хосту такие функции, как FEC, повторная синхронизация и преобразование данных, а также определяет контрольные точки, предназначенные для поддержки взаимодействия.

Удаление DSP на стороне модуля может снизить мощность модуля и задержку обработки, но это предъявляет более высокие требования к качеству SerDes хоста, потерям канала, линейности передатчика, шуму приемника и запасу связи.

У LPO нет одной универсальной мощности, задержки или значения достижения. Они зависят от всего хоста и оптического канала.

CPO

Комбинированная оптикаразмещает оптические двигатели рядом с коммутатором ASIC, сокращая длину и потери высокоскоростных электрических соединений.

Это может уменьшить выравнивание, изменение синхронизации и электрическую мощность ввода-вывода, но создает проблемы с компоновкой, подключением оптоволокна, тепловым расчетом, изоляцией отказов и ремонтом на месте.

В 2023 годуОптический межсетевой форум опубликовал соглашение о внедрении совместного модуля 3.2T.. Он определяет модуль 3,2 Тбит/с для коммутации Ethernet и обеспечивает плотность полосы пропускания на границе корпуса примерно 140 Гбит/с на миллиметр.

В мае 2026 года NVIDIA заявила, что ее коммутаторы Spectrum-X Ethernet Photonics находятся в производстве. Это важная коммерческая веха, хотя она и не означает повсеместного внедрения CPO.

XPO

XPO сохраняет съемный модуль, но при этом использует большую параллелизм и встроенное жидкостное охлаждение.

Он предлагает другой баланс, чем CPO:

• Более высокая плотность, чем у обычных подключаемых модулей

• Прямое жидкостное охлаждение

• Замена поля

• Меньшая зависимость от оптической интеграции на уровне корпуса

Остающиеся задачи включают разработку электрического интерфейса, интеграцию холодных пластин, управление оптоволокном, квалификацию производства и совместимость с различными поставщиками.

Сравнение CWDM и DWDM CPO

Архитектура длины волны влияет на конструкцию лазера, количество волокон, упаковку, оптические потери и сложность интеграции.

Реализации CWDM и DWDM нельзя сравнивать с использованием изолированных значений задержки или энергии на бит, если не используется одна и та же граница измерения.

Значение задержки может включать или исключать:

• ЦСП и ФЭК

• Изменение времени

• Буферизация

• Хост-интерфейсы

• Переключить обработку

• Один или оба конца ссылки

Энергия на бит рассчитывается как:

Энергия на бит = Мощность ÷ Доставленная скорость передачи данных

Однако в расчете необходимо определить, включают ли в него модули, хост-серверы SerDes, лазеры, DSP, FEC, интерфейсы коммутаторов и охлаждение.

DWDM может разместить больше длин волн в одном волокне, потенциально увеличивая плотность и уменьшая количество волокон. Это также требует более жесткого контроля длины волны, стабильной мощности лазера и более сложной оптической интеграции.

Однокристальные многоволновые источники участвуют в программах оценки, но их производственная ценность зависит от выходной мощности, стабильности длины волны, эффективности, выхода и срока службы.

DWDM по своей сути не гарантирует более низкую мощность или задержку в каждой системе CPO. Результат зависит от всей архитектуры.

Межсоединения с масштабированием и масштабированием

Оптические межсоединения с масштабированием и масштабированием

Масштабирование

Сети Scale-Up соединяют ускорители, которые должны работать как одна тесно скоординированная система.

Медь остается привлекательной на коротких расстояниях, поскольку она дешева и электрически проста. Его полезный охват становится все более ограниченным по мере увеличения скорости передачи сигналов и потерь в канале.

В опубликованных исследованиях систем говорится, что существующие высокоскоростные медные каналы ограничены короткими расстояниями внутри стойки в исследуемой среде центра обработки данных.

Охват медного кабеля на скорости 400G зависит от реализации. Это зависит от конструкции кабеля, количества разъемов, выравнивания, бюджета вносимых потерь и доступной мощности.

Оптический ввод-вывод и CPO становятся более привлекательными, когда медь больше не может обеспечивать необходимое сочетание пропускной способности, плотности маршрутизации, расстояния и эффективности.

Масштабирование

Сети Scale-Out соединяют серверы и стойки через коммутаторы.

Они требуют большей дальности действия, большого числа коммутаторов, большого количества портов и практичной замены на месте.

Традиционные подключаемые модули LPO, CPO и XPO решают разные части этой проблемы:

• LPO сокращает обработку на стороне модуля.

• CPO сокращает электрический путь.

• XPO увеличивает плотность подключения и охлаждающую способность.

Переход следует понимать через конкретные стандарты и этапы разработки продуктов, а не через одну универсальную дату принятия.

Система инженерного отбора

Выбор архитектуры следует начинать с системных требований, а не с самого низкого опубликованного значения мощности модуля.

Ключевые вопросы включают в себя:

• Какой охват необходим?

• Какой предел мощности или энергии на бит применяется?

• Обязательна ли замена поля?

• Какая система охлаждения имеется?

• Какая граница задержки измеряется?

• Требуется ли совместимость с различными поставщиками?

Внимательно сравнивайте энергию на бит

Модуль более высокой мощности может по-прежнему иметь меньшую энергию на бит, если он обеспечивает гораздо большую полезную полосу пропускания.

Каждое сравнение должно определять скорость передачи данных, направление, количество концов канала, границу DSP/FEC, мощность лазера, обработку хоста и затраты на охлаждение.

Оцените охват и ссылочную маржу

Архитектуры с меньшим энергопотреблением могут работать с меньшим запасом по каналу.

При выборе следует учитывать расстояние передачи, бюджет сквозного канала, качество электрического канала хоста, рабочую температуру, вариации компонентов и условия старения.

Оцените охлаждение и ремонтопригодность

Номинальная мощность модуля не доказывает, что каждое шасси способно его охладить.

Система также должна определить заменяемый блок. Традиционные подключаемые модули обеспечивают простую замену модуля, тогда как более широкая интеграция может перенести границу ремонта на линейную карту, корпус или узел коммутатора.

Оцените зрелость экосистемы

Технические характеристики и зрелость экосистемы — это разные вопросы.

Новая архитектура может показать хорошие результаты до того, как у нее появятся стабильные спецификации, несколько поставщиков, общие методы тестирования, доказанная совместимость или установленные процедуры ремонта.

Что означает ограничение плотности мощности для инфраструктуры искусственного интеллекта

Будущий рост пропускной способности не может зависеть только от увеличения скорости одного канала.

Для этого потребуется сочетание:

• Параллельные каналы

• Мультиплексирование длин волн

• Более короткие электрические пути

• Более эффективная упаковка

• Материалы с меньшими потерями

• Улучшенная тепловая конструкция

По мере увеличения теплового потока более крупные внешние радиаторы обеспечивают уменьшающуюся отдачу. Охлаждение должно приблизиться к источнику тепла и стать частью оптической архитектуры.

Надежность также должна обеспечиваться за счет подходящей рабочей температуры, квалификации по конкретному виду отказа, ремонтопригодных границ системы и резервирования на уровне сети.

Оптический модуль, ASIC-коммутатор, корпус, печатная плата, система охлаждения и топология сети должны все чаще проектироваться как одна система.

Часто задаваемые вопросы

Почему оптические модули потребляют так много энергии?

Высокоскоростным модулям требуются лазерные драйверы, приемники, эквалайзеры, а часто и DSP и FEC. Мощность также возрастает по мере потери электрического канала и увеличения скорости движения.

Что ограничивает плотность полосы пропускания оптического модуля?

Основными ограничениями являются пространство на передней панели, подача питания, электрическая прокладка, управление оптоволокном и мощность охлаждения.

Чем отличаются LPO, CPO и XPO?

LPO убирает модуль DSP, CPO размещает оптику рядом с ASIC, а XPO совмещает съемный модуль с высокой параллельностью и жидкостным охлаждением.

Всегда ли CPO потребляет меньше энергии?

Не всегда. Результат зависит от лазера, хост-интерфейса, границы DSP/FEC, охлаждения и того, какие части системы включены.

Почему температура влияет на надежность?

Многие механизмы деградации ускоряются при более высоких температурах, но точная взаимосвязь зависит от устройства и режима отказа.

Какая архитектура лучше подходит для масштабирования и масштабирования?

Scale-Up отдает предпочтение решениям с малой досягаемостью и малой задержкой, таким как медный, оптический ввод-вывод и CPO. В Scale-Out больше внимания уделяется охвату, плотности коммутаторов и удобству обслуживания.