Эволюция серверов. Суперцикл 2022 года

128-ядерный Altra Max M128-30 в серверных бенчмарках под Linux

Серверный рынок обычно опережает массовый рынок на несколько лет. Например, восьмиядерные CPU сначала появились для серверов. Только потом их начали делать для домашних ПК, причём цена упала в несколько раз. Так или иначе, инновации постепенно спускаются — и доходят до всех нас. Но всё начинается с серверов.

На серверах сейчас очень интересно. Нас ожидает не просто рядовой апгрейд, а концептуальный прорыв одновременно по нескольким фронтам. Так называемый суперцикл 2022 года.

Новые CPU и GPU

Для начала самое интересное — процессоры. Тут настоящую революцию устроит AMD, которая готовит к выпуску 4-е поколение серверных процессоров EPYC Genoa на гигантском новом разъёме LGA 6096.


Если у вас 21-дюймовый монитор и Хабр развернут на весь экран, то масштаб будет примерно 1:1

Семейство Genoa (до 96 ядер) и Bergamo (до 128 ядер, 2023 года) производятся по топологии TSMC 5 нм новой архитектуре Zen 4 и Zen 4c. О них можно говорить в настоящем времени, потому что Genoa уже производится мелкими партиями (на фото), а скоро появится в продаже.

Серверные AMD

По сравнению с нынешним поколением Milan нас ожидает двукратное повышение плотности транзисторов, рост производительности минимум на 25% и двукратное улучшение энергоэффективности. Следующее поколение серверных процессоров Bergamo (128 ядер) будет работать на том же сокете.

Ядро нового поколения Zen 4 — это поддержка и новой шины PCIe 5.0, и новой памяти DDR5, и технологии CXL (смотрите ниже). Предположительно, на эти CPU можно будет повесить по 12 ТБ RAM DDR5 на сокет.

Что касается GPU, то AMD также выпустит серию Instinct MI200 — продвинутый ускоритель для дата-центров и суперкомпьютеров, он же первый в мире MCM GPU (то есть мультичиповый модуль GPU). Работает в тандеме с процессорами EPYC.

Intel движется примерно в том же направлении. TDP процессоров постепенно приближается к отметке 500 Вт, а количество ядер CPU медленно догоняет GPU. В этом году выйдет новое поколение процессоров Xeon под кодовым названием Sapphire Rapids. Здесь тот же набор: память DDR5, шина PCIe и CXL 1.1. Плюс новый процессорный интерконнект Ultra Path Interconnect (UPI). Из других инноваций — новый набор инструкций AMX (Advanced Matrix Extensions) для аппаратного ускорения обучения AI.

Унижение Intel

Новый ускоритель Xe-HPC Ponte Vecchio настолько важен для Intel, что она заказала его производство у TSMC по самому передовому в мире техпроцессу 5 нм. Можно представить, насколько это унизительно для компании Intel, которая несколько десятилетий считала себя мировым лидером по производству микроэлектроники.



100 млрд транзисторов, 1024 ядра, 408 МБ кэша L2 делают Ponte Vecchio одним из самых сложных и больших GPU в мире.

Кстати, на тех же ядрах Xe-Core выйдут дискретные видеокарты для геймеров и майнеров Intel Arc.


Игры 2022 года с поддержкой технологии XeSS (видеокарты Arc), источник

Первая из них — Intel Arc Alchemist на чипе A370M (производительность уровня GTX 1660 или выше).


Видеокарта Intel Arc Alchemist

Вообще, это уже не первый заход Intel на дискретные видеокарты. Например, в 90-е годы компании вроде Diamond и 3DLabs выпускали карты на чипсете Intel 740. Конечно, они не могли сравниться по производительности с безусловным лидером — легендарным ускорителем 3Dfx Voodoo, хотя они и стоили немалые деньги по тем временам: до $80 и даже $90 за топовую карту с 8 МБ памяти.


Видеокарта Diamond на чипсете Intel 740

128-ядерные ARM

Возвращаясь на рынок процессоров, здесь тоже наблюдаются некие аналогии с 90-ми годами. Как и тогда, лидерство захватили двое: AMD и Intel, но в спину им дышит третий игрок. Четверть века назад это был Cyrix, а сейчас — семейство ARM-процессоров от разных производителей.

Cерверные ARM для собственного использования делают Amazon, Google, Huawei и прочие гиганты рынка. Однако есть компании, у которых выстроена совсем другая бизнес-модель. Например, Ampere со 128-ядерными процессорами Altra Max M128-30.

Эти CPU доступны для всех желающих по скромной цене $5800, что в пересчёте на ядро или по энергоэффективности получаются намного выгоднее многих серверных CPU на x86.


Altra Max M128-30

В некоторых бенчмарках они тоже выглядят неплохо:

Память DDR5

Объём RAM на серверах преодолел рубеж 1 терабайт, а иногда узким местом становится производительность памяти. Даже на пиковой скорости 200 ГБ/с операция memset для терабайта DDR4 займёт пять секунд.

К счастью, на помощь приходит DDR5. В январе 2022 года цены на память DDR5 сильно упали после декабрьского хайпа, связанного с Alder Lake. Конечно, это играет на руку сборщикам серверов.

Новое поколение памяти — это новые материнские платы и CPU. Апгрейд с DDR4 на DDR5 принесёт ускорение до 2,63 раз (в MT/s) и увеличение плотности / объёма в четыре раза: от чипов 16 до 64 Гбит, как показано на диаграмме, указанной ниже.



На практике это увеличение тактовой частоты до 4,8 ГГц, а модули DIMM вырастут до 256 ГБ.

С заменой материнских плат и процессоров, поддержкой нового поколения PCIe (см. ниже) налицо «суперцикл». Хотя есть вероятность, что из-за дефицита комплектующих он может затянуться до 2023 года, но это уже детали.

Объём памяти на один сервер скоро превысит десять терабайт. Значительно увеличится энергоэффективность вычислений. Себестоимость маленьких инстансов ещё больше приблизится к нулю.

Сегодня DDR5 уже работает в MacBook Pro с процессорами M1 Max. Они стали первыми, где мы можем увидеть скорость обмена с памятью 400 ГБ/с. Такой апгрейд отражается на всех приложениях.

PCIe 5.0

Этот год станет годом миграции на PCIe 5.0, а на горизонте уже маячит PCIe 6.0 (PCIe Gen6). В январе 2022 года спецификации PCIe 6.0 были официально утверждены.



Новое поколение шины по сравнению с PCIe 5.0 удваивает скорость передачи данных по каждой линии. Теперь это 8 ГБ/с по одной линии (x1) в каждом направлении, то есть для каналов x16 она возрастает до 128 ГБ/с на каждое направление. По мнению экспертов, первое железо с поддержкой PCIe 6.0 появится в конце 2022 года. А через несколько лет шина пойдёт на десктопы.

При этом PCIe 6.0 с переходом на импульсно-амплитудную модуляцию PAM4 (Pulse-Amplitude Modulation 4) вместо NRZ — самый крупный апгрейд в истории стандарта PCI Express, если судить по количеству инноваций в методах сигнализации и кодирования.


Сравнение NRZ и PAM4, источник

На новом поколении PCIe 5.0 (а затем и 6.0) строится вся серверная архитектура. То есть в итоге это увеличение производительности всех компьютерных подсистем:

• хранение данных;
  
• сети/интерконнекты;
  
• ускорители;
  
• процессоры.

CXL — лимонный сок для бутербродов

Интересно, что шина PCI Express всегда считалась узким местом высокопроизводительных систем, поэтому в суперкомпьютерах и некоторых дата-центрах стараются заменить или расширить её. Например, в 2014 году IBM предложила интерфейс Coherent Accelerator Processor Interface (CAPI) поверх PCIe, но он не взлетел.

Были и другие предложения. Сейчас большие надежды возлагают на Compute Express Link (CXL) поверх PCIe Gen5. Говорят, что за этим интерконнектом — будущее серверов.

Чтобы объяснить CXL, есть кулинарный пример. Скажем, мы хотим приготовить тако с лимоном. У нас много кукурузных лепёшек с начинкой, то есть готовых тако (процессоры), и отдельно дольки лимона (RAM).



В стандартной системе управления памятью нам не хватит RAM на все CPU: к некоторым тако прилагается лимон, а другим не хватает.



Но если выжать лимон, то сиропа хватит на все бутерброды (тако): данную роль играет интерфейс CXL, который распределяет RAM на все процессоры.



С этой целью для серверов выпускают CXL-модули расширения памяти типа CXL Memory Expander.


Первый на рынке CXL Memory Expander вышел 11 мая 2021 года

Очень похоже на маркетинговую чушь, но CXL реально работает.

Новые форм-факторы SSD

Большинство производителей SSD ещё не освоили PCIe 4.0, но в этом году начнётся апгрейд систем уже на PCIe 5.0, так что SSD PCIe 5.0 ожидаются к концу года. В частности, прототип ADATA с контроллером Silicon Motion SM2508 показал скорость чтения 14 ГБ/с и записи 12 ГБ/с — это примерно вдвое выше, чем у топовых современных SSD на PCIe 4.0 типа Samsung 980 Pro.


Первый в мире SSD на PCIe 5.0 (ADATA)

Кстати, сейчас SSD выпускают в самых разных форматах, вплоть до коробок U.2 размером как винчестеры SATA 2,5" (есть специальные пластиковые расширители, чтобы вставить SSD в гнездо 3,5").


Разнообразие форм-факторов SSD

Но никто не заставляет делать корпус накопителя настолько большим. Ведь M.2 и самый быстрый, и самый дешёвый разъём: никаких лишних кабелей и корпусов. Наверное, SSD формата M.2 с интерфейсом PCIe 4.0 в ближайшее время станет стандартом даже на массовом рынке.


WD Black SN770, один из первых SSD с поддержкой PCIe 4.0 для массового рынка

Похоже на то, что с 2022 года суперциклы обновления железа пойдут быстрее, чем раньше. В предыдущее десятилетие индустрия буквально застряла на старом стандарте PCIe Gen3. Долго не было революции практически ни в чём: CPU, GPU, память словно застыли. Теперь же совершенно другое дело.

А какие у вас есть мысли на этот счёт?

---

НЛО прилетело и оставило здесь промокоды для читателей нашего блога:

— 15% на все тарифы VDS (кроме тарифа Прогрев) — HABRFIRSTVDS.

— 20% на выделенные серверы AMD Ryzen и Intel Core — HABRFIRSTDEDIC.