Накопители NVMe в серверах Supermicro

Первый обзор накопителей NVMe форм-фактора U.2 (2.5") был опубликован три года назад. С тех пор произошли некоторые изменения, о которых важно знать при выборе серверных платформ и накопителей.

Торжество U.2

Форм-фактор U.2 вытеснил обычные платы расширения PCIe. Тенденция наметилась ещё два года назад, и сегодня подавляющее большинство накопителей NVMe от Intel, WD, Samsung и Toshiba выпускаются именно в этом форм-факторе. Рассмотрим текущую ситуацию на примере линеек серверных накопителей от Intel.

• Optane — особенные накопители на основе памяти 3DXpoint. Тут пока что сохраняется паритет, из-за существенно более высокой цены в сравнении с накопителями на основе NAND-памяти. В линейке P4800X всего два варианта по объёму, 375 и 750 ГБ, форм-факторы разделены поровну. Но в P4801X уже присутсвуют только U.2 и M.2.
• Накопители групп D5 и D7, в состав которых входят несколько линеек накопителей NVMe: карты расширения полностью исчезли. На момент написания этой статьи на сайте Intel по-прежнему можно было увидеть P3608 (это сдвоенный P3600, см. наш обзор), но этот накопитель потерял актуальность около года назад.

Причины этой эволюции достаточно просты. Появление памяти TLC в сочетании с многослойной технологией привело к быстрому снижению цены твердотельных накопителей. В результате они практически полностью вытеснили производительные (10 и 15 тыс. об/мин) жёсткие диски, текущее поколение которых будет последним. Возник спрос на увеличение количества накопителей NVMe даже в бюджетных серверах. Порты для подключения U.2 NVMe появились в материнских платах Supermicro под Skylake-SP (поколение X11) вместе с кабелями для прямого подключения накопителей (без бэкплейна) — одним словом, не осталось практически никаких причин использовать NVMe-накопители в форм-факторе плат расширения. Там, где выше перечисленные возможности подключения U.2 отсутствуют, можно использовать простой переходник, позволяющий установить накопитель U.2 в слот PCIe.

Новые форм-факторы

На самом деле, U.2 далеко не оптимален для твердотельных накопителей. Причина его появления — необходимость обеспечения обратной совместимости с традиционными бэкплейнами, рассчитанными на установку жёстких дисков. Корпус диска 2,5" занимает сравнительно немного места в глубину, всего 100 мм, тепловыделение даже самых быстрых механически дисков со скоростью вращения шпинделя 15 тыс. об/мин не превышает 7 Вт. Необходимость вписать в эти габариты твердотельный накопитель порождает ряд проблем. Стандарт предусматривает максимальное тепловыделение для накопителей U.2 в 25 Вт, это 3,5 раза больше, чем у жёстких дисков. Первые NVMe накопители в форм-факторе U.2 действительно рассеивали по 20–25 Вт, стенки корпуса были массивными и снабжались дополнительным оребрением для улучшения отведения тепла. Сравнительно небольшие габариты ограничивают и возможности по наращиванию объёма накопителей. Переход на многослойную TLC память позволил решить проблему с объёмом и вместе с переходом на более экономичные контроллеры решить снизить тепловыделение (например, Intel P4610 потребляет максимум 15 Вт). Это позволяет продлить жизнь U.2 на несколько лет, но рано или поздно произойдёт переход на новый форм-фактор.

Из стадии прототипа вышли два форм-фактора — Intel Ruler SSD и Samsung NF1. Объединяет их подход: уменьшение ширины корпуса, что позволяет разместить новые накопители вертикально в корпусе 1U. Intel сделал ставку на бóльшую глубину — 325 мм, у NF1 она составляет 110 мм, немногим больше, чем U.2.

У Supermicro появились готовые платформы под оба формфактора:

• 1029P-NR32R. 1U, 32× Intel Ruler SSD.
• 1029P-NMR36L. 1U 36× Samsung NF1 SSD.

О каком-либо замещении U.2 сейчас говорить ещё рано, существующие решения на новых форм-факторах предназначены для крупных датацентров, которым нужно получить максимальную плотность размещения твердотельных накопителей.

Контроллеры Broadcom Tri-Mode

HBA- и RAID-контроллеры Broadcom с поддержкой Tri-Mode (подключения SAS, SATA и NVMe) стали мейнстримом. В настоящее время они представлены линейками 94xx, но в этом году ожидается появление нового поколения контроллеров.

HBA могут использоваться вместо PCIe-ретаймеров, а основное применение RAID-контроллеров с поддержкой Tri-Mode — получить аппаратный RAID из накопителей NVMe. Стоит ожидать некоторого снижения производительности из-за потери преимуществ NVMe в виде новой системы команд и оптимизированной работы с очередями, так как контроллер презентует том для ОС как SCSI-устройство. Но взамен вы получаете привычные по работе с SAS/SATA-дисками средства управления (LSA и StorCLI) и широкую поддержку различных ОС. Рассматривать новые контроллеры стоит даже в том случае, если NVMe подключать не планируется. В сравнении предыдущим поколением 93xx существенно выросли лимиты производительности, так что при наличии более чем 4–6 быстрых современных SAS SSD стоит использовать новое поколение контроллеров.

При планировании конфигурации с использованием контроллеров Broadcom с поддержкой Tri-Mode следует учитывать две особенности. Большинство накопителей NVMe используют для подключения 4 линии PCIe, то есть каждый накопитель займёт все линии разъёма SFF-8643. Например, к 16-портовому контроллеру 9460-16i можно подключить максимум 4 накопителя NVMe напрямую. При этом режим работы портов переключается группами не по 4 порта, а по 8 (два разъёма SFF-8643). Это означает, например, что вы не сможете подключить к 8-портовому контроллеру один накопитель NVMe и четые SAS/SATA. Эта особенность находит отражение в устройстве кабелей для подключения NVMe к новым контроллерам — разъёмы сдвоены со стороны контроллера.

Если речь зашла о кабелях, то вот список кабелей, совместимых с бэкплейнами Supermicro:

• 05-50061-00: для подключения к бэкплейнам с SFF-8643. Не поддерживает индикацию.
• 05-60008-00: новая версия с поддержкой индикации.
• 05-50065-00 и 05-50064-00: кабели для прямого подключения дисков без бэкплейна (0,5 и 1 метр)

Intel VROC

В платформе Skylake-SP появился чипсетный программный RAID для NVMe под названием Intel VROC. Обеспечивается поддержка RAID-0, 1, 10 и 5 при незначительной (за исключением RAID-5) дополнительной нагрузке на процессор. Intel VROC является опцией и для активации требует аппаратного ключа.

Для серверов Supermicro доступно три вида ключей:

• AOC-VROCINTMOD — самый дешёвый вариант, но предназначен исключительно для только для SSD Intel, RAID 0/1/10/5
• AOC-VROCSTNMOD — VROC Standard, RAID 0/1/10
• AOC-VROCPREMOD — VROC Premium, RAID 0/1/10/5