Тестирование 2,5" (U.2) NVMe SSD HGST SN100

08.04.16

Предисловие

Если вы ещё не знакомы с накопителями NVMe, ничего не знаете о различиях между NVMe и другими PCI-E SSD, о преимуществах и форм-факторах NVMe-накопителей, то необходимую информацию можно найти в Википедии и в нашем предыдущем обзоре накопителя HGST SN150^[1].

Форм-фактор U.2

В наших обзорах уже встречались NVMe SSD в форм-факторе низкопрофильных карт расширения PCI Express. Сегодня речь пойдёт о накопителях U.2 — знакомый по HDD и SSD с интерфейсом SAS форм-фактор 2,5" толщиной 15 мм. Накопители форм-фактора U.2 используют разъём SFF-8639, обратно совместимый с SFF-8482, который используется для подключения накопителей SATA и SAS.

Применение такого форм-фактора даёт несколько преимуществ:

Накопители не занимают слоты расширения PCIe. Это особенно актуально для одноюнитовых корпусов, но даже в распространённых двухпроцессорных серверах 2U у нас есть 6-8 слотов PCIe и при этом целых 80 линий PCIe (по 40 с каждого процессора) — занимать слоты x8 и x16 карточками x4 попросту нерационально.
Важный для построения СХД функционал — горячая замена и двухпортовое подключение. Поддержка горячего подключения/отключения NVMe и других PCIe устройств есть Windows Server 2012/2012 R2 и в ядре Linux начиная с версии 3.10. Поддержка со стороны оборудования тоже есть: все выпускаемые накопители форм-фактора U.2 поддерживают hot-plug, остальные компоненты поддержки (бэкплейны с индикацией разрешённого отключения, поддержка со стороны BIOS и т.п.) реализованы в современных серверных платформах, поддерживающих установку U.2 накопителей.
Двухпортовое подключение — задел на будущее, для построения отказоустойчивых СХД на базе NVMe. Вместо одного линка x4 используется два x2. Реализована поддержка двухпортовости в накопителях OCZ 6000/6300 (обзор Z6300 будет в следующей статье) и недавно анонсированных накопителях из новой линейки Intel.
Компактность. По-другому разместить два NVMe накопителя в каждом из серверных модулей платформы Supermicro 5039MS-H12TRF или 48 (!) NVMe в 2U сервере 2028R-NR48N было бы попросту невозможно.

U.2 NVMe в платформе Supermicro 1028R-WC1R

Для тестирования накопителей HGST SN100 мы использовали платформу Supermicro 1028R-WC1R. Это одноюнитовый двухпроцессорных сервер с 10-ю отсеками 2.5". Интересной особенностью является то, что два крайних справа отсека имеют разъём SFF-8639, а с обратной стороны к ним можно подключить либо SATA/SAS контроллер, либо по четыре линии PCI Express через разъём SFF-8643. Для этого нужно добавить ретаймер Supermicro AOC-SLG3-2E4R — плата устанавливается в нижний слот райзера и обеспечивает подачу двух линков с четырьмя линиями PCIe и SMbus.

Стоит добавить, что это упрощённый вариант ретаймера без применения PCIe свитча и он имеет ограниченный список совместимости. Поддерживаются только платы X10DRW-i(T), X10DRH-xx, X10QRH. Универсальный вариант — AOC-SLG3-2E4 c использованием PLX PE8718 (свитч на 16 линий PCIe).

Платформа в сборе выглядит так:

Салазки MCP-220-00127-0B отличаются от обычных только защёлкой оранжевого цвета с замком, который защищает накопитель от непреднамеренного отключения. Светодиоды, как обычно, размещаются на бэкплейне. При этом нижний является трехцветным: красный цвет в зависимости от режима означает неисправность, процесс ребилда (для NVMe это имеет значение в случае построения программных массивов через RSTe) или идентификацию, зелёный — готовность к отключению, мигающий оранжевый — запрет на отключение.

В web-интерфейсе IPMI после обновления прошивки мы можем наблюдать статус подключённых накопителей (температура, серийные номера и т.п.) и управлять безопасным отключением:

UEFI OpROM'ы накопителей доступны через BIOS материнской платы. Функционал зависит от производителя. В случае HGST мы можем управлять созданием и форматированием пространств имён^[1] и можем обновить прошивку:

NVMe накопители HGST SN100 и SN150

SN100 и SN150 — это одна и та же линейка накопителей, отличающихся между собой лишь объёмом и форм-фактором. HGST SN150 — низкопрофильные платы расширения 1,6 и 3,2 ТБ (подробный обзор и тестирование производительности SN150 1,6 ТБ см. в нашей статье)^[1].

HGST SN100 — накопители форм-фактора U.2. К 1,6 и 3,2 ТБ добавлена младшая модель объёмом 800 ГБ. Накопители производятся в корпусе из анодированного алюминия, имеют стандартные габариты и разъём SFF-8639.

Для улучшения охлаждения боковые стенки корпуса снабжены отверстиями:

С противоположной от SFF-8639 стороны расположены светодиоды (активность, готовность к отключению, идентификация) и служебный разъём.

Характеристики HGST SN100

Объём: 0,8 ТБ, 1,6 ТБ, 3,2 ТБ
Форм-фактор: U.2 (2,5", высота 15 мм)
Интерфейс: PCI-E 3.0 x4
Производительность (в скобках — для модели 0,8 ТБ)
- Последовательный доступ (блок 128КиБ): чтение — 3000 (2600) МБ/с, запись — 1600 (1400) МБ/с
- Случайный доступ (блок 4 КиБ): чтение — 743 (634) тыс. IOPS, запись — 140 (80) тыс. IOPS, 70/30 чтение/запись — 310 (190) тыс. IOPS
- Случайный доступ (блок 8 КиБ): чтение — 385 (330) тыс. IOPS, запись — 75 (42) тыс. IOPS
- Средняя задержка (блок 512 байт, случайный доступ, запись): 20 мкс
Поддержка T10 DIF. Размер сектора: 512/520/528 и 4096/4160/4224 байт
Ресурс: 3 DWPD
Максимальное энергопотребление: 25 Вт
Гарантийный срок: 5 лет

Подробнее — в официальной спецификации.^[4]

Результаты тестирования

Условия тестирования

Конфигурация тестового стенда:

Два процессора Intel Xeon E5-2660 V3 (10 ядер, 2,6 ГГц, HT включен)
64 ГБ памяти
Платформа 1028R-WC1R, системная плата Supermicro X10SRi-F, BIOS v 2.0
CentOS Linux 7 X86_64
Для генерации нагрузки применялся FIO версии 2.8
Использовался штатный драйвер NVMe

Тестируемые устройства:

HGST Ultrastar SN100 1.6TB HUSPR3216ADP301
Прошивка: KMGNP120
Объём: 1600321314816 байт (1490,4 ГиБ)

Методика тестирования SSD неоднократно описывалась в наших предыдущих статьях. Актуальное описание можно увидеть в статье Тестирование NVMe SSD Intel P3608. Полное тестирование не проводилось из-за идентичности накопителей SN150 и SN100 — в феврале тестировался SN150 аналогичного объёма. Был повторён тест с измерением задержки при варьировании количества потоков (1–4) и глубины очереди (1–128).

SNIA PTS: latency test

В таблице приведены данные для одного потока с QD=1. Данные отличаются от SN150 по причине перехода с CentOS 6 на CentOS 7. Процессор остался прежним — Xeon E5-2660 V3, но из-за перехода на 2-процессорную платформу понадобилась дополнительная оптимизация с учётом NUMA. Для этого сначала был определён процессор (точнее, узел NUMA), к которому подключён накопитель. В Linux это можно сделать, посмотрев топологию подключения при помощи lspci:

lspci -tv
\-[0000:00]-+-00.0  Intel Corporation Xeon E7 v3/Xeon E5 v3/Core i7 DMI2
             +-01.0-[01]--+-00.0  Intel Corporation I350 Gigabit Network Connection
             |            \-00.1  Intel Corporation I350 Gigabit Network Connection
             +-02.0-[02-03]----00.0  HGST, Inc. Ultrastar SN100 Series NVMe SSD
             +-02.1-[04-05]----00.0  HGST, Inc. Ultrastar SN100 Series NVMe SSD

Затем узел NUMA можно посмотреть в /sys/devices/pci*/*/numa_node и запустить fio с параметром numa_cpu_nodes=x (где x — номер узла NUMA).

HGST SN100 1.6TB Intel P3608 (P3600 0.8TB)

Задержка 4КиБ 8КиБ 4КиБ 8КиБ

Средняя

Чтение 97 109 67 101
Запись 22 26 16 18
Чтение/запись 70/30% 120 162 92 139
99%

Чтение 266 185 125 153
Запись 33 41 31 31
Чтение/запись 70/30% 354 3345 182 400
99,99%

Чтение 2015 226 2832 2812
Запись 44 59 79 86
Чтение/запись 70/30% 3120 7100 3096 3180

Сравнение с Intel P3600

Приведены графики зависимости задержки (среднее значение, 99% и 99,99% перцентили) от IOPS при варьировании количества потоков (1–4) и глубины очереди (1–128). Пунктирные линии соответствуют накопителю Intel P3608 1,6 ТБ из предыдущего теста.^[2] Intel P3608 представляет собой два накопителя P3600 в общем корпусе, данные приведены для одной «половины» объёмом 800 ГБ.

Средняя задержка.

99% перцентиль задержки.

99,99% перцентиль задержки.

SNIA PTS: Host Idle Recovery

Графики для этого теста приведены для одной половины накопителя. Напомним, что данный тест проводится после предыдущего, т.е. накопитель находится в режиме насыщения, с небольшим запасом подготовленных для записи ячеек. Производительность на запись снижена, далее мы даём накопителю возможность восстановить её, прерывая серию из 360 раундов с непрерывной нагрузкой (чёрный цвет на графике) сериями из 360-ти раундов с увеличивающимися паузами:

5 секунд нагрузки + 5 секунд паузы
5 секунд нагрузки + 10 секунд паузы
5 секунд нагрузки + 15 секунд паузы
5 секунд нагрузки + 25 секунд паузы
5 секунд нагрузки + 50 секунд паузы

5-секундных пауз хватает на восстановление IOPS до уровня «свежего» накопителя. По мере увеличения пауз производительность стабилизируется.

Средняя задержка сразу же снижается с 1,8 до диапазона 0,6–0,7 мс, и в дальнейшем стабилизируется.

Перцентиль 99,99%. На начальном этапе мы видим уровень до 20-30 мс, в дальнейшем значение практически никогда не выходит за границы 7–8 мс.

Два HGST SN100

Напоследок — результаты с двух накопителей HGST SN100, объединённых в зеркало:

Случайный доступ, блок 4 КиБ, 10 потоков с QD=128: 1565000 (1,5 миллиона) IOPS при средней задержке в 1,6 мс (99,9% < 10 мс). При этом была получена 80-90% нагрузка на 5 ядер 10-ядерного Xeon E5-2660 v3. Напомним, что при сравнительном тестировании SAS контроллеров нам удалось получить «всего лишь» 1,1 млн. IOPS при 100% нагрузке на 12-ядерный Xeon E5-2690 V3 – накладные расходы по обработке ввода-вывода через традиционный стек SCSI в ОС выше в сравнении с NVMe.
Последовательный доступ, блок 128 КиБ, 4 потока с QD=128: 6774 МиБ/с. Вполне ожидаемый результат, ограниченный пропускной способностью 8 линий PCIe 3.0.

Заключение

Все сказанное насчёт SN150 можно отнести и к SN100 — хорошая производительность, отличное соотношение цена/производительность. Немного не хватает лишь линейки с существенно большим ресурсом (10 DWPD), но текущие 3 DWPD можно увеличить, отформатировав накопитель на меньший объём. Дополнительный плюс HGST SN100 как накопителя в форм-факторе U.2 — совместимость с платформами Supermicro.

Примечания

[1] Пространство имён NVMe (англ. NVMe namespace) — область накопителя NVMe, отформатированная для блочного доступа. Пространства имён могут иметь различные размеры сектора или могут использоваться виртуальными машинами через SR-IOV.

[2] Прямое сравнение является не совсем корректным из-за разницы в объёме. К тому же выяснилось, что P3608/P3600 демонстрирует лучшие результаты под Windows.

Ссылки

[1] Тестирование NVMe-совместимого PCI-E SSD HGST SN150. True System.

[2] Ultrastar SN100 Series PCIe SSD. HGST.

[3] Ultrastar SN100 Series PCIe SSD datasheet. HGST.

[4] 1028R-WC1R. Supermicro.

[5] Supermicro NVMe Platforms. Supermicro.

[6] Expanding platform capabilities by enabling Hot-Plug support of Intel NVMe SSDs. Intel.

[7] Lance Shelton High Performance I/O with NUMA Systems in Linux. Fusion-IO.

Вернуться к списку

Добавить новый комментарий

Информация

Серверное оборудование

Поддержка

О компании

Контакты:

Адрес: 115487, г. Москва, ул. Нагатинская, дом 16 (Метро "Нагатинская")
Телефон: (495) 747-3113
Факс: (495) 747-3112
Гарантийный отдел: (495) 747-3113 (доб. 333, 304)
Отдел продаж: (495) 747-3113

	HGST SN100 1.6TB		Intel P3608 (P3600 0.8TB)
Задержка	4КиБ	8КиБ	4КиБ	8КиБ
Средняя
Чтение	97	109	67	101
Запись	22	26	16	18
Чтение/запись 70/30%	120	162	92	139
99%
Чтение	266	185	125	153
Запись	33	41	31	31
Чтение/запись 70/30%	354	3345	182	400
99,99%
Чтение	2015	226	2832	2812
Запись	44	59	79	86
Чтение/запись 70/30%	3120	7100	3096	3180

Заказ звонка