Тестирование 2,5" (U.2) NVMe SSD HGST SN100
08.04.16
Предисловие
Если вы ещё не знакомы с накопителями NVMe, ничего не знаете о различиях между NVMe и другими PCI-E SSD, о преимуществах и форм-факторах NVMe-накопителей, то необходимую информацию можно найти в Википедии и в нашем предыдущем обзоре накопителя HGST SN150[1].
Форм-фактор U.2
В наших обзорах уже встречались NVMe SSD в форм-факторе низкопрофильных карт расширения PCI Express. Сегодня речь пойдёт о накопителях U.2 — знакомый по HDD и SSD с интерфейсом SAS форм-фактор 2,5" толщиной 15 мм. Накопители форм-фактора U.2 используют разъём SFF-8639, обратно совместимый с SFF-8482, который используется для подключения накопителей SATA и SAS.
Применение такого форм-фактора даёт несколько преимуществ:- Накопители не занимают слоты расширения PCIe. Это особенно актуально для одноюнитовых корпусов, но даже в распространённых двухпроцессорных серверах 2U у нас есть 6-8 слотов PCIe и при этом целых 80 линий PCIe (по 40 с каждого процессора) — занимать слоты x8 и x16 карточками x4 попросту нерационально.
- Важный для построения СХД функционал — горячая замена и двухпортовое подключение. Поддержка горячего подключения/отключения NVMe и других PCIe устройств есть Windows Server 2012/2012 R2 и в ядре Linux начиная с версии 3.10. Поддержка со стороны оборудования тоже есть: все выпускаемые накопители форм-фактора U.2 поддерживают hot-plug, остальные компоненты поддержки (бэкплейны с индикацией разрешённого отключения, поддержка со стороны BIOS и т.п.) реализованы в современных серверных платформах, поддерживающих установку U.2 накопителей.
Двухпортовое подключение — задел на будущее, для построения отказоустойчивых СХД на базе NVMe. Вместо одного линка x4 используется два x2. Реализована поддержка двухпортовости в накопителях OCZ 6000/6300 (обзор Z6300 будет в следующей статье) и недавно анонсированных накопителях из новой линейки Intel.
-
Компактность. По-другому разместить два NVMe накопителя в каждом из серверных модулей платформы Supermicro 5039MS-H12TRF или 48 (!) NVMe в 2U сервере 2028R-NR48N было бы попросту невозможно.
U.2 NVMe в платформе Supermicro 1028R-WC1R
Для тестирования накопителей HGST SN100 мы использовали платформу Supermicro 1028R-WC1R. Это одноюнитовый двухпроцессорных сервер с 10-ю отсеками 2.5". Интересной особенностью является то, что два крайних справа отсека имеют разъём SFF-8639, а с обратной стороны к ним можно подключить либо SATA/SAS контроллер, либо по четыре линии PCI Express через разъём SFF-8643. Для этого нужно добавить ретаймер Supermicro AOC-SLG3-2E4R — плата устанавливается в нижний слот райзера и обеспечивает подачу двух линков с четырьмя линиями PCIe и SMbus.
Стоит добавить, что это упрощённый вариант ретаймера без применения PCIe свитча и он имеет ограниченный список совместимости. Поддерживаются только платы X10DRW-i(T), X10DRH-xx, X10QRH. Универсальный вариант — AOC-SLG3-2E4 c использованием PLX PE8718 (свитч на 16 линий PCIe).Платформа в сборе выглядит так:
Салазки MCP-220-00127-0B отличаются от обычных только защёлкой оранжевого цвета с замком, который защищает накопитель от непреднамеренного отключения. Светодиоды, как обычно, размещаются на бэкплейне. При этом нижний является трехцветным: красный цвет в зависимости от режима означает неисправность, процесс ребилда (для NVMe это имеет значение в случае построения программных массивов через RSTe) или идентификацию, зелёный — готовность к отключению, мигающий оранжевый — запрет на отключение.В web-интерфейсе IPMI после обновления прошивки мы можем наблюдать статус подключённых накопителей (температура, серийные номера и т.п.) и управлять безопасным отключением:
UEFI OpROM'ы накопителей доступны через BIOS материнской платы. Функционал зависит от производителя. В случае HGST мы можем управлять созданием и форматированием пространств имён[1] и можем обновить прошивку:
NVMe накопители HGST SN100 и SN150
SN100 и SN150 — это одна и та же линейка накопителей, отличающихся между собой лишь объёмом и форм-фактором. HGST SN150 — низкопрофильные платы расширения 1,6 и 3,2 ТБ (подробный обзор и тестирование производительности SN150 1,6 ТБ см. в нашей статье)[1].HGST SN100 — накопители форм-фактора U.2. К 1,6 и 3,2 ТБ добавлена младшая модель объёмом 800 ГБ. Накопители производятся в корпусе из анодированного алюминия, имеют стандартные габариты и разъём SFF-8639.
Для улучшения охлаждения боковые стенки корпуса снабжены отверстиями:С противоположной от SFF-8639 стороны расположены светодиоды (активность, готовность к отключению, идентификация) и служебный разъём.Характеристики HGST SN100
- Объём: 0,8 ТБ, 1,6 ТБ, 3,2 ТБ
- Форм-фактор: U.2 (2,5", высота 15 мм)
- Интерфейс: PCI-E 3.0 x4
- Производительность (в скобках — для модели 0,8 ТБ)
- Последовательный доступ (блок 128КиБ): чтение — 3000 (2600) МБ/с, запись — 1600 (1400) МБ/с
- Случайный доступ (блок 4 КиБ): чтение — 743 (634) тыс. IOPS, запись — 140 (80) тыс. IOPS, 70/30 чтение/запись — 310 (190) тыс. IOPS
- Случайный доступ (блок 8 КиБ): чтение — 385 (330) тыс. IOPS, запись — 75 (42) тыс. IOPS
- Средняя задержка (блок 512 байт, случайный доступ, запись): 20 мкс
- Поддержка T10 DIF. Размер сектора: 512/520/528 и 4096/4160/4224 байт
- Ресурс: 3 DWPD
- Максимальное энергопотребление: 25 Вт
- Гарантийный срок: 5 лет
Подробнее — в официальной спецификации.[4]
Результаты тестирования
Условия тестирования
Конфигурация тестового стенда:- Два процессора Intel Xeon E5-2660 V3 (10 ядер, 2,6 ГГц, HT включен)
- 64 ГБ памяти
- Платформа 1028R-WC1R, системная плата Supermicro X10SRi-F, BIOS v 2.0
- CentOS Linux 7 X86_64
- Для генерации нагрузки применялся FIO версии 2.8
- Использовался штатный драйвер NVMe
- HGST Ultrastar SN100 1.6TB HUSPR3216ADP301
- Прошивка: KMGNP120
- Объём: 1600321314816 байт (1490,4 ГиБ)
Методика тестирования SSD неоднократно описывалась в наших предыдущих статьях. Актуальное описание можно увидеть в статье Тестирование NVMe SSD Intel P3608. Полное тестирование не проводилось из-за идентичности накопителей SN150 и SN100 — в феврале тестировался SN150 аналогичного объёма. Был повторён тест с измерением задержки при варьировании количества потоков (1–4) и глубины очереди (1–128).
SNIA PTS: latency test
В таблице приведены данные для одного потока с QD=1. Данные отличаются от SN150 по причине перехода с CentOS 6 на CentOS 7. Процессор остался прежним — Xeon E5-2660 V3, но из-за перехода на 2-процессорную платформу понадобилась дополнительная оптимизация с учётом NUMA. Для этого сначала был определён процессор (точнее, узел NUMA), к которому подключён накопитель. В Linux это можно сделать, посмотрев топологию подключения при помощи lspci:
lspci -tv \-[0000:00]-+-00.0 Intel Corporation Xeon E7 v3/Xeon E5 v3/Core i7 DMI2 +-01.0-[01]--+-00.0 Intel Corporation I350 Gigabit Network Connection | \-00.1 Intel Corporation I350 Gigabit Network Connection +-02.0-[02-03]----00.0 HGST, Inc. Ultrastar SN100 Series NVMe SSD +-02.1-[04-05]----00.0 HGST, Inc. Ultrastar SN100 Series NVMe SSD
Затем узел NUMA можно посмотреть в/sys/devices/pci*/*/numa_node
и запустить fio с параметромnuma_cpu_nodes=x
(где x — номер узла NUMA).HGST SN100 1.6TB Intel P3608 (P3600 0.8TB) Задержка 4КиБ 8КиБ 4КиБ 8КиБ Средняя Чтение 97 109 67 101 Запись 22 26 16 18 Чтение/запись 70/30% 120 162 92 139 99% Чтение 266 185 125 153 Запись 33 41 31 31 Чтение/запись 70/30% 354 3345 182 400 99,99% Чтение 2015 226 2832 2812 Запись 44 59 79 86 Чтение/запись 70/30% 3120 7100 3096 3180 Сравнение с Intel P3600
Приведены графики зависимости задержки (среднее значение, 99% и 99,99% перцентили) от IOPS при варьировании количества потоков (1–4) и глубины очереди (1–128). Пунктирные линии соответствуют накопителю Intel P3608 1,6 ТБ из предыдущего теста.[2] Intel P3608 представляет собой два накопителя P3600 в общем корпусе, данные приведены для одной «половины» объёмом 800 ГБ.Средняя задержка.
99% перцентиль задержки.
99,99% перцентиль задержки.
SNIA PTS: Host Idle Recovery
Графики для этого теста приведены для одной половины накопителя. Напомним, что данный тест проводится после предыдущего, т.е. накопитель находится в режиме насыщения, с небольшим запасом подготовленных для записи ячеек. Производительность на запись снижена, далее мы даём накопителю возможность восстановить её, прерывая серию из 360 раундов с непрерывной нагрузкой (чёрный цвет на графике) сериями из 360-ти раундов с увеличивающимися паузами:
- 5 секунд нагрузки + 5 секунд паузы
- 5 секунд нагрузки + 10 секунд паузы
- 5 секунд нагрузки + 15 секунд паузы
- 5 секунд нагрузки + 25 секунд паузы
- 5 секунд нагрузки + 50 секунд паузы
5-секундных пауз хватает на восстановление IOPS до уровня «свежего» накопителя. По мере увеличения пауз производительность стабилизируется.
Средняя задержка сразу же снижается с 1,8 до диапазона 0,6–0,7 мс, и в дальнейшем стабилизируется.
Перцентиль 99,99%. На начальном этапе мы видим уровень до 20-30 мс, в дальнейшем значение практически никогда не выходит за границы 7–8 мс.
Два HGST SN100
Напоследок — результаты с двух накопителей HGST SN100, объединённых в зеркало:- Случайный доступ, блок 4 КиБ, 10 потоков с QD=128: 1565000 (1,5 миллиона) IOPS при средней задержке в 1,6 мс (99,9% < 10 мс). При этом была получена 80-90% нагрузка на 5 ядер 10-ядерного Xeon E5-2660 v3. Напомним, что при сравнительном тестировании SAS контроллеров нам удалось получить «всего лишь» 1,1 млн. IOPS при 100% нагрузке на 12-ядерный Xeon E5-2690 V3 – накладные расходы по обработке ввода-вывода через традиционный стек SCSI в ОС выше в сравнении с NVMe.
- Последовательный доступ, блок 128 КиБ, 4 потока с QD=128: 6774 МиБ/с. Вполне ожидаемый результат, ограниченный пропускной способностью 8 линий PCIe 3.0.
Заключение
Все сказанное насчёт SN150 можно отнести и к SN100 — хорошая производительность, отличное соотношение цена/производительность. Немного не хватает лишь линейки с существенно большим ресурсом (10 DWPD), но текущие 3 DWPD можно увеличить, отформатировав накопитель на меньший объём. Дополнительный плюс HGST SN100 как накопителя в форм-факторе U.2 — совместимость с платформами Supermicro.
Примечания
[1] Пространство имён NVMe (англ. NVMe namespace) — область накопителя NVMe, отформатированная для блочного доступа. Пространства имён могут иметь различные размеры сектора или могут использоваться виртуальными машинами через SR-IOV.
[2] Прямое сравнение является не совсем корректным из-за разницы в объёме. К тому же выяснилось, что P3608/P3600 демонстрирует лучшие результаты под Windows.
Ссылки
[1] Тестирование NVMe-совместимого PCI-E SSD HGST SN150. True System.
[2] Ultrastar SN100 Series PCIe SSD. HGST.
[3] Ultrastar SN100 Series PCIe SSD datasheet. HGST.
[4] 1028R-WC1R. Supermicro.
[5] Supermicro NVMe Platforms. Supermicro.
[6] Expanding platform capabilities by enabling Hot-Plug support of Intel NVMe SSDs. Intel.
[7] Lance Shelton High Performance I/O with NUMA Systems in Linux. Fusion-IO.
Информация
Серверное оборудование
Поддержка
О компании
Контакты:
- Адрес: 115487, г. Москва, ул. Нагатинская, дом 16 (Метро "Нагатинская")
- Телефон: (495) 747-3113
- Факс: (495) 747-3112
- Гарантийный отдел: (495) 747-3113 (доб. 333, 304)
- Отдел продаж: (495) 747-3113
© 2006-2024 True System inc