Тестирование SAS SSD Toshiba PX05SR и PX05SM

24.01.17

Линейка SAS SSD Toshiba PX05

Официальный анонс новой линейки серверных SSD с интерфейсом SAS3 ожидается до конца января 2017 года. В линейке PX05 по-прежнему будет 5 моделей, отличающихся производительностью на запись и ресурсом в 0,5/1/3/10/25 DWPD (перезаписей в день). True System удалось получить для тестирования два экземпляра — PX05SMB и PX05SRB объёмом 400 и 480 ГБ соответственно.

Характеристики

• Объём:
• PX05SH: 200, 400, 800, 1600 ГБ
• PX05SM: 400, 800, 1600, 3200 ГБ
• PX05SV: 480, 960, 1920, 3840 ГБ
• PX05SR: 480, 960, 1920, 3840 ГБ
• PX05SL: 2000, 4000 ГБ
• Форм-фактор: 2,5", высота 15 мм
• Интерфейс: два порта SAS3.0 12 Гбит/с
• Производительность:
  • PX05SH: 1400–1800/750–850 МиБ/с последовательное чтение запись (блок 64 КиБ), 270/120–125 тыс. IOPS случайное чтение/запись (блок 4 КиБ)
  • PX05SM: 1500–1900/750–850 МиБ/с последовательное чтение запись (блок 64 КиБ), 270/80–100 тыс. IOPS случайное чтение/запись (блок 4 КиБ)
  • PX05SV: 1500–1900/750–850 МиБ/с последовательное чтение запись (блок 64 КиБ), 270/48–59 тыс. IOPS случайное чтение/запись (блок 4 КиБ)
  • PX05SR: 1400–1800/750–850 МиБ/с последовательное чтение запись (блок 64 КиБ), 270/19–25 тыс. IOPS случайное чтение/запись (блок 4 КиБ)
  • PX05SR: 1400–1800/750–850 МиБ/с последовательное чтение запись (блок 64 КиБ), 270/20 тыс. IOPS случайное чтение/запись (блок 4 КиБ)
• Поддержка T10 DIF. Размер сектора: 512/520/528 и 4096/4160/4224 байт
• Ресурс:
• PX05SH: 25 DWPD
• PX05SM: 10 DWPD
• PX05SV: 3 DWPD
• PX05SR: 1 DWPD
• PX05SL: 0,5 DWPD
• Гарантийный срок: 5 лет

Результаты тестирования

Условия тестирования

Конфигурация тестового стенда:

• Процессор Intel Xeon E5-2643 V4 (6 ядер, 3,4 ГГц, HT включен)
• 32 ГБ памяти DDR4 RDIMM 2133 МГц
• Системная плата Supermicro X10SRi-F (1x socket R3, Intel C612)
• SAS3 HBA Avago 9300-8i (прошивка P13)
• CentOS Linux 7.2 X86_64
• Для генерации нагрузки применялся FIO версии 2.15

Тестируемые устройства:

• Toshiba PX05SRB048
• Прошивка: 0101
• Объём: 480 103 981 056 байт (447,13 ГиБ)

• Toshiba PX05SMB040
• Прошивка: 0101
• Объём: 400 088 457 216 байт (376,61 ГиБ)

Использованы модифицированные тесты из SNIA Solid State Storage Performance Test Specification Enterprise v1.1. Данная спецификация описывает алгоритмы различных тестов и формат отчетов. Ниже приведены параметры тестов и отличия от SNIA PTS:

• IOPS Test. Измеряется количество IOPS (операций ввода-вывода в секунду) для блоков различного размера (1024 КиБ, 128 КиБ, 64 КиБ, 32 КиБ, 16 КиБ, 8 КиБ, 4 КиБ, 0.5 КиБ) и случайного доступа с различным соотношением чтение/запись (100/0, 95/5, 65/35, 50/50, 35/65, 5/95, 0/100). Параметры: 16 потоков с глубиной очереди 16. Отличие от спецификации — из теста был исключён блок 0,5 КиБ (512 байт).
• Throughput Test. Тестируется пропускная способность при последовательном доступе: чтение и запись блоками 1 МиБ и 128 КиБ.
• Latency Test. Измеряется значение средней и максимальной задержки для различных размеров блока (8 КиБ, 4 КиБ, 0.5 КиБ) и соотношений чтение/запись (100/0, 65/35, 0/100) при минимальной глубине очереди (1 поток с QD=1). Отличия от спецификации:
  • исключён блок 0,5КиБ
  • вместо однопоточной нагрузки с очередями 1 и 32 нагрузка варьируется по количеству потоков (1–4) и глубине очереди (1, 2, 4, 8, 16, 32)
  • вместо соотношения 65/35 используется 70/30
  • приводятся не только средние и максимальные значения, но и перцентили 99%, 99,9% и 99,99%.
  • для выбранного значения количества потоков строятся графики зависимости задержки (99%, 99,99% и среднего значения) от IOPS для всех блоков и соотношений чтение/запись
• Write Saturation Test. Тестируется изменение производительности (IOPS и задержка) при непрерывной нагрузке (360 раундов по 1 минуте) на случайную запись блоками 4 КиБ. Цель — добиться перехода SSD в режим насыщения, при котором контроллеру приходится непрерывно заниматься сборкой мусора для подготовки пригодных для записи блоков NAND.
• Host Idle Recovery. Тестируется эффективность работы алгоритмов сборки мусора. После перехода в режим насыщения: непрерывная нагрузка на случайную запись чередуется с облегчённой нагрузкой (5 секунд + паузы 5, 10, 15, 25, 50 секунд). Отличие от спецификации — вместо рекомендованной спецификацией предварительной нагрузки длительностью менее 30 раундов (минут) используется 360 раундов (минут) для обеспечения гарантированного перехода SSD в режим насыщения.

Для первых трех тестов проводится серия замеров из 25 раундов длительностью 1 минута каждый. Перед тестом производится зануление (в данном случае — форматирование через sg_format), затем — предварительная нагрузка: последовательная запись блоками 128 КиБ до достижения 2-кратной емкости. Далее выбирается по одной из величин окно установившегося состояния (4 раунда), которое проверяется построением графика. Критерии установившегося состояния: линейная аппроксимация в пределах окна не должна выходить за границы 90%/110% среднего значения.

Ограничение производительности при однопортовом доступе. Как и ранее, у нас нет возможности произвести двухпортовое прямое подключение к SAS HBA, из-за чего полученная производительность на чтение ограничивается пропускной способностью одного порта. Чтобы преодолеть ограничение примерно в 1000 МиБ/с при последовательном доступе и 200 тыс. IOPS при случайном доступе необходимо использовать либо редкий кабель для прямого двухпортового подключения, либо бэкплейн с двумя экспандерами, которым оборудованы корпуса Supermicro с «E2C» в названии модели (например, 216BE2C).

SNIA PTS: IOPS test (IOPS при варьировании размера блока и соотношения чтение/запись)

PX05SR: PX05SM:

На доступе на чтение блоками 4 КиБ эти накопители способны продемонстрировать до 270 тыс. IOPS. К сожалению, через один порт не удаётся получить больше 200 тыс. IOPS.

SNIA PTS: throughtput test

Пропускная способность при последовательном однопоточном доступе блоками 128 КиБ с глубиной очереди 128. Сравнение с заявленными характеристиками:

• 128 КиБ последовательное чтение: 1058,4 МиБ/с, подключение через один порт (заявлено 1812^* для подключения через два порта)
• 128 КиБ последовательная запись: 887,1 МиБ/с (заявлено 810,6)

SNIA PTS: latency test

Приведены значения задержки в микросекундах (средняя, максимальная и перцентили 99%, 99.99%) при одном потоке с глубиной очереди 1 в зависимости от размера блока и соотношения чтение/запись (100% чтение, 70/30 чтение/запись, 100% запись). В скобках указаны заявленные значения.

	Toshiba PX05SRB048		Toshiba PX05SMB040		Seagate ST1600FM0003
Задержка	4 КиБ	8 КиБ	4 КиБ	8 КиБ	4 КиБ	8 КиБ
Средняя
Чтение	162	172	162	169	122 (115)	141
Запись	58	80	58	62	37 (25)	44
Чтение/запись 70/30%	254	288	249	264	164	193
99%
Чтение	191	231	192	221	147	165
Запись	87	91	86	89	44	73
Чтение/запись 70/30%	831	1524	314	383	220	300
99,99%
Чтение	277	283	285	291	168	188
Запись	113	15949	112	117	70	90
Чтение/запись 70/30%	2447	2594	2351	2445	2730	2840

Для сравнения приведены результаты SSD Seagate 1200.2 Mainstream Endurance с интерфейсом SAS3 аналогичного класса (10 DWPD).

Latency vs IOPS test

Данные усреднялись по четырём из 25-ти раундов длительностью 35 секунд (5 «прогревочных» + 30-секундная нагрузка) каждый. Такие графики позволяют сравнивать накопители не просто по абстрактному значению IOPS при определённой нагрузке, но привязывать IOPS к определённому целевому значению задержки. Например, можно получить значение IOPS при 99,99-перцентиле задержки < 1 мс.

Для PX05SR измерения проводились дважды — в штатном режиме и с ограничением объёма (для получения дополнительного over-provisioning) до 376,61 ГиБ, который соответствует модели PX05SMB040. Сделать это можно при помощи утилиты sg_format (sg_format --resize --count [кол-во блоков]) из пакета sg3_utils.

Средняя задержка. PX05SRB048.

Средняя задержка. PX05SMB040.

99% перцентиль задержки. PX05SRB048.

99% перцентиль задержки. PX05SMB040.

99,99% перцентиль задержки. PX05SRB048.

99,99% перцентиль задержки. PX05SMB040.

Пожертвовав объёмом, мы можем дать накопителю необходимый запас для оптимизации записи и сборки мусора, что положительно сказывается на производительности записи и ресурсе. В смешанных нагрузках производительность тоже растёт. Например, 70/30 чтение/запись 4 КиБ при 99,99%-й задержке < 3 мс — с 40 до 100 тыс. IOPS, что позволяет практически догнать PX05SM.

SNIA PTS: Write Saturation Test (насыщение при случайной записи блоками 4 КиБ)

Продолжительность теста составляет 360 минут, так как переход в режим насыщения для большинства SSD происходит не позднее 180-й минуты. Как и в случае с предыдущим тестом PX05SRB048 тестировался дважды — со стандартным и уменьшенным до аналогичного PX05SMB040.

IOPS для PX05SRB048, PX05SRB048 +17% OP и PX05SMB040:

PX05SRB048:

PX05SRB048 +17% OP:

PX05SMB040:

Как видно из графиков, даже предназначенный для преимущественного чтения PX05SR при экстремальной нагрузке ведёт себя хорошо — пикового роста задержки не наблюдается. Дополнительный over-provisioning помогает существенно улучшить производительность записи, но PX05SM этот диск с его не только более низкой, но и более стабильной задержкой (обратите внимание — 99%-й перцентиль практически не отклоняется от среднего значения) всё равно заменить не может.

SNIA PTS: Host Idle Recovery

Графики для этого теста приведены для одной половины накопителя. Напомним, что данный тест проводится после предыдущего, т.е. накопитель находится в режиме насыщения, с небольшим запасом подготовленных для записи ячеек. Производительность на запись снижена, далее мы даём накопителю возможность восстановить её, прерывая серию из 360 раундов с непрерывной нагрузкой (чёрный цвет на графике) сериями из 360-ти раундов с увеличивающимися паузами:

• 5 секунд нагрузки + 5 секунд паузы
• 5 секунд нагрузки + 10 секунд паузы
• 5 секунд нагрузки + 15 секунд паузы
• 5 секунд нагрузки + 25 секунд паузы
• 5 секунд нагрузки + 50 секунд паузы

Технический прогресс привёл к тому, что для большинства современных серверных SSD тест Host Idle Recovery утратил актуальность. Судите сами: даже PX05SR (предназначенный для преимущественной нагрузки на чтение) легко восстанавливает уже к концу первой фазы теста с 20 до 180 тыс. IOPS.

Задержка также снижается:

В случае PX05SM процесс происходит ещё быстрее и приводить здесь соответствующие графики просто нет смысла.