Тестирование SAS SSD Toshiba PX05SR и PX05SM
24.01.17
Линейка SAS SSD Toshiba PX05
Официальный анонс новой линейки серверных SSD с интерфейсом SAS3 ожидается до конца января 2017 года. В линейке PX05 по-прежнему будет 5 моделей, отличающихся производительностью на запись и ресурсом в 0,5/1/3/10/25 DWPD (перезаписей в день). True System удалось получить для тестирования два экземпляра — PX05SMB и PX05SRB объёмом 400 и 480 ГБ соответственно.

Характеристики
- Объём:
- PX05SH: 200, 400, 800, 1600 ГБ
- PX05SM: 400, 800, 1600, 3200 ГБ
- PX05SV: 480, 960, 1920, 3840 ГБ
- PX05SR: 480, 960, 1920, 3840 ГБ
- PX05SL: 2000, 4000 ГБ
- Форм-фактор: 2,5", высота 15 мм
- Интерфейс: два порта SAS3.0 12 Гбит/с
- Производительность:
- PX05SH: 1400–1800/750–850 МиБ/с последовательное чтение запись (блок 64 КиБ), 270/120–125 тыс. IOPS случайное чтение/запись (блок 4 КиБ)
- PX05SM: 1500–1900/750–850 МиБ/с последовательное чтение запись (блок 64 КиБ), 270/80–100 тыс. IOPS случайное чтение/запись (блок 4 КиБ)
- PX05SV: 1500–1900/750–850 МиБ/с последовательное чтение запись (блок 64 КиБ), 270/48–59 тыс. IOPS случайное чтение/запись (блок 4 КиБ)
- PX05SR: 1400–1800/750–850 МиБ/с последовательное чтение запись (блок 64 КиБ), 270/19–25 тыс. IOPS случайное чтение/запись (блок 4 КиБ)
- PX05SR: 1400–1800/750–850 МиБ/с последовательное чтение запись (блок 64 КиБ), 270/20 тыс. IOPS случайное чтение/запись (блок 4 КиБ)
- Поддержка T10 DIF. Размер сектора: 512/520/528 и 4096/4160/4224 байт
- Ресурс:
- PX05SH: 25 DWPD
- PX05SM: 10 DWPD
- PX05SV: 3 DWPD
- PX05SR: 1 DWPD
- PX05SL: 0,5 DWPD
- Гарантийный срок: 5 лет
Результаты тестирования
Условия тестирования
Конфигурация тестового стенда:- Процессор Intel Xeon E5-2643 V4 (6 ядер, 3,4 ГГц, HT включен)
- 32 ГБ памяти DDR4 RDIMM 2133 МГц
- Системная плата Supermicro X10SRi-F (1x socket R3, Intel C612)
- SAS3 HBA Avago 9300-8i (прошивка P13)
- CentOS Linux 7.2 X86_64
- Для генерации нагрузки применялся FIO версии 2.15
- Toshiba PX05SRB048
- Прошивка: 0101
- Объём: 480 103 981 056 байт (447,13 ГиБ)
- Toshiba PX05SMB040
- Прошивка: 0101
- Объём: 400 088 457 216 байт (376,61 ГиБ)
Использованы модифицированные тесты из SNIA Solid State Storage Performance Test Specification Enterprise v1.1. Данная спецификация описывает алгоритмы различных тестов и формат отчетов. Ниже приведены параметры тестов и отличия от SNIA PTS:
- IOPS Test. Измеряется количество IOPS (операций ввода-вывода в секунду) для блоков различного размера (1024 КиБ, 128 КиБ, 64 КиБ, 32 КиБ, 16 КиБ, 8 КиБ, 4 КиБ, 0.5 КиБ) и случайного доступа с различным соотношением чтение/запись (100/0, 95/5, 65/35, 50/50, 35/65, 5/95, 0/100). Параметры: 16 потоков с глубиной очереди 16. Отличие от спецификации — из теста был исключён блок 0,5 КиБ (512 байт).
- Throughput Test. Тестируется пропускная способность при последовательном доступе: чтение и запись блоками 1 МиБ и 128 КиБ.
- Latency Test. Измеряется значение средней и максимальной задержки для различных размеров блока (8 КиБ, 4 КиБ, 0.5 КиБ) и соотношений чтение/запись (100/0, 65/35, 0/100) при минимальной глубине очереди (1 поток с QD=1). Отличия от спецификации:
- исключён блок 0,5КиБ
- вместо однопоточной нагрузки с очередями 1 и 32 нагрузка варьируется по количеству потоков (1–4) и глубине очереди (1, 2, 4, 8, 16, 32)
- вместо соотношения 65/35 используется 70/30
- приводятся не только средние и максимальные значения, но и перцентили 99%, 99,9% и 99,99%.
- для выбранного значения количества потоков строятся графики зависимости задержки (99%, 99,99% и среднего значения) от IOPS для всех блоков и соотношений чтение/запись
- Write Saturation Test. Тестируется изменение производительности (IOPS и задержка) при непрерывной нагрузке (360 раундов по 1 минуте) на случайную запись блоками 4 КиБ. Цель — добиться перехода SSD в режим насыщения, при котором контроллеру приходится непрерывно заниматься сборкой мусора для подготовки пригодных для записи блоков NAND.
- Host Idle Recovery. Тестируется эффективность работы алгоритмов сборки мусора. После перехода в режим насыщения: непрерывная нагрузка на случайную запись чередуется с облегчённой нагрузкой (5 секунд + паузы 5, 10, 15, 25, 50 секунд). Отличие от спецификации — вместо рекомендованной спецификацией предварительной нагрузки длительностью менее 30 раундов (минут) используется 360 раундов (минут) для обеспечения гарантированного перехода SSD в режим насыщения.
Для первых трех тестов проводится серия замеров из 25 раундов длительностью 1 минута каждый. Перед тестом производится зануление (в данном случае — форматирование через sg_format), затем — предварительная нагрузка: последовательная запись блоками 128 КиБ до достижения 2-кратной емкости. Далее выбирается по одной из величин окно установившегося состояния (4 раунда), которое проверяется построением графика. Критерии установившегося состояния: линейная аппроксимация в пределах окна не должна выходить за границы 90%/110% среднего значения.
Ограничение производительности при однопортовом доступе. Как и ранее, у нас нет возможности произвести двухпортовое прямое подключение к SAS HBA, из-за чего полученная производительность на чтение ограничивается пропускной способностью одного порта. Чтобы преодолеть ограничение примерно в 1000 МиБ/с при последовательном доступе и 200 тыс. IOPS при случайном доступе необходимо использовать либо редкий кабель для прямого двухпортового подключения, либо бэкплейн с двумя экспандерами, которым оборудованы корпуса Supermicro с «E2C» в названии модели (например, 216BE2C).
SNIA PTS: IOPS test (IOPS при варьировании размера блока и соотношения чтение/запись)
PX05SR:

На доступе на чтение блоками 4 КиБ эти накопители способны продемонстрировать до 270 тыс. IOPS. К сожалению, через один порт не удаётся получить больше 200 тыс. IOPS.
SNIA PTS: throughtput test
Пропускная способность при последовательном однопоточном доступе блоками 128 КиБ с глубиной очереди 128. Сравнение с заявленными характеристиками:- 128 КиБ последовательное чтение: 1058,4 МиБ/с, подключение через один порт (заявлено 1812* для подключения через два порта)
- 128 КиБ последовательная запись: 887,1 МиБ/с (заявлено 810,6)
SNIA PTS: latency test
Приведены значения задержки в микросекундах (средняя, максимальная и перцентили 99%, 99.99%) при одном потоке с глубиной очереди 1 в зависимости от размера блока и соотношения чтение/запись (100% чтение, 70/30 чтение/запись, 100% запись). В скобках указаны заявленные значения.
Toshiba PX05SRB048 | Toshiba PX05SMB040 | Seagate ST1600FM0003 | ||||
Задержка | 4 КиБ | 8 КиБ | 4 КиБ | 8 КиБ | 4 КиБ | 8 КиБ |
Средняя | ||||||
Чтение | 162 | 172 | 162 | 169 | 122 (115) | 141 |
Запись | 58 | 80 | 58 | 62 | 37 (25) | 44 |
Чтение/запись 70/30% | 254 | 288 | 249 | 264 | 164 | 193 |
99% | ||||||
Чтение | 191 | 231 | 192 | 221 | 147 | 165 |
Запись | 87 | 91 | 86 | 89 | 44 | 73 |
Чтение/запись 70/30% | 831 | 1524 | 314 | 383 | 220 | 300 |
99,99% | ||||||
Чтение | 277 | 283 | 285 | 291 | 168 | 188 |
Запись | 113 | 15949 | 112 | 117 | 70 | 90 |
Чтение/запись 70/30% | 2447 | 2594 | 2351 | 2445 | 2730 | 2840 |
Для сравнения приведены результаты SSD Seagate 1200.2 Mainstream Endurance с интерфейсом SAS3 аналогичного класса (10 DWPD).
Latency vs IOPS test
Данные усреднялись по четырём из 25-ти раундов длительностью 35 секунд (5 «прогревочных» + 30-секундная нагрузка) каждый. Такие графики позволяют сравнивать накопители не просто по абстрактному значению IOPS при определённой нагрузке, но привязывать IOPS к определённому целевому значению задержки. Например, можно получить значение IOPS при 99,99-перцентиле задержки < 1 мс.
Для PX05SR измерения проводились дважды — в штатном режиме и с ограничением объёма (для получения дополнительного over-provisioning) до 376,61 ГиБ, который соответствует модели PX05SMB040. Сделать это можно при помощи утилиты sg_format
(sg_format --resize --count [кол-во блоков]
) из пакета sg3_utils
.
Средняя задержка. PX05SRB048.
Средняя задержка. PX05SMB040.
99% перцентиль задержки. PX05SRB048.
99% перцентиль задержки. PX05SMB040.
99,99% перцентиль задержки. PX05SRB048.
99,99% перцентиль задержки. PX05SMB040.
Пожертвовав объёмом, мы можем дать накопителю необходимый запас для оптимизации записи и сборки мусора, что положительно сказывается на производительности записи и ресурсе. В смешанных нагрузках производительность тоже растёт. Например, 70/30 чтение/запись 4 КиБ при 99,99%-й задержке < 3 мс — с 40 до 100 тыс. IOPS, что позволяет практически догнать PX05SM.
SNIA PTS: Write Saturation Test (насыщение при случайной записи блоками 4 КиБ)
Продолжительность теста составляет 360 минут, так как переход в режим насыщения для большинства SSD происходит не позднее 180-й минуты. Как и в случае с предыдущим тестом PX05SRB048 тестировался дважды — со стандартным и уменьшенным до аналогичного PX05SMB040.
IOPS для PX05SRB048, PX05SRB048 +17% OP и PX05SMB040:
PX05SRB048:
PX05SRB048 +17% OP:
PX05SMB040:
Как видно из графиков, даже предназначенный для преимущественного чтения PX05SR при экстремальной нагрузке ведёт себя хорошо — пикового роста задержки не наблюдается. Дополнительный over-provisioning помогает существенно улучшить производительность записи, но PX05SM этот диск с его не только более низкой, но и более стабильной задержкой (обратите внимание — 99%-й перцентиль практически не отклоняется от среднего значения) всё равно заменить не может.
SNIA PTS: Host Idle Recovery
Графики для этого теста приведены для одной половины накопителя. Напомним, что данный тест проводится после предыдущего, т.е. накопитель находится в режиме насыщения, с небольшим запасом подготовленных для записи ячеек. Производительность на запись снижена, далее мы даём накопителю возможность восстановить её, прерывая серию из 360 раундов с непрерывной нагрузкой (чёрный цвет на графике) сериями из 360-ти раундов с увеличивающимися паузами:
- 5 секунд нагрузки + 5 секунд паузы
- 5 секунд нагрузки + 10 секунд паузы
- 5 секунд нагрузки + 15 секунд паузы
- 5 секунд нагрузки + 25 секунд паузы
- 5 секунд нагрузки + 50 секунд паузы
Технический прогресс привёл к тому, что для большинства современных серверных SSD тест Host Idle Recovery утратил актуальность. Судите сами: даже PX05SR (предназначенный для преимущественной нагрузки на чтение) легко восстанавливает уже к концу первой фазы теста с 20 до 180 тыс. IOPS.
Задержка также снижается:
В случае PX05SM процесс происходит ещё быстрее и приводить здесь соответствующие графики просто нет смысла.