Тестирование SSD Toshiba CD5 и CM5-R
11.07.19
Твердотельные накопители Toshiba давно не встречались в наших обзорах — статья о двух SSD предыдущего поколения с интерфейсом SAS вышла два с лишним года назад. При этом стоит отметить, что каждое поколение серверных накопителей Toshiba было очень удачным: практически самая высокая производительность на рынке на начало продаж, отсутствие проблем с совместимостью и высокая надёжность. Обе модели из вышеупомянутого обзора, PX05-SR и PX05-SM , благодаря отличным техническим характеристикам не потеряли актуальность и продаются в 2019 году, но кое-что важное за последние два года всё же случилось: появилась технология многослойной флеш-памяти Toshiba BiCS Flash. Вместе с увеличением количества хранимых бит в ячейке данная технология позволила существенно увеличить объёмы накопителей при одновременном снижении цены. Как это отразилось на характеристиках, мы выясним в ходе тестирования двух накопителей Toshiba с интерфейсом NVMe, CD5 и CM5-R.
Технология Toshiba BiCS FLASH
Для начала стоит рассказать о технологии многослойной флеш-памяти. Необходимость увеличения плотности хранения информации существовала на протяжении всей истории накопителей, и флеш-память не стала исключением. Существует три способа наращивания плотности хранения для NAND-памяти: уменьшение техпроцесса, увеличение количества хранимых бит в каждой ячейке и упаковка чипов «в стопку». Последний способ является самым эффективным, хоть и сложным в разработке. Внедрение нового техпроцесса занимает много времени, требует замены дорогостоящего оборудования, при этом темпы уменьшения техпроцесса замедлились, так как для NAND уменьшение техпроцесса ведёт к снижению ресурса и надёжности, что требует компенсации. Увеличивать количество бит на ячейку без негативных последствий тоже нельзя. Все основные производители NAND лишь относительно недавно преодолели проблемы производительности TLC и внедрили QLC, но последняя пока что предназначена в первую очередь для десктопных накопителей. 3D-технология была не менее сложной в освоении (технологию BiCS Toshiba анонсировала ещё в 2007 году), но и результат впечатляет: в 2017 году Toshiba представила первые образцы 64-слойной памяти, чуть позже — 96-слойной TLC и QLC.
Серийное производство 96-слойной TLC NAND с впечатляющей плотностью размещения данных в 256 гигабит на чип началось в середине 2018 года. Помимо очевидных плюсов в виде снижения стоимости за гигабайт за счёт повышенной плотности многослойной компоновки инженеры Toshiba обещают повышение надёжности (за счёт увеличения расстояний между ячейками) и снижение энергопотребления.
Серверные SSD Toshiba в 2019 году
Серверные SSD в данный момент разделены у Toshiba на две категории: «накопители для предприятий» и «накопители для датацентров». Для первой категории производитель делает упор на производительность и ресурс, для второй — на энергоэффективность. Во всех накопителях при этом реализована защита данных при отключении питания. Внутри категорий накопители Toshiba разделены на несколько групп в зависимости от ресурса.
10/25 DWPD:
- PM5-M. Новая линейка с интерфейсом SAS на основе BiCS Flash TLC с 10 DWPD. По характеристикам видно, что при грамотном подходе на основе TLC можно создавать высокопроизводительные накопители с большим ресурсом.
- PX05SM и PX05SH. Первая линейка по объёмам и ресурсу соответствует новой PM5-M, так что вскоре можно ожидать её снятия с производства, а вот PX05-SH с ресурсом в 25 DWPD ещё долгое время будет оставаться востребованным. Накопители с ресурсом свыше 10 DWPD исчезли из портфолио других крупных производителей, так что здесь Toshiba практически остаётся монополистом.
- NVMe-накопители CM5-V в форм-факторах U.2 и плат расширения PCIe. Накопители на основе BiCS Flash объёмом от 800 до 6400 ГБ.
- PM5-V и PX05SV. PM5-V — новое поколение на BiCS, которое, скорее всего, вытеснит основанные на MLC PX05SV.
- NVMe-накопители CM5-R в форм-факторах U.2 и плат расширения PCIe. Накопители на основе BiCS Flash объёмом от 960 до внушительных 15360 ГБ. Один из них, CM5-R, участвует в тестировании.
- PM5-R и PX05SR. По аналогии с другими линейками, PM5-R — аналог CM5-R с интерфейсом SAS, PX05SR отстаёт по производительности и максимальному объёму (4 ТБ вместо 15,36).
- PX05SL — младшая линейка с интерфейсом SAS и ресурсом 0,5 DWPD.
В категорию накопителей для датацентров переместились SSD с интерфейсом SATA – HK6-V, HK6-R и HK6-DC. Эта линейка пришла на смену очень удачным накопителям HK4R и HK4E, которые на протяжении нескольких лет занимали одни из первых мест по соотношению цена производительность в сегменте бюджетных SATA SSD. Остальные накопители в категории используют интерфейс NVMe, ведь речь идёт о повышении эффективности.
- CD5 — линейка накопителей в форм-факторе U.2, объёмы от 960 до 7680 ГБ. Точный ресурс не указан, он обозначен как «< 1 DWPD».
- XD5 в форм-факторах M.2 и U.2. По назначению эта линейка частично пересекается с CD5, но тут уменьшено энергопотребление (7 Вт в активном режиме, чтобы вписаться в ограничения компактного M.2). M.2-разновидность в данном случае имеет длину 110 мм (форм-фактор M2-22110) — некоторые платы позволяют установить максимум 80-мм платы.
- XD6 — модель, которая выйдет в 2020 году и заменит XD5. Те же объёмы и ресурс, но планируется в два раза увеличить производительность случайного чтения, до полумиллиона IOPS.
Toshiba CD5
Характеристики
- Объём: 960, 1920, 3840, 7680 ГБ
- Форм-фактор: 2,5", высота 15 мм (U.2)
- Интерфейс: PCIe 3.0, ×4; поддержка спецификации NVMe 1.3a
- Заявленная производительность (для модели 7680 ГБ)
- Последовательный доступ: чтение — 3140 МБ/с, запись — 1980 МБ/с
- Случайный доступ (блок 4 КиБ): чтение — 550 000 IOPS, запись — 50 000 IOPS
- Ресурс: < 1 DWPD
- Гарантийный срок: 5 лет
Toshiba CM5-R
Характеристики
- Объём: 960, 1920, 3840, 7680, 15360 ГБ
- Форм-фактор: 2,5", высота 15 мм (U.2)
- Интерфейс: PCIe 3.0, ×4; поддержка спецификации NVMe 1.3a
- Заявленная производительность (для модели 7680 ГБ)
- Последовательный доступ: чтение — 3350 МБ/с, запись — 3040 МБ/с
- Случайный доступ (блок 4 КиБ): чтение — 770 000 IOPS, запись — 80 000 IOPS
- Ресурс: 1 DWPD
- Гарантийный срок: 5 лет
Под повышением эффективности в накопителях на основе многослойной памяти TLC подразумевается не только снижение цены (и вместе с ней — увеличение соотношения объём/цена и производительность/цена), но и снижения энергопотребления. Вместо максимально возможных для накопителей в форм-факторе U.2 25 ватт, показателя, к которому накопители предыдущих поколений приближались вплотную, новые SSD потребляют 6 и 13 Вт. Характерных чёрных радиаторов в задней части корпуса тут уже нет, температура даже при минимальном охлаждении во время тестов не превышала 45 градусов.
Тестирование
Условия тестирования
Конфигурация тестового стенда:- Процессор Intel Xeon E5-2630 V4 (10 ядер, 2,2 ГГц, HT включен)
- 32 ГБ памяти
- Системная плата Supermicro X10SRi-F (1x socket R3, Intel C612)
- CentOS Linux 7.6.1810
- Для генерации нагрузки применялся FIO версии 3.14
- Toshiba CD5 7680 ГБ (KCD51LUG7T68)
- Toshiba CM5-R 7680 ГБ (KCM51RUG7T68)
Использованы модифицированные тесты из SNIA Solid State Storage Performance Test Specification v2.0.1. Данная спецификация описывает алгоритмы различных тестов и формат отчетов. Ниже приведены параметры тестов и отличия от SNIA PTS:
- IOPS Test. Измеряется количество IOPS (операций ввода-вывода в секунду) для блоков различного размера (1024 КиБ, 128 КиБ, 64 КиБ, 32 КиБ, 16 КиБ, 8 КиБ, 4 КиБ, 0,5 КиБ) и случайного доступа с различным соотношением чтение/запись (100/0, 95/5, 65/35, 50/50, 35/65, 5/95, 0/100). Параметры: 16 потоков с глубиной очереди 8. Отличие от спецификации — из теста был исключён блок 0,5 КиБ (512 байт).
- Throughput Test. Тестируется пропускная способность при последовательном доступе: чтение и запись блоками 1 МиБ и 128 КиБ.
- Latency Test. Измеряется значение средней и максимальной задержки для различных размеров блока (8 КиБ, 4 КиБ, 0,5 КиБ) и соотношений чтение/запись (100/0, 65/35, 0/100) при минимальной глубине очереди (1 поток с QD=1). Отличия от спецификации:
- исключён блок 0,5 КиБ
- вместо однопоточной нагрузки с очередями 1 и 32 нагрузка варьируется по количеству потоков (1, 2, 4) и глубине очереди (1, 2, 4, 8, 16, 32) для СХД, массивов, одиночных накопителей SAS и SATA. Для NVMe и all-flash конфигураций используется большее количество потоков с глубиной очереди до 128.
- вместо соотношения 65/35 используется 70/30
- приводятся не только средние и максимальные значения, но и перцентили 99%, 99,9%.
- для выбранного значения количества потоков строятся графики зависимости задержки (99%, 99,9% и среднего значения) от IOPS для всех блоков и соотношений чтение/запись
Для первых трех тестов проводится серия замеров из 25 раундов длительностью 1 минута каждый. Перед тестом производится зануление (в данном случае — secure erase при помощи утилиты hdparm), затем — предварительная нагрузка: последовательная запись блоками 128 КиБ до достижения 2-кратной емкости. Далее выбирается по одной из величин окно установившегося состояния (4 раунда), которое проверяется построением графика. Критерии установившегося состояния: линейная аппроксимация в пределах окна не должна выходить за границы 90%/110% среднего значения.
SNIA PTS: IOPS test (IOPS при варьировании размера блока и соотношения чтение/запись)
Тут сразу следует оговориться, что мы не предусмотрели в этот раз достаточного количества ресурсов. Ввод-вывод в блочных устройствах, даже с учётом оптимизаций NVMe, достаточно сильно нагружает процессор. Для тестирования CD-5 единственного 10-ядерного Intel Xeon E5-2630 V4 с базовой тактовой частотой вполне достаточно (нагрузка при 100% доступе на чтение блоками 4 КиБ была менее 50%), то в случае с CM5-R нагрузка приблизилась к 100%, при этом не сохранились нагрузки по ядрам. Тут следовало использовать как 14–16 ядер с более высокой тактовой частотой, и использовать в тесте количество потоков по числу ядер с учётом Hyper-Threading. Причём крайне желательно, чтобы это был один процессор. Так как контроллер PCIe является частью процессора, то при использовании высокопроизводительных устройств (накопители, контроллеры Ethernet и Infiniband) следует учитывать привязку слотов расширения к процессорам, так же, как мы учитываем NUMA при работе с памятью.
Toshiba CD5
| Размер блока, КиБ | Чтение/запись | ||||||
| 0/100 | 5/95 | 35/65 | 50/50 | 65/35 | 95/5 | 100/0 | |
| 4 | 205848 | 91678 | 304683 | 241511 | 296083 | 351779 | 497902 |
| 8 | 187268 | 46830 | 165521 | 120714 | 148137 | 142568 | 298281 |
| 16 | 96881 | 50605 | 58502 | 49327 | 74084 | 50672 | 102026 |
| 32 | 50518 | 27052 | 17982 | 28993 | 37048 | 46975 | 26233 |
| 64 | 22789 | 3829 | 10886 | 17062 | 18510 | 37492 | 22447 |
| 128 | 8333 | 3927 | 5418 | 8112 | 9257 | 15766 | 21188 |
| 1024 | 517 | 529 | 391 | 1718 | 1155 | 1433 | 2811 |
Toshiba CM5-R
| Размер блока, КиБ | Чтение/запись | ||||||
| 0/100 | 5/95 | 35/65 | 50/50 | 65/35 | 95/5 | 100/0 | |
| 4 | 311008 | 334946 | 545323 | 593754 | 596171 | 708111 | 752167 |
| 8 | 305462 | 249361 | 323601 | 339444 | 340872 | 388749 | 394631 |
| 16 | 180080 | 138188 | 168206 | 176329 | 183779 | 199478 | 197895 |
| 32 | 92328 | 63423 | 85200 | 88654 | 95513 | 100410 | 99268 |
| 64 | 48467 | 43752 | 45661 | 46314 | 49002 | 50336 | 49642 |
| 128 | 24602 | 20221 | 22454 | 24007 | 25303 | 25644 | 25270 |
| 1024 | 3090 | 2285 | 2670 | 3129 | 3173 | 3215 | 3227 |
Оба накопителя показали отличные результаты. Производительность на чтение оказалась чуть ниже заявленной из-за нехватки производительности процессора. Производительность на запись, как обычно в этом тесте, наоборот, существенно выше, так как данный тест не предполагает выхода в режим насыщения.
Latency vs IOPS test
Данные усреднялись по четырём из 25-ти раундов длительностью 35 секунд (5 «прогревочных» + 30-секундная нагрузка) каждый. Для графиков выбрана серия значений с глубиной очереди от 1 до 32 при 1–4 потоках (хотя для накопителей SATA достаточно максимальной глубины очереди 32 при одном потоке). По мере увеличения глубины очереди растёт задержка, и по подобному графику можно оценить не просто абстрактное число IOPS, а производительность с учётом задержки. На одном графике объединены показатели обоих накопителей.
Средняя задержка:
Нагрузка на чтение даже с суммарной глубиной очереди в 128 (4 потока с QD=32) не приводит к росту средней задержки выше 200 микросекунд. Так что для таких накопителей при тестировании следует увеличивать максимальную глубину очереди в несколько раз до достижения задержки хотя бы в 400–500 микросекунд. Но в данном случае время тестирования было жёстко ограничено и не была учтена высокая нагрузка на процессор.
Этот тест наглядно демонстрирует разницу между CD5 и CM5-R. Если первый заявлен как накопитель для нагрузок на чтение (даже для ресурса на запись вместо точного значения указано «< 1 DWPD») и уже при добавлении 30% записи демонстрирует лишь ограниченные возможности по масштабированию, то CM5-R вполне способен работать при смешанных нагрузках.
99,9%-перцентиль задержки:
Существенная разница между накопителями наблюдается даже при 100% чтении. По заявленным характеристикам этого не видно — сравнивая 770 против 550 тысяч IOPS, можно прийти к выводу о достаточности любого из этих накопителей для задач, требующих высокой производительности доступа на случайной чтение небольшими блоками. Но помимо количества операций ввода-вывода не менее важной является также и способность накопителя обеспечить их с как можно меньшей задержкой, причём её значение должно быть предсказуемо небольшим. Toshiba CD5 и CM5-R способны обеспечить, к примеру 400 тысяч IOPS, но при этом CM5-R демонстрирует в два раза меньшее значение 99,9-перцентиля* задержки.
*Значение N%-го перцентиля величины в данном случае означает, что N% всех измеренных значений величины меньше указанного значения.
Заключение
Новые твердотельные накопители Toshiba, основанные на технологии BiCS Flash, благодаря сочетанию больших объёмов и высокой производительности на чтение способны составить серьёзную конкуренцию накопителям предыдущих поколений с интерфейсом SATA.