Заказ звонка

*
*
Защита от автоматических сообщений
CAPTCHA
Введите слово на картинке*

Тестирование SSD Toshiba CD5 и CM5-R

11.07.19

Твердотельные накопители Toshiba давно не встречались в наших обзорах — статья о двух SSD предыдущего поколения с интерфейсом SAS вышла два с лишним года назад. При этом стоит отметить, что каждое поколение серверных накопителей Toshiba было очень удачным: практически самая высокая производительность на рынке на начало продаж, отсутствие проблем с совместимостью и высокая надёжность. Обе модели из вышеупомянутого обзора, PX05-SR и PX05-SM , благодаря отличным техническим характеристикам не потеряли актуальность и продаются в 2019 году, но кое-что важное за последние два года всё же случилось: появилась технология многослойной флеш-памяти Toshiba BiCS Flash. Вместе с увеличением количества хранимых бит в ячейке данная технология позволила существенно увеличить объёмы накопителей при одновременном снижении цены. Как это отразилось на характеристиках, мы выясним в ходе тестирования двух накопителей Toshiba с интерфейсом NVMe, CD5 и CM5-R.

Технология Toshiba BiCS FLASH

Для начала стоит рассказать о технологии многослойной флеш-памяти. Необходимость увеличения плотности хранения информации существовала на протяжении всей истории накопителей, и флеш-память не стала исключением. Существует три способа наращивания плотности хранения для NAND-памяти: уменьшение техпроцесса, увеличение количества хранимых бит в каждой ячейке и упаковка чипов «в стопку». Последний способ является самым эффективным, хоть и сложным в разработке. Внедрение нового техпроцесса занимает много времени, требует замены дорогостоящего оборудования, при этом темпы уменьшения техпроцесса замедлились, так как для NAND уменьшение техпроцесса ведёт к снижению ресурса и надёжности, что требует компенсации. Увеличивать количество бит на ячейку без негативных последствий тоже нельзя. Все основные производители NAND лишь относительно недавно преодолели проблемы производительности TLC и внедрили QLC, но последняя пока что предназначена в первую очередь для десктопных накопителей. 3D-технология была не менее сложной в освоении (технологию BiCS Toshiba анонсировала ещё в 2007 году), но и результат впечатляет: в 2017 году Toshiba представила первые образцы 64-слойной памяти, чуть позже — 96-слойной TLC и QLC.

Серийное производство 96-слойной TLC NAND с впечатляющей плотностью размещения данных в 256 гигабит на чип началось в середине 2018 года. Помимо очевидных плюсов в виде снижения стоимости за гигабайт за счёт повышенной плотности многослойной компоновки инженеры Toshiba обещают повышение надёжности (за счёт увеличения расстояний между ячейками) и снижение энергопотребления.

Серверные SSD Toshiba в 2019 году

Серверные SSD в данный момент разделены у Toshiba на две категории: «накопители для предприятий» и «накопители для датацентров». Для первой категории производитель делает упор на производительность и ресурс, для второй — на энергоэффективность. Во всех накопителях при этом реализована защита данных при отключении питания. Внутри категорий накопители Toshiba разделены на несколько групп в зависимости от ресурса.

10/25 DWPD:

  • PM5-M. Новая линейка с интерфейсом SAS на основе BiCS Flash TLC с 10 DWPD. По характеристикам видно, что при грамотном подходе на основе TLC можно создавать высокопроизводительные накопители с большим ресурсом.
  • PX05SM и PX05SH. Первая линейка по объёмам и ресурсу соответствует новой PM5-M, так что вскоре можно ожидать её снятия с производства, а вот PX05-SH с ресурсом в 25 DWPD ещё долгое время будет оставаться востребованным. Накопители с ресурсом свыше 10 DWPD исчезли из портфолио других крупных производителей, так что здесь Toshiba практически остаётся монополистом.
3 DWPD:
  • NVMe-накопители CM5-V в форм-факторах U.2 и плат расширения PCIe. Накопители на основе BiCS Flash объёмом от 800 до 6400 ГБ.
  • PM5-V и PX05SV. PM5-V — новое поколение на BiCS, которое, скорее всего, вытеснит основанные на MLC PX05SV.
0.5–1 DWPD:
  • NVMe-накопители CM5-R в форм-факторах U.2 и плат расширения PCIe. Накопители на основе BiCS Flash объёмом от 960 до внушительных 15360 ГБ. Один из них, CM5-R, участвует в тестировании.
  • PM5-R и PX05SR. По аналогии с другими линейками, PM5-R — аналог CM5-R с интерфейсом SAS, PX05SR отстаёт по производительности и максимальному объёму (4 ТБ вместо 15,36).
  • PX05SL — младшая линейка с интерфейсом SAS и ресурсом 0,5 DWPD.

В категорию накопителей для датацентров переместились SSD с интерфейсом SATA – HK6-V, HK6-R и HK6-DC. Эта линейка пришла на смену очень удачным накопителям HK4R и HK4E, которые на протяжении нескольких лет занимали одни из первых мест по соотношению цена производительность в сегменте бюджетных SATA SSD. Остальные накопители в категории используют интерфейс NVMe, ведь речь идёт о повышении эффективности.

  • CD5 — линейка накопителей в форм-факторе U.2, объёмы от 960 до 7680 ГБ. Точный ресурс не указан, он обозначен как «< 1 DWPD».
  • XD5 в форм-факторах M.2 и U.2. По назначению эта линейка частично пересекается с CD5, но тут уменьшено энергопотребление (7 Вт в активном режиме, чтобы вписаться в ограничения компактного M.2). M.2-разновидность в данном случае имеет длину 110 мм (форм-фактор M2-22110) — некоторые платы позволяют установить максимум 80-мм платы.
  • XD6 — модель, которая выйдет в 2020 году и заменит XD5. Те же объёмы и ресурс, но планируется в два раза увеличить производительность случайного чтения, до полумиллиона IOPS.

Итак, в нашем распоряжении из всего этого изобилия оказались Toshiba CD5 и CM5-R. Стоит подробнее рассказать именно об этих линейках.

Toshiba CD5

Характеристики

  • Объём: 960, 1920, 3840, 7680 ГБ
  • Форм-фактор: 2,5", высота 15 мм (U.2)
  • Интерфейс: PCIe 3.0, ×4; поддержка спецификации NVMe 1.3a
  • Заявленная производительность (для модели 7680 ГБ)
  • Последовательный доступ: чтение — 3140 МБ/с, запись — 1980 МБ/с
  • Случайный доступ (блок 4 КиБ): чтение — 550 000 IOPS, запись — 50 000 IOPS
  • Ресурс: < 1 DWPD
  • Гарантийный срок: 5 лет

Официальная спецификация.

Toshiba CM5-R

Характеристики

  • Объём: 960, 1920, 3840, 7680, 15360 ГБ
  • Форм-фактор: 2,5", высота 15 мм (U.2)
  • Интерфейс: PCIe 3.0, ×4; поддержка спецификации NVMe 1.3a
  • Заявленная производительность (для модели 7680 ГБ)
  • Последовательный доступ: чтение — 3350 МБ/с, запись — 3040 МБ/с
  • Случайный доступ (блок 4 КиБ): чтение — 770 000 IOPS, запись — 80 000 IOPS
  • Ресурс: 1 DWPD
  • Гарантийный срок: 5 лет

Официальная спецификация.

Под повышением эффективности в накопителях на основе многослойной памяти TLC подразумевается не только снижение цены (и вместе с ней — увеличение соотношения объём/цена и производительность/цена), но и снижения энергопотребления. Вместо максимально возможных для накопителей в форм-факторе U.2 25 ватт, показателя, к которому накопители предыдущих поколений приближались вплотную, новые SSD потребляют 6 и 13 Вт. Характерных чёрных радиаторов в задней части корпуса тут уже нет, температура даже при минимальном охлаждении во время тестов не превышала 45 градусов.

Тестирование

Условия тестирования

Конфигурация тестового стенда:
  • Процессор Intel Xeon E5-2630 V4 (10 ядер, 2,2 ГГц, HT включен)
  • 32 ГБ памяти
  • Системная плата Supermicro X10SRi-F (1x socket R3, Intel C612)
  • CentOS Linux 7.6.1810
  • Для генерации нагрузки применялся FIO версии 3.14
Тестируемые устройства:
  • Toshiba CD5 7680 ГБ (KCD51LUG7T68)
  • Toshiba CM5-R 7680 ГБ (KCM51RUG7T68)

Использованы модифицированные тесты из SNIA Solid State Storage Performance Test Specification v2.0.1. Данная спецификация описывает алгоритмы различных тестов и формат отчетов. Ниже приведены параметры тестов и отличия от SNIA PTS:

  • IOPS Test. Измеряется количество IOPS (операций ввода-вывода в секунду) для блоков различного размера (1024 КиБ, 128 КиБ, 64 КиБ, 32 КиБ, 16 КиБ, 8 КиБ, 4 КиБ, 0,5 КиБ) и случайного доступа с различным соотношением чтение/запись (100/0, 95/5, 65/35, 50/50, 35/65, 5/95, 0/100). Параметры: 16 потоков с глубиной очереди 8. Отличие от спецификации — из теста был исключён блок 0,5 КиБ (512 байт).
  • Throughput Test. Тестируется пропускная способность при последовательном доступе: чтение и запись блоками 1 МиБ и 128 КиБ.
  • Latency Test. Измеряется значение средней и максимальной задержки для различных размеров блока (8 КиБ, 4 КиБ, 0,5 КиБ) и соотношений чтение/запись (100/0, 65/35, 0/100) при минимальной глубине очереди (1 поток с QD=1). Отличия от спецификации:
    • исключён блок 0,5 КиБ
    • вместо однопоточной нагрузки с очередями 1 и 32 нагрузка варьируется по количеству потоков (1, 2, 4) и глубине очереди (1, 2, 4, 8, 16, 32) для СХД, массивов, одиночных накопителей SAS и SATA. Для NVMe и all-flash конфигураций используется большее количество потоков с глубиной очереди до 128.
    • вместо соотношения 65/35 используется 70/30
    • приводятся не только средние и максимальные значения, но и перцентили 99%, 99,9%.
    • для выбранного значения количества потоков строятся графики зависимости задержки (99%, 99,9% и среднего значения) от IOPS для всех блоков и соотношений чтение/запись

Для первых трех тестов проводится серия замеров из 25 раундов длительностью 1 минута каждый. Перед тестом производится зануление (в данном случае — secure erase при помощи утилиты hdparm), затем — предварительная нагрузка: последовательная запись блоками 128 КиБ до достижения 2-кратной емкости. Далее выбирается по одной из величин окно установившегося состояния (4 раунда), которое проверяется построением графика. Критерии установившегося состояния: линейная аппроксимация в пределах окна не должна выходить за границы 90%/110% среднего значения.

SNIA PTS: IOPS test (IOPS при варьировании размера блока и соотношения чтение/запись)

Тут сразу следует оговориться, что мы не предусмотрели в этот раз достаточного количества ресурсов. Ввод-вывод в блочных устройствах, даже с учётом оптимизаций NVMe, достаточно сильно нагружает процессор. Для тестирования CD-5 единственного 10-ядерного Intel Xeon E5-2630 V4 с базовой тактовой частотой вполне достаточно (нагрузка при 100% доступе на чтение блоками 4 КиБ была менее 50%), то в случае с CM5-R нагрузка приблизилась к 100%, при этом не сохранились нагрузки по ядрам. Тут следовало использовать как 14–16 ядер с более высокой тактовой частотой, и использовать в тесте количество потоков по числу ядер с учётом Hyper-Threading. Причём крайне желательно, чтобы это был один процессор. Так как контроллер PCIe является частью процессора, то при использовании высокопроизводительных устройств (накопители, контроллеры Ethernet и Infiniband) следует учитывать привязку слотов расширения к процессорам, так же, как мы учитываем NUMA при работе с памятью.

Toshiba CD5

Табличные данные:
Размер блока, КиБ Чтение/запись
0/1005/95 35/65 50/50 65/35 95/5 100/0
420584891678304683241511296083351779497902
818726846830165521120714148137142568298281
16968815060558502493277408450672102026
3250518270521798228993370484697526233
642278938291088617062185103749222447
128833339275418811292571576621188
10245175293911718115514332811

Toshiba CM5-R

Табличные данные:
Размер блока, КиБ Чтение/запись
0/1005/95 35/65 50/50 65/35 95/5 100/0
4311008334946545323593754596171708111752167
8305462249361323601339444340872388749394631
16180080138188168206176329183779199478197895
32923286342385200886549551310041099268
6448467437524566146314490025033649642
12824602202212245424007253032564425270
10243090228526703129317332153227

Оба накопителя показали отличные результаты. Производительность на чтение оказалась чуть ниже заявленной из-за нехватки производительности процессора. Производительность на запись, как обычно в этом тесте, наоборот, существенно выше, так как данный тест не предполагает выхода в режим насыщения.

Latency vs IOPS test

Данные усреднялись по четырём из 25-ти раундов длительностью 35 секунд (5 «прогревочных» + 30-секундная нагрузка) каждый. Для графиков выбрана серия значений с глубиной очереди от 1 до 32 при 1–4 потоках (хотя для накопителей SATA достаточно максимальной глубины очереди 32 при одном потоке). По мере увеличения глубины очереди растёт задержка, и по подобному графику можно оценить не просто абстрактное число IOPS, а производительность с учётом задержки. На одном графике объединены показатели обоих накопителей.

Средняя задержка:

Нагрузка на чтение даже с суммарной глубиной очереди в 128 (4 потока с QD=32) не приводит к росту средней задержки выше 200 микросекунд. Так что для таких накопителей при тестировании следует увеличивать максимальную глубину очереди в несколько раз до достижения задержки хотя бы в 400–500 микросекунд. Но в данном случае время тестирования было жёстко ограничено и не была учтена высокая нагрузка на процессор.

Этот тест наглядно демонстрирует разницу между CD5 и CM5-R. Если первый заявлен как накопитель для нагрузок на чтение (даже для ресурса на запись вместо точного значения указано «< 1 DWPD») и уже при добавлении 30% записи демонстрирует лишь ограниченные возможности по масштабированию, то CM5-R вполне способен работать при смешанных нагрузках.

99,9%-перцентиль задержки:

Существенная разница между накопителями наблюдается даже при 100% чтении. По заявленным характеристикам этого не видно — сравнивая 770 против 550 тысяч IOPS, можно прийти к выводу о достаточности любого из этих накопителей для задач, требующих высокой производительности доступа на случайной чтение небольшими блоками. Но помимо количества операций ввода-вывода не менее важной является также и способность накопителя обеспечить их с как можно меньшей задержкой, причём её значение должно быть предсказуемо небольшим. Toshiba CD5 и CM5-R способны обеспечить, к примеру 400 тысяч IOPS, но при этом CM5-R демонстрирует в два раза меньшее значение 99,9-перцентиля* задержки.

*Значение N%-го перцентиля величины в данном случае означает, что N% всех измеренных значений величины меньше указанного значения.

Заключение

Новые твердотельные накопители Toshiba, основанные на технологии BiCS Flash, благодаря сочетанию больших объёмов и высокой производительности на чтение способны составить серьёзную конкуренцию накопителям предыдущих поколений с интерфейсом SATA.

Вернуться к списку

Контакты:

  • Адрес: 115487, г. Москва, ул. Нагатинская, дом 16 (Метро "Нагатинская")
  • Телефон: (495) 747-3113
  • Факс: (495) 747-3112
  • Гарантийный отдел: (495) 747-3113 (доб. 333, 304)
  • Отдел продаж: (495) 747-3113
© 2006-2020 True System inc