Тестирование гибридных дисков Seagate

04.08.15

Рост объемов SSD вместе со снижением цен оказывает серьёзное давление на рынок традиционных высокопроизводительных дисков со скоростью вращения шпинделя 10000 и 15000 оборотов в минуту. Речь пока идёт не о полном вытеснении, а о массовом переходе на гибридные технологии с использованием SSD в качестве кэша.

Внедрение кэширования и/или ярусного хранения в SMB требует либо непростых в администрировании программных решений (например, HGST ServerCache), либо специальных контроллеров (пример: SAS RAID-контроллеры Adaptec с технологией MaxCache) или, в случае внешних СХД, покупки дорогостоящих лицензий. Компания Seagate решила заполнить образовавшуюся нишу между обычными механическими дисками, производительности которых может не хватать даже при большом количестве шпинделей, и SSD.

Речь идёт о давно известной технологии — гибридных дисках, в которых HDD и SSD совмещены в общем корпусе (иногда применяется аббревиатура SSHD — Solid-state hybrid drive). В сегменте настольных ПК и ноутбуков гибридные диски известны достаточно давно. В 2007-м году появились 2,5" диски Seagate Momentus PSD объёмом 80/120/160 ГБ. Объём флеш-памяти составлял скромные по современным меркам 256МБ, встроенной технологии кэширования не было, диски были рассчитаны на использование ReadyDrive в Microsoft Vista. Современные бытовые SSHD управляют кэшированием самостоятельно, и объёмы кэша выросли до 8-16 ГБ, но для серверных нагрузок их использовать нельзя.

Первые серверные SSHD появились у Seagate в 2013-м году, но поставлялись под брендом IBM для серверов System X. Современные линейки 10k и 15k дисков — Seagate Enterprise Performance 10k HDD v8 и Seagate Enterprise Performance 15k HDD v5. В данном обзоре мы рассмотрим две модели — ST1800MM0088 (1,8ТБ, 10k, 4kN) и ST600MX0052 (600ГБ, 15k, 512E). Помимо обычного кэша в 128МБ каждый диск имеет на борту 32ГБ eMLC для кэширования чтения и 8МБ NVRAM для кэширования записи (технология TurboBoost).

Внешний вид

По габаритам диски с TurboBoost ничем не отличаются от обычных: те же 2,5" и высота 15 мм.

Характеристики Seagate ST1800MM0088

• Объём: 1800ГБ
• Частота вращения шпинделя: 10000 об/мин
• Форм-фактор: 2,5", высота 15 мм
• Интерфейс: SAS3 (12Гбит/с)
• Отображаемый размер сектора: 4096/4104/4160/4224 байт
• RAM-кэш: 128 МиБ
• Объём NAND: 32 ГиБ
• Тип NAND: eMLC
• Количество пластин: 4
• Количество головок: 8
• Заявленная производительность
  • Последовательный доступ: 117–241 МБ/с
  • Средняя задержка: 2,9мс
• Уровень невосстановимых ошибок чтения (BER): 10^-16
• Энергопотребление: 4,55–7,8 Вт
• Срок гарантии: 5 лет

Официальная спецификация.

Характеристики ST600MX0052

• Объём: 600ГБ
• Частота вращения шпинделя: 15000 об/мин
• Форм-фактор: 2,5", высота 15 мм
• Интерфейс: SAS3 (12Гбит/с)
• Отображаемый размер сектора: 512/520/528 байт
• RAM-кэш: 128 МиБ
• Объём NAND: 32 ГиБ
• Тип NAND: eMLC
• Количество пластин: 3
• Количество головок: 6
• Заявленная производительность
  • Последовательный доступ: 180–246 МБ/с
  • Средняя задержка: 2 мс
• Уровень невосстановимых ошибок чтения (BER): 10^-16
• Энергопотребление: 5,3–8,7 Вт
• Срок гарантии: 5 лет

Официальная спецификация.

Результаты тестирования

Условия тестирования

Конфигурация тестового стенда:

• Процессор Intel Xeon E5606
• 40ГБ памяти
• Системная плата Supermicro X8DT3-F
• Контроллер LSI 9300-8i (SAS3 HBA)
• CentOS Linux 7 X86_64
• Для генерации нагрузки применялся FIO версии 2.1.14

Тестируемые устройства:

• Seagate ST1800MM0088
• Прошивка: K002
• Объём: 1800ГБ (1'800'360'124'416 байт)

• Seagate ST600MX0052
• Прошивка: E003
• Объём: 600ГБ (600'127'266'816 байт)

Проводились три вида тестов:

• Последовательное чтение. Конечно, такая нагрузка не имеет отношения к специфике SSHD. Полученный график просто сравнивается с другими дисками.
• Случайный доступ блоками 4КиБ на области 20ГиБ с варьрованием соотношения чтение/запись. Простая синтетическая нагрузка, максимально наглядно показывающая работу кэша как на чтение, так и на запись (в данном случае кэш работает только на чтение).
• Раздельные тесты для обычного состояния и "прогретого" кэша с варьированием глубины очереди.

Для тестирования использовался скрипт, реализующий серию 60-секундных раундов нагрузки с различными шаблонами и варьированием глубины очереди. Для определения окна установившегося состояния используется та же методика, что и в нашем пакете для тестирования SSD, разработанного в соответсвии со спецификацией SNIA Solid State Storage Performance Test Specification Enterprise v1.1. Полученные значения пропускной способности, IOPS, средней и максимальной задержки усреднялись по нескольким раундам в пределах окна установившегося состояния.

• Обе модели тестируемых дисков в количестве 4-х штук объединялись в RAID-10 с использованием MDRAID.
• Все тесты проводились после окончания иницилизации.
• Каждый тест начинался с предварительной записи случайных данных на весь объём массива.
• Для выявления поведения SSD-кэша нагрузка была ограничена ёмкостью в 20 ГиБ.

Использовались модифицированные шаблоны, аналогичные применяемым при тестировании дисковых подсистем в обзорах от Fujitsu:

Шаблон	Доступ	Чтение	Запись	Размер блока, КиБ
File copy	случайный	50%	50%	64
File server	случайный	67%	33%	64
Database	случайный	67%	33%	8

Последовательный доступ

Ничего необычного — плотность записи растёт, что даёт прирост производительности. HGST HUC101818CS4200 на графике — это диск из серии Ultrastar C10K1800, т.е. те же 1,8ТБ, 10 тыс. оборотов, 4 пластины, что и у Seagate ST1800MM0088, но на 10-20% быстрее.

Случайный доступ, 100% чтение (4 потока с QD=16).

Классический график, показывающий наполнение кэша в идеальных условиях. Со временем всё большая часть блоков читается из кэша, вплоть до 100% попадания, где мы видим 15-кратный прирост производительности. Разумеется, это синтетика (один размер блока, 100% чтение, неизменные границы "горячей области", заведомо укладывающейся в кэш) и при большой глубине очереди. Вместе с ростом IOPS падает задержка.

Случайный доступ, 65/35% чтение (4 потока с QD=16).

Так как SSD-кэш в тестируемых дисках работает только на чтение, то при добавлении 35% записи картина меняется: прирост производительности есть, но далеко не столь значительный. Влияние дополнительного восьмимегабайтного кэша на энергонезависимой памяти при таких параметрах теста выявить нельзя.

Случайный доступ, 35/65% чтение/запись (4 потока с QD=16).

При дальнейшем увеличении нагрузки на запись прирост IOPS кажется совсем незначительным — около 15%, но стоит обратить внимание на снижение задержки — среднее значение падает на 30%.

Случайный доступ, 0/100% чтение/запись (4 потока с QD=16).

Недостаточно сказать, что SSD-кэш в дисках Seagate с технологией TurboBoost — это кэш на чтение, это именно write-through, а не write-around. Это было проверено в тесте с шаблоном Fujistsu Database (см. ниже), где "прогревания" кэша можно было добиться нагрузкой как на чтение, так и на запись. В случае write-through записанный блок попадает в кэш, а подтверждение происходит только после завершения записи на основной носитель. В случае write-around вся запись происходит в обход кэша. Здесь мы видим, что после наполнения кэша происходит кратковременное и незначительное (порядка 2-3%) снижение производительности. После наполнения кэша мы видим периодическое появление больших пиковых значений задержки. Сложно сказать, связано ли это с работой SSD или это какие-то другие особенности работы дисков с TurboBoost.

Шаблон Fujistsu Database (одиночный диск, 8КиБ случайное чтение/запись 50/50%).

Посмотрим на поведение диска в обычном режиме (доступ по всему объёму без предварительной нагрузки) и в режиме 100% попадания в кэш (кэш предварительно "прогрет" 3-часовой нагрузкой на чтение из участка в 20ГиБ). В этом тесте варьируется глубина очереди от 1 до 32 при двух потоках. На диске ST600MX0052 (15 тыс. об/мин) IOPS'ы растут на 50-60%, замеры для ST1800MM0088 не проводились. Очевидно, что прирост будет больше за счёт меньшей производительности в обычном состоянии. Но главный плюс — даже при не самой благоприятной для write-through кэша нагрузке заметно, в несколько раз, падает задержка. Дополнительный график задержек, только уже для идеальной нагрузки в виде 100% чтения. Средняя задержка снижается на порядок, а максимальная при достаточно большой глубине очереди — на два порядка.

Заключение

Технология Seagate TurboBoost приблизительно соответствует первым технологиям SSD-кэширования, появившимся несколько лет назад в контроллерах SAS RAID. Распространёнными тогда SSD были Intel X25-E объёмом 32ГБ, что усиливает сходство. Но у TurboBoost есть одно неоспоримое преимущество — полная независимость от других компонентов дисковой подсистемы, аппаратных или программных. Если ваша нагрузка соответствует благоприятному для write-through кэша профилю (преимущественное чтение со случайным доступом, наличие укладывающейся в размеры кэша "горячей" области), а реализовать то же самое с применением отдельных SSD невозможно (например, в случае готовой СХД) или дорого, то диски Seagate с технологией TurboBoost будут хорошим выбором.

Использовать или нет?(пример). Разница в цене между обычным диском и TurboBoost составляет около $100, стоимость лицензии CacheCade для контроллеров Avago/LSI — около $300, распространённых eMLC Intel S3700 объёмом 100ГБ с хорошим ресурсом — около $250. Т.е. минимальный комплект будет стоить $550. Округлим до $600 и получим разницу для шести дисков Seagate. Получаем больший объём кэша для конфигураций рассчитанных на преимущественное чтение (RAID-5 или 6), но ценой потери гибкости решения — нарастить объём или использовать write-back уже не получится.

Как видите, однозначного ответа на этот вопрос не существует, но можно посоветовать следующее: при планировании конфигурации относитесь к дискам Seagate линейки Enterprise Performance с технологией TurboBoost как к усовершенствованной разновидности обычных SAS-дисков 10k/15k. Вы можете получить заметный прирост производительности при соответствующей нагрузке, но главное преимущество TurboBoost заключается в отсутствии необходимости в каких-либо дополнительных аппаратных или программных продуктах и времени на их внедрение.

Далеко не всегда по подобным синтетическим тестам можно понять, как дисковая подсистема поведёт себя при реальных нагрузках. Обзор с использованием Microsoft Jet Stress, TPC-B и TPC-E был опубликован в 2014 компанией StorageIO. Есть ещё пара хороших обзоров от StorageReview: Seagate Enterprise Performance 10K и Seagate Enterprise Performance 15K.