Применение SAS RAID контроллеров Adaptec by PMC в серверах и системах хранения данных True System Gladius

Adaptec (Adaptec by PMC после приобретения компанией PCM-Sierra) обладает многолетним опытом по разработке контроллеров SCSI и SAS/SATA. Широкий список совместимости с остальным оборудованием, отлаженный RAID-стек, высокая производительность, инновационные решения, поддержка большого числа операционных систем — все это позволяет рекомендовать контроллеры Adaptec для преимущественного использования в наших серверах Gladius.

Модельный ряд

Серия 6E

Обычно RAID контроллеры начального уровня имеют ряд существенных недостатков. Зачастую реализация RAID стека является программной, либо отсутствует набортный кэш, что не самым лучшим образом сказывается на производительности.

Контроллеры Adaptec серии 6E лишены этих недостатков. При минимальной цене в них реализована аппаратная поддержка RAID уровней 0, 1, 1E и 10 для SAS и SATA дисков. Также поддерживаются гибридные RAID-1 и 10 из SSD и HDD.

Размер набортного кэша составляет 128МБ. В линейке 6E два контроллера: 6405E (PCI-E 2.0 x1, до 4-х дисков SAS/SATA) и 6805E (PCI-E 2.0 x4, до 8-ми дисков SAS/SATA). Контроллеры совместимы с большим количеством ОС: Microsoft Windows 7/8, Windows Server 2008/2008 R2/2012/2012 R2, RHEL и другими дистрибутивами Linux, Solaris, FreeBSD, VMware ESXi 4.x/5.x.

Серия 7/7E/7Q

RAID контроллеры SAS2 второго поколения от Adaptec обладают уникальным преимуществом: до 24 собственных портов 6Гбит SAS2, в то время как конкурирующие контроллеры имеют не более 8-портов (увеличение количества портов достигается путем размещения SAS экспандера на плате контроллера).

В сочетании с шиной PCI-E 3.0 x8 и новым более производительным процессором PM8015 это позволяет существенно увеличить пределы по пропускной способности: до 6600МБ/с на чтение и 2600МБ/с на запись в RAID-5.

Все модели 7-й серии за исключением бюджетного варианта 71605E имеют 1024МБ кэша с опциональной защитой при помощи модуля AFM-700 (для 7Q - идет в комплекте) и поддерживают RAID 0, 1, 1E, 10, 5, 6, 50, 60. Использование компактных разъемов miniSAS-HD позволяет разместить до 16 портов SAS на низкопрофильном контроллере (форм-фактор MD2), что является крайне важным при установке в некоторые корпуса Supermicro, например SC219A-R920LPB (2U корпус с 16-ю отсеками для 2,5" HDD).

• 78165: 24 порта (8 внутренних and 16 внешних)
• 72405: 24 внутренних порта
• 71685: 24 порта (16 внутренних и 8 внешних)
• 71605: 16 внутренних портов
• 7805: 8 внутренних портов
• 71605Q: 16 внутренних портов, AFM-700, maxCache 3.0
• 7805Q: 8 внутренних портов, AFM-700, maxCache 3.0
• 71605E: 16 внутренних портов. RAID RAID 0, 1, 1E, 10. Поддержки AFM-700 нет.

Серия 8

Последнее поколение контроллеров Adaptec будет доступно для заказа в четвертом квартале 2013 года. Из нововведений:

• Поддержка протокола SAS 3.0 с пропускной способностью 12Гбит/с
• Пропускная способность: 6600МБ/с на чтение и до 5200МБ/с на запись
• Высокая производительность при работе с SSD: до 750000 IOPS
• Поддержка maxCache Plus: ярусное хранение данных с использованием любых подключенных к системе блочных устройств

• 8805: 8 внутренних портов
• 8885: 16 портов, (8 внутренних и 8 внешних)
• 81605ZQ: 16 внутренних портов, AFM-700, maxCache 3.0 Plus
• 8885Q: 16 портов, (8 внутренних и 8 внешних), AFM-700, maxCache 3.0 Plus
• 8885E: 16 портов, (8 внутренних и 8 внешних), 512МБ кэш. RAID RAID 0, 1, 1E, 10. Поддержки AFM-700 нет.

Преимущества

Высокая пропускная способность

Контроллеры Adaptec 7 и 8 серий обеспечивают до 24 портов SAS без использования экспандеров, что позволяет устранить одно из узких мест в производительности: 8 линков SAS2 обеспечивают максимальную теоретическую пропускную способность в 4800МБ/с (около 4200МБ/с на практике из-за накладных расходов). Контроллеры Adaptec обеспечивают самые высокие показатели пропускной способности — до 6600МБ/с на чтение и до 2600/5200*МБ/с на запись.
*В 8-й серии контроллеров.

Высокая производительность в сочетании с современными SSD

Производительность SSD растет быстрыми темпами, современные серверные SSD способны обеспечить более 100 тыс. IOPS на чтение блоками 4k, что является проблемой для многих аппаратных RAID контроллеров, процессор которых не справляется с подобной нагрузкой. Контроллеры Adaptec последних поколений обеспечивают непревзойденную производительность на операциях случайного доступа: до 534000 IOPS для 7-й серии и до 750000 IOPS для 8-й серии.

Не требующая обслуживания защита кэша

Механические ограничения (частота вращения шпинделя, скорость перемещения блока головок) ограничивают производительность жестких дисков при случайном доступе на уровне 70-200 IOPS (операций ввода-вывода в секунду). Кэширование данных в памяти контроллера положительно влияет на производительность, особенно в ситуациях с большой нагрузкой на случайную запись или запись + чтение малыми блоками. В контроллерах Adaptec и других современных RAID контроллерах есть два алгоритма работы с кэшированием операций записи: write-through и write-back.

В режиме write-through запись осуществляется синхронно: контроллер размещает данные в кэше и одновременно пишет их на массив, подтверждение операций записи осуществляется только после завершения записи на массив.

Данный режим минимизирует риск потери данных при записи, т.к. хост получает подтверждение только после реальной записи данных на массив. Контроллер может частично оптимизировать дисковые операции: копия записанных данных будет находиться в кэше до их вытеснения, их последующее чтение будет происходить уже из кэша.

В режиме write-back осуществляется асинхронная запись: контроллер сразу отправляет хосту подтверждение операций записи, до того момента, как они будут записаны на том.

Write-back (называемый также кэшированием записи) позволяет существенно увеличить производительность, т.к. контроллер получает возможность оптимизировать операции записи перед их отправкой на дисковый массив, переупорядочивая операции и делая доступ более линейным. На смешанной нагрузке при достаточно эффективном попадании операций в кэш возможен прирост производительности (рост IOPS и уменьшение задержек) в несколько раз. Но при этом возникает опасность потери данных из-за потери данных в кэше, который не является энергонезависимым: несколько десятков или сотен МБ, которые не были в действительности записаны на диски, могут привести к полной потере данных за счет нарушения целостности файловой системы или базы данных. Обязательное использование источников бесперебойного питания не дает надежной защиты от данной проблемы, так как потеря данных в кэше контроллера может произойти не только в результате аварийного отключения питания, но и в результате сбоя или выхода из строя компонентов сервера (блока питания, системной платы и т.д.) или сбоя в ОС.

Традиционным способом защиты данных в кэше контроллера является BBU (battery backup unit), модуль, обеспечивающий питание ОЗУ контроллера в течение некоторого времени после сбоя при помощи литий-ионного аккумулятора. При запуске сервера после восстановления питания контроллер сбрасывает сохранившееся содержимое кэша на дисковый массив. У подобных модулей есть ряд существенных недостатков, связанных с наличием аккумулятора: ограниченное время защиты после сбоя (обычно не более 72 часов), ограниченный срок службы аккумуляторов (1-2 года, в зависимости от температуры эксплуатации), необходимость планирования закупок новых BBU модулей и утилизации вышедших из строя.

В современных контроллерах Adaptec используется другой способ защиты кэша — при помощи модуля с флэш-памятью и питанием через суперконденсаторы (ионисторы). При возникновении сбоя батарея ионисторов питает модуль защиты кэша только на время копирования содержимого ОЗУ на флэш-память модуля. Данная технология применяется компанией Adaptec by PMC на протяжении ряда лет, начиная с контроллеров серии 5Z. Для современных контроллеров серий 7 и 8 выпускается опциональный модуль AFM-700:

Срок службы модуля AFM-700 — минимум 5 лет, дополнительное обслуживание (периодические циклы заряда/разряда, регулярная замена батарей) не требуется.

Высокая плотность размещения портов

С выходом 7-й серии контроллеров состоялся переход на использование разъемов SAS нового поколения — miniSAS-HD. В линейке RAID контроллеров Adaptec есть несколько уникальных продуктов, не имеющих аналогов от других производителей:

• Adaptec 78165: низкопрофильный контроллер с 16-ю внешними и 8-ю внутренними портами. Контроллеры прочих производителей обеспечивают в низкопрофильном форм-факторе максимум 8 внешних портов при отсутствии внутренних, либо это контроллеры полной высоты (с максимум 8-ю внешними портами), что не позволяет их установить в корпуса, рассчитанные на установку низкопрофильных плат.
• Adaptec 71605 и 81605ZQ: низкопрофильный контроллер с 16-ю внутренними портами.
• Adaptec 8885/8885E/8885Q: низкопрофильный контроллер с 8-ю внешними и 8-ю внутренними портами.

maxCache

Технология maxCache позволяет использовать один или несколько SSD для кэширования доступа к массиву из обычных жестких дисков, позволяя объединить высокую производительность SSD и низкую стоимость HDD. Все операции кэширования выполняются средствами самого контроллера, т.е. работа maxCache не зависит от ОС, не требует установки дополнительного ПО и не создает дополнительной нагрузки на процессор сервера. В третьем поколении технологии maxCache реализованы следующие возможности:

• Кэширование чтения (write-through режим).
• Кэширование записи (write-back режим). Для защиты целостности данных используется объединение SSD в массивы RAID 1, 1E или 5.
• Поддерживается до 8-ми SSD. Максимальный размер кэш-пула до 2ТБ.

Для использования maxCache необходим контроллер Adaptec серии 7Q или 8Q.

Использование SSD-кэша позволяет существенно увеличить производительность за счет многократного роста IOPS и снижения задержек. Подходящие для maxCache нагрузки: OLTP, web-хостинг, виртуализация, почтовые серверы, любые другие нагрузки с большим количеством операций случайного доступа на чтение/запись и наличием "горячей области" — части дискового пространства, сопоставимой по размеру с кэшом, с высокой концентрацией повторяющихся операций.

Объемы SSD непрерывно растут. В тех случаях, когда использование SSD исключительно в качестве кэша является неэффективным, вместо подключения дополнительных SSD для непосредственного размещения данных есть возможность использовать для этого часть емкости кэш-пула за счет технологии Optimized Disk Utilization (ODU):

Рекомендации

1. Выбирайте диски из списка совместимости контроллера. Не используйте бытовые SATA HDD в сочетании с аппаратными RAID контроллерами. Такие диски не рассчитаны на круглостуточную работу, дополнительная защита от вибрации отсутствует, нет поддержки SCT Error Recovery Control, что приводит к периодическим развалам массивов.

   Использование бытовых SSD также приводит к развалам массивов, отсутствие защиты встроенного кэша грозит возможной потерей данных. Такие SSD не рассчитаны на большие нагрузки по записи, следствием чего является низкий ресурс и неконтролируемое снижение производительности на запись.

2. Следите за обновлениями прошивок и драйверов контроллеров. Свежие прошивки могут устранять проблемы с совместимостью или проблемы, связанные с возможной потерей данных.
3. Встроенные SAS-экспандеры в корпусах Supermicro имеют несколько разъемов SFF-8087 (4x SAS), первый обозначен как вход, один или два других — выходы. С контроллерами Adaptec 7-й серии выходы экспандеров LSI можно использовать в качестве дополнительных входов, т.е. подключать контроллеры не через 4x wide линк, а 8x. Это позволит получить вдвое большую пропускную способность (4200МБ/с).
4. Если вы планируете использование встроенного кэша на запись (режим работы write-back), то не забывайте о защите от потери данных путем установки модуля AFM-700.