Intel VROC

Заказ звонка

*
*
Защита от автоматических сообщений
CAPTCHA
Введите слово на картинке*

Intel VROC

Общий обзор VROC

Intel VROC — программный чипсетный RAID для накопителей NVMe и SATA. Ранее программный RAID для SATA называется RSTe (Intel Rapid Storage Technology Enterprise), в прошлом году обе технологии решено было объединить под общим названием5. В этой статье речь пойдёт именно о массивах из накопителей NVMe на платформе Intel Purley (чипсеты Intel C62x и процессоры Intel Xeon Scalable).

Для начала стоит разобраться с терминологией:

Домен VMD и контроллер VMD. VMD расшифровывается как Volume Management Device, «устройство управления томами». Контроллер PCIe, встроенный в процессоры Intel Xeon Scalable, разделён на три домена по 16 линий PCIe — итого 48 линий.

Наличие VMD не является обязательным условием для работы VROC. Если у вас есть сервер на базе одной из предыдущих платформ без VMD (например, Grantley, Mehlow, Tatlow), то использовать VROC для NVMe накопителей можно, причём без покупки каких либо дополнительных ключей. Не будет поддержки загрузочных массивов, горячего подключения/отключения и управления индикацией. Поддерживаются только накопители производства Intel5.

VROC write hole. RAID-5 и RAID-6 в традиционной реализации1 подвержены проблеме так называемого write hole. При записи неполного страйпа в такие массивы необходимы дополнительные дисковые операции, с пересчётом и записью новых страйпов с контрольными суммами. Сбой накопителей или аварийное отключение питания в этот момент может привести к нарушению целостности данных, если не будет обновлён страйп с контрольной суммой или один из страйпов с данными.

Одним из решений этой проблемы является предварительная запись в энергонезависимую память. Но в случае программных RAID без дополнительного оборудования остаётся полагаться на другие способы. Intel упоминает о том, что в прежних релизах VROC использовалось журналирование страйпов с данными и чётностью, но в последних релизах используется другой алгоритм, суть которого не раскрывается:

The previous Intel VROC mechanisms implemented to address the RAID Write Hole condition encompassed a combination of Dirty Stripe Journaling and Partial Parity Logging. This implementation only partially closed the RAID Write Hole. With the Intel VROC VC product family, the RWH solution included will completely close this condition (when RWH is enabled). When RWH is disabled, the old implementation (using Dirty Stripe Journaling and Partial Parity Logging) is used.

Поддержка VROC операционными системами

Отдельные документы Intel по настройке VROC в Windows и Linux находятся здесь.

Помимо VROC GUI и CLI в Windows, а также mdadm в Linux для управления VROC у Intel есть Accelerated Storage Manager (ASM) — web-интерфейс и RESTful API с очень подробной документацией.

Windows

VROC прозрачен для Intel SSD Datacenter Tool, утилиты для просмотра статуса и обновления прошивок накопителей Intel. У накопителей меняется лишь Device Path:

Работают ли таким же образом утилиты других производителей (например, Samsung SSD DC Toolkit), проверить пока что не удалось.

Для Windows понадобится свежий драйвер вместе с утилитой управления — их можно скачать с Intel Download Center. Для владельцев SSD производства Intel мы советуем заодно скачать свежую версию Intel SSD Datacenter Tool, чтобы обновить прошивку.

Установка драйвера и GUI ничем не отличается от привычного RSTe. Обратите внимание, что все массивы, кроме RAID-0 требуют инициализации. Запустить её можно, выбрав соответствующий пункт в свойствах тома.

Под Windows можно воспользоваться триальным периодом продолжительностью 90 дней. Для этого нужно просто установить VROC GUI и создать массив. Функционал будет соответствовать Premium-ключу. Управление томами будет доступно только через GUI, в интерфейсе EFI HII вы их не увидите. Это означает, во-первых, что в триальном режиме с VROC-томов нельзя будет загрузиться, во-вторых — не стоит размещать на таких томах критичные данные, так как можно пропустить окончание триального периода и потерять доступ к томам.

Linux

VROC в Linux работает через mdraid. Intel предоставляет свои пакеты с mdadm, mdmon, ledmon (вместе с исходными текстами) и скриптами для systemd для официально поддерживаемых дистрибутивов. Весь необходимый дополнительный код Intel передаёт в апстрим. Если это так, то зачем покупать ключ? Intel называет несколько причин3:

  • Возможность создавать массивы можно из UEFI HII и UEFI shell, то есть без участия операционной системы. Это не столь важный функционал, так как для автоматизации развёртывания можно использовать скрипты в live-образе Linux.
  • Управление через AST. Это действительно удобно.
  • Загрузочные массивы. На самом деле, Linux можно заставить грузиться с обычного программного массива любого уровня, но это требует дополнительных действий (например, при установке на RAID-5 или 6 раздел boot обычно помещают на отдельное зеркало на той же дисковой группе). С VROC благодаря поддержке в BIOS процесс установки ОС на RAID осуществляется гораздо проще.
  • Поддержка. Intel уделаяет большое внимание тестированию различных серверных накопителей на платформе Purley и даже обещает предоставлять патчи в случае появления каких-либо проблем у конкретного пользователя (при использовании поддерживаемых накопителей и поддерживаемых дистрибутивов).

Рекомендуется использовать ядро версии 4.15 и новее3.

В целом работа VROC в Linux ничем не отличается от обычного mdraid с форматом метаданных imsm (в честь Intel Matrix Storage Manager), обеспечивающий совместимость массивов с Windows в связке с RSTe/VROC. Для управления используется тот же mdadm, для мониторинга — mdmon. Есть лишь несколько специфических команд. Например, mdadm --detail-platform позволяет узнать подробности о VROC: версия, поддерживаемые размеры страйпов, максимальное количество дисков и томов.

За работу светодиодов отвечает пакет ledmon, поставляемый Intel.

Драйвер для ESXi

Мы упоминали о том, что VROC не поддерживается в ESXi. Тем не менее, на сайте Intel присутствует документ под названием Intel VMD-enabled NVMe Driver for VMware ESXi User Guide. Действительно, RAID-массивы через VROC в ESXi не поддерживаются (ESXi вообще не поддерживает программный RAID), но VMD в платформах для Intel Xeon Scalable можно и нужно задействовать для корректной работы индикации и горячей замены NVMe-накопителей, для чего требуется специальный драйвер, установка которого описана в этом документе.

Ограничения

Intel периодически обновляет документ под названием Supported Configuration Guide («Руководство по поддерживаемым конфигурациям»). Последняя версия на момент публикации этой статьи — 6.2. Заглянем внутрь.

Поддерживаемые накопители

В начале документа вы найдёте таблицу с поддерживаемыми моделями SSD, как Intel, так и других производителей, с некоторыми интересными примечаниями. Обратите внимание, что для «составных» моделей SSD Intel, которые фактически представляют собой два накопителя на одной плате (P3608, P4608, P4618) поддерживается только RAID-0. Как и в случае со списками совместимости для SAS-контроллеров — если вашего накопителя нет в списке, то это не обязательно означает, что он не будет работать в составе VROC. Просто эту модель ещё не тестировали в Intel. Стоит ли идти на риск, зависит от конкретного проекта. Если речь идёт о хранении временных файлов на рабочей станции в RAID-0, то есть стабильность работы и целостность данных стоят на втором месте, то установку официально не поддерживаемых накопителей можно считать оправданной.

Поддерживаемые ОС

Из Linux официально поддерживаются последние RHEL и SLES. Но мы уже упоминали о том, что поддержка VROC в Linux реализована в рамках mdraid, так что VROC должен работать на любых современных дистрибутивах. Для Windows указаны все актуальные серверные версии (2012R2 и новее) и Windows 10. Поддержка Windows 7 закончилась с версией VROC 5.6.

Поддерживаемые аппаратные конфигурации

  • 4 SSD с прямым подключением на каждый VMD-домен (см. выше определение домена VMD) или 24 SSD на VMD-контроллер при подключении через PCIe-коммутаторы.
  • Максимум 48 SSD на платформу.
  • Поддерживается каскадное подключение коммутаторов PCIe — максимум 2 уровня.
  • Максимум два RAID-тома на массив.
  • Том может находится на SSD, подключенных к разным доменам VMD и процессорам.
  • Официально не поддерживается загрузка с томов из SSD, подключенных к разным контроллерам VMD.
Ограничения по массивам
  • RAID-0 и RAID-5: до 24 SSD
  • RAID-10: 4 SSD
  • RAID-1: 2 SSD

Горячее подключение поддерживается, но Intel рекомендует вставлять накопители по одному, дожидаясь инициализации перед добавлением следующего накопителя2.

Производительность

В Intel получили следующие лимиты производительности на чтение для четырёх накопителей в RAID-03:

  • Windows: 1 млн. IOPS. В своей документации Intel сообщает о причинах этого ограничения и даёт рекомендации по тюнингу параметров драйвера6, 7.
  • Linux: 2,5 млн. IOPS. Производительность существенно лучше масштабируется в сравнении с Windows. Особенное это заметно при использовании высокопроизводительных накопителей Intel Optane8.

Стоит напомнить, что при том уровне производительности, который обеспечивают современные твердотельные накопители, следует учитывать нагрузку на процессор и топологию подключения накопителей. То есть, под систему с несколькими накопителями NVMe стоит выбирать процессоры из расчета не менее 8 ядер с частотой от 2,2 ГГц на каждый 1 млн. IOPS. При тестировании или настройке реальных приложений необходимо учитывать топологию соответствия слотов PCIe и процессоров — обращение к накопителю через контроллер PCIe другого процессора приводит к существенному росту задержек9.

VROC на платах Supermicro

Как использовать VROC на материнских платах Supermicro? Для начала необходимо убедиться, что полноценный VROC поддерживается материнской платой. Если это платформа Purley, то есть 1- или 2-процессорная плата под процессоры Intel Xeon Scalable с чипсетом C62x. Бывают и исключения. Например, плата Supermicro X11SRA на базе C422. VROC поддерживается и тоже требует установки ключа, но только для накопителей M.2, а из массивов — RAID-0 и RAID-1. Если у вас есть плата без VMD, то VROC без возможности загрузки и с некоторыми другими ограничениями всё равно можно будет использовать — см. VROC non-VMD NVMe RAID.

Затем необходимо приобрести один из трёх аппаратных ключей4:

  • AOC-VROCINTMOD. Ключ для использования исключительно с накопителями производства Intel. Стоит дешевле остальных.
  • AOC-VROCSTNMOD. Ключ VROC Standard. Обеспечивает RAID 0/1/10 для любых накопителей (настоятельно рекомендуем следовать списку совместимости).
  • AOC-VROCPREMOD. Ключ VROC Premium. То же, что Standard, с добавлением RAID-5.

Устанавливается этот ключ в небольшой белый 4-контактный разъём на материнской плате. На всех поддерживающих VROC платах Supermicro этот разъём имеет маркировку JRK1. Например, на плате X11DDW-L он расположен в левом углу, рядом с угловым вырезом:

Далее необходимо включить VMD для нужных слотов. Загляните в инструкцию к плате — там приведена схема с топологией подключения слотов. Затем в BIOS, в разделе Advanced включите VMD для тех слотов или портов, если PCIe выведен на разъёмы OCuLink, к которым подключены накопители.

В данном случае использовалась плата Supermicro AOC-SHG3-4M2P, позволяющая подключить четыре накопителя M.2 в один слот PCIe x8. Плата была установлена в верхний слот x16 платформы Supermicro 1029P-WTR.

После перезагрузки в разделе Advanced появится пункт Intel Virtual RAID on CPU. Кстати, режимы инициализации всех слотов и режим загрузки необходимо переключить в UEFI вместо Legacy.

UEFI HII для VROC не отличается от такового для RSTe. Создаём массивы, выбираем накопители.

Другие статьи по теме

Примечания

  1. На самом деле write hole может возникнуть и в RAID-1 или 10.
  2. Windows Software User Guide.
  3. Frequently Asked Questions about Intel Virtual RAID on CPU (Intel VROC)..
  4. Add-on Card AOC-VROCxxxMOD.
  5. Intel Virtual RAID on CPU (Intel VROC) name change for 6.0.
  6. RAID Performance Analysis on Intel VROC
  7. Intel Virtual RAID on CPU Windows Performance
  8. Intel Virtual RAID on CPU Linux Performance
  9. Smart Controller - Performance Guide. Статья посвящена тюнингу производительности SAS RAID контроллеров Adaptec, но общие рекомендации будут полезны для любых систем хранения.

Вернуться к списку

0
Maria
Asics Sneakers Pandora Jewelry Official Site Nike Air Max 720 Wholesale Jordan Shoes Jordans 1 Pandora Canada Nike Running Shoes Nike Air Max Yeezy Pandora Jewelry Pandora Charms Air Jordan 1 Low Pandora Jewelry Ferragamo Adidas Store Jordan 5 Pandora Jewelry Moncler Coat Pandora Official Site Asics Shoes Nike Outlet Pandora Charms Outlet Air Jordan 1s Pandora Charms Adidas Shoes For Women Goyard Bags Ferragamo Belts Nike Shoes Air Jordan Sneakers Jordan 1 High Jordan 1 Retro Pandora Jewelry Pandora Outlet Online Pandora Outlet Wholesale Jordan Shoes Pandora Official Site Pandora Outlet Pandora Charms Outlet Cheap Moncler Jackets Pandora Charms Nike Shoes Pandora Bracelet Balenciaga Sneakers Outlet Pandora Official Site Nike Store Balenciaga Sneakers Pandora Charms Sale Clearance Air Jordan 1 Dior Pandora Jewelry Mens Basketball Shoes Puma Outlet Adidas Shoes Adidas Canada Pandora Charms Nike Air Jordan 1 Jordan Wholesale Distributors Adidas Men's Shoes Asics Running Shoes Pandora Bracelets Nike Air Jordan Pandora Bracelets Adidas Sale Nike Air Jordan 1 Moncler Pandora Wholesale Jordans Nike Canada Nike Sneakers Men Nike Men's Shoes NMD R1 Air Jordan 1 Retro Air Max 97 Pandora Jewelry Air Max 270 Adidas Running Shoes Pandora Bracelets Air Jordan 1 Low Jordan 1 Nike Nike Shoes Jewelry Pandora Asics Outlet Pandora Cheap Adidas Pandora Jewelry Official Site Pandora Pandora Charms Sale Pandora Pandora Outlet Nike Shoes For Women Pandora Salvatore Ferragamo Shoes Outlet Moncler Jordan Shoes Pandora Jewelry Pandora Jewelry Moncler Coats For Women Goyard Handbag Nike Store Pandora Charm Pandora Canada Balenciagas Sneakers Adidas Nike Shoes Asics Gel Kayano Pandora Jewelry Pandora Jewelry Jordan Retro 1 Pandora Charms Nike Canada Online Jordans 1 Moncler Sale Pandora Jewellery Pandora Outlet Pandora Jewelry Nike Store Pandora Website Moncler Jacket Pandora Jewelry Outlet Adidas Trainers Pandora Jewelry Pandora Jewelry Pandora Charms Moncler Jackets Pandora Jewelry Asics Shoes Yeezy Shoes Balenciaga Triple S Pandora Charms Sale Clearance Adidas Website Charms Pandora Pandora Jewelry Official Site Jordan 1 Lows Moncler Coats Balenciaga Nike Snkrs Moncler Outlet Pandora Rings Nike Sneakers Women Asics Shoes Women Nike Shoes Men Balenciaga Nike Shoes Air Jordan Sneakers Nike Shoes Women Air Jordan 1 Low Nike Outlet Cheap Moncler Balenciaga Shoes Men Pandora Jewelry Pandora Charms Jewelry Moncler Jacket Nike Outlet Store Ferragamo Shoes Pandora Rings Air Jordan One Salvatore Ferragamo Belt
Ответить Цитировать 0
0
Lauren
Ответить Цитировать 0
0
Barbara
Yeezy Pandora Charms Nike Air Jordan 1 Balenciaga Jordan Retro 3 Pandora Charms Canada Nike For Women Moncler Nike Website Jordan 6 Pandora Jewelry Nike Outlet New Jordans Adidas Yeezy Valentino Shoes Nike Jordans Triple S Balenciaga Air Jordan 4 Air Jordan 11 Men's Nike Shoes Red Bottom for Women Yeezy Shoes Air Jordan 5 Pandora Ring Soccer Cleats On Sale Adidas NMD R1 Jordan Shoes Retro Ferragamo Outlet Jordans Sneakers Nike Shoes For Men Golden Goose Shoes Men Huaraches Nike Moncler Coats For Women Air Jordan 14 Air Max 270 Yeezy Jordan 12 Air Jordan 12 Jordan Retro 1 Jordan 4 Jordan 12 Jordan 1 Low Christian Louboutin Shoes Golden Goose Sale Nike Outlet Store Online Shopping Jordan 11 Air Jordan 4 Retro Jordans 4 Moncler Retro Jordan Jordan Retro 6 Adidas Yeezy Jordan 11s Nike Air Max 98 Cone Jordan 11 Pandora Jordan 12 Retro Louboutin Shoes Golden Goose Outlet Moncler Vest Golden Goose Sneakers Pandora Nike Air Max Women Jordan Sneakers Air Jordans Jordan Shoes Retro Jordan Golden Gooses Sneakers Jordan 5 Fjallraven Kanken Adidas NMD Nike Shoes Fitflop Shoes Jordans 1s Nike Air Max 2018 Nike Outlet Nike Outlet Shoes New Jordan 11 Lebron Shoes Jordan 13s Red Bottoms Louboutin Pandora Pandora Jewelry Air Jordan Sneakers Asics Running Shoes Jordan 9 Jordan 1 Nike Factory Outlet Golden Goose Sneakers Red Bottoms Jordan 13 Jordan 1 Air Jordan 10 ECCO Shoes For Women Christian Louboutin Moncler Jackets For Women Moncler Jackets Nike Air Jordan 1s Cheap Air Max Jordan 11 Pandora Bracelet Pandora Ring GGDB Sneakers Jordan 11 Harden Shoes Air Jordan 4 GGDB Louboutin Heels Air Jordan 1 University Blue Nike Shoes On Sale Jordan 12 Retro Jordans Shoes Golden Goose Sneakers Jordan 5s Nike Outlet Online Air Max 90 GGDB Jordan Shoes For Men Jordan Retro 11 Nike Air Force One Air Jordan 1 Yeezys Air Jordan 3s Birkin Bag Jordan 11 GYM Red Air Jordan Retro Jordans 11 Golden Goose Outlet Air Max 270 Women Jordan Retro Nike Air Jordan Nike Factory Air Jordan 6 New Jordans Pandora Air Max 95 Cheap Jordans Christian Louboutin Jordan 8 Nike Shoes Golden Goose Mid Star Jordan 11 Jordan Sneakers Jordan Shoes Louboutin shoes Jordans Sneakers Pandora Jewelry Official Site Nike Shoes For Women Jordan 11's Nike Snkrs Yeezy Nike Kyrie Irving Shoes Air Jordan 6 Rings Vans
Ответить Цитировать 0
0
Посетитель
Ответить Цитировать 0
0
YEEZY
Yeezy
Yeezy
Yeezy
Yeezy Slides
Yeezy Slides
Yeezy Shoes
Yeezy Supply
Yeezy 450
Yeezy 700
Jordan Shoes
Adidas UK
Air Jordan 4
Air Jordan 1
Jordan 1
Jordans
Air Jordans
Nike Air Jordans
Jordans 1
Air Jordan 1
Jordan 1s
Jordan 1
Adidas Yeezy
Adidas Yeezy
Yeezy
Air Jordan 1
Air Jordan 11
Air Jordan 1
Jordan 1
Air Jordan 4
Air Jordan 1
Jordan 1
Air Jordan Shoes
Air Jordan
Air Jordans
Jordan 1
Jordan 1
Jordan 1
Air Jordan 1 Mid
Jordan 1 Mid
Jordan 1
Jordan 1s
Air Jordan 4
Jordan 4
Air Jordan 4
Jordan 4
Jordan
Jordan 4 Military Black
Jordan 4
Jordan 4s
Jordan 1
Jordan AJ 1
Jordan AJ 1
Jordan Retro 4
Jordans 4
Jordan Shoes
Jordans Shoes
NFL Shop Official Online Store
Nike Air Jordan
Nike Jordan 1
Nike Jordans
Nike Outlet
Nike Outlet Store
Nike Outlet
Nike Outlet Store Online Shopping
Nike Outlet
Nike Shoes
Nike UK
Off White
Pandora Jewelry
Pandora
Pandora Bracelet
Pandora Bracelets
Pandora Bracelets
Pandora Charms
Pandora Charms
Pandora Jewelry
Pandora Charms Sale Clearance
Pandora Charms
Pandora Jewelry Official Site
Pandora Jewelry
Pandora Jewelry Official Site
Pandora Jewelry
Pandora
Pandora Jewelry Official Site
Pandora Jewelry
Pandora Jewelry Official Site Clearance
Pandora Jewelry
Pandora Jewelry
Cheap Ray Bans
Ray Bans
Ray Bans
Pandora Online Shop
Pandora
Pandora Outlet
Pandora UK
Yeezy
Yeezy 350
Yeezy 350
Yeezy
Yeezy 350
Yeezy Boost 350
Yeezy 350 V2
Adidas Yeezy
Yeezy
Yeezy Foam Runner
Yeezy 350
Yeezy
Yeezy
Adidas Yeezy
Yeezy
Yeezy Shoes
Yeezy
Yeezy Shoes
Yeezy
Yeezy 350
Yeezy Slides
Rolex
Rolex Watches
Nike Shoes
Nike Outlet
Nike Outlet
Ray Ban Glasses
Ray-Ban Sunglasses
Yeezy Shoes
Yeezy
Moncler Jacket
Moncler Outlet
Moncler Outlet
Moncler Jacket
Moncler
Nike Shoes
Moncler UK
Moncler Jacket
Moncler Jackets
Moncler
Moncler Outlet
Yeezy
Yeezy Shoes
Yeezy Sneakers
Yeezy
Yeezy Website
Yeezy Shoes
Yeezy
Yeezy 350
Pandora
Pandora Jewelry
Yeezy
Ray Bans
Ray Bans Sunglasses
Ray Ban Outlet
Pandora Jewelry
Pandora Jewelry Official Site
Ответить Цитировать 0

Контакты:

  • Адрес: 115487, г. Москва, ул. Нагатинская, дом 16 (Метро "Нагатинская")
  • Телефон: (495) 747-3113
  • Факс: (495) 747-3112
  • Гарантийный отдел: (495) 747-3113 (доб. 333, 304)
  • Отдел продаж: (495) 747-3113
© 2006-2023 True System inc