Как это работает
ПО RAIDIX поддерживает одноконтроллерный (задействован один узел) и двухконтроллерный режим работы системы (Рис. 2), при котором оба узла активны, работают одновременно и имеют доступ к единому набору дисков. Под узлами понимаются аппаратно-независимые компоненты системы хранения данных, имеющие собственные процессоры, кэш-память, материнскую плату и которые могут быть объединены в кластер.
Дублирование аппаратных компонентов
RAIDIX обеспечивает непрерывность доступа к данным и высокую степень отказоустойчивости за счет:
- дублирования узлов (материнских плат, модулей кэш-памяти, блоков питания, SAS-контроллеров, системных дисков);
- дублирования каналов подключения к дискам (оба узла подключены к единому набору дисков).
Взаимодействие узлов системы между собой осуществляется по каналам InfiniBand, iSCSI (через Ethernet), Fibre Channel, LSI SAS, что позволяет производить синхронизацию данных и состояния кэшей.
Благодаря наличию двухсторонней синхронизации кэшей на запись между узлами, удаленный узел всегда содержит актуальную информацию о данных в кэше локального узла. При выходе из строя одного узла, второй прозрачно для пользователей берет на себя всю нагрузку вышедшего из строя узла, предоставляя тем самым администратору возможность устранить неисправность без остановки работы системы.
Дублирование аппаратных компонентов и интерфейсов обеспечивает защиту от следующих сбоев:
- выход из строя одного из аппаратных компонентов (процессора, материнской платы, блока питания, контроллера, системного диска);
- отказ интерфейса подключения к дисковым полкам (отказ SAS-кабеля, I/O- модуля);
- выключение питания одного из узлов;
- сбой, возникновение ошибок в ПО на одном из узлов.
Сетевое хранилище данных
В программном обеспечении RAIDIX реализована возможность работы с сетевым хранилищем данных (Network Attached Storage – NAS). Архитектура сетевой системы представляет собой NAS-сервер, объединенный с СХД на платформе RAIDIX и взаимодействующий с клиентскими компьютерами по протоколам SMB/CIFS, NFS, FTP и AFP (Рис. 3).
К основным преимуществам работы с NAS на платформе RAIDIX относятся:
- Низкая стоимость эксплуатации по сравнению с SAN;
- Возможность использования поверх локальной сети;
- Совместное использование файлов – возможность одновременного доступа пользователей к большим объемам данных.
Реализованная в RAIDIX функциональность NAS включает в себя возможности создания и редактирования общих папок с настраиваемыми параметрами (путь, протокол, права доступа, видимость, выбор инициатора).
Особенности реализации NAS в RAIDIX:
- Кластеризация: функциональность сетевого хранилища данных NAS поддерживается и в одноконтроллерном, и в двухконтроллерном режимах (в Активно-Пассивном режиме);
- Возможность настройки параметра WORM (Write Once — Read Many) для общих папок SMB, позволяющего запретить изменение записанного файла после его создания на длительный период времени (по умолчанию 5 лет);
- Возможность выбора файловой системы из веб-интерфейса: ext4 или XFS.
- Поддержка квотирования: возможности ограничить размер пространства на LUN, доступного пользователям общей папки для записи файлов.
Active Directory
При работе с общими папками по протоколу SMB реализована интеграция с Active Directory, что дает возможность подключить к работе с общими папками нескольких пользователей или групп домена и настроить для них разные права доступа.
Система кластеризации
Система кластеризации в серии RAIDIX 4.x позволяет создать отказоустойчивый кластер высокой производительности (настроив двухконтроллерный режим) и расположить массивы на узлах асимметрично, при этом каждый RAID может быть активен только на одном из узлов, через который и будет осуществляться доступ к ресурсам RAID.
Реализованная архитектура решения:
- повышает отказоустойчивость системы за счет функций автоматического и ручного переключения режимов работы узлов (Failover) (Рис. 4);
- способствует увеличению производительности системы благодаря возможности осуществлять Миграцию массивов с одного узла на другой для распределения нагрузки. При этом происходит изменение параметра Предпочтение (Affinity) массива: RAID становится активен на другом узле.
Cluster-in-the-Box
Система кластеризации RAIDIX обеспечивает высокую доступность сервисов и дает возможность системным администраторам:
- устанавливать дополнительное программное обеспечение, поддерживающее кластеризацию (например, OSS Lustre: для взаимодействия с файловой системой Lustre на каждом узле кластера должен быть установлен OSS Lustre, тома которому предоставляются локально);
- активировать и деактивировать сервисы на узлах в соответствии с событиями кластера.
Уровни RAID
ПО RAIDIX позволяет работать с массивами уровней RAID 0, RAID 5, RAID 5i, RAID 6, RAID 6i, RAID 7.3, RAID 7.3i, RAID N+M, RAID N+Mi и RAID 10.
RAID 6
RAID 6 – уровень чередования блоков с двойным распределением четности, основанный на математических алгоритмах собственной разработки. И данные, и информация четности распределяются по всем дискам RAID-группы. Для RAID 6 характерна повышенная производительность, так как каждый диск обрабатывает I/O запросы самостоятельно, позволяя осуществлять доступ к данным в параллельном режиме. RAID 6 может выдержать полный отказ двух дисков в одной группе.
RAID 7.3
RAID 7.3 – уровень чередования блоков с тройным распределением четности, который позволяет восстанавливать данные при отказе до 3-х дисков. В основе RAID 7.3 заложен собственный уникальный алгоритм RAIDIX, позволяющий достигать высоких показателей производительности без дополнительной нагрузки на процессор.
RAID 7.3 является аналогом RAID 6, но имеет более высокую степень надёжности — рассчитываются 3 контрольные суммы по разным алгоритмам, под контрольные суммы выделяется ёмкость 3-х дисков.
Для массивов более 32 ТБ рекомендуется использовать именно RAID 7.3, который существенно снижает вероятность отказа дисков без потерь в производительности и стоимости.
RAID N+M
RAID N+M – уровень чередования блоков с M распределением четности, позволяющий пользователю самостоятельно определить количество дисков, выделяемых под хранение контрольных сумм. Уникальная технология RAIDIX позволяет восстановить данные при отказе до 32 дисков (в зависимости от количества дисков, выделяемых под контрольные суммы).
Быстрая реконструкция массивов RAID 6, RAID 7.3
В ПО RAIDIX реализована возможность осуществлять реконструкцию массивов RAID 6, RAID 7.3, которая выполняется в 6 раз быстрее по сравнению с аналогичными СХД того же класса без снижения производительности.
Реконструкция проходит в фоновом режиме при замене дисков, практически не влияя на работу пользователей.
SSD кэш
В RAIDIX реализован механизм SSD кэширования, что позволяет обеспечить высокие показатели производительности при случайном чтении.
Сквозная запись
В RAIDIX реализован механизм Сквозной записи, таким образом, хост получает подтверждение только тогда, когда данные были записаны в основную память (на диски). Сквозная запись существенно уменьшает риск потери данных и улучшает производительность в двухконтроллерной конфигурации, т.к. не требует синхронизации кэшей.
Алгоритмы кэширования
В RAIDIX реализован новый эффективный алгоритм вытеснения сегментов кэша – Cycle, оптимизированный под тип нагрузки «случайная запись». Ранее, в системе использовался только алгоритм LRU, наиболее подходящий для нагрузки «последовательная запись».
Теперь, пользователь выбирает алгоритм вытеснения самостоятельно, опция реализована в веб-интерфейсе RAIDIX.
Более того, команда RAIDIX R&D активно изучает и в ближайшем времени интегрирует новейшие и самые эффективные технологии кэширования с возможностью настройки их средствами пользовательского интерфейса.
Защита от скрытого повреждения данных
Скрытое Повреждение Данных (Silent Data Corruption), как правило, возникает из-за ошибок в работе драйверов, прошивки диска, памяти, повреждений поверхности диска и аналогичных программных и аппаратных сбоев. Скрытые ошибки не распознаются контроллерами жестких дисков и операционной системой до тех пор, пока не приведут к повреждению структуры данных.
Используемый в RAIDIX уникальный алгоритм позволяет обнаружить и исправить скрытые ошибки во время выполнения обычных дисковых операций путем анализа RAID-метаданных, без потери производительности. Сканирование и исправление скрытых ошибок выполняется RAIDIX в фоновом режиме в периоды низкой степени активности СХД.
Частичная реконструкция
Рост емкости жестких дисков и увеличение времени восстановления данных на диске приводит к тому, что в момент длительной реконструкции вероятность выхода из строя дополнительных дисков также возрастает, как следствие, увеличивается и риск потери данных.
Благодаря собственному алгоритму расчета RAID-массива, в ПО RAIDIX реализован уникальный механизм Частичной реконструкции, позволяющий восстанавливать только отдельную область жесткого диска, содержащую поврежденные данные, уменьшая время восстановления массива. Частичная реконструкция крайне эффективна для массивов больших объемов.
Упреждающая реконструкция
В ПО RAIDIX улучшен механизм Упреждающей реконструкции, позволяющий оптимизировать скорость чтения в процессе восстановления данных на дисках за счет исключения из процесса дисков, скорость чтения с которых ниже, чем у остальных.
Механизм Упреждающей реконструкции может использоваться в следующих режимах:
Постоянно: система «запоминает» диски с наибольшим временем отклика и перестает отправлять им запросы в течение одной секунды, данные восстанавливаются за счёт решения системы уравнений. Затем система выявляет другие диски, и данные вновь восстанавливаются. Таким образом, удается увеличить производительность системы.
По требованию: механизм запускается только в том случае, если в RAID группе появляется один медленный диск. Система перестает отправлять ему запросы, в UI диску присваивается статус Медленный, а администратору предоставляется возможность выполнить замену.
Оптимизация случайного доступа
В RAIDIX реализована возможность создать том с оптимизацией случайного доступа (ОСД), использующей технологию дедупликации данных.
Том с подключенной технологией оптимизации случайного доступа может использоваться для:
- Виртуализации и экономии дискового пространства.
Основным принципом развертывания виртуального рабочего места является создание для каждого пользователя виртуальной среды, которая состоит из операционной системы, файлов данных приложений, и различных настроек, которые обычно включает в себя физическая рабочая среда. Учитывая, что, в среднем, одно рабочее место занимает от 10 до 20 ГБ для каждого пользователя, можно предположить, что объем свободного места в хранилище может резко уменьшиться, после добавления всего нескольких сотен пользователей.
Используя ОСД, а именно сочетание дедупликации и тонкого распределения ресурсов, объем места в хранилище, которое занимают виртуальные рабочие места, можно уменьшить в 8 – 35 раз.
- Работы с базами данных и транзакционными приложениями.
Базы данных и транзакционные приложения представляют собой огромные массивы информации, получаемые из различных источников – от мобильных телефонов и бухгалтерских программ, до различной бытовой техники. ОСД, примененное к таким массивам данных, обеспечивает уменьшение места в хранилище, отведенное под архивы информации, полученной из перечисленных источников.
Используя ОСД, можно добиться увеличения емкости хранилища в 2-5 раз.
- Тонкого распределения ресурсов системы, не влияющего на работу системы, позволяющего устранить превышение доступности ресурсов СХД, осуществляющего более эффективное управление томами.
Оптимизацию случайного доступа можно использовать только на отдельном типе тома и подключается при создании тома, отключить случайную оптимизацию нельзя.
Маскирование
В терминах RAIDIX под маскированием понимается определение правил доступа инициаторов к разделам LUN.
Правила маскирования таргетов позволяют назначить iSCSI/Fibre Channel/InfiniBand таргет на целевом устройстве, через который соответствующий раздел LUN будет доступен инициаторам.
Правила маскирования хостов позволяют определить уровень доступа инициатора к определенному разделу LUN, а также управлять доступом инициаторов одновременно ко всем разделам LUN.
Модуль мониторинга работы системы
В ПО RAIDIX реализована возможность проводить измерение реальных параметров работы СХД при помощи модуля мониторинга Производительность, позволяющего планировать конфигурацию, рассчитывать и повышать производительность как внутри системы хранения, так и на пути передачи данных. Вся информация доступна в графическом виде в веб-интерфейсе системы в режиме реального времени.
Модуль состоит из двух функциональных разделов (вкладок): Скорость передачи данных (Data Rate) и Трассировка (Trace).
Вкладка Скорость передачи данных (Data Rate) предназначена для пользователей СХД и позволяет проводить оценку производительности системы с использованием следующих графиков: Скорость передачи данных, Время отклика и Объем передаваемых данных.
Скорость передачи данных
Графики скорости обмена данными в режиме реального времени (Data Rate) позволяют получить подробную информацию о скорости выполнения операций чтения/записи в различные временные промежутки (последнюю минуту/час/день). Например, график Последняя минута (Last Minute) (Рис. 5) в реальном времени отображает информацию о скорости передачи данных за каждую секунду последней минуты.
По вертикальной оси графика указывается скорость обработки данных (в МБ/сек), по горизонтальной – временной диапазон.
Время отклика
Графики Времени отклика (Response Time) (Рис. 6) позволяют получить информацию о времени отклика системы на команды в различные временные промежутки (последнюю/ текущую минуту, последний/текущий день/час). По вертикальной оси графиков указывается количество выполненных команд, по горизонтальной — время выполнения команды (миллисекунды, микросекунды).
Объем передаваемых данных
Графики Объема передаваемых данных (Transfer Size) (Рис. 7) отображают количество переданной информации (по блокам) за различные промежутки времени (последняя/текущая минута, последний/текущий час/день) и являются Функциональные характеристики RAIDIX полезными инструментами для планирования и мониторинга процедуры резервного копирования.
Настройка отображаемой информации в разделе Data Rate может быть произведена при помощи следующих фильтров:
- RAID – отображает статистику по указанному массиву/ всем созданным массивам;
- LUN – отображает статистику по указанному разделу LUN/ всем созданным LUN;
- Алиас инициатора – отображает статистику по указанному алиасу инициатора/ всем созданным инициаторам;
- Сессия – отображает статистику по указанной сессии/ всем установленным сессиям;
- Таргет – отображает статистику по указанному/всем существующим таргетам.
Трассировка
Раздел Trace ориентирован на инженеров, выполняющих первичный подбор конфигурации СХД и пуско-наладочные работы. Со страницы Trace доступна информация об:
- определенной записи;
- всей истории записей;
- предыдущей или последующей 1000 записей.
Доступна информация следующих графиков раздела Trace, позволяющая инженерам осуществлять настройку параметров производительности системы:
- LBA;
- Transfer Length;
- Cache Access Time;
- Command Execution Time;
- Data Transfer Rate;
- Command Transfer Rate;
- Write Back;
- Read Ahead;
- Non Real Time Command;
- Write Cache Saturation.
Сканирование дисков
В RAIDIX реализована возможность сканировать входящие в массив диски на выполнение операций чтения или записи для оценки производительности массива. Результаты сканирования показывают количество команд на чтение/запись, выполненных системой за указанный интервал времени. Анализ результатов позволяет выявить диски с наименьшей производительностью. Результаты сканирования представляются в таблице (Рис. 8).
Интерпретация результатов сканирования поверхности дисков на чтение и запись
При запуске теста на чтение/запись в соответствующих разделах страницы Сканирование дисков (Drive Scan) появится информация о количестве обработанных запросов в различные интервалы времени. Например, по результатам теста на чтение на Рис. 8 видно, что диск в слоте с номером 7 обладает лучшими характеристиками скорости, так как наибольшее количество запросов было выполнено за самый короткий временной интервал (0-24 миллисекунд). Нулевые значения в остальных столбцах (временные интервалы от 350 и более миллисекунд) для диска свидетельствуют о том, что все запросы во время операции записи выполнялись максимально быстро.
SparePools
Благодаря реализованной в RAIDIX функциональности SparePool, администратору предоставляется возможность создать один или несколько наборов резервных дисков (SparePool), включив в него один или несколько дисков (Рис. 9); один набор резервных дисков может быть назначен одному или нескольким RAID, которые администратор хочет «защитить» механизмом «горячей замены» диска (hotspare).
Настройка источника бесперебойного питания
В ПО RAIDIX реализована возможность отключения системы по уведомлению источника бесперебойного питания (ИБП). Настройка параметров осуществляется через удобный виджет в веб-интерфейсе (Рис. 10).
Универсальный тип инициатора
В RAIDIX системой по умолчанию устанавливается универсальный тип инициатора, что обеспечивает работу любого LUN с инициаторами любой из поддерживаемых операционных систем. Опция упрощает процедуру подключения инициаторов к системе хранения.
LUN неограниченных размеров
Размер создаваемого логического раздела LUN ограничивается только размером имеющегося RAID массива, что является дополнительным преимуществом при работе с большими объемами аудио/видео данных.
Список систем RAIDIX
В RAIDIX реализована возможность обнаружения всех систем RAIDIX, находящихся в одной локальной сети. Пользователю доступны имена узлов, их конфигурация, информация о неполадках и операциях, связанных с переключением режимов работы узлов (Рис. 11).
Обновленный интерфейс управления
Начиная с версии RAIDIX 4.3.2, интерфейс приобрел новый дизайн, стал более понятным и пополнился новыми возможностями (Рис. 12).
Веб-интерфейс ПО RAIDIX характеризуется следующими особенностями:
- 4 поддерживаемых языка: русский, английский, китайский, корейский;
- Мастер настройки (визард), позволяющий быстро провести настройку системы на таких операциях как настройка двухконтроллерного режима, создание RAID массива, создание раздела LUN, настройка общей папки и т.д.;
- HTTPS шифрование;
- Защита доступа (авторизация пользователей);
- Независимость от используемой операционной системы.
Упрощённое обновление ПО RAIDIX
RAIDIX предлагает простейший механизм обновления системы из веб-интерфейса (Рис. 13).
Характеристики продукта
Поддерживаемые диски |
|
Операционные характеристики |
Поддерживаемые уровни RAID | Generic RAID: 0, 5, 6, 7.3, 10, N+M; ERA RAID: 0, 1, 5, 6, 7.3, 10, 50, 60, 70. |
Максимальное количество дисков в RAID | 64 |
Максимальное количество дисков в системе | 600 |
Максимальный размер LUN | Ограничен суммарным свободным пространством RAID, созданных в системе |
Максимальное количество LUN | 447 |
Поддержка гетерогенных инфраструктур | Доступ к LUN может осуществляться через все доступные интерфейсы |
iSCSI | MPIO, ACLs, CHAP-авторизация, маскирование LUN, СRC Digest |
Поддерживаемое количество сессий | 1024 |
Максимальное количество хостов при прямом подключении (в зависимости от аппаратной платформы) | 32 |
Поддерживаемые операционные системы |
|
Поддерживаемые платформы виртуализации |
|
Поддерживаемые высокоскоростные каналы связи |
|
MPIO |
|
Поддерживаемые протоколы NAS | SMB/CIFS, FTP, AFP, NFS, NFS-over-RDMA |
Поддерживаемые приложения | StorNext, MetaSAN, Lustre, FhGFS, GPFS, CXFS, Hyper FS. |
Протестировано с | AJA, Matrox, Final Cut Pro, Blue Fish, BlackMagic, Iridas, VeeamBackUP, NetBackup, FalconStore, Adobe Premier. |
RaidixMedia
+7 (495) 974-99-64
info@raidixmedia.ru
г. Москва, Нижний Сусальный переулок, 5с12, оф. 303