Слайд 2Классификация СХД
По типам подключения
DAS, NAS, SAN
По масштабу применения:
Для небольших офисов
и домашнего применения
Для центров обработки данных
По внутренней организации:
Отказоустойчивые и неотказоустойчивые
Традиционные
и объектно-ориентированные
По техническим возможностям:
Начального уровня (entry-level)
Среднего уровня (mid-range)
Старшего уровня (hi-end)
Слайд 4Назначение
Резервное копирование
Консолидация хранения
Улучшение скорости доступа к данным
Создание резервных площадок
Спектр требований:
Производительность
Надежность,
ремонтопригодность, доступность
Эффективность использования дискового пространства
Защита от НСД
Простота администрирования
Поддержка программных интерфейсов
для мониторинга и управления
Поддержка расширенных функциональных возможностей
Слайд 5Объектно-ориентированное хранение
Слайд 6Масштабирование СХД
Scale-Up
Более мощные системы (IOPS, Latency, Storage space)
Big-data не всегда
требует IOPS
Scale-out
Масштабирование однотипными узлами
Вычислительными
Узлами хранения
Комбинированными узлами
Не всегда подходят для задач
традиционных СУБД
Слайд 7Структура типовой СХД
СХД
Контроллеры портов внешних подключений (Front-end)
Контроллер СХД
Контроллеры портов внутренних
подключений (Back-end)
Cache
Жесткие диски
Слайд 8Улучшения внутри СХД
СХД
Контроллеры портов внешних подключений (Front-end)
Контроллер СХД
Контроллеры портов внутренних
подключений (Back-end)
Cache
Жесткие диски
Переупорядочивание запросов
Слайд 9Улучшения внутри СХД
СХД
Контроллеры портов внешних подключений (Front-end)
Контроллер СХД
Контроллеры портов внутренних
подключений (Back-end)
Cache
Жесткие диски
кэширование чтения
Read-ahead prefetch
кэширование записи
Слайд 10Улучшения внутри СХД
Контроллер СХД
Cache
Режимы Функционирования кэша
Write-through
Write-around
Write-back
Cache
1
2
3
4
Слайд 11Улучшения внутри СХД
СХД
Контроллеры портов внешних подключений (Front-end)
Контроллер СХД
Контроллеры портов внутренних
подключений (Back-end)
Cache
Жесткие диски
кэширование чтения
Read-ahead prefetch
кэширование записи
SSD Cache
Слайд 12Улучшения внутри СХД
СХД
Контроллеры портов внешних подключений (Front-end)
Контроллер СХД
Контроллеры портов внутренних
подключений (Back-end)
Cache
Жесткие диски
Контроль ошибок
Двойные порты SAS
Слайд 13Улучшения внутри СХД
СХД
Контроллеры портов внешних подключений (Front-end)
Контроллер СХД
Контроллеры портов внутренних
подключений (Back-end)
Cache
Жесткие диски
Контроллеры портов внешних подключений (Front-end)
Контроллер СХД
Cache
Слайд 14СХД
Контроллеры портов внутренних подключений (Back-end)
Улучшения внутри СХД
Жесткие диски
Системы среднего уровня
ХОСТ
Контроллеры
портов внешних подключений (Front-end)
Контроллер СХД
Cache
Контроллеры портов внешних подключений (Front-end)
Контроллер СХД
Cache
Слайд 15Улучшения внутри СХД
СХД
Системы старшего уровня
ХОСТ
Контроллеры портов внешних подключений (Front-end)
Контроллер СХД
Cache
Контроллеры
портов внешних подключений (Front-end)
Контроллер СХД
Cache
Слайд 16Улучшения внутри СХД
«Тонкие» LUN
Зарезервированное, но не используемое пространство
«Толстые» LUN
На СХД
занято пространство в 21 TБайт
2TB
2TB
2TB
6TB
5TB
4TB
Доступное, но не зарезервированное пространство
Слайд 17Эволюция RAID
Требование увеличения пропускной способности дискового массива ведет к необходимости
увеличивать количество дисков в массиве
Рост объема дисков ведет к риску
очень длительного восстановления массива в случае отказа одного диска
Отказ за это время еще одного диска в RAID 5 ведет к потере данных
Слайд 19RAID 2.0+
СХД
Disk Domain
Дисковый домен
SSD
SAS HDD
NL-SAS HDD
Chunks, 64 MB
Слайд 20RAID 2.0+
Disk Domain
…
Для пула хранения можно выбрать, какой тип дисков
будет задействован
и какой тип RAID использовать для каждого типа
дисков
Слайд 21RAID 2.0+
…
Extent 512k…64 MB
«Толстые» LUN
«Тонкие» LUN
Extent
Grain 64k
Слайд 22RAID 2.0+
СХД
Disk Domain
Дисковый домен
CKs
CKGs
Storage pool
LUN
LUN
Слайд 23RAID 2.0+
Запись на один диск – ограничение производительности
Минимизация объема восстановления
Восстановление
многие-ко-многим
Слайд 24RAID 2.0+
Наиболее распространенный подход
Технология Huawei RAID 2.0+
Нужно выбрать деление дисков
на группы до начала конфигурирования LUN
Создание LUN не требует детального
планирования по распределению дисков
Слайд 25RAID 2.0+ SmartMotion
Данные распределяются по дискам равномерно
Расширение пространства хранения создает
дисбаланс
SmartMotion
Нагрузка на диски выравнивается
Слайд 27Иерархическое хранение данных с динамическим перераспределением
С увеличением скорости доступа к
данным стоимость хранения 1 Гбайта данных на дисках растет
Не все
данные имеют одинаковую востребованность
Функциональность динамического перераспределения данных позволяет оптимизировать емкость более быстрых (и, соответственно, более дорогих) дисков
Слайд 28Иерархическое хранение данных с динамическим перераспределением
Данные
Tiering
Перераспределение данных между уровнями на
основе собираемой статистики
Возможны исключения из временного периода статистики часов простоя
Выполнение
перераспределения (миграции) для ускорения доступа к наиболее часто используемым данным и перемещения редко используемых данных на уровни с меньшей стоимостью хранения
Миграция может осуществляться по расписанию или инициироваться вручную
Слайд 29Tiering на примере СХД Huawei
Статистика основана на учете следующих факторов:
количества
обращений
типа обращения (чтение или запись)
объема передаваемых данных
является ввод-вывод последовательным или
случайным
Редко востребованные данные перемещаются на уровень с минимальной стоимостью хранения
На SSD-уровень перемещаются данные с малым размером обращения ( до 64 кБайт)
Обращения с последовательным чтением на SSD-уровень не перемещаются
Единица статистического учета и единица перемещения блоков - extent
Слайд 30Tiering на примере СХД Huawei
Использование динамичес- кого перераспределения позволяет достичь
большей скорости ввода-вывода с уменьшением задержек
Тот же уровень скорости ввода-вывода
может быть достигнут на меньшем количестве дисков
Сбор информации
Анализ и перераспределение
Слайд 31Мгновенные снимки данных (Snapshot)
«Старые» данные в виде блока «D» копируются
в дополнительное пространство и производится модификация указателей в таблице соответствия
Copy-on-Write
COW
Метод
«Копирование при записи»
Слайд 32Мгновенные снимки данных (Snapshot)
Удаленные данные
Redirect-on-Write
ROW
Метод «Перенаправление при записи»
E1
C
B
A
D
Исходный LUN
Таблица соответствия
D1
E2
B
Измененные
данные
Новые данные
«Новые» данные (блоки E1,E2) записываются в дополнительное пространство.
Удаление данных
(блок B) не освобождает дисковое пространство
Слайд 33Одновременность создания копий данных на разных LUN
Существуют приложения, в которых
для оптимизации их работы необходимо наличие не менее 2 разных
логических дисков, которые, как правило, располагаются на разных LUN
СУБД (журналы + таблицы БД)
Системы электронной почты
Для получения корректной копии данных для приложения необходимо обеспечить одномоментность получения копий разных LUN
Эта функциональность должна быть реализована в СХД, иначе гарантированно правильные копии данных приложения получить значительно сложнее или невозможно
Такие СХД реализуют наличие Consistency Groups
Слайд 34Дедупликация и сжатие данных
Данные
1. Блоки данных одинакового размера
2. Дедупликация:
2.1 Вычисление
хэш-функции
2.2 Поиск полученного значения в таблице хэшей
2.3 В случае успешного
поиска – сравнение блока с уже известным блоком
3. Дедуплицированные данные сжимаются.
Дедупликация и сжатие может выполняться
До записи на диски (inline)
Или
После записи на диски
(post)
В случае одновременного использования функций дедупликации и сжатия
сначала выполняется дедупликация,
затем выполняется
сжатие.
Слайд 35Аппаратные ускорители дедупликации и сжатия данных
Вычисление хэш-функций и сжатие данных
являются интенсивными вычислительными операциями. Аппаратные ускорители улучшают производительность систем хранения,
снимая вычислительную нагрузку с ЦПУ контроллеров системы хранения.
Функциональность ускорителя в СХД Huawei:
Вычисление значения хэш-функции
Выполнение алгоритма gzip
Пропускная способность при дедупликации16 Гбит/с
Пропускная способность при сжатии данных 8 Гбит/с
Пропускная способность при декомпрессии данных 16 Гбит/с
Слайд 36Применение дедупликации и сжатия данных
Слайд 37Ограничения по применимости дедупликации и сжатия данных
Дедупликация неэффективна для таких
специфических случаев, как зашифрованные данные или сжатые данные (например файлы
изображений)
Сжатие не дает заметного эффекта для уже сжатых данных или зашифрованных данных
Если в результате сжатия достигнутый уровень сжатия недостаточен, на диске лучше записывать несжатые данные
Слайд 38Клонирование данных
Получение полной копии данных
Может использоваться, например, для:
Создания резервных копий
Получения
актуальных данных для проведения анализа и тестов
Клонирование не дает моментальной
копии.
Создание клона
(первичная синхронизация)
требует времени.
После достижения синхронного состояния она поддерживается через двойную запись
Слайд 39Клонирование данных
Таблица изменившихся блоков
Повторная синхронизация часто занимает меньше времени, чем
создание клона
Слайд 40Клонирование данных
Возможность поддержания в синхронном состоянии одновременно нескольких клонов позволяет
использовать имеющиеся дубликаты данных независимо в различных целях, например:
Резервное копирование
Построение
отчетности
Анализ данных в режиме он-лайн
Вторичный LUN 2 (клон)
Вторичный LUN № (клон)
Слайд 41Клонирование данных
Операции чтения-записи переключаются на клон
Можно осуществить изменение направления синхронизации
Возможные
цели использования:
восстановление из резервной копии
новая версия ПО
Слайд 42Копирование данных
Операции записи необходимо остановить
Копирование, в отличие от клонирования, не
поддерживает идентичность данных после создания копии
Возможные цели использования:
Резервная копия
Копия данных
для анализа, тестирования,…
Слайд 43Виртуализация систем хранения
Основной LUN
Существующая система хранения
Хост
Основной LUN
Существующая система
хранения
Хост
eDevLUN
Новая система хранения
Новый LUN
Слайд 44Виртуализация СХД
Метаданные
Исходный LUN
eDevLUN
Сохранение уже произведенных инвестиций в оборудование СХД
Централизация управления
с сохранением доступа к данным на уже имеющихся СХД
Возможность миграции
данных между СХД без остановки операция ввода-вывода для хоста
Использование мгновенных снимков для создания резервных копий данных с имеющихся СХД
Возможность использования расширенного функционала новейших СХД для LUN старых СХД
Преимущества виртуализации
Слайд 46Синхронная репликация данных
Синхронная репликация
Cache
Cache
LUN A
LUN B
СХД1 ЦОД1
СХД2 ЦОД2
1
2
3
4
4. Хост получает
подтверждение успеха записи от 1й системы
3. 2я система подтверждает успех
записи
Пропускная способность канала должна соответствовать максимальной пиковой нагрузке по операциям записи
Слайд 47Асинхронная репликация данных
СХД1 ставит временнУю метку на блок данных
Все блоки
с соответствующими временнЫми метками пересылаются на СХД2
Пропускная способность канала должна
быть адекватна максимальной пиковой нагрузке по операциям записи за временной промежуток окна репликации
LUN A
LUN B
2
5
5
3
Cache
T1’
T0’
Cache
T1
T0
1
1
4
Асинхронная репликация
СХД1 ЦОД1
СХД2 ЦОД2
Слайд 48Асинхронная репликация файловых систем
СХД1 ЦОД1
СХД2 ЦОД2
Файловая система
1
2
Host
3
4
Мгновенный снимок
Файловая система
Мгновенный снимок
5
Инкрементальная реплика
Для обеспечения корректности данных используются мгновенные снимки
Мгновенные снимки делаются
по технологии перенаправление-при-записи (Redirect-on-Write, ROW)
Слайд 49В СХД Huawei при отключении второй СХД или возрастании задержки
реализовано автоматическое переключение с синхронной репликации на асинхронную
Репликация данных
*
- определяется задержкой в канале
Слайд 50Возможности репликации LUN в СХД Huawei OceanStor v3
Репликация с 32
СХД на одну вторичную СХД (32:1)
Репликация LUN с одной на
32 вторичных СХД
До 2048 репликационных пар LUN
Восстановление сбойных секторов на первичном LUN с синхронной реплики
Централизация защиты данных
Consistency Group
До 512 Consistency Group
До 512 репликационных пар для каждой из групп
Скорость асинхронной репликации можно изменять
4 уровня скорости: Low (< 5MB/s), Middle (10MB/s – 20MB/s), High (50MB/s – 70MB/s), Ultra High (> 100MB/s)
Регулируемая скорость
Возможна репликация между системами различной мощности ( например, между 5300 v3 и 6800 v3 или 18000 v3)
Экономичное решение по защите данных в резервном ЦОД с минимизацией времени восстановления и объема потери данных
Системы разной мощности
Слайд 52Зеркалирование LUN
С использованием виртуализации СХД становится возможным создавать зеркальные копии
на различных системах хранения (в том числе, системах разных производителей)
Обеспечивается
возможность продолжения операций ввода-вывода при сбое в одной из систем
Хранение на разных СХД
После создания «зеркала» есть 2 независимые копии данных
Отказ одного из LUN в зеркале не приводит к отказу в осуществлении ввода-вывода для хоста
LUN могут располагаться, например, на разных дисковых полках
Надежность хранения
Чередование чтения (Round-robin) позволяет улучшить производительность по чтению до 80%.
Возможно указание приоритетного зеркала для чтения данных.
Непрерывность операций ввода-вывода
Зеркальные копии могут быть созданы без остановки операций хоста. Процесс создания зеркала полностью прозрачен для хоста
Улучшение производительности
Слайд 53Перенос данных внутри СХД
Disk Domain 1
Перенос в пул хранения с
другой организацией RAID для подстройки производительности
Перенос в пул хранения, основанный
на дисках с иной производительностью ввода-вывода
Перенос LUN производится без остановки операций ввода-вывода для хоста
Перемещение LUN
Disk Domain 2
Слайд 54Перенос данных между СХД
Перенос между системами хранения может быть использован
для
Повышения производительности ввода-вывода при переносе со старой или менее мощной
системы
Оптимизации использования пространства хранения за счет переноса менее требовательных к вводу-выводу задач на СХД с меньшей производительностью или стоимостью хранения
Перемещение LUN
Для переноса между системами хранения необходимо предварительно выполнить настройку виртуализации СХД
Слайд 55Управление качеством обслуживания в СХД
Использование дисков SSD для увеличения объема
кэша чтения на контроллере
Имеется возможность создания разделов для разделения ресурса
кэша контроллера между LUN
Совместное применение с виртуализацией позволяет ускорить ввод-вывод для унаследованных СХД
SmartCache
Приоритезация операций ввода-вывода
Имеется возможность задания расписания для применения приоретизации по времени суток
SmartQoS
Разделение объема памяти кэша контроллера для обеспечения выделенного фиксированного объема памяти для приложений
Выделенный ресурс кэша используется для одного или нескольких LUN
Возможно использование вместе с виртуализацией
SmartPartition
Слайд 56Управление качеством обслуживания в СХД
Кэш контроллера
SmartCache
HDD
1
9
2
3
4
7
5
6
8
P1
P2
Слайд 57Система очередей
Управление качеством обслуживания в СХД
Система квитирования
Q1
Q2
Q3
3 очереди
Возможно создание политик
с расписанием работы по времени дня
IOPS (< или >)
Latency (
(< или >)
Применение набора технологий управления качеством обслуживания дает достаточную гибкость конфигурирования
SmartQos
Слайд 58Управление качеством обслуживания в СХД
SmartPartition
LUN
P1
P2
Кэш контроллера
Default
Слайд 59Мониторинг и управление СХД Huawei
Подключение через интерфейс RS-232
Управление через сеть
через командную строку (SSH)
Управление через веб-интерфейс
Управление через программный интерфейс
SMI-S
Управление СХД
Ведение журнала событий с возможностью выгрузки на FTP-сервер
Мониторинг в реальном времени через веб-интерфейс
Протокол SNMP
Использование программного обеспечения для централизованного управления инфраструктурой (Huawei eSight)
Мониторинг СХД
Слайд 60Учебные эмуляторы СХД Huawei
Эмулятор веб-интерфейса управления СХД доступен для загрузки
на веб-сайте технической поддержки Huawei
Слайд 61Основной экран интерфейса управления
Общие сведения
Журнал событий
Использование пространства хранения
График текущей нагрузки
Переключение
между экранами управления
Слайд 62Детальная информация об оборудовании
System
Слайд 63Детальная информация об оборудовании
Информация о диске
Сводная информация о дисках
Слайд 64Детальная информация об оборудовании
Информация о порте ввода-вывода на контроллере
Информация о
портах на плате ввода-вывода
Слайд 65Детальная информация об оборудовании
Информация о порте управления
Настройка IP адреса сетевого
интерфейса управления
Информация о блоке питания
Слайд 66Управление хранением данных
Диаграмма операций управления
Основные операции блочного хранения
Основные операции файлового
хранения
Общее конфигурирование и настройка
1
1
Слайд 67Настройка производительности
Общее конфигурирование и настройка
Слайд 69Типовые конфигурации для распространенных приложений
5
Слайд 73Подключение удаленного устройства
Слайд 75Зеркалирование
Зеркалирование может осуществляться как внутри одной системы, так и между
системами
(с использованием виртуализации)
Слайд 76Клонирование
Клонирование может осуществляться только внутри одной системы
Слайд 98Управление файловым доступом
Создать дисковый домен
Создать пул хранения
Создать файловую систему
Создать логический
порт подключения
Создать ресурс общего доступа
Слайд 99Управление блочным доступом
Создать дисковый домен
Создать пул хранения
Создать LUN
Указать (создать) логическую
группу для созданного LUN
Создать запись о хосте
Указать (создать) логическую группу
для созданного хоста
Установить соответствие между логической группой LUN и логической группой хостов
2
3
4
1
5
6
7
Слайд 104Управление пространством хранения
Возможно определить политику в момент создания пространства хранения
Политика
может быть определена позднее и/или изменена в будущем при возникновении
необходимости внесения изменений
Управление политикой SmartTier
Слайд 105Управление пространством хранения
Позволяют настроить отличные от значений «по умолчанию» характеристики
LUN
Индивидуальные характеристики могут быть определены позднее и/или изменены в будущем
Дополнительные
настройки характеристик
Слайд 106Управление пространством хранения
Политика упреждающего чтения
Слайд 110Управление пространством хранения
Задание расписания создания мгновенных снимков
Задание дополнительных характеристик
Дополнительные настройки
Слайд 113Дополнительные настройки
Write once Read many
Защита файлов от изменения после создания
Технология
может быть использована в случае наличия требования законодательства или внутренних
правил компании
WORM
Слайд 114Управление учетными записями пользователей файловых ресурсов
Слайд 115Виртуальная частная СХД
Разделение на частные СХД
Использование политик QoS для обеспечения
уровней SLA
Позволяет достичь экономии за счет совместного использования ресурса при
наличии гарантий производительности
Smart Multi-Tenant
