Курс за обучение по Lustre файлова система за администратори

I. Преглед на технологията Lustre

1. Преглед на технологията Lustre

• Въведение в паралелните файлови системи и изискванията за съхранение при HPC
• Ролята на Lustre във високопроизводителните изчислителни среди
• Еволюция и архитектура на Lustre
• Сравнение с традиционните разпределени и мрежови файлови системи
• Често срещани сценарии за внедряване на Lustre

2. Характеристики и възможности на Lustre

• Високопропусклив паралелен вход/изход
• Мащабируемост за широкомащабни изчислителни среди
• Концепции за разделяне на метаданни и данни
• Характеристики на производителността и ограничения
• Интеграция с HPC клъстери и научни натоварвания

II. Архитектура на Lustre и основни компоненти

1. Системна архитектура на Lustre

• Разбиране на клиент-сървър архитектурата на Lustre
• Преглед на компонентите на Lustre:
  • Сървър за метаданни (MDS)
  • Цел за метаданни (MDT)
  • Сървър за обектно съхранение (OSS)
  • Цел за обектно съхранение (OST)
  • Lustre клиенти

2. Концепции за управление на данните в Lustre

• Принципи на файловото разпределение и обектното съхранение
• Операции с метаданни
• Стратегии за разполагане на данните
• Логическа организация на съхранението

III. Планиране на хардуера и подготовка на средата

1. Проектиране на инфраструктура за съхранение с Lustre

• Избор на хардуерни компоненти
• Изисквания към сървърите за съхранение
• Дискови технологии и съображения за RAID
• Планиране на мрежовата инфраструктура
• Планиране на капацитета и производителността

2. Подготовка на операционната среда

• Поддържани операционни системи
• Изисквания към ядрото и драйверите
• Изисквания за мрежова конфигурация
• Подготовка на сървъри и клиенти

IV. Инсталиране и конфигуриране на Lustre

1. Процес на инсталиране на Lustre

• Инсталиране на софтуерните пакети на Lustre
• Конфигуриране на хранилища и зависимости
• Подготовка на сървърни и клиентски възли
• Инициализиране на услугите на Lustre

2. Създаване на файлова система Lustre

• Форматиране на целите за метаданни и обектно съхранение
• Конфигуриране на параметрите на файловата система
• Монтиране на Lustre клиенти
• Проверка на инсталацията

V. Управление на мрежата на Lustre

1. Мрежова архитектура на Lustre

• Преглед на LNet (Lustre мрежова комуникация)
• Поддържани мрежови технологии
• Конфигуриране на мрежови интерфейси
• Управление на множество мрежови пътища

2. Оптимизиране на мрежовата производителност

• Стратегии за мрежова настройка
• Съображения за честотна лента и латентност
• Отстраняване на проблеми с мрежовата комуникация

VI. Файлово оформление, управление на съхранението и администриране на пространството

1. Управление на файловите оформления

• Разбиране на концепциите за разпределение на файлове
• Конфигуриране на брой, размер и разположение на ивиците
• Оптимизиране на оформленията за работните натоварвания

2. Управление на капацитета за съхранение

• Наблюдение на използването на OST
• Балансиране на използването на съхранението
• Управление на пулове за съхранение
• Разширяване на капацитета на Lustre

VII. Управление на входно-изходната производителност на Lustre

1. Разбиране на входно-изходните операции на Lustre

• Концепции за паралелен вход/изход
• Производителност на метаданни спрямо данни
• Кеширане от страна на клиента
• Входно-изходни модели и характеристики на работните натоварвания

2. Техники за оптимизиране на производителността

• Настройка на конфигурациите на ивиците
• Оптимизиране на работните натоварвания на приложенията
• Подобряване на производителността на метаданните
• Намаляване на тесните места при вход/изход

VIII. Сигурност на Lustre и управление на достъпа

1. Осигуряване на сигурността на Lustre средите

• Управление на потребители и групи
• Концепции за удостоверяване
• Съображения за мрежова сигурност
• Защита на достъпа до данни

2. Управление на контрола на достъпа

• Файлови разрешения
• Конфигуриране на ACL
• Най-добри практики за сигурност

IX. Управление на квоти и контрол на ресурсите

1. Управление на квотите в Lustre

• Разбиране на потребителските и груповите квоти
• Конфигуриране на настройките за квоти
• Наблюдение на използването на квотите
• Справяне с нарушения на квотите

2. Управление на капацитета

• Управление на потреблението на съхранение
• Планиране на разпределението на ресурсите

X. Висока наличност и надеждност

1. Проектиране на високоналични Lustre системи

• Концепции за висока наличност
• Архитектура за превключване при отказ
• Излишество на сървъра за метаданни
• Механизми за възстановяване на услугите

2. Наблюдение на здравето на системата

• Откриване на повреди
• Управление на влошени състояния
• Процедури за възстановяване

XI. Наблюдение, бенчмаркинг и анализ на производителността

1. Инструменти за наблюдение на Lustre

• Наблюдение на производителността на системата
• Проверка на здравето на сървъра и клиента
• Събиране на оперативна статистика
• Идентифициране на тесните места

2. Бенчмаркинг на производителността на Lustre

• Принципи на тестването на производителността
• Инструменти и методологии за бенчмаркинг
• Измерване на пропускателна способност и латентност
• Интерпретиране на резултатите от бенчмарковете

XII. Резервно копиране, възстановяване и защита на данните

1. Стратегии за резервно копиране за Lustre

• Съображения при планиране на резервното копиране
• Защита на метаданните и потребителските данни
• Концепции за снимки и репликация

2. Операции по възстановяване

• Възстановяване на услугите на Lustre
• Възстановяване след повреди
• Проверка на целостта на данните

XIII. Надграждане и поддръжка на Lustre

1. Планиране на надграждането на Lustre

• Подготовка на среди за надграждане
• Съображения за съвместимост
• Процедури за надграждане

2. Поддръжка на системата

• Прилагане на пачове
• Управление на промени в конфигурацията
• Минимизиране на времето на престой

XIV. Отстраняване на проблеми с Lustre в продукционни среди

1. Методология за отстраняване на проблеми

• Разбиране на логовете на Lustre
• Идентифициране на често срещани модели на повреда
• Диагностични команди и инструменти

2. Често срещани проблеми с Lustre

• Повреди в мрежовата комуникация
• Проблеми с производителността на метаданните
• Повреди на OST
• Проблеми с монтирането на клиенти
• Влошаване на производителността

XV. Финален уъркшоп и обобщение на курса

1. Упражнение за цялостно администриране на Lustre

• Преглед на архитектурния дизайн
• Внедряване и конфигуриране на Lustre
• Наблюдение на производителността на системата
• Отстраняване на оперативни проблеми

2. Обобщение и най-добри практики

• Ключови концепции за администриране
• Препоръки за продукционно внедряване
• Контролен списък за оптимизиране на производителността
• Въпроси и отговори и преглед на знанията