План на курса

Въведение в оптимизирането на големи модели

  • Преглед на големи моделни архитектури
  • Предизвикателства при фината настройка на големи модели
  • Значение на рентабилната оптимизация

Разпределени техники за обучение

  • Въведение в паралелизма на данни и модели
  • Рамки за разпределено обучение: PyTorch и TensorFlow
  • Мащабиране в множество GPU и възли

Квантуване и подрязване на модела

  • Разбиране на техниките за квантуване
  • Прилагане на подрязване за намаляване на размера на модела
  • Компромиси между точност и ефективност

Хардуерна оптимизация

  • Избор на правилния хардуер за задачи за фина настройка
  • Оптимизиране GPU и използване на TPU
  • Използване на специализирани ускорители за големи модели

Ефективен Data Management

  • Стратегии за управление на големи набори от данни
  • Предварителна обработка и групиране за производителност
  • Техники за увеличаване на данните

Внедряване на оптимизирани модели

  • Техники за внедряване на фино настроени модели
  • Мониторинг и поддържане на производителността на модела
  • Примери от реалния свят за оптимизирано внедряване на модел

Разширени техники за оптимизация

  • Изследване на адаптация от нисък ранг (LoRA)
  • Използване на адаптери за модулна фина настройка
  • Бъдещи тенденции в оптимизацията на модела

Обобщение и следващи стъпки

Изисквания

  • Опит с рамки за дълбоко обучение като PyTorch или TensorFlow
  • Запознаване с големи езикови модели и техните приложения
  • Разбиране на концепциите за разпределени изчисления

Публика

  • Инженери за машинно обучение
  • Облачни AI специалисти
 21 Часа

Брой участници


Цена за участник

Предстоящи Курсове

Свързани Kатегории