Свържете се с нас

Съдържание и теми, включени в курса

Въведение в параметър-ефективното дообучение (PEFT)

  • Мотивация и ограничения на пълното дообучение
  • Обзор на PEFT: цели и предимства
  • Приложения и случаи на използване в индустрията

LoRA (Нискоранга адаптация)

  • Концепция и интуиция зад LoRA
  • Реализиране на LoRA, използвайки Hugging Face и PyTorch
  • Практическа част: Дообучаване на модел с LoRA

Adapter Tuning

  • Как работят модулите за адаптер
  • Интеграция с модели, базирани на трансформери
  • Практическа част: Прилагане на Adapter Tuning върху трансформерен модел

Prefix Tuning

  • Използване на меки подказки за дообучение
  • Силни и слаби страни в сравнение с LoRA и адаптери
  • Практическа част: Prefix Tuning върху задача с голям езиков модел

Оценяване и сравняване на PEFT методи

  • Метрики за оценяване на производителност и ефективност
  • Компромиси в скоростта на обучение, използването на паметта и точността
  • Експерименти с бенчмарки и интерпретация на резултатите

Разгръщане на дообучените модели

  • Запазване и зареждане на дообучените модели
  • Разглеждания при разгръщането на модели, базирани на PEFT
  • Интегриране в приложения и пайплайни

Най-добри практики и разширения

  • Комбиниране на PEFT с квантизация и дистилация
  • Използване в среди с ниски ресурси и многоезични среди
  • Бъдещи направления и активни изследователски области

Обобщение и следващи стъпки

Изисквания

  • Разбиране на основите на машинното обучение
  • Опит в работата с големи езикови модели (LLM)
  • Запознаване с Python и PyTorch

Публика

  • Данни учени
  • Инженери на AI
 14 Часа

Брой участници


Цена за участник

Предстоящи Курсове

Свързани Kатегории