План на курса

Введение в параметърно-ефективното микронастрояване Fine-Tuning (PEFT)

  • Мотивация и ограничения на пълно микронастрояване
  • Обзор на PEFT: цели и ползи
  • Приложения и случаи на употреба в индустрията

LoRA (Адаптация с низък ранг)

  • Концепция и интуиция за LoRA
  • Имплементация на LoRA с помощта на Hugging Face и PyTorch
  • Практическо: Микронастрояване на модел с LoRA

Адаптерно микронастрояване

  • Как работят адаптерни модули
  • Интеграция с базирани на трансформери модели
  • Практическо: Прилагане на адаптерно микронастрояване към трансформерен модел

Предикс микронастрояване

  • Използване на меки промпти за микронастрояване
  • Силни и слаби страни в сравнение с LoRA и адаптери
  • Практическо: Предикс микронастрояване върху задача на LLM

Оценяване и сравняване на методи за PEFT

  • Метрики за оценяване на производителност и ефективност
  • Търговии в скоростта на обучение, използване на памет и точност
  • Бенчмарк експерименти и интерпретация на резултатите

Развертане на микронастроени модели

  • Запазване и зареждане на микронастроени модели
  • Разглеждане на аспекти за развертане на базирани на PEFT модели
  • Интеграция в приложения и пиплайни

Най-добри практики и разширения

  • Комбиниране на PEFT с квантуване и дистилция
  • Използване в среди с ограничени ресурси и многоезични условия
  • Бъдещи направления и активни области на изследване

Резюме и следващи стъпки

Изисквания

  • Разбиране в основите на машинен обучение
  • Опит в работа с големи езикови модели (LLMs)
  • Знание на Python и PyTorch

Целева аудитория

  • Научни работници по данни
  • Инженери по изкуствен интелигент
 14 часа

Брой участници


Цена за участник

Предстоящи Курсове

Свързани Kатегории