Свържете се с нас

Съдържание и теми, включени в курса

Въведение в параметрично ефективното фино настройване (PEFT)

  • Мотивация и ограничения на пълното фино настройване
  • Преглед на PEFT: цели и ползи
  • Приложения и случаи на употреба в индустрията

LoRA (Нискорангова адаптация)

  • Концепция и интуиция зад LoRA
  • Внедряване на LoRA с помощта на Hugging Face и PyTorch
  • Практическо упражнение: Фино настройване на модел с LoRA

Adapter Tuning (Адаптерно настройване)

  • Как работят адаптерните модули
  • Интеграция с трансформър базирани модели
  • Практическо упражнение: Прилагане на адаптерно настройване към трансформър модел

Prefix Tuning (Префиксно настройване)

  • Използване на меки промптове за фино настройване
  • Силни страни и ограничения в сравнение с LoRA и адаптерите
  • Практическо упражнение: Префиксно настройване върху задача с LLM

Оценяване и сравняване на PEFT методите

  • Метрики за оценка на производителността и ефективността
  • Компромиси в скоростта на обучение, използването на памет и точността
  • Бенчмарк експерименти и интерпретация на резултатите

Внедряване на фино настроени модели

  • Запазване и зареждане на фино настроени модели
  • Съображения за внедряване на PEFT-базирани модели
  • Интегриране в приложения и работни потоци

Най-добри практики и разширения

  • Комбиниране на PEFT с квантизация и дестилация
  • Употреба в условия с ограничени ресурси и многоезични настройки
  • Бъдещи насоки и активни изследователски области

Обобщение и следващи стъпки

Изисквания

  • Разбиране на основите на машинното обучение
  • Опит в работата с големи езикови модели (LLM)
  • Познания по Python и PyTorch

Аудитория

  • Специалисти по данни
  • AI инженери
 14 Часа

Брой участници


Цена за участник

Предстоящи Курсове

Свързани Kатегории