План на курса

Введение в параметърно-ефективното микронастрояване Fine-Tuning (PEFT)

  • Мотивация и ограничения на пълно микронастрояване
  • Обзор на PEFT: цели и ползи
  • Приложения и случаи на употреба в индустрията

LoRA (Адаптация с низък ранг)

  • Концепция и интуиция за LoRA
  • Имплементация на LoRA с помощта на Hugging Face и PyTorch
  • Практическо: Микронастрояване на модел с LoRA

Адаптерно микронастрояване

  • Как работят адаптерни модули
  • Интеграция с базирани на трансформери модели
  • Практическо: Прилагане на адаптерно микронастрояване към трансформерен модел

Предикс микронастрояване

  • Използване на меки промпти за микронастрояване
  • Силни и слаби страни в сравнение с LoRA и адаптери
  • Практическо: Предикс микронастрояване върху задача на LLM

Оценяване и сравняване на методи за PEFT

  • Метрики за оценяване на производителност и ефективност
  • Търговии в скоростта на обучение, използване на памет и точност
  • Бенчмарк експерименти и интерпретация на резултатите

Развертане на микронастроени модели

  • Запазване и зареждане на микронастроени модели
  • Разглеждане на аспекти за развертане на базирани на PEFT модели
  • Интеграция в приложения и пиплайни

Най-добри практики и разширения

  • Комбиниране на PEFT с квантуване и дистилция
  • Използване в среди с ограничени ресурси и многоезични условия
  • Бъдещи направления и активни области на изследване

Резюме и следващи стъпки

Изисквания

  • Разумение на основите на машинно обучение
  • Опит в работа с големи лингвистични модели (LLMs)
  • За bekendост с Python и PyTorch
  • Целева аудитория

    • Специалисти по данни
    • Инженери по изкуствен интелигент
     14 Часа

    Брой участници


    Цена за участник

    Предстоящи Курсове

    Свързани Kатегории