Благодарим ви, че изпратихте вашето запитване! Един от членовете на нашия екип ще се свърже с вас скоро.
Благодарим ви, че направихте своята резервация! Един от членовете на нашия екип ще се свърже с вас скоро.
Съдържание и теми, включени в курса
Въведение в параметърно ефективното дообучване (PEFT)
- Мотивация и ограничения на пълното дообучване
- Обобщение на PEFT: цели и ползи
- Приложения и примери за употреба в индустрията
LoRA (Low-Rank Adaptation)
- Концепция и интуиция зад LoRA
- Въвеждане на LoRA чрез Hugging Face и PyTorch
- Практика: Дообучаване на модел с LoRA
Adapter Tuning
- Как работят адаптерните модули
- Интеграция с трансформатор-базирани модели
- Практика: Прилагане на Adapter Tuning към трансформаторен модел
Prefix Tuning
- Използване на меки промптове за дообучаване
- Силни страни и ограничения в сравнение с LoRA и адаптери
- Практика: Prefix Tuning за задача с LLM
Оценка и сравнение на PEFT методи
- Метрики за оценяване на производителността и ефективността
- Компромиси при скоростта на обучение, използването на памет и точността
- Експерименти с бенчмарки и интерпретация на резултатите
Разгръщане на дообучени модели
- Запазване и зареждане на дообучени модели
- Разглеждане на въпросите за разгръщане на PEFT-базирани модели
- Интеграция в приложения и пайплайни
Добри практики и разширения
- Комбиниране на PEFT с квантуване и дестилация
- Използване в условия с ограничени ресурси и мултиезични настройки
- Бъдещи посоки и актуални области на изследване
Изисквания
- Разбиране на основите на машинното обучение
- Опит в работата с големи езикови модели (LLM)
- Запознатост с Python и PyTorch
Целева аудитория
- Data Scientists
- AI инженери
14 Часа
