План на курса

Въведение в Отворените Линейни Модели

  • Кои са модели с отворени тегла и защо са важни
  • Обзор на LLaMA, Mistral, Qwen и други модел на обществото
  • Приложения за частни, на място или сигурни развертвания

Настройка на средата и инструменти

  • Инсталиране и конфигуриране на библиотеките Transformers, Datasets и PEFT
  • Избор на подходящо хардуер за подстройка
  • Зареждане на предобучен модели от Hugging Face или други репозитории

Подготовка и предварителна обработка на данни

  • Формати на набора от данни (инструкции за подстройка, чат данни, само текст)
  • Токенизация и управление на последователности
  • Създаване на персонализирани набори данни и заредчици на данни

Fine-Tuning техники

  • Стандартна пълна подстройка срещу методове за ефективно използване на параметрите
  • Прилагане на LoRA и QLoRA за ефективна подстройка
  • Използване на Trainer API за бързи експерименти

Оценка и оптимизация на модели

  • Оценка на подстройените модели с метрики за генериране и точност
  • Управление на преобучение, генерализация и валидационни набори
  • Съвети за настройка на производителността и записване на данни

Развертане и частна употреба

  • Запазване и зареждане на модели за извличане на заключения
  • Развертане на подстройени модели в сигурни корпоративни среди
  • Стратегии за развертане на място срещу облачно

Примери и Use Case

  • Примери за корпоративно използване на LLaMA, Mistral и Qwen
  • Обработка на многоезични и специфични за домейн подстройки
  • Обсуждение: Компромиси между отворени и затворени модели

Резюме и следващи стъпки

Изисквания

  • Разумение на големия език модели (LLMs) и техните архитектури
  • Опит с Python и PyTorch
  • Основна познатност с Hugging Face екосистемата

Целева аудитория

  • Практикуващи в областта на ML
  • Разработчици на AI
 14 Часа

Брой участници


Цена за участник

Предстоящи Курсове

Свързани Kатегории