Свържете се с нас

Съдържание и теми, включени в курса

Въведение в мултимодалните модели

  • Преглед на мултимодалното машинно обучение
  • Приложения на мултимодални модели
  • Предизвикателства при работа с множество типове данни

Архитектури за мултимодални модели

  • Изследване на модели като CLIP, Flamingo и BLIP
  • Разбиране на механизмите за кръстосано-модално внимание
  • Архитектурни съображения за мащабируемост и ефективност

Подготовка на мултимодални набори от данни

  • Техники за събиране и анотиране на данни
  • Предобработка на текстови, графични и видео входове
  • Балансиране на набори от данни за мултимодални задачи

Техники за фина настройка на мултимодални модели

  • Създаване на обучителни конвейри за мултимодални модели
  • Управление на ограничения в паметта и изчислителните ресурси
  • Работа с подравняването между модалностите

Приложения на финo настроени мултимодални модели

  • Визуален отговор на въпроси
  • Генериране на описания за изображения и видео
  • Генериране на съдържание чрез мултимодални входове

Оптимизация и оценка на производителността

  • Метрики за оценка на мултимодални задачи
  • Оптимизиране на закъснението и пропускателната способност за продукционна среда
  • Осигуряване на устойчивост и съгласуваност между модалностите

Внедряване на мултимодални модели

  • Опаковане на модели за внедряване
  • Мащабируемо изпълнение на облачни платформи
  • Приложения в реално време и интеграции

Казуси от практиката и лабораторни упражнения

  • Фина настройка на CLIP за извличане на изображения по съдържание
  • Обучение на мултимодален чатбот с текст и видео
  • Имплементиране на системи за кръстосано-модално извличане

Обобщение и следващи стъпки

Изисквания

  • Владеене на програмиране с Python
  • Разбиране на концепциите за дълбоко обучение
  • Опит с фината настройка на предварително обучени модели

Целева аудитория

  • Изследователи в областта на изкуствения интелект
  • Специалисти по анализ на данни
  • Специалисти по машинно обучение
 28 Часа

Брой участници


Цена за участник

Предстоящи Курсове

Свързани Kатегории