План на курса

Въведение в Мултимодална ИА

  • Обзор на мултимодална ИА и приложения в реалния свят
  • Изправителства при интегриране на текстови, изображени и аудио данни
  • Съвременни изследвания и напрегнатости

Обработка на данни и инженеринг на характеристики

  • Работа с текстови, изображени и аудио набори от данни
  • Предобработка на техники за мултимодално обучение
  • Стратегии за извличане на характеристики и сплаване на данни

Създаване на мултимодални модели с PyTorch и Hugging Face

  • Въведение в PyTorch за мултимодално обучение
  • Използване на Hugging Face Transformers за задачи по обработка на езика и видение
  • Обединяване на различни модули в единен ИА модел

Въвеждане на речева, визуална и текстова сплавяност

  • Интегриране на OpenAI Whisper за разпознаване на реч
  • Прилагане на DeepSeek-Vision за обработка на изображения
  • Техники за сплавяност в преходни модели за обучение

Обучение и оптимизация на мултимодални ИА модели

  • Стратегии за обучение на мултимодални ИА модели
  • Техники за оптимизация и настройка на хиперпараметри
  • Решаване на предразсъдъци и подобряване на обобщението на моделите

Разпространение на мултимодална ИА в приложения на реалния свят

  • Износ на модели за производствено използване
  • Разпространение на ИА модели на облачни платформи
  • Наблюдение на производителността и поддръжка на моделите

Напреднали теми и бъдещи тенденции

  • Нулево и малкообучение в мултимодална ИА
  • Етични разглежданя и отговорно развитие на ИА
  • Настъпващи тенденции в изследванията на мултимодална ИА

Резюме и следващи стъпки

Изисквания

  • Силно разбиране в концепции на машинно обучение и дълбоко обучение
  • Опит с рамки за изкуствен интелигент като PyTorch или TensorFlow
  • Запознатост с обработка на текстови, изображения и аудио данни

Целева аудитория

  • Разработчици на AI
  • Инженери на машинно обучение
  • Изследователи
 21 часа

Брой участници


Цена за участник

Предстоящи Курсове

Свързани Kатегории