Съдържание и теми, включени в курса
Въведение в мултимодалния ИИ
- Разбиране на мултимодалните данни
- Ключови концепции и дефиниции
- История и еволюция на мултимодалното обучение
Обработка на мултимодални данни
- Събиране и предварителна подготовка на данни
- Извличане на характеристики от различни модалности
- Техники за сливане на данни
Обучение за мултимодално представяне
- Изучаване на съвместни представяния
- Крос-модални ембединги
- Трансферно обучение между модалности
Мултимодално подравняване и транслация
- Подравняване на данни от множество модалности
- Системи за крос-модално извличане
- Транслация между модалности (напр. текст-към-изображение, изображение-към-текст)
Мултимодално разсъждение и извод
- Логика и разсъждение с мултимодални данни
- Техники за извод в мултимодалния ИИ
- Приложения при отговаряне на въпроси и вземане на решения
Генеративни модели в мултимодалния ИИ
- Генеративни състезателни мрежи (GANs) за мултимодални данни
- Вариационни автоенкодери (VAEs) за крос-модално генериране
- Творчески приложения на генеративния мултимодален ИИ
Техники за мултимодално сливане
- Методи за ранно, късно и хибридно сливане
- Механизми на внимание при мултимодално сливане
- Сливане за устойчиво възприятие и взаимодействие
Приложения на мултимодалния ИИ
- Мултимодално взаимодействие човек-компютър
- ИИ в автономни превозни средства
- Приложения в здравеопазването (напр. медицински изображения и диагностика)
Етични съображения и предизвикателства
- Пристрастие и справедливост в мултимодални системи
- Опасения за поверителност при мултимодални данни
- Етичен дизайн и внедряване на мултимодални ИИ системи
Напреднали теми в мултимодалния ИИ
- Мултимодални трансформъри
- Самоконтролирано обучение в мултимодалния ИИ
- Бъдещето на мултимодалното машинно обучение
Резюме и следващи стъпки
Изисквания
- Основно разбиране за изкуствен интелект и машинно обучение
- Умения за програмиране на Python
- Запознатост с обработката и предварителната подготовка на данни
Аудитория
- Изследователи в областта на ИИ
- Учени по данни
- Инженери по машинно обучение
Отзиви от участници (1)
Нашят треньор, Яшанк, беше изключително компетентен. Той модифицира програмата, за да отговаря на това, което действително се нуждаехме да научим, и имахме отличен учебен опит с него. Неговото разбиране на областта, която преподаваше, беше впечатляващо; той сподели praktichni познания от реален опит и ни помогна да решим конкретни проблеми, срещнати в нашата работа.
Ahmed Nazeem - Maldives Pension Administration Office
Курс - Multimodal AI for Enhanced User Experience
Машинен превод