Съдържание и теми, включени в курса
Въведение в мултимодалния изкуствен интелект
- Преглед на мултимодалния AI и приложенията му в реалния свят
- Предизвикателства при интегрирането на текстови, графични и аудио данни
- Най-съвременни изследвания и напредък
Обработка на данни и инженеринг на характеристики
- Работа с набори от текстови, графични и аудио данни
- Техники за предварителна обработка за мултимодално обучение
- Извличане на характеристики и стратегии за сливане на данни
Изграждане на мултимодални модели с PyTorch и Hugging Face
- Въведение в PyTorch за мултимодално обучение
- Използване на Hugging Face Transformers за NLP и задачи за компютърно зрение
- Комбиниране на различни модалности в единен AI модел
Внедряване на сливане на реч, зрение и текст
- Интегриране на OpenAI Whisper за разпознаване на реч
- Прилагане на DeepSeek-Vision за обработка на изображения
- Техники за сливане за междумодално обучение
Обучение и оптимизиране на мултимодални AI модели
- Стратегии за обучение на модели за мултимодален AI
- Техники за оптимизация и настройка на хиперпараметри
- Адресиране на пристрастия и подобряване на генерализацията на модела
Внедряване на мултимодален AI в приложения от реалния свят
- Експортиране на модели за продукционна употреба
- Внедряване на AI модели в облачни платформи
- Мониторинг на производителността и поддръжка на моделите
Напреднали теми и бъдещи тенденции
- Обучение с нулеви и малко примери в мултимодалния AI
- Етични съображения и отговорно развитие на AI
- Нововъзникващи тенденции в изследванията на мултимодалния AI
Обобщение и следващи стъпки
Изисквания
- Силно разбиране на концепциите за машинно обучение и дълбоко обучение
- Опит с AI frameworks като PyTorch или TensorFlow
- Запознатост с обработката на текстови, графични и аудио данни
Аудитория
- AI разработчици
- Инженери по машинно обучение
- Изследователи
Отзиви от участници (1)
Нашят треньор, Яшанк, беше изключително компетентен. Той модифицира програмата, за да отговаря на това, което действително се нуждаехме да научим, и имахме отличен учебен опит с него. Неговото разбиране на областта, която преподаваше, беше впечатляващо; той сподели praktichni познания от реален опит и ни помогна да решим конкретни проблеми, срещнати в нашата работа.
Ahmed Nazeem - Maldives Pension Administration Office
Курс - Multimodal AI for Enhanced User Experience
Машинен превод