Съдържание и теми, включени в курса
Въведение в мултимодалните интерфейси
- Какво представляват мултимодалните интерфейси?
- Ползи и предизвикателства на мултимодалните взаимодействия
- Приложения в реалния свят в различни индустрии
Мултимодален AI и взаимодействие човек-компютър
- Разбиране на ориентирания към човека AI дизайн
- Ключови AI технологии, задвижващи мултимодалните интерфейси
- Психологически и когнитивни съображения при сътрудничеството между хора и AI
Разпознаване на реч и обработка на естествен език (NLP)
- Технологии за преобразуване на реч в текст и текст в реч
- Използване на OpenAI Whisper или Mozilla DeepSpeech
- Подобряване на гласовите взаимодействия, задвижвани от AI
Разпознаване на жестове и проследяване на движение
- Разбиране на проследяването на ръце и жестове на тялото
- Внедряване на управление с жестове в UI дизайна
- Практическа работа с библиотеки за разпознаване на жестове с отворен код
Проследяване на погледа и взаимодействие, базирано на поглед
- Въведение в технологията за проследяване на погледа
- Случаи на употреба в достъпността и адаптивните интерфейси
- Разработване на системи за въвеждане, базирани на поглед
Мултимодално сливане: Интегриране на множество методи за въвеждане
- Как AI комбинира реч, жестове и зрение
- Изграждане на адаптивни и персонализирани AI взаимодействия
- Най-добри практики за безпроблемни мултимодални изживявания
Създаване на прототипи и внедряване на мултимодални интерфейси
- Проектиране на удобни за потребителя интерфейси, задвижвани от AI
- Създаване на прототипи на мултимодални взаимодействия с Figma и AI инструменти
- Разработване на приложения в реалния свят с помощта на Python и AI рамки
Тестване и оценяване на мултимодални интерфейси
- Методологии за тестване на използваемостта за мултимодален AI
- Измерване на потребителското изживяване и удовлетвореност
- Усъвършенстване и оптимизиране на взаимодействията, задвижвани от AI
Бъдещи тенденции в сътрудничеството между хора и AI
- Напредък в мултимодалния AI и дълбокото обучение
- Нововъзникващи тенденции във взаимодействието човек-компютър
- Ролята на AI в бъдещето на потребителското изживяване
Обобщение и следващи стъпки
Изисквания
- Основно разбиране на концепциите за AI и машинно обучение
- Запознатост с принципите на UI/UX дизайна
- Известен опит с програмиране (за предпочитане Python)
Аудитория
- UI/UX дизайнери
- Продуктови мениджъри
- AI изследователи
Отзиви от участници (1)
Нашят треньор, Яшанк, беше изключително компетентен. Той модифицира програмата, за да отговаря на това, което действително се нуждаехме да научим, и имахме отличен учебен опит с него. Неговото разбиране на областта, която преподаваше, беше впечатляващо; той сподели praktichni познания от реален опит и ни помогна да решим конкретни проблеми, срещнати в нашата работа.
Ahmed Nazeem - Maldives Pension Administration Office
Курс - Multimodal AI for Enhanced User Experience
Машинен превод