Свържете се с нас

План на курса

Въведение в мултимодалните LLM в Vertex AI

  • Преглед на мултимодалните възможности в Vertex AI
  • Моделите Gemini и поддържаните модуси
  • Казуси в предприятията и изследванията

Настройване на средата за разработка

  • Конфигуриране на Vertex AI за мултимодални работни потоци
  • Работа с набори от данни от различни модуси
  • Практическо занимание: настройка на средата и подготовка на набори от данни

Дълги контекстни прозорци и разширено разсъждение

  • Разбиране на работните потоци с дълъг контекст
  • Казуси за планиране и вземане на решения
  • Практическо занимание: прилагане на анализ с дълъг контекст

Проектиране на между-модални работни потоци

  • Комбиниране на анализ на текст, аудио и изображения
  • Връзване на мултимодални стъпки в конвейерите
  • Практическо занимание: проектиране на мултимодален конвейер

Работа с параметрите на Gemini API

  • Конфигуриране на мултимодални входове и изходи
  • Оптимизиране на изводи и ефективност
  • Практическо занимание: настройване на параметрите на Gemini API

Разширени приложения и интеграции

  • Интерактивни мултимодални агенти и асистенти
  • Интегриране на външни API и инструменти
  • Практическо занимание: изграждане на мултимодално приложение

Оценка и итерация

  • Тестване на производителността на мултимодалните решения
  • Метрики за точност, съгласуваност и дрейф
  • Практическо занимание: оценяване на мултимодални работни потоци

Обобщение и следващи стъпки

Изисквания

  • Умения в програмирането с Python
  • Опит с разработката на модели за машинно обучение
  • Запознаване с мултимодални данни (текст, аудио, изображение)

За кого е предназначен

  • Изследователи в областта на AI
  • Опитни разработчици
  • Учени по машинно обучение (ML scientists)
 14 Часове

Брой участници


Цена за участник

Предстоящи Курсове

Свързани Kатегории