План на курса

Въведение в мултимодални LLM в Vertex AI

  • Обзор на мултимодалните възможности в Vertex AI
  • Gemini модели и поддържани модули
  • Приложения в предприятието и изследванията

Настройка на разработващата среда

  • Настройка на Vertex AI за мултимодални работни процеси
  • Работа с набори от данни по модулите
  • Практическа лаборатория: настройка на средата и подготовка на данни

Дълги контекстни прозорци и напреднали разсъждения

  • Разбиране на дългите контекстни работни процеси
  • Приложения в планирането и вземане на решения
  • Практическа лаборатория: имплементация на дълго контекстно анализиране

Дизайн на кръстомодални работни процеси

  • Комбиниране на анализ на текст, аудио и изображения
  • Верижен процес на мултимодални стъпки в пайплайни
  • Практическа лаборатория: дизайн на мултимодален пайплайн

Работа с параметри на Gemini API

  • Настройка на мултимодални влезове и излезове
  • Оптимизиране на извличане и ефективност
  • Практическа лаборатория: настройка на параметрите на Gemini API

Напреднали приложения и интеграции

  • Интерактивни мултимодални агенти и асистенти
  • Интеграция на външни API и инструменти
  • Практическа лаборатория: изграждане на мултимодално приложение

Оценка и итерация

  • Тестване на мултимодалната производителност
  • Метрики за точност, съответствие и отклонение
  • Практическа лаборатория: оценка на мултимодални работни процеси

Резюме и следващи стъпки

Изисквания

  • Умеене в програмиране на Python
  • Опит в разработката на модели за машинно обучение
  • Познание на мултимодални данни (текст, аудио, изображения)

Целева аудитория

  • Изследователи на ИИ
  • Надпреварващи разработчици
  • Научни работници по машинно обучение
 14 часа

Брой участници


Цена за участник

Предстоящи Курсове

Свързани Kатегории