Съдържание и теми, включени в курса
Архитектурни основи за AI системи
- Слоеве, граници и разделение на отговорностите
- Портове и адаптери, приложени към AI компоненти
- Сценарии за атрибути на качеството за AI функционалности
- Записи за архитектурни решения като инструмент за управление
Еволюция на съществуващо приложение
- Постепенна модернизация вместо преразписване
- Разполагане на AI услуги до съществуващ монолит
- Модели на патърн „Странглър“ и „Антикорупционен слой“
- Точки за интеграция за съществуващи API-та и данни
Архитектурни патърни за интеграция на LLM
- Моделен гейтвей като абстракционна граница
- Синхронна, асинхронна и стрийм интеграция
- Фолбек, деградация и фейл-овер към доставчици
- Конфигурация на промпт и модел като версиониран активи
Договори, API-та и обмен на данни
- Структурирани схеми за изходни данни и валидация
- Идентичност, повторни опити и ограничение на честотата
- Бюджети за закъснение и оркестрация на таймаутове
- Разходи на заявка като архитектурно ограничение
Архитектура на RAG от край до край
- Пайплайн за внедряване, нарязване и вътрешно представяне (embedding)
- Етапи на индексация, възстановяване, преоценка и генериране
- Позициониране на възстановяването спрямо услугите на приложението
- Компромиси и режими на отказ на всеки етап
Векторни бази данни и дизайн на възстановяване
- Управлявани срещу самозапазванящи се векторни хранилища
- Плътностно, рядко и хибридно търсене
- Филтриране по метаданни и изолиране на наемателите
- Стратегия за повторно вътрешно представяне при смяна на моделите
Качество на възстановяването, осчетоводяване и оценка
- Оценъчни множества, изградени от реални запитвания
- Метрики за качеството на възстановяване и отговорите
- Цитиране, осчетоводяване и ограничаване на халюцинациите
- Обратна връзка към индекса
Агентни архитектури
- Агентен цикъл и извикване на инструменти
- Детерминистични работни процеси срещу автономни планиращи
- Случаи, в които агентът е грешен отговор
- Определяване на отговорностите и състоянието на агента
Мултиагентни системи и оркестрация
- Топологии на надзорник и оркестратор
- Протоколи за предаване и договори за съобщения
- Споделена памет и управление на контекста
- Сравнение на фреймуърки по архитектурни критерии
Комуникация между услуги и протоколи за инструменти
- Събитиево-базирана и редова координация
- Експозиция на инструменти чрез стандартни протоколи
- Саги, компенсация и продължителни транзакции
- Наблюдаваемост през скокове между услуги
AI агенти в разработъчния работен процес
- Агенти за кодиране в пайплайна за доставка
- Разработка, базирана на спецификации, и контролни точки за рецензия
- Генериране на тестове и автоматизирани проверки на качеството
- Забрани, които поддържат архитектурния контрол
Управление и качество на софтуера
- Дизайн рецензия за AI функционалности
- Управление на промените в моделите и промптовете
- Оценка на регресиите като етап от пайплайна
- Отговорност, политика и пътища за одобрение
Сигурност, поверителност и управление на данните
- Инжекция на промпт и защита в дълбочина
- Таини, контрол на достъпа и минимални привилегии
- Разположение на данните, лични данни и съхранение
- Аудитируемост и контрол с човешко участие
Мащабируемост, разходи и наблюдаваемост
- Проследяване през вериги от агенти
- Телеметрия за токени и разходи
- Кеширане и оптимизация на закъснението
- Нива на услуга и реакция на инциденти за AI услуги
Върховна задача: Архитектура за AI-базирано решение
- Видове контекст, компоненти и разполагане
- Дизайн на оркестрация на възстановяване и агенти
- План за сигурност, управление и разходи
- Рецензия от колеги, критика и карта за миграция
Изисквания
- Опит в проектирането и поддържането на производствени софтуерни системи
- Работна познание на REST API-та и интеграцията на услуги
- Знае за релационни бази данни и моделиране на данни
- Базов опит с LLM-базирани инструменти или API-та
Целева аудитория
- Софтуерни архитекти
- Технически лидери и старши инженери
- Инженерни мениджъри, отговорни за архитетурни решения
Отзиви от участници (1)
Придобих знания за библиотеката Streamlit на Python и със сигурност ще опитам да я използвам, за да подобря приложенията в моя екип, които са създадени с R Shiny.
Michal Maj - XL Catlin Services SE (AXA XL)
Курс - GitHub Copilot for Developers
Машинен превод