Благодарим ви, че изпратихте вашето запитване! Един от членовете на нашия екип ще се свърже с вас скоро.
Благодарим ви, че направихте своята резервация! Един от членовете на нашия екип ще се свърже с вас скоро.
Продължителност 14 часa
Съдържание и теми, включени в курса
Варианти за разгръщане
- Хостирани API срещу самосервиране: предимства и недостатъци
- Патерни за on-premises, edge и изолирани мрежи (air-gapped)
- Единичен модел срещу портфейл от модели
- Сравнение на разходите на решение
Размер на хардуера и капацитет
- Паметен отпечатък според броя параметри
- Само CPU срещу GPU ускорение
- Планиране на конкурентност и пропускоспособност
- Запас за растеж на дължината на задачите
Стекове за предоставяне (Serving Stacks)
- Опции за vLLM и SGLang
- llama.cpp и GGUF изпълнение
- Ollama за локално разработване
- Избор въз основа на формата на натоварването за вземане на решения
Квантизация без загуба на калибрация
- Формати на прецизност и спестяване на памет
- Мерене на загуба на качество и калибрация
- Варианти по тензор и с внимание към значимостта (importance-aware)
- Приемно тестване след квантизация
Инженеринг на латентността
- Медиана срещу крайна латентност (tail latency)
- Растеж на латентността с дължината на контекста
- Топло стартиране и кеширане на модели
- Групиране (batching) на въпроси за вземане на решения
Edge и ограничени среди
- Малки модели за вземане на решения на CPU
- Apple Silicon и вградено разгръщане
- Офлайн работа и стратегия за обновяване
- Разпределение на тегла в изолирани мрежи (air-gapped)
Контейнеризация и мащабираниe
- Проектиране на образи за предоставяне на модели
- Управление на обеми и кешове
- Хоризонтално мащабиране и маршрутизация
- Ограничения за ресурси и споделяне на GPU
Наблюдаемост (Observability)
- Метрики за заявки, латентност и грешки
- Мониторинг на разпределение на увереността
- Следене на резултатите от решенията и ескалациите
- Алертиране за отклонения в калибрацията
Версиониране и разгръщане
- Версиониране на модели и адаптери
- Shadow и canary разгръщане
- Заключени файлове на модели за одит
- Процедури за откат (rollback)
Сигурност и мулти-тенантност
- Автентикация и ограничаване на честотата (rate limiting)
- Изолиране на наемателите за промптовете и логовете
- Мрежова изолиация и контрол на изходящия трафик
- Одитни лога на решенията
Изисквания
- Опит в Linux администрирането и с контейнери.
- Знакомство със сървъри за инференс на модели и управление на GPU.
- Базово разбиране на REST API-та, балансироване на натоварването и мониторинг.
Аудитория
- Инженери по MLOps и платформи, управляващи инфраструктура за инференс
- SRE отдели, поддържащи AI услуги
- AI инженери, разгръщащи модели за вземане на решения on-premises
- Архитекти, проектиращи изолирани или регулирани AI разпределения
