Благодарим ви, че изпратихте вашето запитване! Един от членовете на нашия екип ще се свърже с вас скоро.
Благодарим ви, че направихте своята резервация! Един от членовете на нашия екип ще се свърже с вас скоро.
Продължителност 14 часa
Съдържание и теми, включени в курса
AI суверенитет и локално внедряване на LLM
- Рискове от облачните LLM-и: задържане на данни, обучение върху входни данни, чужда юрисдикция.
- Архитектура на Ollama: моделен сървър, репозитория и OpenAI-съвместимо API.
- Сравнение с vLLM, llama.cpp и Text Generation Inference.
- Лицензиране на модели: условия за Llama, Mistral, Qwen и Gemma.
Инсталация и хардуерна настройка
- Инсталация на Ollama на Linux с поддръжка на CUDA и ROCm.
- Резервиране само за CPU и оптимизация на AVX/AVX2.
- Внедряване чрез Docker и мапиране на постоянни обеми.
- Настройка на много GPU устройства и стратегии за разпределение на VRAM.
Управление на модели
- Сваляне на модели от репозиторията на Ollama: ollama pull llama3.
- Импорт на GGUF модели от HuggingFace и TheBloke.
- Нива на квантуване: компромиси между Q4_K_M, Q5_K_M и Q8_0.
- Преминаване между модели и ограничения за едновременно зареждане.
Персонализирани Modelfiles
- Пиране на синтакса на Modelfile: FROM, PARAMETER, SYSTEM, TEMPLATE.
- Настройка на temperature, top_p и repeat_penalty.
- Инженерия на системни промптове за ролево специфично поведение.
- Създаване и публикуване на персонализирани модели в локалната репозитория.
API интеграция
- OpenAI-съвместимият endpoint /v1/chat/completions.
- Стрийм отговори и JSON режим.
- Интеграция с LangChain, LlamaIndex и персонализирани приложения.
- Автентикация и ограничаване на темпа чрез реверсивен прокси.
Оптимизация на производителността
- Размер на контекстния прозорец и управление на KV кеша.
- Batch инференс и обработка на паралелни заявки.
- Разпределение на CPU нишки и осъзнаване на NUMA.
- Мониторинг на използването на GPU и натоварването на паметта.
Сигурност и съответствие
- Мрежова изолирация за endpoint-ите за сервиране на модели.
- Филтриране на входните данни и модулиране на изходните.
- Аудит логове на промптове и завършвания.
- Произход на модели и валидация на hash стойности.
Изисквания
- Междинни познания по Linux и администриране на контейнери.
- Разбиране на машинното обучение и трансформерните модели на високо ниво.
- Познаване на REST API-та и JSON.
Целева аудитория
- AI инженери и разработчици, заменящи облачните LLM API-та.
- Организации с чувствителни данни, които пречат на използването на облачни модели.
- Екипи от държавния и защитния сектор, изискващи изолирани от мрежата езикови модели.
