Курс за обучение по Изграждане на сигурни и отговорни LLM приложения

Преглед на LLM архитектурата и повърхността за атаки

• Как се изграждат, внедряват и достъпват LLM чрез API-та
• Ключови компоненти в стековете на LLM приложенията (напр. промптове, агенти, памет, API-та)
• Къде и как възникват проблеми със сигурността в реална употреба

Инжектиране на промптове и атаки за заобикаляне на ограничения

• Какво е инжектиране на промптове и защо е опасно
• Сценарии за директно и индиректно инжектиране на промптове
• Техники за заобикаляне на филтрите за безопасност
• Стратегии за откриване и смекчаване

Изтичане на данни и рискове за поверителността

• Случайно излагане на данни чрез отговори
• Изтичане на лични данни и неправилно използване на паметта на модела
• Проектиране на промптове с грижа за поверителността и генериране, подсилено с извличане (RAG)

Филтриране и предпазване на изхода от LLM

• Използване на Guardrails AI за филтриране и валидиране на съдържание
• Дефиниране на изходни схеми и ограничения
• Мониторинг и регистриране на небезопасни изходи

Подходи с човешка намеса и работен поток

• Къде и кога да се въведе човешки надзор
• Опашки за одобрение, прагове за оценка, обработка на резервни варианти
• Калибриране на доверието и роля на обяснимостта

Модели за сигурен дизайн на LLM приложения

• Най-малки привилегии и sandboxing за API извиквания и агенти
• Ограничаване на скоростта, регулиране и откриване на злоупотреби
• Стабилно свързване с LangChain и изолиране на промптове

Съответствие, регистриране и управление

• Осигуряване на възможност за одит на изходите от LLM
• Поддържане на проследимост и контрол на промптовете/версията
• Съгласуване с вътрешни политики за сигурност и регулаторни нужди

Обобщение и следващи стъпки