Курс за обучение по Въведение в големите езикови модели (LLM)

Въведение

• Какво представляват големите езикови модели (LLM)?
• LLM спрямо традиционните NLP модели
• Преглед на характеристиките и архитектурата на LLM
• Предизвикателства и ограничения на LLM

Разбиране на LLM

• Жизненият цикъл на един LLM
• Как работят LLM
• Основните компоненти на LLM: енкодер, декодер, внимание (attention), вграждания (embeddings) и др.

Първи стъпки

• Настройка на средата за разработка
• Инсталиране на LLM като инструмент за разработка, напр. Google Colab, Hugging Face

Работа с LLM

• Проучване на наличните опции за LLM
• Създаване и използване на LLM
• Донастройване (Fine-tuning) на LLM с персонализиран набор от данни

Обобщаване на текст

• Разбиране на задачата за обобщаване на текст и нейните приложения
• Използване на LLM за екстрактивно и абстрактивно обобщаване на текст
• Оценка на качеството на генерираните обобщения чрез метрики като ROUGE, BLEU и др.

Отговаряне на въпроси

• Разбиране на задачата за отговаряне на въпроси и нейните приложения
• Използване на LLM за отговаряне на въпроси в отворена и затворена област
• Оценка на точността на генерираните отговори чрез метрики като F1, EM и др.

Генериране на текст

• Разбиране на задачата за генериране на текст и нейните приложения
• Използване на LLM за условно и безусловно генериране на текст
• Контролиране на стила, тона и съдържанието на генерираните текстове с помощта на параметри като температура (temperature), top-k, top-p и др.

Интегриране на LLM с други рамки и платформи

• Използване на LLM с PyTorch или TensorFlow
• Използване на LLM с Flask или Streamlit
• Използване на LLM с Google Cloud или AWS

Отстраняване на проблеми

• Разбиране на често срещаните грешки и бъгове в LLM
• Използване на TensorBoard за наблюдение и визуализация на процеса на обучение
• Използване на PyTorch Lightning за опростяване на кода за обучение и подобряване на производителността
• Използване на Hugging Face Datasets за зареждане и предварителна обработка на данните

Обобщение и следващи стъпки