Курс за обучение по Големи езикови модели (LLMs) и обучение с подсилване (RL)

Въведение в големите езикови модели (LLMs)

• Преглед на LLMs
• Определение и значение
• Приложения в изкуствения интелект днес

Трансформър архитектура

• Какво представлява трансформърът и как работи?
• Основни компоненти и характеристики
• Вграждане и позиционно кодиране
• Многоглаво внимание
• Невронна мрежа с предварително предаване
• Нормализация и остатъчни връзки

Трансформър модели

• Механизъм за самовнимание
• Архитектура кодер-декодер
• Позиционни вграждания
• BERT (Bidirectional Encoder Representations from Transformers)
• GPT (Generative Pretrained Transformer)

Оптимизация на производителността и клопки

• Дължина на контекста
• Mamba и модели на пространството на състоянията
• Флаш внимание
• Разредени трансформъри
• Визуални трансформъри
• Значение на квантуването

Подобряване на трансформърите

• Генериране на текст, подсилено с извличане
• Смесица от модели
• Дърво на мислите

Фино настройване

• Теория на нискоранговата адаптация
• Фино настройване с QLora

Закони за мащабиране и оптимизация в LLMs

• Значение на законите за мащабиране за LLMs
• Мащабиране на данни и размер на модела
• Изчислително мащабиране
• Мащабиране на параметричната ефективност

Оптимизация

• Връзка между размер на модела, размер на данните, изчислителен бюджет и изисквания за инференция
• Оптимизиране на производителността и ефективността на LLMs
• Добри практики и инструменти за обучение и фино настройване на LLMs

Обучение и фино настройване на LLMs

• Стъпки и предизвикателства при обучението на LLMs от нулата
• Придобиване и поддръжка на данни
• Изисквания за широкомащабни данни, процесор и памет
• Предизвикателства при оптимизацията
• Пейзаж на LLMs с отворен код

Основи на обучението с подсилване (RL)

• Въведение в обучението с подсилване
• Учене чрез положително подсилване
• Определение и основни концепции
• Марковски процес на вземане на решения (MDP)
• Динамично програмиране
• Методи Монте Карло
• Обучение чрез времева разлика

Дълбоко обучение с подсилване

• Дълбоки Q-мрежи (DQN)
• Проксимална оптимизация на политиката (PPO)
• Елементи на обучението с подсилване

Интеграция на LLMs и обучение с подсилване

• Комбиниране на LLMs с обучение с подсилване
• Как RL се използва в LLMs
• Обучение с подсилване с обратна връзка от хора (RLHF)
• Алтернативи на RLHF

Казуси и приложения

• Приложения в реалния свят
• Истории на успеха и предизвикателства

Напреднали теми

• Напреднали техники
• Напреднали методи за оптимизация
• Авангардни изследвания и разработки

Обобщение и следващи стъпки