Курс за обучение по Класификация на аудио и откриване на събития с машинно обучение

Основи на класификацията на аудио

• Видове звукови събития: екологични, механични, генерирани от човек
• Преглед на случаите на използване: наблюдение, мониторинг, автоматизация
• Класификация на аудио срещу откриване срещу сегментиране

Аудио данни и извличане на характеристики

• Видове аудио файлове и формати
• Съображения относно честотата на дискретизация, прозорците и размера на кадрите
• Извличане на MFCC, хроматични характеристики, мел-спектрограми

Подготовка на данни и анотиране

• UrbanSound8K, ESC-50 и персонализирани набори от данни
• Етикетиране на звукови събития и времеви граници
• Балансиране на наборите от данни и увеличаване на аудиото

Изграждане на модели за класификация на аудио

• Използване на конволюционни невронни мрежи (CNN) за аудио
• Вход на модела: сурова форма на вълната срещу характеристики
• Функции на загубата, метрики за оценка и прекомерно напасване

Откриване на събития и времева локализация

• Стратегии за откриване, базирани на кадри и сегменти
• Последваща обработка на откриванията с помощта на прагове и изглаждане
• Визуализиране на прогнозите върху времеви линии на аудио

Напреднали теми и обработка в реално време

• Трансферно обучение за сценарии с малко данни
• Внедряване на модели с TensorFlow Lite или ONNX
• Поточна обработка на аудио и съображения за забавяне

Разработване на проекти и сценарии за приложение

• Проектиране на пълен тръбопровод: от приемане до класификация
• Разработване на доказателство за концепция за наблюдение, контрол на качеството или мониторинг
• Регистриране, предупреждения и интеграция с табла за управление или API

Обобщение и следващи стъпки