В дисциплине рассматриваются теоретические основы и библиотеки машинного обучения; изучаютcя этапы обработки данных, методы и алгоритмы машинного обучения, решающие задачи кластеризации, классификации, регрессии, снижения размерности. Рассматриваются подходы к оценке эффективности и сравнению моделей.

В рамках дисциплины рассматриваются продвинутые парадигмы машинного обучения, выходящие за рамки базовых моделей. Основное внимание уделяется их применению при решении реальных задач обработки и анализа речи, а также общим методам, критически важным для создания современных интеллектуальных систем. В программу входят: многомодальное обучение и фузирование, multi-task learning (MTL), в т.ч. в контексте многомодальности, обучение с подкреплением (Reinforcement Learning) и современные методы генерации данных, включая диффузионные модели.

В рамках дисциплины рассматриваются продвинутые методы машинного обучения, их применение при решении реальных задач обработки и анализа текстовых данных. Будут рассмотрены кейсы с использованием AutoML, объединением модальностей. Рассмотрены возможности оптимизации глубоких нейронных сетей и обучения на малых наборах данных.

В рамках дисциплины основное внимание уделяется глубокому машинному обучению. Будут рассмотрены современные подходы для каждого шага построения и обучения нейронной сети: от глубокой нейронной сети прямого распространения до моделей трансформеров, от начальной инициализации весов нейронной сети до выбора функции ошибки.

В рамках дисциплины студенты знакомятся с теоретическими основами генеративных и кодирующих моделей Transformer, больших языковых моделей, методами обучения и промптинга. В результате освоения дисциплины студенты получают практические навыки применения методов машинного обучения в решении задач таких задач как seq-to-seq и моделирования диалога, классификации и использования моделей в рамках поисковых систем, диалогового моделирования few-shot .

В рамках дисциплины студенты знакомятся с теоретическими основами и программным обеспечением анализа текстов на естественном языке. Рассматриваются этапы обработки текстов (графематический, морфологический, фрагментационный, синтаксический и семантический анализ). В результате освоения дисциплины студенты получают практические навыки применения методов машинного обучения в решении задач информационного поиска, классификации и анализа тональности текстов, автоматической генерации текста и поддержки диалога на естественном языке.

Настоящий курс представляет собой общее введение в область цифровой обработки сигналов и не претендует на фундаментальность изложения теоретического материала. Курс направлен на оттачивание практических навыков с минимальным погружением в теоретические аспекты (доказательства и математические выводы) цифровой обработки сигналов в рамках лекционных занятий. Основная цель курса состоит в том, чтобы за ограниченный интервал времени погрузить обучающегося в рассматриваемую область и описать наиболее значимыми для практического использования инструменты цифровой обработки сигналов. Дополнительно в рамках настоящего курса кратко обсуждается связь области цифровой обработки сигналов и методов машинного обучения.

В дисциплине рассматриваются основы теории цифровой обработки аудио сигналов, а также вопросы реализации методов цифровой обработки аудио сигналов. Основное внимание уделяется методам описания и анализа речевых сигналов и помех и оценке их характеристик.

Содержание дисциплины охватывает круг вопросов, связанных с областью разработки и применения алгоритмических и программных средств распознавания речи. В курсе рассматриваются задачи и области практического применения систем распознавания речи; методы детектирования речь/не речь; долговременные признаки, модели языка, речевые декодеры. Применительно к задаче распознавания речи изучаются методы динамического программирования, скрытые марковские модели, алгоритмы обучения. Формируются навыки применения методов распознавания речи с помощью глубоких нейронных сетей.

В дисциплине последовательно рассматриваются основные этапы построения систем TTS (Text To Speech): лингвистика, просодика, фонетика, акустика и вокодеры. Для решения задач каждого этапа применяются как классические методы машинного обучения, так и глубокие нейронные сети.

 В процессе преподавания дисциплины решаются следующие задачи: изучение фундаментальных концепций голосовой биометрии, изучение вопросов предобработки речевых сигналов, анализ классических и современных подходов к построению дикторских моделей, изучение вопроса сравнения дикторских моделей, рассмотрение подходов принятия решения биометрической системой, изучение методов оценки качества биометрических систем, изучение вопросов доменной адаптации и калибровки применительно к биометрическим системам, рассмотрение методов дикторской диаризации.

В курсе рассматривается актуальность, современное состояние, существующие и развивающиеся подходы, проблемы извлечения акустических признаков, общие подходы в построении архитектуры систем по детектированию событий, использование алгоритмов классификации на основе GMM (EM/MAP), архитектуры нейронных сетей для типовых задач, вопросы фузирования результатов, вопросы интеграции с близкими технологиями (видео события, ПКС, биометрия + признаки).

Курс направлен на формирование знаний в наиболее важных для машинного обучения понятиях и концепциях математического анализа, линейной алгебры, теории вероятностей и статистики. Студентам рассказывается о применении частных производных, методах градиентного спуска и его различных модификациях, используемым в машинном обучении. В курсе рассматриваются основные понятия линейной алгебры для машинного обучения. Студенты освоят основные понятия теории вероятностей, а также методы математической статистики.