[Otus] Языковые трансформенные модели. NLP (Мария Тихонова, Александр Брут-Бруляко)

​

Погрузитесь в NLP: освойте различные языковые модели и создайте собственный телеграм-бот.

Для кого этот курс?

• Для дата-сайентистов, аналитиков данных и специалистов по машинному обучению.

Необходимые знания:

• базовое знакомство с Python
• базовые знания линейной алгебры, математического анализа, математической статистики
• базовые навыки работы с ML (pandas, sklearn, линейная регрессия, логистическая регрессия)

Что такое Natural Language Processing?

Natural Language Processing (NLP, обработка естественного языка) – это направление, которое объединяет в себе лингвистику, компьютерные науки и искусственный интеллект. NLP применяет алгоритмы машинного обучения для анализа естественных языков, ResNet и EfficientNet, до самых современных Vision Transformers, таких как MViT

Что даст вам этот курс?

Знаний, которые дают ML/DL курсы, часто оказывается недостаточно, чтобы стать специалистом в области NLP. Data Scientist'ам, которые решили заняться методами, связанными с автоматической обработкой текстов, необходимы дополнительные знания из этой области.

Данный курс представляет собой уникальное сочетание глубоких знаний из области NLP и "повседневных" практических навыков. С одной стороны, программа курса по наполненности и изучаемым темам ничуть не уступает аналогичным вузовскими курсам. С другой стороны, в курсе, помимо теоретичечских знаний, особое внимание уделяется практическим навыкам.

После завершения курса вы сможете:

• работать с текстовыми данными
• парсить, собирать данные с сайтов из интернета
• создавать телеграм-ботов
• применять методы классического NLP для решения ML задач, связанных с текстами
• работать с нейросетевыми моделями архитектуры трансформер
• применять модели архитектуры трансформер для широкого спектра NLP задач
• решать задачу распознавания именованных сущностей
• создавать вопросно-ответные системы

На курсе изучаются современные подходы и модели, которые на данный момент являются стандартом в области, но еще не успели войти в большинство программ, так как были предложены совсем недавно. Стоит отметить, что на курсе делается акцент на особенностях работы с русскоязычными моделями и данными на русском языке.

Проектная работа:

Мы стремимся, чтобы студенты выбирали темы выпускных проектов – сами, а не работали по шаблонным заготовкам. Поэтому все выпускные проекты на курсе– это ценные исследования для ML. Вот темы некоторых из них:

• Умный поиск по базе отзывов методами NLP
• Поиск по базе фильмов на основе естественного языка
• Разработка телеграмм бота клиентской поддержки пользователей пассажирских сервисов
• Финтех вопросно-ответная система
• Использование NLP моделей для классификации отзывов и определения тональности
• Генерация коротких текстов в жанре фэнтези, по заданным параметра (Habr)
• RAG-агент для автоматизации инцидент-менеджмента

Программа:

Бонус: Методы машинного обучения

Модуль познакомит вас с различными продвинутыми моделями машинного обучения для задач обучения с учителем (регрессия и классификация), начиная от классических методов деревьев решений и заканчивая продвинутыми методами градиентного бустинга.

• Тема 1: Метод градиентного спуска
• Тема 2: Повторение основных понятий задачи классификации на практике: EDA, cross-validation, метрики качества
• Тема 3: Деревья решений
• Тема 4: Ансамбли моделей
• Тема 5: Градиентный бустинг
• Тема 6: Метод опорных векторов

Бонус: Введение в PyTorch и глубокое обучение

В этом модуле мы коснёмся методов Deep Learning и работы с нейронными сетями. Вы узнаете принципы работы и обучения нейронных сетей, а также освоите нейросетевые архитектуры для работы с изображениями (сверточные нейросети) и последовательностями (рекуррентные нейросети).

• Тема 1: Продвинутые методы оптимизации, backpropagation и обучение нейронных сетей
• Тема 2: Борьба с переобучение нейросетей, взрыв и затухание градиентов
• Тема 3: Сверточные сети (Convolutional Neural Networks)

Бонус: Дополнительные продвинутые занятия

• Тема 1: Практическое занятие: теория промптинга LLM
• Тема 2: LangChain
• Тема 3: RAG - генерация на основе базы знаний

Python для работы с текстами

Вводный модуль, посвященный повторению основных методов работы с данными в Python и работе с текстами. В модуле также рассмотрены методы парсинга данных и методы работы с регулярными выражениями — необходимые навыки в NLP.

• Тема 1: Введение в NLP
• Тема 2: Recap python/ data analysis/ визуализации
• Тема 3: Работа со строками + регулярные выражения
• Тема 4: Парсинг данных // ДЗ

Deep Learning для NLP

Вводный модуль по Deep Learning. Данный модуль дает общее представление о нейронных сетях, фокусируясь на методах и архитектурах, востребованных в NLP.

• Тема 1: Введение в нейросети
• Тема 2: Градиентный спуск и backpropagation
• Тема 3: PyTorch. Часть 1 // ДЗ
• Тема 4: PyTorch. Часть 2
• Тема 5: Рекуррентные сети. Часть 1
• Тема 6: Рекуррентные сети. Часть 2

Классичесикие методы NLP

Модуль посвящен традиционным подходам в обработке естественного языка. В нем рассматриваются ключевые этапы предобработки текстовых данных, различные способы представления слов в векторном пространстве, а также классические рекуррентные нейросетевые архитектуры, включая RNN и seq2seq, используемые для задач машинного перевода и генерации текста.

• Тема 1: Предобработка данных и векторные представления слов // ДЗ
• Тема 2: Понятие языковой модели, RNN для работы с текстом
• Тема 3: Машинный перевод и seq2seq

Трансформерные модели

Модуль посвящен современным трансформерным моделям и их применению в NLP. В нем изучаются архитектура Transformer, механизмы transfer learning, модель BERT и работа с предобученными языковыми моделями. Рассматриваются задачи именованного распознавания сущностей (NER), генеративные языковые модели, а также подходы к промптингу и использование LLM в диалоговых системах.

• Тема 1: Архитектура Transformer
• Тема 2: Transfer learning
• Тема 3: Работа с предобученными языковыми моделями. Задача NER
• Тема 4: Генеративные языковые модели и энкодер-декодер архитектуры
• Тема 5: Towards ChatGPT
• Тема 6: Теория промптинга LLM // ДЗ
• Тема 7: Q&A

Дополнительные главы NLP

В модуле рассмотрены дополнительные вопросы из области NLP, выходящие за рамки основной программы: распределенные вычисления, вопросы оценки языковых моделей, тематическое моделирование. На практике будет рассмотрено, как создавать телеграмм-ботов и встраивать в них обученные модели.

• Тема 1: Оценка LLM // ДЗ
• Тема 2: Создание телеграм-бота // ДЗ

Проектный модуль

Проектный модуль, во время которого студенты выполняют финальную работу на основе методов, изученных на курсе.

• Тема 1: Выбор темы и организация проектной работы
• Тема 2: Предзащита №1
• Тема 3: Предзащита №2
• Тема 4: Защита проектных работ

Преподаватели:

• Мария Тихонова
  Лидер Research кластера, Сбер, ВШЭ
• Александр Брут-Бруляко
  DS инженер (к.э.н.), Сбер GigaLegal
• Софья Феничева
• Дмитрий Павлов
• Антон Витвицкий
  (к.ф.-м.н.) Director of Computer Vision, Boost Arria NLG
• Алексей Клочков
  Data Science Team Lead, Kept
• Андрей Коняев
  Consultant GenAI Machine Learning Engineering, Deutsche Telekom AG - T-Systems International GmbH
• Александр Гавриленко
  Инженер-исследователь, АНО "Институт Искусственного Интеллекта" AIRI
• Дмитрий Гайнуллин
  Machine Learning Engineer, AIC
• Алексей Кисляков
  (д.э.н., к.т.н.) преподаватель/ученый-исследователь, Российская академия народного хозяйства и государственной службы при Президенте РФ (Владимирский филиал)
• Андрей Носов
  AI Architect, Raft, PhD Communication Science, Tampere University (Finland)

Эксперты-практики делятся опытом, разбирают кейсы студентов и дают развернутый фидбэк на домашние задания