ML и Causal Inference для продуктовых аналитиков. Тариф Оптимальный (Павел Бухтик)

​

Систематизируй ML-знания в четкую методологию.
Преврати знания в навыки и карьерные достижения.

Курс для тех, кто:

• Не ощущает структуры в знаниях и навыках ML и Causal Inference
• Хочет вывести проверку гипотез в компании на новый уровень
• Получает отказы на собесах из-за отсутствия достаточного опыта в ML
• Хочет выделиться применением ML/AI на следующем performance-review

Ты по адресу, если :

• Сталкиваешься с задачами, где A/B не отвечает на вопрос бизнеса, и не знаешь как быть
• Мало опыта или не применял ML на практике, но хочешь приобрести реальный практический опыт
• Строишь модели, но как они работают – это черный ящик, в котором плохо разбираешься
• Получаешь отказы на интервью, так как мало работал с ML и продвинутыми методами в А/В

Это ты после курса:

• Понимаешь, как проверить продуктовую гипотезу любой сложности
• Интервьюеры удивляются твоим знаниям по ML и Causal Inference
• Умеешь четко и последовательно обучать и применять ML модели
• Можешь выстроить работу по оценке эффектов и применению ML c нуля

Программа обучения:

• Тебя ждут 20 онлайн практика-ориентированных занятий и 10 домашних заданий
• Курс рассчитан на 10 недель (~2.5 месяца) продуктивной работы: по 1 теоретическому и 1 практическому занятию, а также 1 домашнему заданию в неделю
• Будь готов уделять обучению 4-12 часов в неделю
• Занятия проходят онлайн в Zoom, а общаться будем в Telegram-чате

Теория - 10 занятий:

• База, которая структурирует знания по ML и даст ответы на все методологические вопросы
• Каждая тема подкрепляется доп. материалами и индивидуальными домашними заданиями. Каждое задание рассчитано от 3 до 7 часов

Практика - 10 занятий:

• Интерактивные разборы реальных кейсов и закрепление теории в live-формате
• Кстати, ты можешь предложить свои рабочие ситуации и кейсы для разбора

Программа занятий:

1. Введение в ML и каузальность:

• Теоретическое занятие. Разберемся, какие продуктовые задачи решаются с помощью ML и Сausal Inference, а также где и когда нужен классический А/В эксперимент. Научимся ориентироваться во всем многообразии подходов, выбирать корректный инструмент под конкретную задачу бизнеса, а также поймем как развивать культуру работы с ML и Сausal Inference в компании.
• Практическое занятие. Порешаем продуктовые кейсы, связанные с поиском точек роста и определением подхода для конкретной бизнес-задачи. Потренируемся формулировать задачу, единицу анализа, выбирать target и критерий успеха.

2. Подготовка данных для ML:

• Теоретическое занятие. Разберемся, как превращать сырые данные в качественный датасет для модели. Научимся проводить разведочный анализ (EDA), обрабатывать нюансы в данных, подбирать и строить качественные признаки для модели.
• Практическое занятие. Соберем логику подготовки датасета для реальной продуктовой задачи. Потренируемся находить проблемные признаки, выбирать способы предобработки и проектировать корректный pipeline подготовки данных.

3. Линейные модели:

• Теоретическое занятие. Освоим базовые ML модели, которые все еще остаются одними из самых полезных для аналитики. В частности, линейную и логистическую регрессию, а также нюансы и проблемы, ассоциированные с ними (регуляризация, проклятие размерности, проблема мультиколлинеарности и т.д.). Научимся строить интерпретируемые baseline-модели и объяснять их результаты на языке бизнеса. Рассмотрим, как регрессия связана с А/В экспериментами.
• Практическое занятие. Будем решать кейсы на прогноз числового и бинарного результата, а также интерпретировать результаты моделей. Научимся переводить математический результат в понятные продуктовые выводы.

4. Метрики качества, функции потерь и выбор модели:

• Теоретическое занятие. Научимся оценивать качество модели с учетом продуктовой задачи и цены ошибок. Разберемся, как выбирать метрики качества, сравнивать модели и принимать решение не на основе «модности», а по качеству решения конкретной бизнес-задачи.
• Практическое занятие. Сравним модели на кейсах и посмотрим, как выбор метрик меняет восприятие и выводы. Потренируемся выбирать threshold и обосновывать, какая модель полезнее для бизнеса и почему.

5. Нелинейные модели:

• Теоретическое занятие. Познакомимся с главным прикладным стеком для табличных данных. Научимся использовать нелинейные модели (деревья, леса, бустинг и т. д.) для продуктовых задач, сравнивать их с линейными подходами и аккуратно интерпретировать результат.
• Практическое занятие. Сравним линейные и нелинейные модели на продуктовых кейсах и обсудим, где действительно появляется прирост качества. Научимся работать с важностью признаков и понимать ограничения интерпретации сложных моделей.

6. Сегментация и Unsupervised Learning:

• Теоретическое занятие. Узнаем, как находить в данных структуру без заранее заданного target. Научимся строить осмысленную сегментацию пользователей и превращать кластеры в реальные продуктовые действия. Увидим, когда сегментация реально помогает продукту, а когда превращается в бесполезную классификацию пользователей по красивым названиям. Познакомимся с KNN, K-means, Иерархической кластеризацией и другими методами.
• Практическое занятие. Построим сегментацию пользователей под конкретные бизнес-задачи. Потренируемся описывать сегменты, проверять их полезность и предлагать действия дальнейшей работы с ними.

7. Временные ряды и прогнозирование метрик:

• Теоретическое занятие. Научимся прогнозировать продуктовые метрики и учитывать тренды, сезонность и внешние факторы. Рассмотрим как базовые подходы (наивный, Moving Average, ARIMA и подобные), так и продвинутые (Prophet и прочие ML-based). Поймем, когда прогнозирование помогает бизнесу, а когда его нельзя путать с оценкой причинно-следственных связей.
• Практическое занятие. Разберем кейсы прогнозирования метрик, потренируемся отделять тренд от сезонности и шума. Научимся выбирать оптимальный подход к прогнозированию и корректно интерпретировать результаты прогноза.

8. Продвинутое A/B-тестирование:

• Теоретическое занятие. Разберемся, как усиливать дизайн экспериментов и работать со сложными сценариями, где простого A/B уже недостаточно. Научимся эффективно применять CUPED, стратификацию, работать с сетевым эффектом и Switchback. Разберемся, как в этом нам помогает ML.
• Практическое занятие. На конкретных кейсах потренируемся видеть ограничения А/В и понимать, как повысить надежность выводов. Определим, когда, как и какие надстройки необходимо применять.

9. A/B без A/B: Сausal Inference и квази А/В:

• Теоретическое занятие. Освоим логику Сausal Inference и познакомимся с ключевыми квазиэкспериментальными подходами. Научимся выбирать метод оценки эффекта, когда провести классический эксперимент невозможно. Во всех подробностях разберемся с Diff-in-Diff, PSM, Causal Impact и другими методами.
• Практическое занятие. Разберем реальные сценарии изменений без классической рандомизации. Потренируемся подбирать Causal-метод под ситуацию и проверять, насколько выводу можно доверять.

10. Uplift моделирование:

• Теоретическое занятие. Поймем, чем Uplift-моделирования отличается от обычных прогнозов, и как выбирать, на кого действительно стоит воздействовать. Разберем такие методы, как T-Learner, X-Learner, S-learner и т. д., а также метрики качества моделей. Будем смотреть на ML как на инструмент принятия решений, а не только как на модель прогноза.
• Практическое занятие. Сравним разные подходы к таргетингу. Научимся формулировать Decision Policy и выбирать стратегию, которая максимизирует бизнес-эффект.

Программа может меняться и дополняться по ходу курса в зависимости от индивидуальных особенностей и потребностей потока

Атовр Павел Бухтик

• Head of Product Analytics, ex-Yandex, FindMyKids & Kupibilet
• Более 7 лет работаю с ML, Casual Inference и А/В, 4 года – в роли Head of Analytics
• Решил десятки продуктовых задач на стыке ML, A/B и оценки эффектов
• Провел 100+ А/В и продолжаю проводить их компаниям для поддержания формы
• Неоднократно значимо влиял на ключевые метрики компаний за счет внедрения ML
• Провел 150+ собеседований по А/В и ML как руководитель аналитики

Тариф Оптимальный

• Все 20 занятий программы
• Записи и материалы занятий
• Доступ к чату потока
• Проверка 10 домашних заданий
•