Новые складчины

​

Что такое MCP-сервера?
Это набор из Docker-контейнеров, которые расширяют возможности ИИ и позволяют ему работать с 1С так же, как опытный программист.
Без MCP современный ИИ, который даже очень хорошо пишет код не знает деталей синтаксиса Вашей версии платформы 1С, не знает особенностей и метаданных Вашей конфигурации 1С. С MCP ИИ начинает понимать код, метаданные, справку и бизнес-логику конфигурации 1С.

MCP варианты:

• MCP №1 — HelpSearchServer Поиск по справке платформы 1С (RAG)
• MCP №2 — Graph Metadata Search
• MCP №3 — CodeMetadataSearchServer
• MCP №4 — SSLSearchServer
• MCP №5 — SyntaxCheckServer
• MCP №6 — TemplatesSearchServer
• MCP №7 — 1CCodeChecker

MCP №1 — HelpSearchServer Поиск по справке платформы 1С (RAG)
Этот MCP-сервер подключает ИИ к официальной справке платформы 1С конкретной версии, с которой вы работаете.
Это критически важно, потому что поведение платформы, методы и сигнатуры меняются от версии к версии.
ИИ:

• ищет по справке по смыслу
• объясняет методы и параметры
• подсказывает корректное использование API
• не путает версии платформы

Один из самых важных MCP-серверов в пакете.

MCP №2 — Graph Metadata Search
Этот сервер строит граф связей метаданных конфигурации 1С.
ИИ начинает понимать, как объекты связаны между собой, а не просто видеть их названия.
ИИ может:

• искать любые метаданные по любым критериям
• анализировать связи документов, регистров, справочников, находить зависимости
• объяснять архитектуру конфигурации
• отвечать на вопросы в терминах бизнес-сущностей
• MCP может использовать отдельную LLM - чем экономить контекст и сохранять фокус основной модели для кодинга
• У MCP есть визуальный интерфейс - может просто отвечать на вопросы по конфигурации. Подходит для аналитиков.
• MCP также может искать код в привязке к метаданным конфигурации

Особенно полезен при работе с чужими или большими конфигурациями.

MCP №3 — CodeMetadataSearchServer
Поиск по метаданным, коду и справке к конфигурации. Поиск и валидация XML для генерации форм и метаданных.
Сервер индексирует метаданные конфигурации и связанную с ними справочную информацию и код.
ИИ может искать не только по названию, но и по назначению и смыслу.
Поддерживает:

• поиск объектов конфигурации
• поиск форм
• поиск по коду (включая взамосвязи и вызовы)
• валидацию сгенерированных объектов
• объяснение назначения объектов

Базовый MCP для работы с метаданными и кодом конфигурации

MCP №4 — SSLSearchServer
Этот сервер даёт ИИ доступ к справке по Библиотеке Стандартных Подсистем (БСП).
ИИ понимает, какие функции уже реализованы в БСП, и не «изобретает велосипед».
MCP позволяет:

• находить функции БСП (как по точному названию так и по семантике)
• объяснять их назначение
• подсказывать правильное использование
• учитывать разные версии БСП

Просто необходим если вы работаете в конфигурации с БСП
MCP №5 — SyntaxCheckServer
Проверка синтаксиса BSL (BSL Language Server)
Сервер использует BSL Language Server для анализа кода.
ИИ проверяет код и находит ошибки ещё до встраивания сгенерированного кода в существующий.
Определяет:

• синтаксические ошибки
• стиль кода
• нарушение стандартов
• "лучшие практики"

Незаменимый MCP, особенно в случае если вы не работаете в Cursor
MCP №6 — TemplatesSearchServer
Контейнер содержит библиотеку популярных шаблонов кода 1С.
Также поддерживается добавление собственных шаблонов и паттернов. Также поддерживается долговременная ПАМЯТЬ.
С этим MCP ИИ:

• использует готовые шаблоны накопленные за годы в сообществе
• использует популярные хитрости и нетипичные приёмы
• может использовать ваши внутренние практики
• запоминает ваши важные решения
• запоминает типичные паттерны и исправления своих ошибок

Дайте вашему ИИ агенту все знания сообщества 1С-ников и заставьте его учиться

MCP №7 — 1CCodeChecker
MCP для 1С:Напарник (нужен ключ)
Предоставляет все возможности 1С:Напарника в качестве субагента:

• проверка кода на ошибки (включая архитектурные и производительность)
• ревью кода по стилю и стандартам
• переписывание кода напарником или даже написание кода по задачам
• ИИ поиск информации по ИТС
• ИИ поиск информации по конкретной конфигурации
• ИИ поиск информации по платформе
• ИИ консалтинг по любым вопросам 1C

MCP актуален как для разработки так и для аналитики и работы с проектом. Для разработки позволяет получать по-настроящему промышленный код.
Автор Олег Филиппов

​

Исчерпывающий курс от новичка до профессионала для всех, кто хочет овладеть передовыми технологиями симуляции в робототехнике. Курс создан для абсолютных новичков, людей, меняющих профессию, студентов и самоучек

Nvidia Isaac Sim: Полное Погружение (курс на русском языке) — это исчерпывающий курс от новичка до профессионала для всех, кто хочет овладеть передовыми технологиями симуляции в робототехнике. Курс создан для абсолютных новичков, людей, меняющих профессию, студентов и самоучек, и устраняет главные барьеры для входа в робототехнику: отсутствие практического опыта, путаницу в инструментах симуляции и неуверенность в том, как применить их на практике.
Если вы разработчик из смежной IT-области, студент, стремящийся к карьере в робототехнике, или энтузиаст, готовый выйти на новый уровень, этот курс проведет вас шаг за шагом от нуля до профессионального уровня.

Чему вы научитесь

• Вы получите глубокое понимание всей экосистемы Nvidia для робототехники, включая Isaac Sim, Isaac Lab, GROOT и ROS 2.
• Вы освоите физику симуляции с PhysX 5, научитесь моделировать все основные типы роботов — манипуляторов, мобильных, человекоподобных и дронов, а также интегрировать продвинутые сенсоры (камеры, LiDAR, IMU).
• Курс охватывает раздел ИИ для робототехники: Vision-Language Models (VLM), Vision-Language-Action Models (VLA), Large Language Models (LLM), обучение с подкреплением и имитационное обучение, а также работу с Python API, интеграцию с ROS 2 и sim-to-real transfer (переход от симуляции к реальному миру).

Навыки, которые вы получите. К окончанию курса вы сможете:

• создавать фотореалистичные и физически точные симуляции;
• импортировать и управлять реальными моделями роботов;
• программировать роботов на Python;
• проектировать и тестировать ИИ-модели управления роботами;
• подключать симуляции к реальному оборудованию.
• Вы создадите практические проекты, такие как автономная сортировка, роботы-доставщики, совместная сборка и роботы, управляемые естественным языком.

Новый инструмент для тестирования роботов
Мы добавили открытый инструмент Partenit, который можно использовать для тестирования поведения роботов и контроллеров в симуляциях (включая Isaac Sim) или без симулятора.
Он позволяет:
проверять действия робота по правилам безопасности
запускать готовые сценарии тестирования
получать метрики и оценки безопасности (A–F)
генерировать отчёты по результатам тестов
Инструмент полностью open-source и бесплатный.

Содержание
31 Sections / 284 Lessons / Без ограничений

• 1. Введение в мир робототехнического моделирования
• 2. Подготовка рабочего места и монтаж
• 3. Isaac Sim Основные интерфейсы и первые шаги
• 4. Universal Scene Description (USD) Базовые форматы
• 5. Физические сцены в Isaac Sim - PhysX 5 Basics
• 6. Соединения, сочленения и механизмы роботов
• 7. Импорт и настройка готовых роботов
• 8. Контроллеры и управление роботами
• 9. Датчики и восприятие окружающей среды
• 10. Типы роботов и возможности симуляции
• 11. Python API и программирование симуляций
• 12. Isaac Lab — фреймворк обучения с подкреплением
• 13. Алгоритмы и обучение с подкреплением
• 14. Имитационное обучение и сбор демонстраций
• 15. Визуально-языковые модели (VLM) для робототехники
• 16. Визуально-языково-действенные модели (VLA) и управление роботами
• 17. Большие языковые модели (LLM) как планировщики
• 18. Isaac Groot — универсальные политики управления роботами
• 19. Интеграция ROS 2 с Isaac Sim
• 20. Навигация и SLAM для мобильных роботов
• 21. Манипуляции и задачи Pick-and-Place (захват и перемещение объектов)
• 22. Продвинутые методы симуляции
• 23. Создание реалистичных окружений
• 24. Оптимизация производительности
• 25. Расширения и кастомизация Isaac Sim
• 26. Компьютерное зрение и обработка изображений
• 27. Реальные кейсы и проекты
• 28. Тестирование и валидация
• 29. Переход от симуляции к реальности (Sim-to-Real)
• 30. Карьера и дальнейшее профессиональное развитие
• SWS7 Финальный квиз

Преподаватель: Юлия Горшкова
QA Lead, преподавательница тестирования.
Больше 7 лет преподает разные ИТ дисциплины на разных площадках
Создает B2B курсы (по заказу организаций, для обучения их сотрудников)
Основательница стартапа GradeBuilder и всех ресурсов QA Hackin

​

Онлайн-курс от разработчика решения для тех, кто хочет освоить работу в «1С:Управление автотранспортом Проф» с нуля и перейти к самостоятельной практике.

Формат проведения: 10 онлайн-занятий
Время: 10:00–13:00 МСК.

На курсе разбираются базовые настройки программы, ведение транспортных средств и водителей, учет ГСМ, оформление заказов и маршрутных листов, работа с путевыми листами, ремонты, складской учет, зарплата водителей, оказание услуг, доходы и расходы, логистика, мониторинг и контроль перевозок.

Курс подойдет:
— участникам команды внедрения программного продукта
— ключевым пользователям программного продукта
— программистам, консультантам и аналитикам 1С:Франчайзи

Авторы курса:
Юлия Бабак — консультант-аналитик отдела автоматизации управления транспортом и логистикой, компания «1С-Рарус»
Михаил Шкурла — руководитель группы разработки программ для управления транспортом и логистикой, компания «1С-Рарус»

Кратко по программе:
— первоначальная настройка
— заполнение основных справочников
— подсистема «ГСМ»
— документы «Заказ на ТС» и «Маршрутный лист», АРМ Диспетчера
— подсистема «Работа ТС» и планирование работы ТС
— подсистема «Складской учет»
— подсистема «Ремонты и агрегаты», АРМ Механика
— подсистема «БДД»
— учет водителей, зарплаты, выработки
— подсистема «Оказание услуг»
— подсистема «Доходы и расходы»
— взаимодействие с типовыми конфигурациями
— подсистема «Логистика»
— подсистема «Мониторинг»
— АРМ «Контроль перевозок»

​

Вам нужен этот курс если

Вы уже поняли что за ИИ будущее, но пока не знаете как его применить для ваших задач
Рассмотрим практические примеры применения ИИ для задач, которые возникают на проектах 1С. При этом используя современные, специализированные решения
Хотите узнать передовые инструменты и подходы применения ИИ
Рассмотрим большой набор инструментария который чаще всего используется для решения задач РП и аналитиков 1С при помощи ИИ
Не знаете как "подружить" современный ИИ с 1С и с вашими данными.
Рассмотрим специализированные решения (MCP) для ответов на вопросы и анализа баз 1С, а также организацию RAG по вашим локальным документам

Программа курса

Основы контекст инжиниринга
Модели LLM
Агенты/Клиенты для использования моделей
Фичи агентов
MCP серверы
RAGFlow
Computer Use
GitBook и Documentation as a code
ИИ в продуктах Atlassian
Использование ИИ для задач на проектах 1С

Особенности курса

Уникальные кейсы
Многие инструменты, о которых рассказывается на курсе, разработаны непосредственно автором курса и кейсы из использования являются уникальными. Некоторые инструменты применяются в таком контексте только автором курса.
Современный инструментарий
Все темы рассматриваются с применением актуальных инструментов, лучшим образом решающих задачи аналитиков и РП на проектах 1С
Самые необходимые темы
Рассмотрено только то, что реально применяется на проектах 1С, как автором курса так и его коллегами
Ориентировано на экосистему 1С
По итогу курса вы научитесь использовать ИИ на проектах 1С решая задачи анализа возможностей, документирования, сбора требований, документирования и даже поддержки

​

Полный курс по Angular 21 и созданию полноценных SPA приложений

После прохождения курса вы сможете:
- Создавать проекты на Angular
- Создавать компоненты, директивы, пайпы
- Понимать и использовать привязки данных
- Использовать условные конструкции For, @if
- Использовать жизненные циклы компонентов
- Понимать и использовать Dependency Injection
- Создавать сложную маршрутизацию приложения, Guards
- Использовать RxJS и сигналы в компонентах Angular
- Работать с формами
- Взаимодействовать с API

Минимальные требования:
Знание JavaScript, Знание TypeScript, Знание HTML и CSS

В этом курсе мы изучим Angular, создавая приложение для работы с криповалютой. Этот курс идеально подойдёт тем, кто уже знаком с основами HTML, CSS и JavaScript и готов начать работать с одним из популярных frontend фреймворков — Angular. Если вы уже имеете опыт работы с другими JavaScript фреймворками, этот курс поможет вам быстро освоить Angular и его экосистему.

Курс ориентирован на практическое освоение, и весь теоретический материал будет подкреплён реальными задачами. Вместо стандартных примеров, мы будем работать с настоящими API и создавать компоненты и сервисы, которые имитируют реальные сценарии. В процессе мы подробно изучим Dependency Injectioin, роутер и напишем простой стор для хранения данных. Также в курсе предусмотрено множество упражнений, которые помогут вам углубить понимание технологий и доработать проекты, созданные на занятиях.

Программа
Курс построен таким образом, чтобы доносить материал от простого к сложному.
1. Введение в Angular
2. Настройка окружения
3. Основы Angular
4. Маршрутизация
5. Директивы
6. Пайпы
7. Работа с данными
8. Сервисы, внедрение зависимостей
9. Работа с формами
10. Http и взаимодействие с сервером
11. Заключение

​

Практический онлайн-митап для тех, кто не ждет отмены ограничений, а ищет реальные способы внедрения нейросетей в бизнес уже сегодня. Это вторая встреча серии, полностью посвященная обходу блокировок и стабильной работе с зарубежными ИИ-сервисами из РФ.

11 апреля Онлайн

Автор и организатор: Олег Филиппов — эксперт с 15-летним опытом в IT, CEO стартапа EmplDocs и создатель проекта OneRPA. Специализируется на ERP-системах, финансах и автоматизации. Ведет профессиональный канал «IT Does Matter».

Программа митапа:
— Белые списки: Инструкции по жизни и работе с нейросетями в условиях максимально жестких санкционных ограничений.
— Блокировки аккаунтов: Детальный разбор реальных кейсов блокировок со стороны ИИ-вендоров. Анализ причин, последствий и методов их предотвращения.
— Доступ к ресурсам: Актуализация классических методов доступа к необходимым ИИ-инструментам с опорой на новые вводные 2025 года.

Важные особенности мероприятия:

1. Митап носит закрытый характер: детальной программы и тезисов докладов в открытом доступе не будет.
   
2. Записи будут доступны только на защищенной платформе (возможно, не в полном объеме) в целях соблюдения законодательства РФ.
   
3. Информация, обсуждаемая на встрече, является эксклюзивной и не подлежит открытой публикации.

​

Научись разрабатывать высокопроизводительные, масштабируемые микросервисы, как в ВК, Yandex, OZON, СБЕР, Тинькофф, и увеличь свои шансы на трудоустройство в BigTech или повышение грейда

Курс адаптирован под частые проблемы backend-a, которые встречаются на работе

• Перехожу на Go — хочу быстро адаптироваться и не писать как на старом языке
  
  Узнаешь все необходимое про внутрянку Go и микросервисную архитектуру: HTTP, OpenAPI, gRPC, Kafka, Redis, Postgres, Prometheus, Grafana, Jagger, Elasticsearch, Kibana, Envoy, OpenTelemetry и др., чтобы сменить стек без потери в ЗП и сразу работать на интересных проектах.
  
  
• Пишу на Go, но застрял в типовых задачах — хочу расти дальше
  
  Узнаешь лучшие практики, нюансы и лайфхаки построения микросервисов, которые применяются в бигтехах, чтобы вырасти из рутины и начать решать сложные инженерные задачи.
  
  
• Хочу уверенно проходить собесы и повысить свой грейд и зарплату
  
  Напишешь реальный проект из 5 микросервисов, разберёшься как всё взаимодействует между собой и сможешь уверенно отвечать на вопросы по архитектуре и технологиям на собесах в топовые компании.

Вся подкапотная микросервисов в одном обучении

1. Разработаешь 5 микросервисов, связанных между собой через Kafka и gRPC, с изоляцией от внешнего мира с помощью Envoy Gateway
2. Обеспечишь мониторинг сервиса по стандарту OpenTelemetry с юнит-тестами, чтобы исключить ошибки в работе
3. Освоишь кеширование данных с помощью Redis и асинхронное взаимодействие между микросервисами с помощью Kafka
   
4. Освоишь работу с PostgreSQL, напишешь свою платформенную библиотеку, упрощающую разработку
5. Реализуешь межсервисное взаимодействие, систему аутентификации и авторизации
6. На практике научишься применять архитектурные подходы построения микросервисов

Спойлер: Программа курса

8 недель. 5 микросервисов. Production-ready стек.

Неделя 1

HTTP и gRPC: два протокола, которые должен знать каждый Go-разработчик

Блок 1: gRPC — язык, на котором говорят микросервисы

• Protocol Buffers с нуля — описываем контракт сервиса в ".proto"-файле
• buf — генерируем Go-код одной командой вместо ручной возни с `protoc`
• Поднимаем gRPC-сервер и клиент — полноценный CRUD для управления данными
• Интерцепторы: перехватываем каждый запрос — логирование, перехват паник и кастомная логика
• gRPC-Gateway + Swagger UI — один сервис, два протокола: REST снаружи, gRPC внутри
• Валидация входных данных — отсекаем невалидные запросы ещё до попадания в бизнес-логику

Блок 2: HTTP — REST API на промышленном уровне

• Chi — самый популярный Go-роутер — маршруты, цепочки middleware, таймауты и корректное завершение работы
• Сначала контракт, потом код — описываем OpenAPI-спецификацию, получаем типизированный сервер с валидацией из коробки через Ogen
• HTTP вызывает gRPC — связываем сервисы между собой: HTTP-фронтенд обращается к gRPC-бэкенду

Блок 3: Go Workspace — мультимодульный проект

• go.work для нескольких сервисов — общие proto-определения, общие зависимости, единый репозиторий

Домашнее задание

• Реализовать 3 микросервиса: OrderService (HTTP), InventoryService (gRPC), PaymentService (gRPC). Связать их через gRPC-клиенты — заказ обращается к складу и платёжке.

Результат недели

• Ты с нуля напишешь 3 работающих сервиса на двух протоколах, освоишь кодогенерацию API из контрактов и научишься связывать микросервисы между собой. Это фундамент, на котором строится всё остальное.

​

Неделя 2

Clean Architecture и тесты: пишем код, как в BigTech-компаниях

Блок 4: Слоистая архитектура — структура, которую поймёт любой разработчик

• API → Service → Repository → Client — чёткое разделение ответственности
• Три модели данных — модель API, доменная модель, модель хранилища: зачем их разделять и как конвертировать между собой
• Инверсия зависимостей — интерфейсы определяет тот, кто использует, а не тот, кто реализует
• Стратегия обработки ошибок — единые ошибки-маркеры на каждом слое, понятная цепочка от базы до клиента

Блок 5: Unit-тесты — от нуля до полного покрытия за 7 шагов

• Первый тест на чистом Go** — `testing.T`, никаких фреймворков
• Табличные тесты — один тест, десять сценариев: описываем входы и ожидаемые результаты
• testify — читаемые проверки вместо ручных `if err != nil`
• Стабы: подменяем зависимости вручную — простая реализация в памяти вместо реальной базы
• mockery — генерируем моки автоматически — задаём ожидания, проверяем вызовы
• Тесты в Clean Architecture — мокаем репозиторий, тестируем бизнес-логику изолированно
• Параллельные тесты — запускаем тесты одновременно и не ловим гонки

Домашнее задание

• Рефакторинг всех 3 сервисов в Clean Architecture. Unit-тесты с моками на сервисный и API-слой. Покрытие ≥40%.

Результат недели

• Код разложен по чётким слоям — бизнес-логика отделена от транспорта и хранилища. Любой новый разработчик откроет проект и сразу поймёт, где что лежит. Тесты с моками ловят баги до продакшена, а не после

​

Неделя 3
Docker и PostgreSQL: сервисы обретают настоящее хранилище

Блок 6: Docker — упаковываем сервис в контейнер

• Многоэтапная сборка Docker-образа — 800 МБ Go SDK превращаются в 10 МБ финальный образ
• Запуск не от root — безопасно, как требуют в продакшене
• Docker Compose — база данных, миграции и сервис поднимаются одной командой
• Healthcheck и зависимости — контейнеры стартуют в правильном порядке

Блок 7: PostgreSQL — SQL на Go без боли

• pgx — самый быстрый драйвер для PostgreSQL с пулом соединений (переиспользуем подключения, а не создаём новые на каждый запрос)
• Squirrel — SQL-конструктор — собираем запросы программно, без склейки строк
• Миграции через Goose — версионируем схему базы, накатываем изменения при деплое
• Практические приёмы — получаем ID сразу при вставке, работаем с nullable-полями, избегаем SQL-инъекций

Блок 8: Транзакции — атомарность без компромиссов

• Transaction Manager — оборачиваем несколько операций в транзакцию, не протаскивая объект транзакции через все слои
• Прозрачные транзакции — репозиторий даже не знает, что работает внутри транзакции — всё скрыто в контексте

Домашнее задание

• Поднять PostgreSQL через Docker Compose для OrderService и InventoryService. Написать миграции, заменить хранение в памяти на реальные SQL-запросы. Интегрировать Transaction Manager для атомарного создания заказа

Результат недели

• Хранилище в памяти заменено на PostgreSQL. Ты умеешь поднимать инфраструктуру через Docker Compose, делать миграции, писать запросы и проектировать хранилища. Паттерн Transaction Manager — один из самых частых вопросов на собеседованиях

​

Неделя 4
Конфигурация, DI и Domain-Driven Design

Блок 9: Конфигурация — параметры сервиса без хардкода

• YAML + переменные окружения через cleanenv — один конфиг-файл, переопределения через переменные окружения для каждого стенда
• Профили: local / production / docker — переключаем поведение без изменения кода

Блок 10: DI-контейнер — управление зависимостями без магии

• Ручной DI на Go — создаём зависимости лениво: только когда понадобятся
• Корректное завершение работы — ресурсы закрываются в обратном порядке: что открыли последним — закрываем первым
• Платформенная библиотека — проверка здоровья сервиса, логгер, менеджер закрытия ресурсов: переиспользуемые компоненты для всех сервисов

Блок 11: JSONB — гибкие структуры в PostgreSQL

• JSONB-колонки — храним разнородные данные (характеристики разных типов деталей) в одной колонке без раздувания схемы
• Индексы по JSON — быстрый поиск внутри JSON-структур

Блок 12: Domain-Driven Design — бизнес-логика, которая сама себя защищает

• Сущности с поведением — объекты сами знают свои правила, а не просто хранят данные
• Value Objects — типизированные значения (например, «прочность корпуса»), которые нельзя создать в невалидном состоянии
• Агрегаты — группа связанных объектов с единой точкой входа, которая контролирует целостность данных
• Доменный сервис — проверка совместимости компонентов корабля перед заказом
• Резервирование деталей — Reserve/Release с защитой от невалидных состояний

Домашнее задание

• Внедрить конфигурацию и DI-контейнер во все сервисы. Создать платформенную библиотеку. Реализовать DDD: сущность Part с методами Reserve/Release, Value Objects для свойств компонентов в JSONB, сервис проверки совместимости при заказе

Результат недели

• Сервисы конфигурируются через YAML и переменные окружения, зависимости собираются через DI-контейнер, ресурсы корректно освобождаются при завершении. Бизнес-логика защищена доменной моделью — невалидное состояние невозможно создать в принципе. Ты строишь не просто сервисы, а **платформу** — как это делают в BigTech-компаниях

​

Неделя 5
Kafka: асинхронная коммуникация между сервисами

Блок 13: Apache Kafka — шина событий для микросервисов

• Синхронный и асинхронный продюсер — гарантия доставки каждого сообщения vs максимальная пропускная способность
• Консюмер — читаем поток событий — смещения, партиции, чтение с начала или с конца
• Consumer Groups — горизонтальное масштабирование — несколько экземпляров сервиса делят между собой поток сообщений, автоматически перераспределяя нагрузку
• Обработка сообщений пачками — накапливаем и обрабатываем группой для производительности
• Kafka в Clean Architecture — выделяем слои для асинхронных потоков так же, как для HTTP и gRPC

Блок 14: SELECT FOR UPDATE — блокировки в PostgreSQL

• Блокировка строк при чтении — «заморозить» запись в базе, пока мы с ней работаем, чтобы другой запрос не изменил её параллельно
• Правильный порядок блокировок — всегда блокируем строки в одном и том же порядке, чтобы два запроса не заблокировали друг друга навечно
• Повторная обработка событий без последствий — даже если Kafka доставит сообщение дважды, данные не сломаются

Домашнее задание

• Поднять Kafka. Создать AssemblyService — новый микросервис, который слушает событие оплаты, «собирает корабль» и отправляет событие завершения сборки. OrderService публикует событие при оплате и обновляет статус при получении результата сборки. Блокировка строк для безопасного резервирования деталей.

Результат недели

• Полная асинхронная цепочка: заказ → оплата → сборка → обновление статуса. Четвёртый микросервис (AssemblyService) работает через Kafka. Ты освоил событийную архитектуру — именно так обрабатывают миллионы событий в BigTech-компаниях вроде OZON, Яндекса и Тинькофф

​

Неделя 6
Аутентификация: IAM-сервис и Redis

Блок 15: Redis — быстрое key-value хранилище

• Базовые операции — простые ключи, хеш-таблицы, хранение структур
• Время жизни ключей (TTL) — данные автоматически удаляются через заданное время: идеально для сессий и кеша
• Распределённая блокировка через Redis — когда несколько экземпляров сервиса должны по очереди работать с общим ресурсом
• Защита от лавины запросов — если тысяча пользователей одновременно запросила одно и то же, в базу уходит только один запрос
• Redis в Clean Architecture — кеширующий слой как отдельный репозиторий

Блок 16: Аутентификация на сессиях — от логина до защиты API

• bcrypt — хешируем пароли правильно — почему md5 и sha256 для паролей использовать нельзя
• Сессии в Redis с временем жизни — создание, проверка, удаление
• gRPC-интерцептор для проверки сессий — список открытых методов, извлечение токена из заголовка
• HTTP middleware для аутентификации — проверяем сессию через IAM, пробрасываем ID пользователя в контекст запроса
• Передача информации о пользователе между сервисами — gRPC metadata для пробрасывания идентификатора через цепочку вызовов

Домашнее задание

• Создать IAM Service — пятый микросервис: Register, Login, Logout, Whoami, GetUser. Пользователи в PostgreSQL, сессии в Redis с ограниченным временем жизни. Добавить HTTP middleware в OrderService и gRPC-интерцептор в InventoryService для проверки сессий через IAM.

Результат недели

• Пятый микросервис — полноценный IAM с регистрацией, аутентификацией и хранением сессий в Redis. Каждый запрос проходит проверку — API больше не открыт всему миру. Плюс ты освоил распределённые блокировки и защиту от лавинных запросов — паттерны, которые спрашивают на каждом Senior-собеседовании.

​

Неделя 7
Observability: логи, метрики и распределённые трейсы

Блок 17: Логирование — от println до Kibana

• Структурированные логи через slog + OpenTelemetry — логи отправляются в единый коллектор телеметрии
• Запись сразу в два места — одновременно в консоль и в Elasticsearch, чтобы видеть логи и локально, и в централизованном хранилище
• Kibana — ищем и анализируем логи всех сервисов в одном интерфейсе
• Устойчивость к сбоям — если Elasticsearch упал, сервис продолжает работать и писать логи в консоль

Блок 18: Метрики — Prometheus и Grafana

• Счётчики, гистограммы и другие типы метрик — считаем количество запросов, замеряем время ответа, отслеживаем текущую нагрузку
• Автоматический сбор метрик gRPC — подключается в одну строку, сразу видим latency и количество ошибок
• Prometheus — собирает метрики со всех сервисов через единый коллектор
• Grafana-дашборды — красивые графики бизнес-метрик: заказы, выручка, время сборки

Блок 19: Распределённый трейсинг — видим путь запроса насквозь

• Сквозной идентификатор запроса — один trace-id проходит через все сервисы, позволяя восстановить полный путь
• Автоматический сбор трейсов для gRPC — подключается без изменения бизнес-кода
• Добавляем бизнес-контекст к трейсам — видим не только «запрос прошёл», но и «какой заказ, какой пользователь»
• Jaeger — визуализация полного пути запроса через все сервисы на одном таймлайне
• Инструментация Redis — подключаем трейсы, метрики и логи для каждого вызова кеша через систему хуков

Домашнее задание

• Развернуть полный стек наблюдаемости: коллектор телеметрии, Elasticsearch + Kibana, Prometheus + Grafana, Jaeger. Настроить логи всех сервисов в Kibana. Бизнес-метрики (заказы, выручка) в Grafana. Трассировка полного пути запроса через Order → Inventory → Payment. Вынести инструменты наблюдаемости в платформенную библиотеку.

Результат недели

• Полноценная система наблюдаемости: Grafana с метриками, Kibana с логами, Jaeger с трейсами. Ты видишь каждый запрос от входа до ответа через все сервисы. Это уровень, который отличает Middle от Senior.

​

Неделя 8
Контейнеризация, балансировка и распределённый Rate Limiting

Блок 20:Контейнеризация и Nginx — всё в Docker, балансировка нагрузки

• Многоэтапная сборка Docker-образа для каждого сервиса — сначала компилируем, затем берём только бинарник в минимальный образ
• Docker Compose для всей системы — 5 сервисов + вся инфраструктура поднимаются одной командой
• Nginx как балансировщик — запросы равномерно распределяются между репликами OrderService
• Горизонтальное масштабирование — запускаем несколько копий сервиса, Nginx сам находит их по имени

Блок 21: Паттерны отказоустойчивости — чтобы сервис выжил в продакшене

• Rate Limiter — ограничиваем количество запросов в секунду, чтобы сервис не захлебнулся под нагрузкой
• Retry с нарастающей задержкой — клиент автоматически повторяет запрос при временных сбоях, каждый раз ожидая чуть дольше (плюс случайный разброс, чтобы все клиенты не повторили одновременно)
• Circuit Breaker — если сервис начал падать, автоматически прекращаем к нему обращаться, даём восстановиться, затем аккуратно проверяем: заработал ли
• Распределённый Rate Limiter через Redis — единый лимит на все копии сервиса, настройка лимитов отдельно для каждого метода, если Redis недоступен — пропускаем запросы, а не блокируем

Блок 22: Нагрузочное тестирование — проверяем, что всё работает под давлением

• vegeta — заливаем HTTP-трафиком, замеряем время ответа и пропускную способность
• ghz — то же самое для gRPC, проверяем rate limiter под реальной нагрузкой

Домашнее задание

• Контейнеризировать все сервисы. Собрать единый Docker Compose со всей инфраструктурой. Настроить Nginx для балансировки OrderService на 3 реплики. Реализовать распределённый Rate Limiter через Redis — единый лимит на все экземпляры. Провести нагрузочное тестирование

Результат недели

• Микросервисная система полностью собрана — от API до мониторинга, от аутентификации до балансировки нагрузки. 5 сервисов в Docker-контейнерах за Nginx, распределённый rate limiter защищает от перегрузки, нагрузочные тесты подтверждают работоспособность. Это готовый проект для портфолио и уверенный ответ на любой вопрос собеседования про микросервисы.

​

​

Хотите стать уверенным специалистом, который не теряется в таблицах и базах данных? На курсе вы разберётесь в ключевых инструментах SQL и научитесь уверенно вытаскивать, сортировать и обрабатывать любые массивы данных!

Этот курс для тех, кто:
- Хочет уверенно разбираться в структуре баз данных и понимать, как связаны таблицы, поля и ключи
- Мечтает научиться быстро извлекать нужную информацию из огромных таблиц с помощью понятных и логичных SQL-запросов
- Стремится освоить язык SQL, чтобы анализировать данные, группировать и сортировать их без Excel и сторонних инструментов

С курсом вы:
- Поймёте, как устроены базы данных, какие бывают их типы и почему реляционные базы актуальны до сих пор
- Разберётесь в синтаксисе SQL и научитесь использовать его для извлечения, анализа и модификации данных
- Обучитесь подключаться к базам данных, работая с интерфейсами вроде HeidiSQL или Sequel Ace
- Рассмотрите, как создавать базы данных и таблицы, указывать типы данных и задавать структуру хранения информации
- Узнаете, как использовать SELECT-запросы для выборки нужных данных из одной или нескольких таблиц
- Изучите, как оптимизировать SQL-запросы, чтобы они работали быстрее даже с большими объёмами данных

Программа курса:

Спойлер

1 неделя
Урок 1. Введение в базы данных.
Урок 2. Основы SQL.
Урок 3. Установка и подключение к базе данных.
Урок 4. Создание баз данных и таблиц.
Урок 5. Основы запросов SELECT.
Урок 6. Фильтрация данных с помощью WHERE.
Урок 7. Сортировка данных с помощью ORDER BY.
2 неделя
Урок 8. Агрегатные функции (COUNT, SUM, AVG).
Урок 9. Группировка данных с помощью GROUP BY.
Урок 10. Фильтрация групп с помощью HAVING.
Урок 11. Объединение таблиц с помощью JOIN.
Урок 12. Объединение таблиц с помощью UNION.
Урок 13. Вложенные запросы.
Урок 14. Создание и изменение данных (INSERT, UPDATE).
3 неделя
Урок 15. Удаление данных (DELETE).
Урок 16. Оптимизация запросов.
Урок 17. Индексы и их роль в оптимизации.
Урок 18. Работа с датами и временем.
Урок 19. Работа с текстовыми данными.
Урок 20. Работа с NULL и особыми значениями.
Урок 21. Практические задачи и проекты.

Автор Людмила Рябова
SQL-разработчик
Python-разработчик, аналитик данных с реальным опытом в IT. Прошла путь от первых строчек кода в школе до работы в международной компании. Работала в Ozon и в сфере финансов, создавала Telegram-ботов, Android-приложения, писала аналитические пайплайны. Расскажет понятно и по делу — без лишней теории, с упором на практику и разбор реальных кейсов. Поможет войти в профессию с нуля и начать зарабатывать в IT. Вдохновила сестёр и брата пойти по тому же пути — теперь вдохновляет и тебя.

​

Хотите создавать программы и понимать, как работает каждый кусочек кода? На нашем курсе вы освоите переменные, циклы, условия и функции, чтобы уверенно писать собственные проекты и игры на C++!

С курсом вы:
- Поймёте, как устроен язык C++ и какие базовые конструкции, помогут создавать программные проекты с нуля
- Разберётесь с переменными и типами данных, чтобы корректно хранить и обрабатывать информацию
- Осознаете принципы ввода и вывода данных, делая взаимодействие программы с пользователем удобным и безопасным
- Осознаете, как применять сложные условия и логические операторы для обработки нестандартных ситуаций в коде
- Изучите принципы управления циклами, оптимизируя выполнение повторяющихся операций в коде
- Узнаете основы работы с массивами и сможете хранить, а также обрабатывать несколько значений в одном объекте

Автор:
Дарья Степанова
Программист
Четыре года опыта работы в разработке на C++. Трижды участвовала в чемпионате Северной Евразии по программированию (NERC ICPC)

Программа курса

Спойлер

21 урок, 3 недели
1 неделя
Урок 1. Введение, установка IDE, написание простейшей программы.
Урок 2. Ввод и вывод данных, арифметические операторы.
Урок 3. Основные типы данных.
Урок 4. Условный оператор if.
Урок 5. Составные условия.
Урок 6. Оператор switch, тернарный оператор.
Урок 7. Цикл while.
2 неделя
Урок 8. Цикл do while.
Урок 9. Цикл for.
Урок 10. Написание игры -угадай число- при помощи циклов.
Урок 11. Вложенные циклы.
Урок 12. Обработка строк при помощи циклов.
Урок 13. Введение в массивы.
Урок 14. Двумерные массивы.
3 неделя
Урок 15. Vector.
Урок 16. Двумерный vector.
Урок 17. Set и map.
Урок 18. Введение в функции.
Урок 19. Функции с аргументами.
Урок 20. Разработка игры. Часть 1.
Урок 21. Разработка игры. Часть 2.

Этот курс для тех, кто:
- Хочет научиться создавать программы с нуля и уверенно использовать переменные, типы данных и базовые операции
- Пытается разобраться с логикой кода, условиями и циклами, чтобы программы работали корректно и предсказуемо
- Стремится понять, как работает компиляция и отладка программ, легко исправляя ошибки в коде

​

Предмет данного курса - простой, лаконичный, удобочитаемый и кроссплатформенный язык программирования Python. Он используется в разработке веб-приложений, анализе данных, искусственном интеллекте, автоматизации, кибербезопасности и многих других областях - и наша область его применения в данном курсе это анализ данных

В вакансиях технических компаний за последние 3 года Python входит в ТОП-1 требуемых технических навыков в области Data Science и Аналитика Данных

Этот курс - это способ максимально быстро ознакомиться с возможностями Python с точки зрения аналитика (бизнес-пользователя). Он спроектирован так, чтобы в самый короткий строк и без излишеств сделать из новичка уверенного бизнес-пользователя основных возможностей Python для анализа данных

Освещенных в курсе возможностей Python достаточно для решения основных бизнес-задач по извлечению, преобразованию\подготовке, визуализации и анализу данных данных. Обучение заточено не просто на заучивание команд и синтаксиса Python, а и на то, чтобы научить "думать на Python" (т.е., сформировать понимание логики его работы и логики разных конкретных библиотек).

Курс сфокусирован не только и не столько на демонстрацию экрана с кодом в ~200 лекциях, а на практическое освоение языка. Поэтому он насыщен практическими заданиями (более 170 ЗАДАНИЙ!), которые не только отлично прорабатывают лекционный материал, а формируют прикладные навыки использования Python

Курс от профессионала в анализе данных: владеющего навыками от обработки данных в MS Excel (вкл. надстройки семейства Power) и статанализа с предиктивной аналитикой в спецпрограммах (SPSS, JASP, Statistica...) - и до языков и методов Data Science применяемых в разработке систем "искусственного интеллекта" (Python, R).

Создатель курса - автор популярной бизнес -литературы (доступна в крупнейших магазинах: Amazon, Ozon, ЛитРес, Ridero...). В частности, автор одного из русскоязычных бестселлеров в категории "Анализ данных" - книги "Аналитика и Data Science для не-аналитиков и даже 100% гуманитариев", а также одной из первых книг отечественных авторов по работе с компонентом ETL Power Query для Excel и Power BI "Power Query: учебное руководство";

Невзирая на массу современных инструментов визуальных инструментов подключения и извлечения данных из баз - Python популярен не только в среде ИТшников, а и обычных бизнес-пользователей (в первую очередь аналитиков). Это как раз тот навык, потраченное на изучение которого время отличная инвестиция!

Курс не заточен под конкретную предметную область (учет, коммерция, розница, маркетинг, закупки, проекты, кадры, медицина, строительство и т.д.): он формирует чистое понимание, знания и навыки Python для анализа данных - и с этими знаниями Вы, как эксперт в своей собственной предметной области (отрасли, дисциплине, сфере, функции...), сможете легко их применить для решения именно Ваших прикладных задач

Обратите внимание, что курс именно о языке Python для бизнес-пользователей и только под задачи анализа данных: а поэтому в нем НЕ БУДЕТ разбора (а если где-то вдруг будет, то поверхностный минимум достаточного для целей данного курса и без углубления в тему) использование его в таких направлениях, к примеру:

• Web-разработка
• GUI-разработка
• разработка ПО
• ООП (объектно-ориентированного программирования) и понятия классов, связанных с ними объектов, разбора полиморфизма, наследования, абстракции, инкапсуляции
• Статистика и теория вероятности
• и т.д.

Чему вы научитесь

• Основы Python, типов данных и вычислений
• ETL (извлечение, преобразования\подготовка\вычисления и загрузка данных) - Pandas
• Визуализация данных (на основе Pandas под капотом которого Matplot + немного Seaborn и чуточку Plotly)
• Описательные статистики (Pandas)
• Сравнение групп (тесты и проверка гипотез) - Pingouin
• Поиск скрытых связей между переменными - Pingouin
• Классификация объектов, предсказание их принадлежности к определенной группе sklearn
• Анализ временных рядов и прогнозирование будущих трендов - statsmodels.TSA

Для кого этот курс

• Планирующим двигаться в ИТ: будущим программистам, тестировщикам, data science-специалистам...
• Профессионалам любых специальностей (обычным бизнес-пользователям), интересующихся темой анализа данных
• Аналитикам данных любой области \ отрасли

Начальные требования

• Базовое умение устанавливать приложения\ПО на свой ПК следуя инструкциям - для прохождения курса нужно будет установить Anaconda\Jupiter Lab (или как альтернатива уметь самостоятельно пользоваться онлайн инструментами совместимыми с Python)
  
  
• Около5 Гб свободного места на ПК для установки рабочей среды (бесплатной)
  
  
• Навыки базовых операций с файлами в офисных приложениях: умение открывать, сохранять, удалять, переименовывать, копировать\вставлять, вырезать и т.д.
  
  
• Понимание базовых математических операций, правил учета скобок; желательно еще основы текстовых операций, а также работы с датами. Понимание структуры\элементов таблицы (строки, столбцы, различать заголовки столбцов и значения на пересечении строк и столбцов). В идеале ориентировочное знание\понимание табличных вычислений (по столбцу целиком) и преобразований (транспонирование, отмена свертывания\мельтинг, join'ы и union'ы....)
  
  
• Никакой специализированной предварительной подготовки в плане основ программирования или теории вероятности с матстатистикой от студента не требуется - курс реально "с нуля". Важно только желание освоить Python для анализа данных.
  
  
• Желательно понимание структуры файлов\источников данных с которыми Вы работаете на практике (например, что книга Excel содержит внутри Листы; а XML-файл имеет узлы; а SQL база состоит из схем; и т.д.)
  
  
• Желательно знание что такое таблицы и диаграммы (визуализации), и умение их "читать" (как минимум базовые: столбиковые, круговые, графики\линии, точечные)

Спойлер: Программа курса

Введение

1. Пару слов о курсе
2. Просто зашли поинтересоваться?
3. Как мы будем учиться

Знакомство с основами Python, его синтаксисом и мат. логикой

1. О языке Python
2. Популярные рабочие среды для Python
3. Знакомство с Jupyter Labs
4. Работа ячеек и ядра в Jupiter Labs
5. Нумерация и извлечение элементов в Python
6. Основы и особенности написания и оформления кода: синтаксис
7. Типы данных
8. Переменные
9. Динамическая типизация
10. Числовой калькулятор
11. Текстовые вычисления
12. А как дела с датами?
13. Мидквэл-лекция о модулях
14. Операторы сравнения
15. Логические операторы: and, or, not
16. Оператор принадлежности: in \ not in
17. Условные вычисления: if
18. Функции: def
19. Не о Half-Life: lambda-выражения
20. Итоги знакомства: что из этих основ может пригодиться в анализе

Углубление в основы: основные управляющие потоком конструкции

1. Что это за инструкции\конструкции
2. Условное принятие решений: логика if, elif, else
3. Условное принятие решений: паттерны\шаблоны match
4. Комбинация конструкций (на примере match и if)
5. Циклы: for и while
6. Управление\изменение поведения циклов: break и continue
7. Обработчики исключений\ошибок: try...except
8. Управление ресурсами: with (проба работы с файлами)
9. Итоги инструкций контроля потоков выполнения программы

О библиотеках: предназначение, подключения, использования

1. Что такое библиотеки или "забудьте (почти)все что мы учили ранее
2. Массивы и Таблицы
3. NumPy и SciPy для вычислений
4. Pandas и Polars: предназначение, отличия, подключение
5. Matplotlib, Seaborn, Plotly:предназначение, отличия, подключение
6. StatsModels с TSA: предназначение, отличия, подключение
7. ML (scikit-learn) с бустингом (...boost)
8. Вызов подсказок и справок по объектам в библиотеках
9. Библиотечные итоги

Основы для быстрого старта: как это все работает в комлексе

1. Большая картина: врубаемся что вообще происходит
2. Подготовка к написанию кода: подключаем библиотеки
3. Загрузка данных
4. Преобразование: очистка данных
5. Преобразование: добавление новых столбцов
6. Анализ данных: описательные статистики
7. Визуализация данных
8. Анализ данных: аналитическая статистика
9. Итоги раздела

ETL: извлечение, преобразование и загрузка данных

1. Общий процесс работы с данными и место в нем ETL
2. Series, DataFrame, векторные вычисл.(обработка столбцов целиком)
3. Навигация и отбор из датафрейма нужных данных
4. Подключение к csv
5. Подключение к Excel
6. Самостоятельное задание: проба загрузки таблицы из SPSS
7. ДатаФрейм и его Представление в Jupyter
8. Вывод ВСЕХ строк и столбцов
9. Выгрузка только нужных столбцов
10. Мидквел:мастер-класс по базовому пониманию справочных материалов
11. Изменения названий\имен\заголовков столбцов
12. Перемещение\Изменение порядка столбцов
13. Типы данных для столбцов: int, float, datetime, string
14. Выбор столбцов по типу данных
15. Систематизация чтений\подключений
16. Вычисление новых столбцов: числовые столбцы
17. Вычисление новых столбцов: разделение и объединение столбцов
18. Вычисление новых столбцов: текстовые столбцы
19. Вычисление новых столбцов: столбцы с датами
20. Вычисление новых столбцов: условный столбец\перекодировка
21. Вместо условного столбца: разбиение значений на группы (cut)
22. Из одного столбца сделать много столбцов с 0\1
23. Удаление лишних\ненужных столбцов
24. Систематизация работы со столбцами
25. Тест по столбцам
26. Оставление нужных строк сверху\снизу таблицы
27. Удаление лишних\ненужных строк (порядок, дубликаты)
28. Фильтрация\Отбор строк для анализа: условие c | и &
29. Тест по строкам
30. Стратегии работы с пустыми значениями
31. Удаление пустых строк и столбцов
32. Заполнение пустых значений другими значениями
33. Заполнение вниз\вверх
34. Интерполяция "пустышек" во времени (периодичные данные)
35. Комплексные функционалы для АНАЛИЗА пропущенных значений
36. Тест по пропускам
37. Стратегии проверки данных: опечатки, смысл, не тот тип
38. Мидквел-лекция: Основы оконных вычислений
39. Группировка\Агрегирование: понижение гранулярности таблицы
40. Транспонирование DataFrame\таблицы
41. Сводные таблицы (Pivot, Pivot Table, Crosstab)
42. Мельтинг\Отмена свертывания\Unpivot
43. Тест по изменению таблицы
44. Слияние нескольких массивов\таблиц: добавление строк
45. Слияние нескольких таблиц: добавление столбцов (с исп.ключей)
46. Тест по джойнам и юнионам
47. Сохранение данных в файл
48. Итоги загрузки, очистки и подготовки данных

Описательные статистики

1. Что такое описательные статистики
2. Частотный анализ (частотное распределение)
3. Частоты под несколько переменных
4. 4 группы мер в описательной статистике
5. Меры центральной тенденции: среднее, мода, медиана
6. Меры точек относительного разделения : процентили и квартили
7. Меры рассеивания\вариативности: дисперсия, ст.отклонение, размах
8. IQR и выбросы\outliers
9. Комлексный анализ описательных статистик: describe
10. Ящик с усами: визуал для среднего,квартилей,мин и макс, выбросов
11. Меры формы распределения: асимметрия и эксцесс
12. Итоги раздела

Визуализации данных

1. Что такое визуализации?
2. Воспоминания как строятся диаграммы
3. Агрегирующие и неагрегирующие диаграммы
4. "Плавный" аналог гистограммы: агрегирующая KDE
5. Столбиковые\Линейчатые диаграммы: вертикальные и горизонтальные
6. Разбор и управление элементами диаграмм
7. Цветовое форматирование визуальных элементов
8. Группировка с распаковкой индекса: метод .groupby() с .unstack()
9. Столбцы на разные диаграммы (subplots)
10. Столбиковые диаграммы: с группировкой и с наложением
11. Погрешности\Коридор прогноза на диаграммах
12. График
13. Вторая Y-ось
14. Комбинированная диаграмма
15. График\диаграмма с областями
16. Круговые диаграммы
17. Диаграмма рассеивания\точечная
18. Превращаем точки в "пузыри"
19. Матрица скаттерплотов
20. Как забрать диаграммы в Power Point
21. Таблица - также визуальный элемент
22. Подводим итоги визуализаций

Анализ данных: Сравнение групп

1. Основные блоки задач, решаемые при анализе данных
2. Генеральная совокупность и выборка
3. Гипотезы и вероятность ошибки\значимость
4. Параметрика\непараметрика
5. Проверка распределения "на нормальность"
6. Зависимые (парные, связанные) и Независимые группы
7. Тест: Систематизация основных понятий
8. Сравнение независимых групп: 2 группы, параметрика
9. О навигации по таблицам результатов (вспомним датафреймы)
10. Сравнение независимых групп: 2 группы, непараметрика
11. Тест 2-х групп (почти самостоятельное задание)
12. Сравнение незав. групп:более 2-х групп,параметрика,с пост-хок
13. Сравнение незав. групп:более 2-х групп,непараметрика, с пост-хок
14. Сравнение парных\связанных групп: 2 группы, параметрика
15. Сравнение парных\связанных групп: 2 группы, непараметрика
16. Сравнение парных групп: более 2-х групп, параметрика, с пост-хок
17. Помиксуем-ка мы сами...: парные и независимые группы вместе
18. Сравнение парных групп: более 2-х групп,непараметрика,с пост-хок
19. Таблицы сопряженности: Хи2 для категориальных признаков, независ
20. Таблицы сопряженности: МакНемар для категор. признаков в завис.
21. Разговоры о красивом
22. Групповые итоги

Анализ данных: связи между переменными

1. Рассуждения о связях между переменными
2. Сила, Направленность и Значимая\Неслучайна статистическая связь
3. Корреляции
4. Мидквел: многомерность выбросов
5. Мидквел: многомерная нормальность
6. Мидквел: корреляционная красота
7. Корреляция для повторных замеров
8. Ложные (частные\получастные) корреляции
9. Анализ надежности-согласованности
10. Линейная регрессия
11. Понятие нормализации данных
12. А если связи нелинейные?
13. Квантильная регрессия (библиотека statsmodels)
14. Что такое факторный анализ
15. Факторный анализ (библиотека factor_analyzer)
16. Итоги раздела

Анализ данных: классификация

1. Переходим к классификации и кластеризации
2. Кто учит алгоритмы? Обучение с учителем
3. Бинарная логистическая регрессия
4. Как понять хороша ли модель: Precision, Recall, ROC-AUC
5. Мультиномиальная логистическая регрессия
6. Порядковая логистическая регрессия
7. Ближайшие соседи k-NN
8. Деревья решений
9. Ансамбли: RandomForest (случайный лес) как бэггинг подход
10. Ансамбли: бустинги - каждая модель исправляет предыдущую
11. А если никто не учит? Обучение без учителя.
12. Кластерный анализ методом К-средних
13. Кластеризация на основе плотности DBSCAN
14. Визуализация кластеров на плоскости t-SNE
15. Нейросети как сложные классификаторы
16. Многослойный перцептрон MLP: с учителем
17. Болцмановские машины (RBM): без учителя
18. Итоги раздела

Мидквэл:анализ и прогнозирование временных рядов statsmodels.tsa

1. Что такое временной ряд и работа с ним
2. Главная ловушка при анализе временных рядов
3. Основные задачи анализа временных рядов
4. Компоненты временного ряда: тренд, сезонность, цикл, всплеск
5. С чего начинается: смотрим "на глазок"
6. Подавление "шумов":HPF(Hodrick-Prescott Filter) отделение тренда
7. Анализ сезонности (на ряду с другими компонентами)
8. (s)ARIMA(x): обучение на временном ряде и его прогнозирование
9. Итоги временных прогнозов

Небольшой факультатив:обзор других отдельных аналитических возм.

1. Используем SQL-скрипты в JupiterLabs
2. Использование Python в Excel 365
3. Не таблицами едиными: анализ текста, изображений, аудио, видео..
4. Разработка аналитических приложений
5. ИИ-помощники при работе с Python

Послесловие

1. Обобщение курса
2. Напутствие
3. Бонус-лекция

Спойлер: Об авторе

Никита Сергеев

Cтратегия и оргразвитие, анализ данных, управление проектами.
Автор курсов - профессиональный аналитик, сертифицированный менеджер проектов, консультант по стратегии и оргразвитию.

Ведущий инструктор русскоязычных курсов и программ в категории «Бизнес», "Бизнес-анализ" и "Data Science" на отечественных и международных платформах онлайн-образования. За плечами ряд крупных реорганизаций и преобразований \ трансформаций компаний.

Человек с уникальным сочетанием академической подготовки (организационная психология, управление международными проектами, степень МВА) и обширного бизнес-опыта. Автор прикладной бизнес-литературы.

Сотрудничает как с крупнейшими телеком- и промгигантами; компаниями финансового, нефтегазового и госсектора; так и с небольшими компаниями. Участвовал в ряде проектов и трансформационных программ (в т.ч. совместно с ведущими консалтинговыми компаниями).

В качестве преподавателя-инструктора за плечами прикладные тренинги и обучающие мероприятия для руководителей старшего и высшего менеджмента крупных компаний, а также преподавание учебных дисциплин на МВА-программах в России, СНГ и ЦВЕ.

​

О курсе:

• Изучите базовые функциональные возможности платформы GitLab для DevOps.
• Разберемся на практике с базовыми возможностями от создания групп, проектов, добавления пользователей до написания скриптов для Gitlab CI/CD.
• Во второй части курса мы изучим основы Git.
• В третьей части курса как только вы освоитесь с интерфейсом и функциями GitLab, перейдем к написанию кода на YAML, разберемся с GitLab - CI/CD pipeline.
• На практике сделаем несколько мини проектов. Плюс по завершению курса рассмотрим мини-проекты.

Обучение проходит на GitLab CE: Community Edition, а это значит что вы сможете развернуть у себя на компьютере полноценную лабораторию для экспериментов.

Чему вы научитесь:

• Изучите базовые настройки GitLab.
• Управлять пользователями в GitLab.
• Создавать и работать с проектами GitLab.
• Общий принцип работы CI/CD.
• Изучите базовые функциональные возможности платформы GitLab для DevOps.
• Разберем основы Git.
• Поймете основы YAML.
• Рассмотрим основы Markdown.
• Настроите и используйте GitLab Runners для выполнения CI/CD pipeline.
• Автоматизировать сборку, тестирование, развертывание с помощью GitLab CI
• Подключать и настраивать GitLab Runners.
• Создавать собственные скрипты для GitLab CI/CD (Pipelines, Jobs, Stages).

Обучение проходит на GitLab CE: Community Edition, а это значит что вы сможете развернуть у себя на компьютере полноценную лабораторию для экспериментов.
Для кого этот курс
Для всех желающих познакомиться с платформой GitLab. Хотите узнать, как построить CI/CD pipeline в GitLab.

Начальные требования
1.1 GitLab: Необходимое ПО - в результате прохождения данного урока вы на практике развернете в docker свой собственный GitLab сервер.

• Основы работы с ПК
• Знаете как открыть командную строку в Mac/Linux/Windows.
• Желательно иметь общее представление о Docker.
• Права администратора для установки программного обеспечения на ПК.
• Для практики вам нужен ПК который имеет возможность создать и запустить виртуальную машину,
• необходимо иметь 8гб оперативной памяти,
• 32гб свободного места на жестком диске
• несколько ядер процессора с возможностью виртуализации.

Обратите внимание GitLab будем устанавливать локально, в минимальном варианте он потребует от 4.5 Гб оперативной памяти, плюс потребуется память для runner (в итоге минимум может использоваться 6 Гб, плюс 2 Гб где останется под основную ОС, учтите это)

Как проходит обучение
Курс для самостоятельного изучения, который вы сможете проходить в удобном вам темпе. Обучение проходит в формате видео лекции, упор делается на практику, а так же есть короткие тесты. Желательно самостоятельно вводить код приведенных примеров.

Программа курса:

• Gitlab: подготовка
• Gitlab: начало
• Git & Gitlab
• Gitlab: CI/CD
• Gitlab: мини проекты CI/CD на практике

Что вы получаете:

• Поймете основные функциональные возможности платформы GitLab CE
• По завершению этого курса студенты смогут работать с GitLab CE
• Сможете самостоятельно на базе GitLab выстраивать процесс CI/CD.

​

Тестирование документации — это не формальность и не финальный штрих, а важная часть качества продукта, значительно удешевляющая процесс разработки ПО.
Этот курс создан для начинающих и работающих тестировщиков уровня джуниор и миддл, которые хотят уверенно проверять требования, пользовательские сценарии, API-спецификации и сопроводительные материалы.
Мы последовательно разберём, как читать документы так, чтобы находить противоречия, неопределённости и пробелы, как соотносить документацию с реальным поведением системы и как выстраивать трассируемость между требованиями и тестами.
К окончанию курса вы сможете уверенно проверять документацию разных типов, фиксировать замечания аргументированно и конструктивно, поддерживать трассируемость и влиять на качество продукта ещё до написания кода.
Вы научитесь выстраивать предсказуемый процесс ревью, экономить время команды и снижать стоимость исправления дефектов за счёт раннего обнаружения проблем в документах.

Для кого этот курс

• Тестировщики начального уровня, которые хотят понять, с чего начинать проверку документации и как не упускать важные детали.
• Тестировщики уровня миддл, которым нужна структура, чёткие критерии и расширение набора техник для ревью документов.
• Инженеры по качеству, участвующие в анализе требований, уточнении сценариев и приёмке изменений по API.

Чему вы научитесь

• Определять цели и границы тестирования документации, выбирать правильные источники истины и договариваться о критериях качества.
• Применять чек-листы качества к требованиям: полнота, непротиворечивость, однозначность, проверяемость, актуальность, трассируемость.
• Разбирать пользовательские сценарии: основной поток, альтернативы, исключения, предусловия и постусловия, а также переводить их в тестовые идеи и наборы.
• Читать и проверять спецификации API на основе Swagger или OpenAPI: схемы, типы, обязательные поля, коды ошибок, примеры, версии и обратная совместимость.
• Строить карту трассируемости между требованиями, тестами, багами и релизами, поддерживать её в актуальном состоянии и использовать для анализа регрессии.
• Тестировать интерфейсные тексты и локализацию: единообразие терминов, тональность, длины строк, переносы,Plural-формы, форматы даты, времени и чисел, а также доступность.
• Работать с версиями и процессом согласования изменений: ревью, комментарии, фиксация решений, контроль изменений и связь с задачами.
• Использовать инструменты: системы документации как код, линтеры, статический анализ, средства для сравнения версий и автоматической генерации документации.

Спойлер: Программа курса

Роль и основы тестирования документации:

1. Зачем тестировать документацию
2. Виды документации: от требований до пользовательских гайдов
3. Источники истины и артефакты проекта
4. Область ответственности тестировщика при ревью документов
5. Базовый чек-лист качества и типичные дефекты

Требования и критерии качества документации:

1. Полнота, непротиворечивость, однозначность, проверяемость.
2. Нефункциональные требования и качественные атрибуты.
3. Примеры плохих формулировок и как их исправлять.
4. Приоритеты и риск-ориентированное ревью.
5. Критерии готовности документа к разработке.

Пользовательские сценарии: юзкейсы и сториз:

1. Структура юзкейсов: акторы, предусловия, основной и альтернативный сценарии.
2. User Story, критерии приёмки и Definition of Ready.
3. Негативные сценарии и исключения.
4. От сценария к тестовым идеям и наборам.
5. Проверка согласованности сценариев между собой.

Спецификации API: Swagger и OpenAPI

1. Структура спецификации: схемы, операции, модели и примеры.
2. Обязательные и необязательные поля, типы и валидация.
3. Коды ответов, ошибки и согласованность контрактов.
4. Обратная совместимость и версии API.
5. Проверка примеров и соответствия схеме.

Трассируемость: маппинг тестов на документацию

1. Матрица трассируемости: требования, тесты, дефекты, релизы.
2. Методика покрытия: что и как связывать.
3. Актуальность связей и контроль изменений.
4. Метрики покрытия и риск-ориентированный подход.
5. Практика анализа влияния изменений.

Проверка интерфейсных текстов и локализации

1. Единообразие терминов и тональность.
2. Ограничения длины, переносы и усечение.
3. Форматы даты, времени, чисел и валют.
4. Плюральные формы и гендерные конструкции.
5. Доступность и читабельность текстов.

Версионирование, изменения и согласования

1. Процесс ревью документации и фиксация решений.
2. Версионирование и политика изменений.
3. Семантическое версионирование и обратная совместимость.
4. Контроль изменений и аудит следов.
5. Работа с фичефлагами и временной расхождением дока и кода.

Заключение

1. Антипаттерны и профилактика дефектов в документации.
2. Как подготовиться к встрече «Трес Амигос».
3. Тестировщик на груминге.

​

Lakehouse для аналитиков и инженеров данных
Научитесь эффективно использовать Data Lakehouse c разделенным Compute и Storage на основе Iceberg и Trino.

• Познакомиться с архитектурой LakeHouse, последним поколением аналитических систем
  с разделенными слоями хранения (Iceberg/S3) и вычисления (Trino/k8s).
• На практике научиться использовать кластер Trino over k8s, который будет обращаться к данным на S3 в формате Iceberg.
• Научиться строить гибридные пайплайны обработки данных с использованием SQL, Python, Spark.
• Освоить масштабирование до х100 раз без смены парадигм и технологий.

Программа обучения
Встречи: 6 недель (1 встреча в неделю)

Занятие 1. Lakehouse, Iceberg, разделение Compute и Storage
Занятие 2. Структура формата Iceberg. Формат Parquet
Занятие 3. Практика
Занятие 4. Метрики запросов в Trino
Занятие 5. Еще раз о формате Iceberg
Занятие 6. Пайплайны и финальная Q&A-сессия

Middle/Senior - Старт 20-го ноября - 6 недель
Живые онлайн-сессии, обсуждения, демо и практика

​

Многие начинающие программисты сталкиваются с трудностями при попытке оптимизировать свой код или понять логику работы сложных систем. Этот курс поможет вам разобраться в фундаментальных принципах построения алгоритмов без лишней теории, делая процесс обучения понятным и прикладным. Вы освоите эффективные методы работы с данными, что позволит вам писать более производительные программы и уверенно решать задачи любого уровня сложности.

Чему вы научитесь:
Понимать принципы работы циклов и рекурсии.
Реализовывать основные структуры данных: массивы, списки, стеки и очереди.
Применять различные алгоритмы сортировки на практике.
Оценивать сложность алгоритмов и выбирать оптимальные решения.
Понимать устройство деревьев и методы их обхода.

Для кого этот курс:
Курс подойдет тем, кто хочет научиться эффективно решать задачи с помощью алгоритмов и стремится разобраться в основах работы массивов и других структур данных.

Программа курса:
Урок 1-5: Основы алгоритмизации, сложность и нотация.
Урок 6-8: Массивы, связные списки, стек и очередь.
Урок 9-15: Виды сортировок (выбором, вставками, слиянием, быстрая, подсчетом).
Урок 16-20: Деревья и основные способы их обхода.

Кто такой Ярослав Щербаков:
Опытный разработчик и педагог. Является выпускником ВШЭ, что позволяет ему сочетать глубокую теоретическую базу с практическими навыками профессионального программирования.

Почему стоит доверять автору:
Обладает профильным образованием НИУ ВШЭ.
Имеет опыт как в профессиональной разработке, так и в преподавательской деятельности.
Подает материал последовательно, от простого к сложному.

​

Практической основой курса выбран фреймворк PyTorch, с помощью которого выполняется построение и обучение нейронных сетей. Почему именно PyTorch? В действительности, единственный конкурент ему другой аналогичный фреймворк Keras/Tensorflow. Однако PyTorch имеет более удобный функционал проектирования сетей самой разной архитектуры. В то время как Keras/Tensorflow больше зарекомендовал себя в коммерческих приложениях (в продакшене) благодаря несколько более высокой скорости обучения НС. Но различия по скорости работы между этими двумя фреймворками не так существенны, а иногда и вовсе незаметны, чтобы отказываться от удобства PyTorch в пользу Keras/Tensorflow. К тому же, изучив PyTorch, вы легко сможете перейти на Keras/Tensorflow, если в этом возникнет необходимость.

Программа курса
Введение в нейросети. Тензоры PyTorch

1. Начало
2. Структура и принцип работы полносвязных нейронных сетей
3. Установка PyTorch совместно с CUDA
4. Создание тензоров. Конвертирование в NumPy
5. Тензоры. Автозаполнение, изменение формы
6. Тензоры. Индексирование и срезы
7. Тензоры. Базовые математические операции
8. Тензоры. Тригонометрические и статистические функции
9. Тензоры. Векторно-матричные операции
10. Использование CPU и GPU на примере простой НС
11. Персептрон - возможности классификации образов

Создание и обучение моделей полносвязных нейронных сетей

1. Идея обучения НС градиентным алгоритмом
2. Алгоритм back propagation
3. Функции активации и потерь в PyTorch
4. Автоматическое дифференцирование
5. Оптимизаторы. Реализация SGD на PyTorch
6. Классы nn.Linear и nn.Module
7. Форматы выборок. Сбалансированность и репрезентативность
8. Классы Dataset и Dataloader
9. Применение классов Dataset и Dataloader
10. Классификация изображений цифр БД MNIST
11. Трансформации transform. Класс ImageFolder
12. Сохранение и загрузка моделей нейронных сетей
13. Переобучение (overfitting). Критерии останова обучения
14. L2-регуляризатор и Dropout
15. Алгоритм Batch Normalization
16. Классы Sequential, ModuleList и ModuleDict

Сверточные нейронные сети

1. Введение в сверточные нейронные сети (CNN)
2. Классы Conv2d и MaxPool2d
3. Пример реализации сверточной нейронной сети
4. Сверточные нейронные сети VGG-16 и VGG-19
5. Теория стилизации изображений (Neural Style Transfer)
6. Делаем стилизацию изображений на PyTorch
7. Остаточные нейронные сети (residual networks - ResNet)
8. Архитектуры ResNet-18 и ResNet-50
9. Использование ResNet моделей. Их связь с Dropout и бустингом
10. Transfer Learning (трансферное обучение)
11. Архитектура сети U-Net. Семантическая сегментация изображений
12. Реализация U-Net для семантической сегментации изображений

Рекуррентные нейронные сети

1. Введение в рекуррентные нейронные сети
2. Класс nn.RNN рекуррентного слоя
3. Рекуррентная сеть для прогноза символов
4. Понятие эмбеддинга. Embedding слов
5. Прогноз слов рекуррентной нейронной сетью
6. Функции активации в RNN. Двунаправленные RNN
7. Двунаправленные RNN в PyTorch. Сентимент-анализ фраз
8. LSTM - долгая краткосрочная память
9. Рекуррентный блок GRU

Автоэнкодеры. Генеративные сети

1. Введение в автоэнкодеры
2. Вариационные автоэнкодеры (VAE)
3. Реализация вариационного автоэнкодера (VAE)
4. Генеративно-состязательные сети (GAN)
5. Реализация GAN на PyTorch