[Высшая школа киноинженеров] Технологии медиавещания (Олег Березин, Евгения Гриненко)

Дополнительное профессиональное образование
практикующие инженеры медиаиндустрии ТВ, ProAV, мультимедиа
Объем курса: 192 академических часа
Содержание курса
Медиасистемы и технологии
Поколения технологий ТВ и медиавещания. Аппаратные технологические решения. Программные технологические решения. Технологии, развиваемые в рамках программных решений: сверхвысокая четкость; большой динамический диапазон; высокая частота кадров; искусственный интеллект; Интернет вещей, виртуальное производство на съемочной площадке для ТВ и кино.
Облачные технологические решения. Поиск решений для удаленного и распределенного телевизионного производства. Виртуализация ТВ и медиапроизводства и вещания. Технологические решения виртуального медиапроизводства и вещания. MovieLabs 2030 Vision: 10 принципов эволюции медиатехнологий.
Системы наземного, спутникового и кабельного ТВ вещания. Система ТВ вещания как элемент информационной инфраструктуры, включающей интернет и сети мобильных коммуникаций.
Сигналы и системы.
Обобщенная модель системы связи. Информация. Сообщения. Сигналы. Непрерывные и дискретные сообщения. Непрерывные и дискретные сигналы. Данные. Скорость передачи данных. Кодирование источника. Канальное кодирование.
Сигналы и спектры. Передача в первичной полосе частот. Межсимвольные искажения. Глазковая диаграмма. Условие Найквиста. Барьер Найквиста. Приближение к барьеру Найквиста. Преодоление барьера Найквиста. Многопозиционные (многоуровневые) сигналы.
Теорема Шеннона. Квазибезошибочная доставка программ. Оценка уровня эффективности системы связи. Пороговое отношение сигнал/шум. Приближение к границе Шеннона. Барьер Найквиста и граница Шеннона
Передача данных с использованием модуляции. Амплитудная модуляция. Частотная и фазовая модуляция. Балансная и однополосная модуляция. Квадратурная модуляция. Векторные диаграммы (сигнальные созвездия). Многопозиционная квадратурная модуляция.
Преобразование звукового поля в звуковую картину.
Звук как волна. Группы естественных звуков: музыкальные звуки, речевые звуки, шумовые звуки. Частота звуковой волны и высота тона звука. Спектральный состав звуков. Диапазон слышимых тональных звуков. Тембр звука. Амплитуда звуковой волны и громкость звука. Пик-фактор звуковых колебаний разной формы. Уровень звукового давления. Диапазон уровней слышимых звуков. Кривые равной громкости.
Обобщенная схема канала звука медиасистемы как системы связи. Принципы действия микрофона и громкоговорителя. Непрерывные и дискретные сигналы. Аналоговые и цифровые сигналы. Аналого-цифровое преобразование. Цифровое кодирование сигнала звука. Цифро-аналоговое преобразование. Выбор параметров аналого-цифрового преобразования сигнала звука. Скорость цифрового потока звуковых данных. Интерфейс AES/EBU.
Преобразование светового поля объекта в плоское оптическое изображение.
Видимый свет на шкале электромагнитных волн. Длины волн и поддиапазоны цветов видимого света. Глаз как приемник света. Проблемы световых измерений. Световой поток. Источники белого света. Цветовая температура источников света. Сила света. Яркость светящей поверхности. Освещенность. Количество освещения.
Объектив. Фокусное расстояние. Принципы наводки на резкость. Основные характеристики объектива: фокусное расстояние, угол поля изображения, угол поля зрения, относительное отверстие, диафрагменное число, разрешающая способность, светосила. Освещенность в плоскости изображения, созданного объективом. Глубина резко изображаемого пространства (ГРИП). ГРИП и размеры сенсора камеры. ГРИП как художественный прием. Боке: технологии и художественные эффекты.
Преобразование оптического изображения в видеосигнал (преобразование свет-сигнал).
Сенсор света как элемент технических систем. Требования к сенсору в телевидении. Разложение и развертка телевизионного изображения. Телевизионная система. Видеосигнал. Сигнал синхронизации. Система цветного телевидения. Физические и субъективные характеристики цвета. Три сигнала цветного телевидения. Сенсор как массив накопителей фотонов. Принцип накопления зарядов. Сенсоры на основе ПЗС-технологий. Сенсоры на основе КМОП-технологий. Сравнительный анализ сенсоров на основе ПЗС и КМОП-технологий. Сенсоры для камер цветного ТВ.
Аналого-цифровое преобразование видеосигнала. Скорость цифрового потока видеоданных. Выбор параметров систем аналого-цифрового преобразования видеосигнала. Цифро-аналоговое преобразование. Обобщенная схема канала изображения как системы связи. Структуры дискретизации и форматы цифрового телевизионного изображения. Видеоинтерфейсы.
Преобразование видеосигнала в изображение (преобразование сигнал-свет).
Принципы отображения полного спектра цветов на экране дисплея (пикселы, субпикселы). Цветовой охват. Основные технологии дисплеев. Плазменные дисплеи. Жидкокристаллические дисплеи. Пиксел и субпиксел ЖК дисплея. Управление прозрачностью, адресация и обращение к ЖК субпикселам. Пассивная и активная ЖК матрицы. Технологии ЖК дисплеев: TN, IPS, VA. Светодиодные дисплеи. Технология дисплеев с органическими светодиодами OLED. Технология дисплеев с неорганическими микросветодиодами microLED. Сравнительный анализ дисплеев, изготовленных по разным технологиям.
Базовые технологии контроля и обработки сигналов изображения и звука в медиасистеме.
Создание изображения и звуковой картины объекта съемки требуемого качества как результат работы ТВ системы. Методы оценки качества телевизионного изображения и звука. Шкалы измерения субъективного качества изображения и звука. Параметры ТВ изображения и звука, определяющие качество изображения и звука. Измерительные сигналы. Испытательные таблицы. Контрольные мониторы.
Оценка разрешающей способности видеосистемы по горизонтали и вертикали. Апертурная коррекция. Измерение яркости и контраста ТВ изображения. Градационные характеристики отдельных звеньев и всей телевизионной системы. Динамический диапазон. Гамма-коррекция. Баланс белого. Подавление шумов.
Настройки и регулировки в каналах звука. Искажения сигналов малого и большого уровня в аналоговых и цифровых системах: сравнительный анализ. Установка уровня сигнала в аналоговых и цифровых каналах звука ТВ систем с использованием шкал dBu, dBVU, PPM, dBFS.
Технологии аудиокомпрессии.
Принципы компрессии аудиоданных на основе психоакустической модели слуха (частотная маскировка, постмаскировка, предмаскировка). Система компрессии аудиоданных MP3. Система компрессии аудиоданных MPEG-2 AAC. Система компрессии аудиоданных MPEG-4 AAC. Система компрессии аудиоданных Dolby AC-3. Артефакты и искажения систем компрессии аудиоданных. Сравнительная эффективность систем компрессии аудиоданных.
Технологии видеокомпрессии.
Проявления избыточности растрового представления ТВ изображения. Пространственная и временная избыточность. Внутрикадровое кодирование при компрессии видеоданных. Артефакты внутрикадрового кодирования. Межкадровое кодирование видеоданных. Артефакты межкадрового кодирования. Системы компрессии видеоданных: JPEG, MPEG-2, MPEG-4 часть 2, MPEG-4 часть 10/AVC/H.264, HEVC/H.265. Система компрессии видеоданных JPEG XS.Тенденции развития систем компрессии.
Технологии канального кодирования
Кодирование, исправляющее ошибки, как инструмент проектирования цифровых систем.
Коды с исправлением ошибок: базовые принципы. Исправление ошибок. Блоковые и древовидные коды. Код с повторением. Расстояние по Хэммингу и минимальное расстояние. Декодирование как статистическое решение и метод максимального правдоподобия. Код с одной проверкой на четность. Систематические коды. Линейные коды. Элементы линейной алгебры. Конечные поля. Код Хэмминга: кодирование. Порождающая матрица. Проверочная матрица. Код Хэмминга: декодирование и реализация кодера и декодера.
Циклические коды. Многочлены и поля Галуа. Принципы построения циклических кодов. Циклические коды: кодирование и декодирование. Коды Боуза-Чоудхури-Хоквингема (БЧХ). Коды Рида-Соломона.
Коды с малой плотностью проверок на четность (LDPC). Концепция кодов с малой плотностью проверок. Принципы декодирования. Граф Таннера. Итеративные алгоритмы декодирования кода с малой плотностью проверок на четность.
Параметры кодов, исправляющих ошибки, в системах цифрового ТВ DVB.
Системы цифрового телевизионного вещания
Система цифрового телевизионного вещания как система связи. Подсистема канального кодирования. Проявление ошибок в канале ТВ вещании. Кодирование с целью исправления ошибок канала. Принципы обнаружения и исправления ошибок в цифровом канале связи систем ТВ вещания. Стратегия исправления случайных и пакетных ошибок в системе ТВ вещания. Подсистема модуляции. Стандартные системы наземного, спутникового и кабельного цифрового телевизионного вещания: DVB, ATSC, ISDB.
Цифровая обработка сигналов
Цепи и сигналы; Основы приема и передача информации; Квантование, дискретизация, сенсорная функция; Пространственное и временное разрешение сигналов; Кодирование, декодирование сигналов; Транскодирование сигналов; Линейная модуляция (фазовая, квадратурная); Нелинейная модуляция (частотная, частотная с непрерывной фазой, со сглаживанием, многочастотная); Синхронизация сигналов (фазовая, тактовая); Помехоустойчивость каналов связи
Видеосигналы и видеоинтерфейсы
Типы видеосигналов, типы разверток и представлений сигналов; видеоинтерфейсы SDI, HDMI
Основы оптики
Основы светотехники; Световые величины; Принципы конструирования объективов; Параметры объективов (глубина резкости, светосила, разрешающая способность, диафрагма, стопы и т.д.); Сенсоры, матрицы (full frame, 2/3” и т.д.), затвор, выдержка, чувствительность, разрешение, Bayer, Optical Low-pass filter; Передаточная функция оптико-электронных и электронно-оптических систем EOTF, OETF
Представление цвета в медиапроизводстве
Теория цвета, цветовая температура, точка белого, Color Gamut, Log-кривая, LUTs; Цветовые пространства CMY, RGB, XYZ, YCbCr, P3, ICtCr, ACES; Rec 601, Rec709, Rec2020, DCI-P3, Wide Color Gamut
Динамический диапазон изображения
Теория динамического диапазона изображения; SDR, HDR, HDR10, PQ, HLG
Скорость съемки и воспроизведения
HFR, Slow Motion; артефакты изображения; художественные решения
Звук в медиапроизводстве
Основы звукотехники; Чувствительность, фаза, искажения; Форматы звуковоспроизведения 5.1, ImmAudio; Аудиосигналы PCM, WAVE, BW64, AES3;
Осветительные приборы
Основные оптические параметры, единицы измерений, ANSI, цветовая температура;
Типы и характеристики осветительных приборов LED, Галоген, Ксенон; Типы линз (Френеля и т.д.); Художественное освещение (студии, натура)
Компрессия медиасигналов
Типы компрессии: без потерь, с визуально незаметными потерями, с потерями; Энтропийное кодирование, предиктивное кодирование; Технологии компрессии аудиосигналов MPEG-1, MPEG-2, ACC, MPEG-4, AAC, Dolby AC3; Технологии компрессии видеосигналов (внутрикадровая и межкадровая) MPEG-1, MPEG-2, MPEG-4 (AVC/H.264), H.265/HEVC, JPEG 2000 Lossless, JPEG XS; ИИ в области медиакомпрессии; Параметры компрессии BD-rate, PSNR
Основы IP
Модель OSI, Ethernet, TCP, UDP, Multicast, PIM, IGMP, DNS, mDNS, DNS-SD; Коммутаторы и маршрутизаторы; Топология сетей Network Fabric медиакомплексов; Протоколы RTP, RTCP, PTP; HTTP, REST-запросы, API
Шифрование в медиаиндустрии
Симметричное шифрование, ассиметричное шифрование; Сертификаты x.709; Протоколы TLS, HTTPS, WSS; Аутентификация, фреймворк Oath2.0
Алгоритмы обнаружения и коррекция ошибок
кодирование данных, BER, PER, SNR; FEC, ARQ, SMPTE 2022–7
Медиаконтейнеры
MPEG-TS, MP4, MOV, QT
Форматы хранения и обмена медиаданными
MXF - Material eXchange Format, формат обмена данными и медиаконтейнер для профессионального хранения и обработки видео- и аудиоматериалов
IMF, AFX, DCP - форматы контейнеров для стандартизированной цифровой доставки и хранения готовых аудиовизуальных мастер-файлов
Форматы представления данных
XML, JSON
Технологии передачи и вещания
SRT, RIST, NDI, NDI6, RTSP, WebRTC, RTMP; Технологии вещания с адаптивным битрейтом M-DASH, HLS, CMAF; Стандарты и спецификации SMPTE ST 2022, SMPTE ST 2110, IPMX; DVB, ATSC 3.
Передача аудиоданных в IP-сетях
Протоколы Dante, Livewire, Q-LAN, Ravenna, AES67; Аудиокодеки mp3, AC3, AAC; Перспективные технологии звуковоспроизведения; Форматы файлового хранения и потокового вещания NGA Next Generation Audio. AC-4, MPEG-Н, 7.1.4, 22.2; Управляемое Метаданными Аудио MGA Metadata Guided Audio. Кадр MGA, Аудиосигналы ADM Audio Definition Model, Serial-AD
Обнаружение, регистрация и управление медиаустройсвами
Спецификации API NMOS
Цифровая кинопроекция и дисплеи
DCP, DLP Cinema, LED-киноэкраны
Типы дисплеев, разрешение дисплеев, частота обновления, гамма-коррекция, контрастность, яркость, EDID, отображение HDR и WCG.
Оценка качества медиавещания
Объективные и субъективные параметры качества; Квалиметрия, QoS; Параметры восприятия, QoE
Измерения в медиавещании
Осциллографы, вектороскопы, waveform-мониторы; Анализ пакетов в Wireshark
Субтитры
форматы, стандарты, протоколы
Моделирование данных в медиаиндустрии
Моделирование систем и данных; Термины и определения; Объектно-ориентированное моделирование в современном медиапроизводстве; Язык UML; Эталонная Архитектура JT-NM медиапредприятия.
Практические занятия
Коммутация устройств и медиасистем; Звуковой микшерский пульт; Цифровая кинокамера, баланс белого, сведение камер; Видеомикшер, мультивьюеры; Сетапы вещания в сетях Интернет
Лабораторные работы
Измерения медиасигналов: вектороскопы, осциллографы; Акустические измерения, AЧХ зала, опорный уровень громкости; Конфигурирование сети медиакомплекса, firewall; Конфигурирование PTP, генератор опорной синхронизации; Измерение параметров сети передачи данных (SNR, BER); Анализ медиапакетов RTP; Измерение битрейта потока в зависимости от типа и формата медиасигналов; Компрессия (сравнение кодеков, оценка эффективности, загрузка ЦП, битрейт, инструментальные и субъективные сравнения); Конвертация SDI - 2110 - SDI, SRT + измерения (задержки, джиттер, wander, потери, влияние сети); Испытательные таблицы.

Продажник