Будущее без MPEG

Введение

На этой неделе я планировал поговорить о перспективах MPEG на ближайшие несколько лет. Но есть большая новость: MPEG скончался в 2020/06/02T16: 30 CEST. Агония была долгой, но результат был предсказуемым. Причины частично связаны с природой ИСО, основной чертой которой я опишу в «Это ИСО - феодальная организация».

То, что раньше являлось группой эталонных стандартов, на долю которого приходилось около 2% валового мирового продукта, т.е. 1,5 T$, и которое оказывало влияние на повседневную жизнь миллиардов людей, теперь сократилось до осколков. Радикальное нововведение, заключавшееся в том, чтобы собрать в одном комитете все медиакомпоненты, скопированные большинством органов и компаний по стандартам, ушло в прошлое. Теперь медиа-стандарты ИСО рассматриваются отдельно. Удачи, когда кому-то понадобится собрать эти части воедино.

Кончина MPEG является еще одним препятствием , добавил к большому препятствию , на котором я опубликовал несколько статей: кризис, причины и решения , Can MPEG преодолеть видео «кризис»?, Бизнес-модель, основанная на стандартах ISO / IEC, и подсчет IP или подсчет доходов?

После публикации этих статей меня заставили замолчать, но теперь пришло время говорить снова, на этот раз громко и ясно.

Мне нужно сделать 3 сильных заявления:

1. Те, кто создал новый интеллектуальный объект, должны иметь право использовать его
2. Технологические инновации хорошо поощряются системой, которая идентифицирует, определяет и защищает интеллектуальную собственность (ИС)
3. Те, кто предоставляет свою ИС для технической спецификации, объявленной стандартом официальным органом по стандартизации, имеют дополнительные преимущества по сравнению с теми, кто этого не делает. У них также должно быть больше обязательств.

Ситуация сегодня

Я не буду тратить много времени, вспоминая, как компании, которые имели свои IP в MPEG стандарты были красиво вознаграждены. По словам знающего человека, заявление которого я не смог подтвердить, владельцы патентов MPEG-2 во время действия стандарта MPEG-2 делили доходы в размере 1 млрд. долларов США в год. Большинство владельцев интеллектуальной собственности реинвестировали в новые технологии, которые кормили порочный цикл MPEG более чем 180 стандартов, включая 6 стандартов кодирования видео и 6 стандартов кодирования аудио.

К сожалению, только в сказках история заканчивается словами "...и все они жили долго и счастливо". MPEG не жили долго и счастливо после MPEG-2, потому что видели, что большинство владельцев MPEG-2 IP держали IP по следующим (видео) стандартам кодирования и испытывали трудности с адаптацией к парадигме распространения интернет-видео. Добавив к этому, число владельцев IP на HEVC взлетело до ~45, 2/3 из которых принадлежат одному из 3 существующих пулов патентов и 1/3 не принадлежат ни одному. Неудивительно, что стандарт ЕКВЗ имеет некоторое применение в вещании, но его использование в сети оценивается на уровне 12%. Если учесть, что вещание - это богатый, но угасающий рынок, а видео в сети постоянно растет, то можно понять, что стандарты ИСО будут постепенно отодвигаться на все более и более маргинальный рынок.

Конкуренты

Когда лицензия MPEG-4 Visual приговорила к смертной казни по стандарту MPEG-4 Visual, появились участники соревнований. Четыре известных имени - Real Networks, Microsoft, On 2 и Google. Тот факт, что частные компании могут собрать видеокодек, имеющий коммерческую ценность, свидетельствует о том, что видеокодирование является зрелой технологией и что "любой" может собрать достаточно производительное решение.

Учитывая, что срок действия многих патентов на кодирование видео достигает 20 лет после подачи заявки, было бы разумно, чтобы MPEG попытался собрать спецификацию кодирования видео, которую можно было бы использовать без лицензии или, если это возможно, с помощью свободной лицензии. Обоснованием для того, чтобы MPEG сделал это, было следующее: вы хотите, чтобы ваши клиенты обслуживались конкурентом - и не видели их в ответ - или вы хотите предложить решение, которое отвечает потребностям клиента?

MPEG пробовал 3 разных маршрута для достижения цели

1. Определите базовый уровень AVC (называемый WebVC). Некоторые владельцы патентов AVC подтвердили свои патентные декларации
2. Разработка с нуля бесплатного стандарта (называемого Internet Video Coding или IVC). Были получены заявления от некоторых компаний о том, что у них есть патенты
3. Разработайте стандарт, не требующий лицензионных отчислений, начиная с существующего решения (называемого Video Coding для браузеров или VCB). Была получена декларация от компании о том, что она имеет много патентов.

Что мы узнали из 3-х опытов? Конечно, компания не должна быть вынуждена выдавать патент бесплатно (опыт № 1), но также и правила ISO позволяют компании предотвращать появление стандарта без лицензий / свободных лицензий, просто предостерегая: «У меня может быть патенты, которые я готов лицензировать ».

Что есть / будет доступно

Группа компаний предложила оригинальное предложение о создании стандарта, который позволил бы избежать неконтролируемого потока ИС, иногда сомнительной ценности, с бременем согласия на получение лицензии. Запрошенное предложение

1. Двухслойная схема кодирования.
   1. Базовый уровень должен содержать технологию, которой более 20 лет или которая доступна бесплатно и которая обеспечивает значительное улучшение AVC.
   2. Второй уровень должен обеспечить значительное улучшение по сравнению с HEVC
2. Поощрение заявить, что условия лицензирования будут опубликованы в течение двух лет после утверждения FDIS.

Стандарт под названием «Основное кодирование видео (EVC)» достиг FDIS в апреле 2020 года. Окончательные данные о производительности пока отсутствуют, однако ожидается, что базовый уровень EVC будет примерно на 20% лучше, чем AVC, а полный EVC будет 30%. лучше чем HEVC. Условия лицензирования еще не известны.

Ожидается, что через 4 недели (июль 2020 года) универсальный видеокодинг (VVC), новейший стандарт кодирования видео, достигнет FDIS.

Ожидается, что для завершения линейки стандартов видеокодирования кодирование видео с низким уровнем сложности (LCEVC) достигнет FDIS. В соответствующих условиях комбинация LCEVC и кодека N поколения должна обеспечивать качество, сопоставимое с качеством кодека N + 1 поколения.

Что предлагает рынок

Рынок не был праздным. В 2015 году первоначальная группа компаний (Amazon, Cisco, Google, Intel, Microsoft, Mozilla, Netflix) создала Альянс для открытых медиа (AOM), изначально ориентированный на видео. На странице AOM about упоминаются 4 основных свойства первой спецификации AV1:

1. Роялти-фри экосистема
2. Процесс рассмотрения патентов и правовой защиты
3. Новейшие технологии
4. Совместная разработка с открытым исходным кодом.

Лицензирование других стандартов кодирования медиа

Информация, представленная в этом разделе, считается точной. Однако, если вы намерены принять деловое решение, обратитесь за советом к адвокату.

Видео

Лицензирование видео MPEG-1 не известно. Тем не менее, стандарт широко использовался.

MPEG LA разработала лицензию MPEG-2 Video. MPEG-2 широко использовался.

У MPEG-4 Visual была тяжелая жизнь, потому что существовала неподходящая лицензия для потоковой передачи, основная цель стандарта.

MPEG-4 AVC является очень успешным стандартом, который может с гордостью носить «универсальный» атрибут, поскольку он также используется для вещания и потоковой передачи в Интернете.

Спустя 7 лет владельцы патентов MPEG-H HEVC не смогли собрать свои действия и предложить прилично унифицированную лицензию. HEVC используется в вещании, однако использование для потоковой передачи в лучшем случае ограничено. В течение многих лет сотрудник MPEG пытался убедить MPEG, что HEVC преуспевает на рынке.

В 2017 году я взял на себя инициативу предложить довести ситуацию до сведения JTC 1. Был подготовлен и согласован документ. Я пошел в JTC 1 и представил его. Однако пара стран возражала по процедурным соображениям. Сегодня ISO все еще официально не знает о проблеме патентов из-за этой оппозиции.

Аудио

У MP3 была очень простая и эффективная лицензия, которая позволила широко распространить стандарт. Количество аппаратных и программных MP3-устройств исчисляется миллиардами.

AAC имеет патентный пул с действующей лицензией, о чем свидетельствует количество аппаратных и программных устройств AAC, которое оценивается в 10 миллиардов единиц.

MPEG-H 3D Audio существует уже несколько лет и адаптирован для ATSC 3.0. Тем не менее, нет известной лицензии. Недавно был запущен профиль, который должен содержать IP только от одной компании. Есть надежда, что лицензия на 3D Audio будет возможна.

3D графика

Прошлые стандарты в этой области не имели большой тяги. Обратное ожидается для сжатия облака точек (PCC). Стандарт станет FDIS через месяц (июль 2020 года). Ожидается, что число владельцев патентов будет значительно меньше, чем HEVC.

Мои взгляды на следующие шаги стандартов кодирования видео

Пустота, оставленная HEVC, была заполнена AOM их спецификацией AV1, которая широко используется для потоковой передачи.

EVC является многообещающим, потому что он обеспечивает качество, которое сопоставимо или лучше, чем AV1, хотя и меньше, чем VVC. У EVC может быть шанс, если лицензия будет опубликована. Однако этого еще не произошло.

Скорее всего, число обладателей патентов на ВВК намного больше, чем на HEVC. Форум индустрии медийного кодирования (MC-IF) был создан в 2018 году с целью

«Для дальнейшего принятия стандартов MPEG, изначально ориентированных на VVC (универсальное кодирование видео), путем установления их, а также признанных и широко используемых стандартов на благо потребителей и отрасли»

Однако до сих пор никаких конкретных результатов не было известно извне, если мы оставим в стороне мероприятия, организованные на конференциях. В состав MC-IF входит 31 член, 7 из которых являются лицензирующими организациями (т.е. чуть менее ¼ всех членов). «Промышленные» члены составляют только половину обладателей патентов HEVC. В этих условиях трудно поверить, что VVC будет жить лучше, чем HEVC. Вполне может быть, что хуже, потому что принятие VVC в радиовещании займет годы, если вообще когда-нибудь.

Успех EVC может помочь VVC добиться успеха. Видя угрозу EVC (и AV1), патентообладатели VVC могут объединиться и предоставить достойную лицензию. Хотя я бы приветствовал такое развитие событий, я считаю его маловероятным.

Достойная лицензия для LCEVC может стать поворотным устройством и еще одной угрозой для VVC, что может означать дополнительное давление на держателей патентов VVC для предоставления единой и достойной лицензии.

Раскрытие

Наконец-то я могу раскрыть свою стратегию по сохранению того, что раньше было кодированием MPEG Video, от исчезновения:

1. HEVC и VVC никуда не денутся, если останутся сами
2. EVC будет мезонинным стандартом между HEVC и VVC
3. LCEVC на вершине EVC может конкурировать с VVC с точки зрения качества, в соответствующих условиях
4. Если EVC преуспеет, и патентообладатели почувствуют конкуренцию и согласятся на достойную лицензию, у VVC может быть шанс.

Мало кто понял, что моя цель никогда не заключалась в том, чтобы продвигать успех EVC как таковой . Продвигая EVC, я намеревался создать внутреннюю конкуренцию и таким образом способствовать успеху VVC. Если этого не произойдет, лояльные клиенты MPEG по-прежнему смогут купить единственный конкурентный видеокодек MPEG - EVC. Добавив LCEVC, они могут получить современную производительность.

Мой прогноз

Мой прогноз серый по следующим причинам

1. Больше нет единого MPEG, на самом деле MPEG больше не существует. Это было неизбежно, просто ждали, когда люди это сделают, потому что MPEG, со всем его влиянием на отрасль, был как средневековый свободный город, готовый попасть под атаку могущественных армий. Как было сказано в «Романах трех королевств» (三國 演義) 700 лет назад: in 天下 大勢． 分 久 必 合 ， 合 久 分 分 (в мире вещи, разделенные на долгое время, объединятся, вещи, объединенные на долгое время, разделятся), Будучи подразделением в течение длительного времени, скажем, около 30 лет, время, когда MPEG объединился.
2. Предполагаемый руководитель SC 29 не показал минимального видения будущего. Это смертельный звон, потому что цифровые медиа развиваются агрессивными темпами на зрелом рынке. Если ИСО будет ждать, пока что-то консолидируется на рынке, а затем разработает стандарт, она потеряет время со стандартом. MPEG играл в течение 30 лет, иногда выигрывая, иногда проигрывая. Однако важно то, что отрасль не осталась без стандартных технологий для своих нужд.
3. Самое главное, что на рынке появилось решение - AV1 от Альянса для открытых медиа - которое способно обеспечить достойно работающие спецификации, которые не требуют роялти и обещают защиту атакующему члену (с прикрепленными строками, но все смотрят на следующий квартал и не учитывает последствия выбора через 5 лет).

Итак, что будет дальше?

Если EVC / LCEVC будет летать

Есть надежда, что ВВЦ тоже будет летать. Владельцы патентов получат ожидаемый поток отчислений и могут быть уверены, что поддержка модели все еще окупится и, возможно, будет готова вложить средства в окружающую среду. Поскольку это будет видно только через 2-3 года, патентообладатели должны будут кредитовать окружающую среду еще на 2-3 года.

Если EVC / LCEVC не полетит

Я рассмотрю пять случаев:

1. Происходит чудо. Патентообладатели ВВЦ собирают свои акты и предоставляют достойную лицензию. Однако чудеса не очень распространены, потому что они указывают на святость.
2. НКО / Университеты / Промышленные исследования пытаются сохранить окружающую среду, делая вид, что промышленность будет использовать произведенные «стандарты». Это продлится некоторое время, пока высшее руководство не поймет, что тратит время и деньги.
3. Среда становится специальной «конференцией» (а не совещанием по стандартам), оценивающей «документы» (не вклады) для производства «документов» (не стандартов). Ценность «документа» заключается в «процессе проверки технологии», который оценивает «ценность» технологий, чтобы те, кто хочет составить спецификацию (например, AOM), знали, что они являются хорошими технологиями проверки. Это может спасти бизнес-модель NPE.
4. Окружающая среда отвечает за поддержание большого количества стандартов. Это может стать трудным, потому что окружающая среда не будет достаточно привлекательной для экспертов, которые готовы выполнять свои обязанности, поддерживая старые стандарты в обмен на некоторое удовольствие от новых стандартов (которых больше не будет).
5. Среда становится местом, где поставщики общедоступных спецификаций (PAS), например, AOM, отправляют свои спецификации для преобразования в стандарты ISO. Это будет окончательная санкция конца исключения MPEG . Я надеюсь больше не быть в этом мире, чтобы стать свидетелем такой деградации, если это произойдет.