P up dsp a&v

О. Г. МОРОЗОВ, Р. Р. САМИГУЛЛИН,О. Г. МОРОЗОВ, Р. Р. САМИГУЛЛИН, Н. В. ДОРОГОВ, А. Р. НАСЫБУЛЛИН Н. В. ДОРОГОВ, А. Р. НАСЫБУЛЛИН

ЦИФРОВАЯ ОБРАБОТКА АУДИО И ВИДЕОСИГНАЛОВ ЦИФРОВАЯ ОБРАБОТКА АУДИО И ВИДЕОСИГНАЛОВ

Конспект лекцийКонспект лекций

КАЗАНЬКАЗАНЬ20201010

НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ УНИВЕРСИТЕТНАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ УНИВЕРСИТЕТ

ГОСУДАРСТВЕННОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕГОСУДАРСТВЕННОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ

ВЫСШЕГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯВЫСШЕГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ

КАЗАНСКИЙ ГОСУДАРСТВЕННЫЙ ТЕХНИЧЕСКИЙ УНИВЕРСИТЕТКАЗАНСКИЙ ГОСУДАРСТВЕННЫЙ ТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ

ИМ. А.Н.ТУПОЛЕВАИМ. А.Н.ТУПОЛЕВА

ИнновационностьИнновационность Предназначен для подготовки студентов Предназначен для подготовки студентов

обучающихся по профилю подготовки обучающихся по профилю подготовки «Аудиовизуальная техника» направления 210400 - «Аудиовизуальная техника» направления 210400 - «Радиотехника», а также для студентов вузов «Радиотехника», а также для студентов вузов соответствующих специальностей и инженерам, соответствующих специальностей и инженерам, специализирующихся в данной области. специализирующихся в данной области.

Совместное рассмотрение методов и средств Совместное рассмотрение методов и средств цифровой обработки аудио и видео сигналов цифровой обработки аудио и видео сигналов в одном учебном пособии в одном учебном пособии

Лекция 1Лекция 1АНАЛОГО-ЦИФРОВОЕ АНАЛОГО-ЦИФРОВОЕ

ПРЕОБРАЗОВАНИЕ СИГНАЛОВ ПРЕОБРАЗОВАНИЕ СИГНАЛОВ

Аналоговый сигнал :Аналоговый сигнал :

0( ) sin ( )U t A tω=

Преобразование аналогового сигнала в Преобразование аналогового сигнала в цифровой состоит из двух этапов: цифровой состоит из двух этапов:

дискретизации по времени дискретизации по времени квантовании по амплитуде. квантовании по амплитуде.

Дискретизация по времениДискретизация по времени, как правило, , как правило, означает что сигнал представляется означает что сигнал представляется рядом своих отсчётов (дискретов) рядом своих отсчётов (дискретов) непрерывных по амплитуде и взятых непрерывных по амплитуде и взятых через равные промежутки времени. через равные промежутки времени.

Квантование сигналаКвантование сигнала по амплитуде это по амплитуде это преобразование сигнала в сигнал со преобразование сигнала в сигнал со ступенчатым изменением амплитуды.ступенчатым изменением амплитуды.

Теорема Котельникова Теорема Котельникова

2äf > Ωгде где ffдд– частота с которой производятся – частота с которой производятся

дискретизация по временидискретизация по времени

Ω - верхняя частота в спектре Ω - верхняя частота в спектре аналогового сигнала.аналогового сигнала.

из теоремы Котельникова вытекают 2 следствия:из теоремы Котельникова вытекают 2 следствия: Любой аналоговый сигнал, может быть восстановлен с какой Любой аналоговый сигнал, может быть восстановлен с какой

угодно точностью по своим дискретным отсчётам, взятым с угодно точностью по своим дискретным отсчётам, взятым с частотой.частотой.

Если максимальная частота в сигнале превышает половину Если максимальная частота в сигнале превышает половину частоты дискретизации, то способа восстановить сигнал из частоты дискретизации, то способа восстановить сигнал из дискретного в аналоговый без искажений не существует.дискретного в аналоговый без искажений не существует.

Параметры, определяющие характеристики Параметры, определяющие характеристики Аналого-цифровых преобразователей Аналого-цифровых преобразователей

(АЦП)(АЦП)

Статические параметры:Статические параметры:

Разрешающая способностьРазрешающая способность

Погрешность полной Погрешность полной шкалышкалы

)12/( −= NUh пш

%100*ПШ

ПШПШ U

εδ =

НелинейностьНелинейность - максимальное отклонение реальной характеристики - максимальное отклонение реальной характеристики преобразования преобразования D(UвхD(Uвх) от оптимальной.) от оптимальной.

%100*ПШ

jЛ U

εδ =

Погрешность линейности характеристики Погрешность линейности характеристики

преобразования АЦПпреобразования АЦП

дифференциальная дифференциальная

нелинейностьнелинейность

%100*ПШ

kДЛ U

hh −=δ

Непропадание кодовНепропадание кодов - свойство АЦП выдавать все возможные - свойство АЦП выдавать все возможные выходные коды, при изменении входного напряжения от выходные коды, при изменении входного напряжения от начальной до конечной точки диапазона преобразования.начальной до конечной точки диапазона преобразования.

Монотонность характеристики преобразованияМонотонность характеристики преобразования - это - это неизменность знака приращения выходного кода неизменность знака приращения выходного кода DD при при монотонном изменении входного преобразуемого сигнала. монотонном изменении входного преобразуемого сигнала. Монотонность не гарантирует малых значений Монотонность не гарантирует малых значений дифференциальной нелинейности и непропадания кодов.дифференциальной нелинейности и непропадания кодов.

Температурная нестабильностьТемпературная нестабильность - АЦ-преобразователя - АЦ-преобразователя характеризуется температурными коэффициентами погрешности характеризуется температурными коэффициентами погрешности полной шкалы и погрешности смещения нуля.полной шкалы и погрешности смещения нуля.

Динамические параметры. Динамические параметры. Возникновение динамических Возникновение динамических погрешностей связано с дискретизацией сигналов, погрешностей связано с дискретизацией сигналов, изменяющихся во времени. Можно выделить следующие изменяющихся во времени. Можно выделить следующие параметры АЦП, определяющие его динамическую точность.параметры АЦП, определяющие его динамическую точность.

Максимальная частота дискретизации (преобразования)Максимальная частота дискретизации (преобразования) - это наибольшая - это наибольшая частота, с которой происходит образование выборочных значений сигнала, при частота, с которой происходит образование выборочных значений сигнала, при которой выбранный параметр АЦП не выходит за заданные пределы. которой выбранный параметр АЦП не выходит за заданные пределы. Измеряется числом выборок в секунду. Измеряется числом выборок в секунду.

Время преобразования (tВремя преобразования (tпрпр)) - это время, отсчитываемое от начала импульса - это время, отсчитываемое от начала импульса дискретизации или начала преобразования до появления на выходе дискретизации или начала преобразования до появления на выходе устойчивого кода, соответствующего данной выборке. устойчивого кода, соответствующего данной выборке.

Время выборки (стробирования)Время выборки (стробирования) - время, в течение которого происходит - время, в течение которого происходит образование одного выборочного значения. При работе без УВХ равно времени образование одного выборочного значения. При работе без УВХ равно времени преобразования АЦП.преобразования АЦП.

Шумы АЦ. Шумы АЦ. В идеале, повторяющиеся преобразования фиксированного В идеале, повторяющиеся преобразования фиксированного постоянного входного сигнала должны давать один и тот же выходной код. постоянного входного сигнала должны давать один и тот же выходной код. Однако, вследствие неизбежного шума в схемах АЦП, существует некоторый Однако, вследствие неизбежного шума в схемах АЦП, существует некоторый диапазон выходных кодов для заданного входного напряжения.диапазон выходных кодов для заданного входного напряжения.

Контрольные вопросыКонтрольные вопросы Чем определяется выбор частоты дискретизации аналогового сигнала?Чем определяется выбор частоты дискретизации аналогового сигнала? Какие два следствия вытекают из теоремы Котельникова?Какие два следствия вытекают из теоремы Котельникова? Какие параметры определяют характеристики АЦП?Какие параметры определяют характеристики АЦП? Что такое разрешающая способность АЦП?Что такое разрешающая способность АЦП? Что такое погрешность полной шкалы АЦП?Что такое погрешность полной шкалы АЦП? Что такое погрешность смещения нуля АЦП?Что такое погрешность смещения нуля АЦП? Что такое погрешность линейности характеристики преобразования Что такое погрешность линейности характеристики преобразования

АЦП?АЦП? Какие динамические параметра АЦП вы знаетеКакие динамические параметра АЦП вы знаете

Лекция 2Лекция 2

Типы преобразованияТипы преобразования

Линейные АЦП.Линейные АЦП. Большинство АЦП считаются линейными, хотя Большинство АЦП считаются линейными, хотя аналого-цифровое преобразование по сути является нелинейным аналого-цифровое преобразование по сути является нелинейным процессом (поскольку операция отображения непрерывного процессом (поскольку операция отображения непрерывного пространства в дискретное — операция нелинейная).пространства в дискретное — операция нелинейная).

Нелинейные АЦП.Нелинейные АЦП. Если бы плотность вероятности амплитуды Если бы плотность вероятности амплитуды входного сигнала имела равномерное распределение, то отношение входного сигнала имела равномерное распределение, то отношение сигнал/шум (применительно к шуму квантования) было бы сигнал/шум (применительно к шуму квантования) было бы максимально возможным. максимально возможным.

Классификация АЦПКлассификация АЦП

Параллельные АЦП

АЦП прямого преобразования или параллельный АЦП. содержит по одному компаратору на каждый дискретный

уровень входного сигнала.

Рис. Структурная схема параллельного АЦП

Последовательно-параллельные АЦП Последовательно-параллельные АЦП являются компромиссом между являются компромиссом между стремлением получить высокое быстродействие и желанием сделать это по стремлением получить высокое быстродействие и желанием сделать это по возможности меньшей ценой. возможности меньшей ценой. Последовательно-параллельные АЦП Последовательно-параллельные АЦП занимают промежуточное положение по разрешающей способности и занимают промежуточное положение по разрешающей способности и быстродействию между быстродействию между параллельными АЦП параллельными АЦП и и АЦП последовательного АЦП последовательного приближенияприближения. . Последовательно-параллельные АЦП Последовательно-параллельные АЦП подразделяют на подразделяют на многоступенчатые, многотактные и конвеерныемногоступенчатые, многотактные и конвеерные..

МНОГОСТУПЕНЧАТЫЕ ПОСЛЕДОВАТЕЛЬНО-ПАРАЛЛЕЛЬНЫЕ АЦП МНОГОСТУПЕНЧАТЫЕ ПОСЛЕДОВАТЕЛЬНО-ПАРАЛЛЕЛЬНЫЕ АЦП

Многотактные последовательно-параллельные АЦПМноготактные последовательно-параллельные АЦП

Конвеерные АЦП. Конвеерные АЦП. Быстродействие многоступенчатого АЦП можно повысить, Быстродействие многоступенчатого АЦП можно повысить, применив конвеерный принцип многоступенчатой обработки входного сигнала. применив конвеерный принцип многоступенчатой обработки входного сигнала.

Диаграмма работы конвеерного АЦП

Контрольные вопросыКонтрольные вопросы

Что обозначает термин линейный применительно к АЦП?Что обозначает термин линейный применительно к АЦП? Что значит нелинейный АЦП?Что значит нелинейный АЦП? Как классифицируются АЦП?Как классифицируются АЦП? Что такое параллельные АЦП?Что такое параллельные АЦП? Перечислите все типы последовательно-параллельных АЦП.Перечислите все типы последовательно-параллельных АЦП. В чем преимущество многоступенчатых последовательно-В чем преимущество многоступенчатых последовательно-

параллельных АЦП?параллельных АЦП? Нарисуйте схему конвейерного АЦП.Нарисуйте схему конвейерного АЦП. В чем “плюсы” и “минусы” использования конвейерного АЦП?В чем “плюсы” и “минусы” использования конвейерного АЦП?

АЦП последовательные АЦП последовательные

АЦП последовательного счета. АЦП последовательного счета.

Структурная схема АЦП последовательного счетаСтруктурная схема АЦП последовательного счета

... /)12( тактN

макспр ff −=Например, при N=10 и fтакт=1 МГц tпр.макс=1024 мкс, что обеспечивает

максимальную частоту выборок порядка 1 кГц.


АЦП последовательного приближения (рис.) или АЦП с поразрядным АЦП последовательного приближения (рис.) или АЦП с поразрядным уравновешиванием.уравновешиванием.

Структурная схема АЦП последовательного приближенияСтруктурная схема АЦП последовательного приближения

Интегрирующие АЦП. Недостатком рассмотренных выше последовательных АЦП является низкая помехоустойчивость результатов преобразования. Действительно, выборка мгновенного значения входного напряжения, обычно включает слагаемое в виде мгновенного значения помехи. Впоследствии при цифровой обработке последовательности выборок эта составляющая может быть подавлена, однако на это требуется время и вычислительные ресурсы. В АЦП, рассмотренных ниже, входной сигнал интегрируется либо непрерывно, либо на определенном временном интервале, длительность которого обычно выбирается кратной периоду помехи. Это позволяет во многих случаях подавить помеху еще на этапе преобразования. Платой за это является пониженное быстродействие интегрирующих АЦП.

АЦП многотактного интегрирования. Упрощенная схема АЦП работающего в два основных такта (АЦП двухтактного интегрирования), приведена на рис.

.1

так

сч

f

Kt =

∫ −=−=1

0

.1 )(

1)(

t

такт

счсрвхвхИ RCf

КUdttU

RCtU

Время интегрирования входного напряжения t1 постоянно; в качестве таймера

используется счетчик с коэффициентом пересчета Kсч, так что:

К моменту окончания интегрирования выходное напряжение интегратора составляет:

где Uвх.ср. - среднее за время t1 входное напряжение.

Интервал времени, в котором проходит стадия счета, определяется уравнением

∫ =++ 21

11 0

1)(

tt

tОПИ dtU

RCtU

Временные диаграммы АЦП Временные диаграммы АЦП

двухкратного интегрированиядвухкратного интегрирования

тактf

nt 22 =

где n2 - содержимое счетчика

после окончания стадии счета, получим результат:

оп

счсрвх

U

КUn

.2 =

Структурная схема сигма-дельта модулятора

Сигма-дельта АЦП Сигма-дельта АЦП (или АЦП с уравновешиванием или балансом зарядов). (или АЦП с уравновешиванием или балансом зарядов).

Структурная схема сигма-дельта АЦП

ПРЕОБРАЗОВАТЕЛИ НАПРЯЖЕНИЕ-ЧАСТОТАПРЕОБРАЗОВАТЕЛИ НАПРЯЖЕНИЕ-ЧАСТОТА

Структурная схема ПНЧ

Структурная схема АЦП на основе ПНЧ

Контрольные вопросы

•Перечислите все типы последовательных АЦП.

•Объясните принцип работы АЦП последовательного счета по структурной схеме.

•От чего зависит время преобразования АЦП последовательного счета?

•Объясните принцип действия АЦП последовательного приближения.

•Перечислите все типы интегрирующих АЦП.

•Какая отличительная особенность метода многотактного интегрирования?

•Какой принцип лежит в основе сигма-дельта АЦП.

•Нарисуйте схему АЦП построенного по принципу преобразователя напряжение - частота.

Лекция 4Лекция 4Особенности преобразование аудиосигналов в цифровую форму.Особенности преобразование аудиосигналов в цифровую форму.

показан период гармонического колебания (справа) и соответствующий ему двоично-дополнительный код (слева).

Линейное квантование по амплитудеЛинейное квантование по амплитуде

2

∆≤КВШξ

шум квантования шум квантования

Линейное квантование по уровню:а) амплитудная

характеристика; б) шумы квантования.

Нелинейное квантование по амплитудеНелинейное квантование по амплитуде

Нелинейное квантование

по уровню:а) амплитудная

характеристика; б) шумы квантования.

Выбор частоты дискретизации аудиосигналаВыбор частоты дискретизации аудиосигнала

Система Частота дискретизации, ГцТелефония 8000

Компакт-диск 44100Профессиональная

аудиосистема48000

DVD аудио 96000(для 6-канального

аудиосигнала)

выбор частоты дискретизации при операции аналого-цифрового преобразования выбор частоты дискретизации при операции аналого-цифрового преобразования должен подчиняться теореме Котельникова-Шэннона-Найквиста.должен подчиняться теореме Котельникова-Шэннона-Найквиста.


•Что вносит дискретизация в спектр исходного сигнала если ее частота выбрана согласно теореме Котельникова?

•Что называют шумом (ошибкой) квантования АЦП?

•От каких параметров зависит величина шума квантования?

•Какой цифровой код используют при оцифровке аудиосигнала и почему?

•Что такое «линейное квантование по амплитуде»?

•Что такое «нелинейное квантование по амплитуде»?

•Назовите некоторые типовые значения частот дискретизации, используемые в широкораспространенных системах.

•Какой объем будет занимать аудиофайл длительностью 10 мин в формате ИКМ

Лекция 5Лекция 5Цифровое сжатиеЦифровое сжатие

Сжатие данных (англ. data compression) — алгоритмическое преобразование данных, производимое с целью уменьшения их объёма. Применяется для более рационального использования устройств хранения и передачи данных. Синонимы — упаковка данных, компрессия, сжимающее кодирование, кодирование источника.

Сжатие основано на устранении избыточности, содержащейся в исходных данных. В основе любого способа сжатия лежит модель источника данных, или, точнее, модель избыточности. Иными словами, для сжатия данных используются некоторые априорные сведения о том, какого рода данные сжимаются. Простейшим примером избыточности является повторение в тексте фрагментов (например, слов естественного или машинного языка). Подобная избыточность обычно устраняется заменой повторяющейся последовательности ссылкой на уже закодированный фрагмент с указанием его длины. Другой вид избыточности связан с тем, что некоторые значения в сжимаемых данных встречаются чаще других. Сокращение объёма данных достигается за счёт замены часто встречающихся данных короткими кодовыми словами, а редких — длинными (энтропийное кодирование). Сжатие данных, не обладающих свойством избыточности (например, случайный сигнал или шум, зашифрованные сообщения), принципиально невозможно без потерь.

В целом все существующие методы кодирования аудиоинформации можно условно разделить всего на два типа.

1. Сжатие данных без потерь (lossless coding) - это способ кодирования (уплотнения) цифровой аудиоинформации, позволяющий осуществлять 100%-ное восстановление исходных данных из сжатого потока (под понятием "исходные данные" здесь подразумевается исходный вид оцифрованных аудиоданных). К такому способу уплотнения данных прибегают в случаях, когда требуется абсолютное сохранение качества оригинального звучания аудиоданных. Существующие сегодня алгоритмы сжатия без потерь позволяют сократить занимаемый данными объем на 20-50%. Механизмы работы подобных кодеров сходны с механизмами работы архиваторов общих данных, таких, как, например, ZIP или RAR, но при этом адаптированы специально для сжатия аудиоданных10. Кодирование без потерь, хотя и идеально с точки зрения сохранности качества аудиоматериалов, неспособно обеспечить высокий уровень компрессии.

2. Сжатие данных с потерями (lossy coding). Цель такого кодирования - достижение любыми путями максимально высокого коэффициента компрессии данных при сохранении качества их звучания на приемлемом уровне. В основе идеи кодирования с потерями лежат два простых основополагающих соображения:

•исходные цифровые аудиоданные избыточны - они содержат много бесполезной для слуха информации, которую можно удалить, повысив тем самым коэффициент компрессии;

•требования к качеству звучания аудиоматериала могут быть разными и зависят от конкретных целей и сфер использования.

Характеристики алгоритмов сжатия и их применимость.

Коэффициент сжатия — основная характеристика алгоритма сжатия. Она определяется как отношение объёма исходных несжатых данных к объёму сжатых, то есть:

k = So/Sc,

где k — коэффициент сжатия, So — объём исходных данных, а Sc — объём

сжатых.

Таким образом, чем выше коэффициент сжатия, тем алгоритм эффективнее. Следует отметить:

если k = 1, то алгоритм не производит сжатия, то есть выходное сообщение оказывается по объёму равным входному;

если k < 1, то алгоритм порождает сообщение большего размера, нежели несжатое, то есть, совершает «вредную» работу.

Ситуация с k < 1 вполне возможна при сжатии. Принципиально невозможно получить алгоритм сжатия без потерь, который при любых данных образовывал бы на выходе данные меньшей или равной длины. Обоснование этого факта заключается в том, что поскольку число различных сообщений длиной n бит составляет ровно 2n, число различных сообщений с длиной меньшей или равной n (при наличии хотя бы одного сообщения меньшей длины) будет меньше 2n. Это значит, что невозможно однозначно сопоставить все исходные сообщения сжатым: либо некоторые исходные сообщения не будут иметь сжатого представления, либо нескольким исходным сообщениям будет соответствовать одно и то же сжатое, а значит их нельзя отличить.

Коэффициент сжатия может быть как постоянным (некоторые алгоритмы сжатия звука, изображения и т. п., например А-закон, μ-закон, ADPCM, усечённое блочное кодирование), так и переменным. Во втором случае оценён по некоторым критериям:

•средний (обычно по некоторому тестовому набору данных);•максимальный (случай наилучшего сжатия);•минимальный (случай наихудшего сжатия);Коэффициент сжатия с потерями при этом сильно зависит от допустимой

погрешности сжатия или качества, которое обычно выступает как параметр алгоритма. В общем случае постоянный коэффициент сжатия способны обеспечить только методы сжатия данных с потерями.

Допустимость потерь. Основным критерием различия между алгоритмами сжатия является описанное выше наличие или отсутствие потерь, в то время как возможность применения сжатия с потерями должна быть обоснована. Для некоторых типов данных искажения не допустимы в принципе. В их числе:

•символические данные, изменение которых неминуемо приводит к изменению их семантики: программы и их исходные тексты, двоичные массивы и т. п.;

•жизненно важные данные, изменения в которых могут привести к критическим ошибкам: например, получаемые с медицинской измерительной аппаратуры или контрольных приборов летательных, космических аппаратов и т. п.;

многократно подвергаемые сжатию и восстановлению промежуточные данные при многоэтапной обработке графических, звуковых и видеоданных.

Системные требования алгоритмов. Различные алгоритмы могут требовать различного количества ресурсов вычислительной системы, на которых они реализованы:

•оперативной памяти (под промежуточные данные);•постоянной памяти (под код программы и константы);•процессорного времени.

Алгоритмы сжатия данных неизвестного формата. Имеется два основных подхода к сжатию данных неизвестного формата.

На каждом шаге алгоритма сжатия очередной сжимаемый символ либо помещается в выходной буфер сжимающего кодера как есть (со специальным флагом, помечающим, что он не был сжат), либо группа из нескольких сжимаемых символов заменяется ссылкой на совпадающую с ней группу из уже закодированных символов. Поскольку восстановление сжатых таким образом данных выполняется очень быстро, такой подход часто используется для создания самораспаковывающихся программ.

Для каждой сжимаемой последовательности символов однократно либо в каждый момент времени собирается статистика её встречаемости в кодируемых данных. На основе этой статистики вычисляется вероятность значения очередного кодируемого символа (либо последовательности символов). После этого применяется та или иная разновидность энтропийного кодирования, например, арифметическое кодирование или кодирование Хаффмана, для представления часто встречающихся последовательностей короткими кодовыми словами, а редко встречающихся — более длинными.


•Что такое цифровое сжатие?

•Назовите характеристики алгоритмов сжатия и их применимость.

•В чем может заключаться избыточность в компрессированных сигналах?

•Что характеризует коэффициент сжатия?

•Какой механизм работы сжатия без потерь?

•Какие ограничения накладываются на сжатие с потерями?

•Какие два основных подхода к сжатию данных неизвестного формата?

•Системные требования алгоритмов.Системные требования алгоритмов.

Лекция 6Лекция 6Цифровое представление звукового сигнала при записиЦифровое представление звукового сигнала при записи

Цифровая обработка звукового сигнала при записиЦифровая обработка звукового сигнала при записи

Импульсно-кодовая модуляция (ИКМ) является наиболее распространенной формой цифрового представления аудиосигнала. Полученный в результате преобразования PCM-поток (PCM - Pulse Code Modulation), может быть как параллельным, когда все биты каждого отсчета передаются одновременно по нескольким линиям с частотой дискретизации, так и последовательным, когда биты передаются друг за другом с более высокой частотой по одной линии.

Структура записываемой информации. Обычно каждый 16-разрядный отрезок называется словом, которое обычно раскладывают на два символа, каждый из которых содержит 8 разрядов (бит).

Формирование кадра записи. Для того чтобы в проигрывателе CD можно было распознавать цифровые данные закодированного сигнала, необходимо эти данные организовать в определенные образы. Во всех CD образ имеет блочную кадровую структуру.

Кадр − информационный блок, включающий по шесть выборок звукового сигнала каждого канала. кадр состоит из 12 слов (по 6 слов на канал). выборки звукового сигнала осуществляются с частотой 44,1 кГц. В результате первого мультиплексирования - уже 88,2 кГц, в результате частота кадров, состоящих из 12 слов каждый, составляет 88,2/12=7,35 кГц.

Входной

аудиосигнал

Биты (символы паритета)

ФНЧ

ФНЧ УВХ АЦП

УВХ АЦПЛевый

Правый

41,1 кГц

Первый мультиплексор

CIRC-кодер

Кодер сигналов контроля и

дисплей

Синхрогенератор

Модулятор канала

Генератор таймера

Сигнал таймера

Лазер записи Мастер-копия компакт диска

Рис. Процесс записи аудиоинформации на CD

Биты (символы данных)

Выходные последовательные данные на лазер

CIRC-кодер. Схема CIRC-кодера выполняет две функции. Одна функция схемы − разложить каждое 16-разрядное слово на два 8-разрядных символа. В течение процесса разложения эти символы подвергаются чередованию (interleaving) в определенном порядке. В результате чередования непрерывный музыкальный сигнал оказывается «разбросанным» по разным местам информационной дорожки CD. Такое «разбрасывание» сигнала по площади CD делается для повышения помехоустойчивости и достоверности воспроизведения. Если информационные символы в каком-то месте CD будут повреждены или «прочитаны» звукоснимателем ошибочно, это не приведет к дефекту, заметному для слушателя, поскольку ошибочные символы, находящиеся на информационной дорожке, относятся к различным (по времени) местам записанной музыкальной программы.

Другая функция схемы CIRC-кодера − обеспечить метод, которым проигрыватель CD может проверять ошибки в потоке данных. Ошибки в потоке данных могут возникать как из-за некачественных компакт-дисков, так и из-за сбоев в процессе считывания информации в устройствах и схемах проигрывателя. Из-за этих сбоев считывания возникают прерывания полезного сигнала, так называемые «выпадения». В аналоговой технике такой эффект выпадения приводит лишь к кратковременному пропуску сигнала и не оказывает влияния на дальнейшую работу. В случае ИКМ, однако, «выпадения» при воспроизведении прослушиваются в виде раздражающих пульсирующих шорохов, которые называют ошибками кодирования.

Канальное кодирование.Канальное кодирование. При записи луч лазера фокусируется на поверхности При записи луч лазера фокусируется на поверхности в пятно определенных размеров. Получаемый при этом пит имеет также в пятно определенных размеров. Получаемый при этом пит имеет также определенный размер, зависящий от характеристик записывающего лазера. В определенный размер, зависящий от характеристик записывающего лазера. В принципе минимальный по размеру пит будет отображать только одну единицу принципе минимальный по размеру пит будет отображать только одну единицу информации (один бит). Однако существуют способы, при которых такой информации (один бит). Однако существуют способы, при которых такой минимальный пит будет отображать не один бит, а больше. Такие способы минимальный пит будет отображать не один бит, а больше. Такие способы преобразования называются канальным кодированием.преобразования называются канальным кодированием.

Рис. Фрагмент таблицы EFM-кода

Декодирование информации, записанной на CD. Основным узлом декодера является фотодетектор, который преобразует оптический сигнал, считанный с CD, и преобразует его в три основных функциональных электрических сигнала: - информационного; - автофокусировки; - отслеживания (трекинга), обеспечивающего точное сопровождение лазерного луча по дорожке записи диска.

Схема питания лазера

Лазерная

оптическая

система

Система автофокусироваки и радиального трекинга

Тактовая схема

Синхро

генератор

EFM-демодуляторФотодиодная матрицаПредусилитель ВЧ

сигнала (EFM)

ERCOСхема

интерполяции и блокировки

Цифровой фильтр и

демультиплексор

ЦАП Усилитель

Левый аудиоканал

ЦАП Усилитель

Правый аудиоканал

Декодер сигналовконтроля и дисплея

Панель управления

Панель дисплея

Системный контроллер

Усилитель серво-двигателя вращения диска

Mute


•Что называют импульсно-кодовой модуляцией?

•Структура записываемой информации при импульсно-кодовой модуляцией.

•Что такое «Кадр записи» при импульсно-кодовой модуляции?

•Какое преимущество использования EFM-модуляции?

•Зачем нужен CIRC-кодер?

•Какой метод используется в CD проигрывателях для распознавания ошибок.

•Что такое канальное кодирование?

•Декодирование информации записанной на CD.

Лекция 7Лекция 7Демодуляция EFM сигналовДемодуляция EFM сигналов

≈ 600мВ

3Т 5Т 7Т 9Т 11Т

4Т 6Т 8Т 10Т

Сигнал EFM на выходе ВЧ-предусилителя

Нормализованный EFM-сигнал поступает на дальнейшее декодирование. Декодер в проигрывателе CD представляет собой сочетание различных схемных устройств, выполняющих целый ряд функций:

− восстановление тактового сигнала данных;

− восстановление синхронизирующего образа из потока данных для синхронизации всей системы;

− демодуляция EFM-сигнала;

− разделение цифровых сигналов на аудиоинформацию и информацию субкода;

− восстановление первоначальной последовательности (деперемежение);

− коррекция ошибок;

− интерполяция цифровых сигналов;

− демультиплексирование цифровых сигналов;

− восстановление цифрового аудиосигнала в первоначальный аналоговый аудиосигнал.

1 2 3 4 5 6 7 8 9 10

••• •

•• ••••

1 2 3 4 5 6 7 8 9 10

••• •

•• ••••

1 2 3 4 5 6 7 8 9 10

Исходная

форма

1 2 3 4 5 6 7 8 9 10

Выборка

данных на CD

1 2 3 4 5 6 7 8 9 10

Данные после

прочтения

1 2 3 4 5 6 7 8 9 10

Выпадение

1 2 3 4 5 6 7 8 9 10

Данные после

деперемежения

1 2 3 4 5 6 7 8 9 10

а)б)

Рис. Принцип перемежения и деперемежения: а − без чередования, б − с чередованием

Можно использовать три метода устранения воздействия выпадения сигнала на воспроизведение.

Первый метод − метод блокировки − основан на том, что дефектное слово блокируется и заменяется просто нулевым значением.

При втором методе ошибочное слово обнаруживается при выполнении предварительной записи-захвата, и ложное слово заменяется предыдущим, так что при этом не возникает практически никакого слышимого отличия при воспроизведении.

И, наконец, лучшую компенсацию выпадения можно осуществить с помощью линейной интерполяции. В этом случае при распознавании ошибочного слова оно заменяется словом, имеющим значение, усредненное между предыдущим и последующим значениями; компенсация ошибки оказывается настолько точной, что отличить на слух воспроизведенный аудиосигнал от первоначального не представляется возможным.

Восстановленный в правильной последовательности и скорректированный поток цифровых аудиоданных подается на цифровой фильтр и схему демультиплексирования. Цифровая фильтрация обеспечивает более высокое качество воспроизведения, чем в обычных проигрывателях.

Цифровые фильтры формируют из цифровых звуковых сигналов с частотой выборки 44,1 кГц цифровые сигналы с частотой выборки, кратной основной частоте.


•Демодуляция EFM сигналов.

•Какие этапы проходит сигнал после EFM-демодулятора?

•CIRC-декодер.

•Что такое перемежение выборок?

•Что такое деперемежение выборок?

•Какой принцип узкополосной фазовой синхронизации?

•Роль ОЗУ в проигрывателях CD.

•Какие методы компенсации выпадения сигнала используются в проигрывателях CD?


ФорматыФорматы сжатия аудиосигналовсжатия аудиосигналов

Формат сжатия звука MP3. MP3 (более точно, англ. MPEG-1/2/2.5 Layer 3 (но не MPEG-3) — третий формат кодирования звуковой дорожки MPEG) — лицензируемый формат файла для хранения аудио-информации.

Описание формата. В этом формате звуки кодируются частотным образом (без дискретных партий); есть поддержка стерео, причём в двух форматах (подробности — ниже). MP3 является форматом сжатия с потерями, то есть часть звуковой информации, которую (согласно психоакустической модели) ухо человека воспринять не может или воспринимается не всеми людьми, из записи удаляется безвозвратно. Степень сжатия можно варьировать, в том числе в пределах одного файла. Интервал возможных значений битрейта составляет 8 — 320 кбит/c. Для сравнения, поток данных с обычного компакт-диска формата Audio-CD равен 1411,2 кбит/c при частоте дискретизации 44100 Гц.

MP3 и «качество Audio-CD». было распространено мнение, что запись с битрейтом 128 кбит/c подходит для музыкальных произведений, предназначенных для прослушивания большинством людей, обеспечивая качество звучания Audio-CD. В действительности всё намного сложнее. Во-первых, качество полученного MP3 зависит не только от битрейта, но и от кодирующей программы (кодека). Во-вторых, помимо превалирующего режима CBR (Constant Bitrate — постоянный битрейт) (в котором, проще говоря, каждая секунда аудио кодируется одинаковым числом бит) существуют режимы ABR (Average Bitrate — усредненный битрейт) и VBR (Variable Bitrate — переменный битрейт). В-третьих, граница 128 кбит/c является условной.

Режимы кодирования и опции. Существует три версии MP3 формата для различных нужд: MPEG-1, MPEG-2 и MPEG-2.5. Отличаются они возможными диапазонами битрейта и частоты дискретизации:

•32—320 кбит/c при частотах дискретизации 32000 Гц, 44100 Гц и 48000 Гц для MPEG-1 Layer 3;

•16—160 кбит/c при частотах дискретизации 16000 Гц, 22050 Гц и 24000 Гц для MPEG-2 Layer 3;

•8—160 кбит/c при частотах дискретизации 8000 Гц и 11025 Гц для MPEG-2.5 Layer 3.

Режимы управления кодированием звуковых каналов. Так как формат MP3 поддерживает двухканальное кодирование (стерео), существует 4 режима:

•Стерео — двухканальное кодирование, при котором каналы исходного стереосигнала кодируются независимо друг от друга, но распределение бит между каналами в общем битрейте может варьироваться в зависимости от сложности сигнала в каждом канале.

•Моно — одноканальное кодирование. Единственным плюсом данного режима может являться только выходное качество по сравнению с режимом Стерео при одинаковом битрейте, так как на один канал приходится вдвое большее количество бит, чем в режиме Стерео.

•Двухканальный — два независимых канала, например звуковое сопровождение на разных языках. Битрейт делится на два канала. Например, если заданный битрейт 192 кбит/c, то для каждого канала он будет равен только 96 кбит/c.

•Объединённое стерео (Joint Stereo) — оптимальный способ двухканального кодирования. Например, в одном из режимов Объединённое стерео левый и правый каналы преобразуются в их сумму (L+R) и разность (L-R). Для большинства звуковых файлов насыщеность канала с разностью (L-R) получается намного меньше канала с суммой (L+R). Поэтому Объединённое стерео позволяет либо сэкономить на битрейте канала (L-R) или улучшить качество на том же битрейте, поскольку на канал суммы (L+R) отводится большая часть битрейта. Но современные кодеки используют различные схемы в разных фреймах (включая чистое стерео) в зависимости от исходного сигнала.

CBR. CBR. CBR расшифровывается как Constant Bit Rate, то есть Постоянный битрейт, который задается пользователем и не изменяется при кодировании произведения. Таким образом каждой секунде произведения соответствует одинаковое количество закодированных бит данных (даже при кодировании тишины). CBR может быть полезен для потоков мультимедиа данных по ограниченному каналу; в таком случае кодирование использует все возможности канала данных. Для хранения данный режим кодирования не является оптимальным, так как он не может выделить достаточно места для сложных отрезков исходного произведения, при этом бесполезно тратя место на простых отрезках. Повышенные битрейты (выше 256 кбит/c) могут решить данную проблему, выделив больше места для данных, но – увеличивая размер файла.

VBR. VBR расшифровывается как Variable Bit Rate, то есть Варьирующийся Битрейт или Переменный Битрейт, который динамически изменяется программой-кодером при кодировании, в зависимости от насыщенности кодируемого аудиоматериала и установленного пользователем качества кодирования (например, тишина закодируется с минимальным битрейтом). Аудиоматериал разной насыщенности может быть закодирован с определенным качеством, которое обычно выше, чем при установке среднего значения в методе CBR. Минусом данного метода кодирования является сложность предсказания размера выходного файла. Но этот недостаток VBR-кодирования незначителен в сравнение с его достоинствами. Также минусом является то, что VBR считает «незначительной» звуковой информацией более тихие фрагменты, таким образом получается, что если слушать очень громко, то эти фрагменты будут некачественными, в то время как CBR делает с одинаковым битрейтом и тихие, и громкие фрагменты.

ABR. ABR расшифровывается как Average Bit Rate, то есть Усредненый Битрейт, который является гибридом VBR и CBR: битрейт в кбит/c задается пользователем, а программа варьирует его, постоянно подгоняя под заданный битрейт. Таким образом, кодер будет с осторожностью использовать максимально и минимально возможные значения битрейта, так как рискует не вписаться в заданный пользователем битрейт. Это явный минус данного метода, так как сказывается на качестве выходного файла, которое будет немного лучше CBR, но намного хуже VBR. С другой стороны, этот метод позволяет наиболее гибко задавать битрейт (

Теги. Метки в границах mp3-файла (в начале и\или в конце). Существуют различные версии тегов.

Недостатки формата. MP3 является лидером по распространённости, но при этом не является лучшим по техническим параметрам. Существуют форматы, позволяющие добиться большего качества при одинаковом размере файла, такие как Vorbis, AAC.

Юридические ограничения. Для свободного использования формата существуют патентные ограничения. Компания Alcatel-Lucent обладает правами на MP3 и получает отчисления от тех, кто использует этот формат — производителей плееров и мобильных телефонов. Из-за этого лицензионная чистота формата под вопросом. В частности, Alcatel-Lucent предъявила претензии компании Microsoft за то, что в Windows была встроена поддержка MP3. Однако срок действия патентов на технологию заканчивается в 2010 году, после чего любая компания сможет использовать её свободно.

Формат сжатия звука OGG Vorbis. Vorbis — свободный формат сжатия звука с потерями, официально появившийся летом 2002 года. Психоакустическая модель, используемая в Vorbis, по принципам действия близка к MPEG Audio Layer III и подобным, однако математическая обработка и практическая реализация этой модели существенно отличаются, что позволило авторам объявить свой формат совершенно независимым от всех предшественников.

Кодирование.. По всевозможным оценкам является вторым по популярности форматом компрессии звука с потерями. Широко используется в компьютерных играх и в файлообменных сетях для передачи музыкальных произведений.По заявлению разработчиков, Vorbis применяет более качественную психоакустическую модель, чем его конкуренты, дающую лучшую чёткость воспроизведения при равной плотности потока. В результате сжатый музыкальный файл окажется в два раза меньше (или в два раза лучше), чем у MP3. Он поддерживает до 255 отдельных каналов с частотой дискретизации до 192 кГц и разрядностью до 32 бит (чего не позволяет ни один другой формат сжатия с потерями), поэтому Vorbis великолепно подходит для кодирования 6-канального звука DVD-Audio.

К тому же, формат Vorbis — «sample accurate». Это гарантирует, что звуковые данные перед кодированием и после декодирования не будут иметь смещений, дополнительных или потерянных сэмплов. Это легко оценить, когда вы кодируете non-stop музыку (когда один трек постепенно переходит в другой) — в итоге сохранится целостность звука.

Метаданные. Формат изначально разрабатывался с возможностью потокового вещания. Это даёт формату достаточно полезный побочный эффект — в одном файле можно хранить несколько композиций с собственными тегами. При загрузке такого файла в плеер должны отобразиться все композиции, будто их загрузили из нескольких различных файлов.

Битрейт. Ogg Vorbis по умолчанию использует переменный битрейт, при этом значения последнего не ограничены какими-то жёсткими значениями, и он может варьироваться даже на 1 kbps. При этом стоит заметить, что форматом жёстко не ограничен максимальный битрейт, и при максимальных настройках кодирования он может варьировать от 400 kbps до 700 kbps. Такой же гибкостью обладает частота дискретизации — пользователям предоставляется любой выбор в пределах от 2 кГц до 192 кГц.

Преимущества формата Vorbis•Отсутствие патентных ограничений. •До 255 каналов. •Частота дискретизации до 192 кГц. •Разрядность до 32 бит. •«Sample accurate» — звуковые данные не будут иметь смещений,

дополнительных или потерянных сэмплов относительно друг друга. •«Streamable» — поддержка поточного воспроизведения. •Эффективные алгоритмы переменного битрейта. •Гибкий Joint stereo. •Мощная и гибкая психоакустическая модель. •Теги хранятся в Юникоде, а не национальной кодировке.


•Формат сжатия звука MP3.

•Назовите недостатки формата MP3.

•Какие диапазоны битрейта и частоты дискретизации предусмотрены в формате MP3?

•Какие режимы управления кодированием звуковых каналов существуют в MP3?

•Что такое CBR и VBR?

•Формат сжатия звука OGG Vorbis.

•Какие требования накладываются на битрейт в формате OGG Vorbis?

•Назовите основные преимущества формата Vorbis.

Лекция 9Лекция 9Формат сжатия звукаФормат сжатия звука Windows Media Audio. Windows Media Audio. Windows Media Audio — лицензируемый формат файла, разработанный компанией Microsoft для хранения и трансляции аудио-информации.

Форматы сжатия звука FLAC. FLAC (англ. Free Lossless Audio Codec — свободный аудио-кодек без потерь) — популярный свободный кодек для сжатия аудио. В отличие от кодеков с потерями Ogg Vorbis, MP3, FLAC не удаляет никакой информации из аудиопотока и подходит как для прослушивания музыки на высококачественной звуковоспроизводящей аппаратуре, так и для архивирования аудиоколлекции. На сегодня формат FLAC поддерживается многими аудиоприложениями.

Аудиопоток. Основными частями потока являются:•Строка из четырёх байтов «fLaC» •Блок метаданных STREAMINFO •Другие необязательные блоки метаданных •Аудио фреймы Первые четыре байта идентифицируют поток FLAC. Следующие за ними

метаданные содержат информацию о потоке, затем идут сжатые аудиоданные.

Метаданные. FLAC определяет несколько типов блоков метаданных (все они перечислены на странице формата). Блоки метаданных могут быть любого размера, новые блоки могут быть легко добавлены. Декодер имеет возможность пропускать неизвеcтные ему блоки метаданных. Обязателен только блок STREAMINFO. Другие блоки предназначены для резервирования места, хранения таблиц точек поиска, тегов, список разметки аудиодисков, а также данных для конкретных приложений.

Аудиоданные. За метаданными следуют сжатые аудиоданные. Метаданные и аудиоданные не чередуются. Как и большинство кодеков, FLAC делит входной поток на блоки и кодирует их независимо друг от друга.

Разбиение на блоки. Размер блока — очень важный параметр для кодирования. Если он очень мал, то в потоке будет слишком много заголовков фреймов, что уменьшит уровень сжатия. Если размер большой, то кодер не сможет подобрать эффективную модель сжатия.

Межканальная декорреляция. Если на вход поступают стерео аудиоданные, они могут пройти через стадию межканальной декорреляции. Правый и левый канал преобразуются к среднему и разностному по формулам: средний = (левый + правый)/2, разностный = левый — правый. В отличие от joint stereo этот процесс не приводит к потерям. Для данных с аудио компакт-дисков это обычно приводит к значительному увеличению уровня сжатия.

Моделирование. На следующем этапе кодер пытается аппроксимировать сигнал такой функцией, чтобы полученный после её вычитания из оригинала результат (называемый разностью, остатком, ошибкой) можно было закодировать минимальным количеством битов. Параметры функций тоже должны записываться, поэтому они не должны занимать много места. FLAC использует два метода формирования аппроксимаций:

•подгонка простого полинома к сигналу•общее кодирование с линейными предикторами (LPC).

Остаточное кодирование. Когда модель подобрана, кодер вычитает приближение из оригинала, чтобы получить остаточный (ошибочный) сигнал, который затем кодируется без потерь. Для этого используется то обстоятельство, что разностный сигнал обычно имеет распределение Лапласа и есть набор специальных кодов Хаффмана, называемый кодами Райса, позволяющий эффективно и быстро кодировать эти сигналы без использования словаря.

Составление фреймов. Аудиофрейму предшествует заголовок, который начинается с кода синхронизации и содержит минимум информации, необходимой декодеру для воспроизведения потока. Сюда также записывается номер блока или сэмпла и восьмибитная контрольная сумма самого заголовка. Код синхронизации, CRC заголовка фрейма и номер блока/сэмпла позволяют осуществлять пересинхронизацию и поиск даже в отсутствие точек поиска. В конце фрейма записывается его шестнадцатибитная контрольная сумма. Если базовый декодер обнаружит ошибку, будет сгенерирован блок тишины.

Формат сжатия звука AAC. AAC (англ. Advanced Audio Coding) — собственнический (патентованный) формат аудиофайла с меньшей потерей качества при кодировании, чем MP3 при одинаковых размерах. Формат также позволяет сжимать без потери качества исходника (профиль ALAC AAC).

Основные этапы работы AAC. 1. Удаляются невоспринимаемые составляющие сигнала. 2. Удаляется избыточность в кодированном аудио сигнале. 3. Затем сигнал обрабатывается по методу MDCT согласно его сложности. 4. Добавляются коды коррекции внутренних ошибок. 5. Сигнал сохраняется или передаётся.

Аудио стандарт MPEG-4 не требует единственного или малого набора высокоэффективных схем компрессии, а скорее сложный набор для выполнения широкого круга операций от кодирования низкокачественной речи до высококачественного аудио и синтезирования музыки.

•Семейство алгоритмов аудио кодирования MPEG-4 охватывает диапазон от кодирования низкокачественной речи (до 2 кбит/с) до высококачественного аудио (от 64 кбит/с на канал и выше).

•AAC имеет частоту сэмплов от 8 Гц до 96 кГц и количество каналов от 1 до 48.•В отличие от гибридного набора фильтров MP3, AAC использует

Модифицированное Дискретное Косинусное Преобразование (MDCT) вместе с увеличенным размером «окна» в 2048 пунктов. AAC более подходит для кодирования аудио с потоком сложных импульсов и прямоугольных сигналов, чем MP3.

AAC может динамически переключаться между длинами блоков MDCT от 2048 пунктов до 256.

•Если происходит единственная или кратковременная смена, используется малое «окно» в 256 пунктов для лучшего разрешения.

•По умолчанию используется большое 2048-пунктовое «окно» для улучшения эффективности кодирования.

•Превосходства AAC над MP3•Частоты дискретизации от 8 Гц до 96 кГц (MP3: 8 Гц — 48 кГц) •До 48 звуковых каналов •Большая эффективность кодирования при постоянном битрейте •Большая эффективность кодирования при переменном битрейте Более гибкий режим Joint stereo Всё это означает, что слушатель получает

улучшенное и более стабильное качество звука, чем при MP3 с таким же или меньшим битрейтом.

Профили.

•Low Complexity (MPEG-2/MPEG-4 AAC-LC)

•Main Profile

•High Efficiency AAC (MPEG-4 HE-AAC)

•Scalable Sample Rate (SSR)

•Long Term Prediction (LTP) — более сложный и ресурсоёмкий (сл-но

качественней) чем все остальные

•Advanced Lossless Audio Coding (ALAC AAC) - сильная степень сжатия, без

математических потерь

Расширения файлов.

•.m4a — незащищённый файл AAC

•.m4b — файл AAC, поддерживающий закладки. Используется для аудиокниг и

подкастов.

•.m4p — защищённый файл AAC. Используется для защиты файла от

копирования при легальной загрузке собственнической музыки в онлайн-

магазинах, подобных iTunes Store.

•.mp4 - файл ААС в контейнере МР4.


•Формат сжатия звука Windows Media Audio.

•Что такое DRM?

•Форматы сжатия звука FLAC.

•Назовите основные части аудиопотока в формате FLAC.

•Что такое межканальная декорреляция?

•Структура фрейма в формате FLAC.

•Формат сжатия звука AAC.

•Какие профили существуют у формата AAC?

Лекция 10Лекция 10Сравнение аналоговой и цифровой обработки сигналовСравнение аналоговой и цифровой обработки сигналов

Сигналы могут быть обработаны с использованием аналоговых методов (аналоговой обработки сигналов, или ASP), цифровых методов (цифровой обработки сигналов, или DSP) или комбинации аналоговых и цифровых методов (комбинированной обработки сигналов, или MSP). В некоторых случаях выбор методов ясен, в других случаях нет ясности в выборе и принятие окончательного решения основывается на определенных соображениях.

Что касается DSP, то главное отличие его от традиционного компьютерного анализа данных заключается в высокой скорости и эффективности выполнения сложных функций цифровой обработки, таких как фильтрация, анализ с использованием быстрого преобразования Фурье (БПФ) и сжатие данных в реальном масштабе времени.

Термин "комбинированная обработка сигналов" подразумевает, что системой выполняется и аналоговая, и цифровая обработка. Такая система может быть реализована в виде печатной платы, гибридной интегральной схемы (ИС) или отдельного кристалла с интегрированными элементами. АЦП и ЦАП рассматриваются как устройства комбинированной обработки сигналов, так как в каждом из них реализованы и аналоговые, и цифровые функции.


•Сравните аналоговую и цифровую обработку сигнала

•Какие цифровые способы обработки сигнала вы знаете.

•Нарисуйте структурную схему цифрового фильтра.

•Чем отличаются АЧХ аналогового и цифрового фильтров

•Назовите главное отличие DSP от традиционного компьютерного анализа данных

•Что подразумевает термин "комбинированная обработка сигналов"

•Что такое «Цепь нормализации сигнала»?

•Какое быстродействие требует фильтр со 129 коэффициентами.

Лекция 11Лекция 11Для сжатия радиочастотного спектра телесигнала необходимо его оцифровать,

но просто оцифрованный телесигнал требует скорости передачи информации 15...20 Мбит/с. Резервом для снижения скорости передачи является устранение избыточности. Действительно, избыточность в последовательности кадров в течении некоторого времени – велика (особенно это проявляется на мало динамичных сценах. Таким образом, логично создать такую систему передачи видеосигнала, в которой статиче-ская часть изображения передается редко, а динамическая — чаще. Это называется устранение избыточности во времени (временная из-быточность). Далее замечаем, что фон в большинстве кадров остается практически неизменным, спрашивается, зачем точка за точкой передавать его. Это называется устранение пространственной избыточности.

Общие принципы передачи телеизображенийОбщие принципы передачи телеизображений

Y = 0.299R + 0.587G + 0.114B, U = R - Y, V = B - Y,

При приеме в цветном телевизоре осуществляется обратный процесс восстановления (декодирования):

R = Y + U, B = Y + V, G = Y - 0.509U - 0.194V

Тип системы NTSC PAL SECAMВертикальная частота развертки, Гц 60 50 50

Горизонтальная частота развертки, кГц 15.374 15.625 15.625

Число строк в кадре 525 625 625

Число видимых (активных) строк в кадре 480 576 576

Тип модуляции цветовой поднесущей

Амплитудная Амплитудная Частотная

Полоса видеосигнала, МГц 4.2 5 для B/G, 5.5 для I, 6 для D/K

Частота цветовой поднесущей,МГц

3.60 4.43 4.41 по U,4.25 по V

Разнос несущих видео/звук, МГц 4.5 5.5 для B/G, 6 для I, 6.5 для D/K

Полная ширина сигнала, МГц 6 7 для B/G, 8 для I/D/K

В настоящее время в эксплуатации находятся три совместимых системы цветного телевидения - NTSC, PAL, SECAM. Основные различия между ними заключаются в конкретных методах кодирования телевизионного сигнала см. Таблице

Кратко остановимся на особенностях этих систем, рассматривая их в хронологическом порядке.

NTSC (National Television System Color). Первая система цветного телевидения, нашедшая практическое применение. Разработана в США в 1953 г. принята для вещания. Именно при ее создании были выработаны основные принципы передачи цвета в телевидении. В NTSC каждая телевизионная строка содержит составляющую яркости Y и два сигнала цветности EI = 0.737U - 0.268V,

EQ=0.478U+0.413V. Здесь переход от осей цветового кодирования U, V к осям I, Q

обусловлен необходимостью сужения ширины полос цветовых поднесущих всего до ± 0.5 Мгц (в NTSC используется самая узкая полоса видеосигнала). Поскольку глаз человека мелкие детали зеленого и пурпурного цветов (ось Q) воспринимает как неокрашеные (ось I - перпендикулярная к Q), то для сигналов EQ и EI это удается без дополнительных потерь в разрешении. Цветоразностные сигналы передаются путем амплитудной модуляции поднесущих на одной и той же частоте, но с фазовым сдвигом на 90њ . Последнее обстоятельство является принципиально важным для разделения сигналов при приеме. Однако, из-за неизбежных нелинейных искажений в канале передачи поднесущие оказываются промодулированными сигналом яркости как по амплитуде, так и по фазе. В результате в зависимости от яркости участков изображений изменяются их цветовой тон. Например, человеческие лица на изображении окрашиваются в красноватый цвет в тенях и в зеленоватый - на освещенных участках. Это и является основным недостатком системы NTSC.C целью его устранения немецкой фирмой Telefunken в 1963 г. была разработана система

PAL (Phase Alternation Line). Здесь использована аналогичная

амплитудная модуляция цветоразностных сигналов EU=0.877U и EV=0.493V с

фазовым сдвигом на 90њ , но через строку дополнительно производится

изменение знака амплитуды составляющей EU. В результате при восстановлении

в декодере цветовые составляющие надежно разделяются

сложением/вычитанием сигналов цветности последовательных телевизионных

строк, и паразитная яркостная модуляция приводит лишь к некоторому

изменению цветовой насыщенности. Усреднение сигналов двух строк

обеспечивает также повышение отношения сигнал/шум, но приводит к

снижению вертикальной четкости в два раза. Впрочем частично последнее

компенсируется увеличением числа телевизионных строк разложения. Система

PAL принята в большинстве стран Западной Европы, Африки и Азии, включая

Китай, Австралию и Новую Зеландию.

SECAM (SEquentiel Couleur A Memoire). Первоначально была

предложена во Франции еще в 1954 г., но регулярное вещание после длительных

доработок было начато только в 1967 одновременно во Франции и СССР. В

настоящее время она принята также в Восточной Европе, Монако, Люксембурге,

Иране, Ираке и некоторых других странах. Основная особенность системы -

поочередная, через строку, передача цветоразностных сигналов (DR= +1.9U, DB=-

1.5V) с дальнейшим восстановлением в декодере путем повторения строк. При

этом в отличие от PAL и NTSC используется частотная модуляция поднесущих. В

результате цветовой тон и насыщенность не зависят от освещенности, но на

резких переходах яркости возникают цветовые окантовки. Обычно после ярких

участков изображения окантовка имеет синий цвет, а после темных - желтый.

Кроме того, как и в системе PAL, цветовая четкость по вертикали снижена вдвое.

Стандарт Число строк

Ширина канала, МГц

Полоса в/сигнала, МГц

Разнос видео/ звук, МГц

Полярность модуляции видео

Тип модуляции несущей звука

A 405 5 3 3.5 + AMB 625 7 5 5.5 - ЧМC 625 7 5 5.5 + AMD 625 8 6 6.5 - ЧМE 819 14 10 11.15 + AMF 819 7 5 5.5 + AMG 625 8 5 5.5 - ЧМH 625 8 5 5.5 - ЧМI 625 8 5.5 6 - ЧМK 625 8 6 6.5 - ЧМL 625 8 6 6.5 + AMM 525 6 4.2 4.5 - ЧМN 625 6 4.2 4.5 - ЧМ

формирование полного телевизионного сигнала к видео необходимо добавить звук, а полученный так называемый низкочастотный телевизионный сигнал передать через эфир путем модуляции гармоники одного из доступных радиоканалов (48,5...66 МГц - первый частотный диапазон, 76...100 МГц - второй частотный диапазон, 174...230 МГц - третий частотный диапазон, 470...790 МГц - четвертый частотный диапазон). И здесь даже в рамках одной системы существуют различия, связанные с конкретной шириной спектра видеосигнала и его разносом со звуковой частью, полярностью амплитудной модуляции радиоканала изображения и типом модуляции радиоканала звука. В таблице представлены основные параметры телевизионных стандартов стран мира.


•Какие можно выделить два общих класса цифрового телевидения?

•Назовите основные принципы передачи телеизображений.

•Почему для передачи телеизображений используют цветоразностные сигналы?

•Что такое чересстрочная развертка?

•Система NTSC.

•Система PAL.

•Система SECAM.

•Какие существуют стандарты телевизионного вещания?

Лекция 12Лекция 12Цифровое представление сигналаЦифровое представление сигнала

К системам кодирования в цифровой видеотехнике предъявляются весьма многочисленные и часто противоречивые требования. Поэтому на практике кодирование всегда выполняется в несколько приемов. Сейчас принято выделять следующие основные виды: кодирования источника информации с целью преобразования сигнала в цифровую форму и его экономное представление путем сжатия или, как часто говорят, компрессии; кодирования с целью обнаружения и исправления ошибок; канального кодирования с целью согласования параметров цифрового сигнала со свойствами канала связи и обеспечения самосинхронизации.

Преобразование аналогового телевизионного сигнала в цифровой. Преобразование аналогового телевизионного сигнала в цифровой.

Цифровой телевизионный сигнал получается из аналогового телевизионного сигнала путем преобразования его в цифровую форму. Это преобразование включает следующие три операции:

•Дискретизацию во времени, т. е. замену непрерывного аналогового сигнала последовательностью его значений в дис-кретные моменты времени - отсчетов или выборок.

•Квантование по уровню, заключающееся в округлении значения каждого отсчета до ближайшего уровня квантования.

•Кодирование (оцифровку), в результате которого значение отсчета представляется в виде числа, соответствующего номеру полученного уровня квантования.

Схема включения АЦП (а) и его входные и выходные сигналы (б)

Дискретизация видеосигналаДискретизация видеосигналаПерейдем к анализу параметров аналого-цифрового преоб-разования.

Первым из них является частота дискретизации fд. В соответствии с теоремой

Котельникова должно выполняться условие fд> 2fв, где fв - верхняя граничная

частота спектра преобра-зуемого в цифровую форму сигнала. Отсюда следует, в частности, что частота дискретизации телевизионного сигнала, используемо-го в нашей стране (fв = 6 МГц), должна быть не менее 12 МГц.

Дискретизация сигнала при выполнении (а-в) и при нарушении (г-е) условий теоремы Котельникова

Спектр дискретизированного сигнала при выполнении (а)

и при нарушении (б) условий теоремы

Варианты расположений отсчетов при дискретизации изображения

Дискретизация изображения.

Исходное изображение (а), дискретизированное изображение (б) и результат интерполяции (в)

2 ( )

2

1( , ) ( , )

4x yj xf yf

x y x yb x y S f f e df dfπ

π

∞ ∞+

−∞ −∞

= ∫ ∫

Пример двумерной функции координат

Примерный вид пространственного спектра для реальных изображений

Пространственные спектры дискретизированных изображений в случаях выполнения (а) и нарушения (б) условий аналога теоремы Котельникова для

двумерных сигналов

Искажения при дискретизации изображения


•Что такое интерполяция?

•В чем проявляются искажения одномерного сигнала, создаваемые дискретизацией, в случае нарушений условий теоремы Котельникова?

•Что такое двумерное преобразование Фурье?

•Что такое пространственная частота? В каких единицах она измеряется (в случае непрерывных изображений)?

•Как преобразуется пространственный спектр непрерывного изображения при дискретизации в случаях выполнения и нарушения условий двумерного аналога теоремы Котельникова?

•Почему ошибка квантования является случайной? Каков характер распределения этой случайной величины?

•Какие виды искажений возникают в изображении при дискретизации?

•От каких параметров зависит полоса частот видеосигнала?

Лекция 12Лекция 12Следующий важнейший параметр аналого-цифрового преобразования -

число уровней квантования Nкв, определяемое числом двоичных разрядов

АЦП п в соответствии с соотношениемNкв = 2n

Выбор значения Nкв осуществляется так, чтобы влияние квантования на

изображение не было заметно для получателя информации.

Сигнал до квантования (а), сигнал после квантования (б),

ошибка квантования (в)

Исходное распределение яркости в изображении (а) и распределение яркости после квантования (б)

Это обусловлено в первую очередь свойствами зрительного аппарата человека. Как известно, пороговое превышение яркости ΔBпор объекта над фоном, при

котором объект различается наблюдателем, подчиняется в первом приближении закону Вебера-Фехнера

ΔBпор/B0 = k

где k = 0,015...0,020; В0 - яркость фона. Таким образом, с ростом яркости фона

растет и порог ΔBпор. Передаточная характеристика гамма-корректора описывает-ся соотношением

Uвых/Uвыхм = (Uвх/Uвхм)γ

где Uвх и Uвых - напряжения сигналов на входе и на выходе гамма-корректора,

соответственно; Uвхм и Uвыхм - максимальные значения диапазонов напряжений

сигналов на входе и на выходе гамма-корректора, соответственно; γ = 0,42...0,48 - показатель гамма-коррекции.

График передаточной характеристики гамма-корректора для случая γ=0,45 приведен на рис.

Передаточная функция гамма-корректора.

Аналого-цифровое преобразование. Квантование.Аналого-цифровое преобразование. Квантование.

изображение, квантованное на 4 уровня, и соответствующий такому числу уровней шум квантования, в котором нетрудно разглядеть сюжет исходного изображения

Изображение, показанное на рис. получено с использованием 128 уровней

Цифровые телевизионные сигналы согласно Рекомендации ITU-R ВТ 601

Этот стандарт применяется и в современных полностью цифровых телевизионных системах при цифровом представлении телевизионных сигналов обычной четкости. В данном стандарте предусмотрено раздельное цифровое кодирование яркостного и двух цветоразностных сигналов.

Дискретизация. Установлено одно значение частоты дискретизации сигнала яркости, равное 13,5 МГц, для обоих стандартов развертки - 25 Гц, 625 строк и 30 Гц, 525 строк. Каждый цветоразностный сигнал дискретизируется с вдвое меньшей частотой 6,75 МГц. В соответствии с принятыми обозначениями, данный стандарт цифрового кодирования телевизионных сигналов обозначается 4:2:2.

Полное число отсчетов яркости в строке равно 864, а число отсчетов каждого цветоразностного сигнала - 432. За время активного участка строки формируется 720 отсчетов сигнала яркости и 360 отсчетов каждого цветоразностного сигнала. Эти количества отсчетов являются промежуточными между значениями, необхо-димыми для получения квадратных пикселов в указанных стан-дартах развертки. Таким образом, при разработке Рекомендации 601 был достигнут компромисс. Число активных строк в кадре для стандарта 625 строк равно 576. Полное число передаваемых в каж-дом кадре элементов изображения равно 414720.

Формат 4:2:0 каждый цветоразностный сигнал имеет частоту дискретизации в 2 раза ниже частоты дискретизации яркостного сигнала и передается в каждой второй строке. Расположение от-счетов яркостного и цветоразностных сигналов в плоскости изо-бражения

При формате 4:1:1 оба цветоразностных сигнала передаются в каждой строке, но их частоты дискретизации в четыре раза меньше частоты дискретизации сигнала яркости, т. е. равны 3,375 МГц. Число элементов каждого цветоразностного сигнала в кадре в этом случае такое же, как для формата 4:2:0.

формат 4:4:4 оба цветоразностных сигнала передаются в каждой строке и дискретизируются с той же часто-той, что и яркостный сигнал.

Квантование. В Рекомендации 601 для всех сигналов предусмотрено число разрядов квантования n=8, что дает число уровней квантования Nкв =

256. При этом уровню черного сигнала яркости соответству-ет 16-й уровень квантования, а номинальному уровню белого -235-й уровень квантования. 16 уровней квантования снизу и 20 уровней квантования сверху образуют резервные зоны на случай выхода значений аналогового сигнала яркости за пределы номи-нального диапазона. Особые назначения имеют 0-й и 255-й уровни квантования. С помощью соответствующих им кодов передаются сигналы синхронизации.

219 16YY E′= +Аналого-цифровое преобразование сигнала яркости описывается

соотношением

YE′ - аналоговый сигнал яркости, изменяющийся в диапазоне от 0 до 1 В (штрих, как это принято в технической литературе по телевидению, означает, что сигнал прошел гамма-коррекцию), Y - цифровой сигнал яркости, изменяющийся в диапазоне от 16 до 235.

Соответствие между уровнями аналоговых телевизионных сигналов и уровнями квантования по Рекомендации ITU-R ВТ 601

0,713CR R YE E −′= × 0,564CB B YE E −′= ×

компрессированные цветоразностные сигналы, формируемые в соответствии с соотношениями

,

причем значения сигналов ECR и ЕCB изменяются в диапазоне от -0,5 В до 0,5 В.

224 128 159,712 128 160 128R CR R Y R YC E E E− −′ ′ ′= + = + ≈ +

224 128 126,336 128 126 128B CB B Y B YC E E E− −′ ′ ′= + = + ≈ +

Аналого-цифровые преобразования цветоразностных сигналов, в результате которых получаются цифровые цветоразностные сигналы CR и СB, выполняются в

соответствии со следующими соотношениями

,

Так как цветоразностные сигналы являются двуполярными и максимальные отклонения от нулевого значения в положительную и отрицательную сторону примерно одинаковы, 128-й уровень квантования должен соответствовать нулевому значению этих сигналов. На пред. Рис. показано соответствие между уровнями аналоговых телевизионных сигналов и уровнями квантования для обычного тестового изображения в виде восьми цветных полос.

Формирователи цифровых телевизионных сигналов

Варианты структурной схемы формирователя цифрового телевизионного сигнала.Варианты структурной схемы формирователя цифрового телевизионного сигнала.

Стандарт на параллельный видеостык предусматривает передачу цифрового телевизионного сигнала в виде параллельного цифрового кода

Передача значений отсчетов яркостного Y и цветоразностных CR и СB сигналов происходит по одним и тем же линиям в следующем порядке: Y, CR, Y, СB, Y, ... . Частота тактовых импульсов при этом равна fт = 13,5 + 6,75 + 6,75 = 27 МГц. Сигналы синхронизации телевизионной развертки, представляемые, как указывалось ранее, кодами 00000000 и 11111111, передаются в общем потоке данных 36.

Произведение частоты дискретизации fд и числа разрядов квантования n

называется скоростью передачи двоичных символов цифрового сигнала - Q (бит/с). Для цифровой студийной аппара-туры, удовлетворяющей требованиям рассматриваемых Рекомен-даций, получаются следующие значения этого параметра:

для яркостного сигнала: QY = 13,5·8 = 108 Мбит/с;

для цветоразностного сигнала: QC =6,75·8 = 54 Мбит/с.

Суммарная скорость передачи двоичных символов преобра-зованного в цифровую форму полного цветного телевизионного сигнала (ПЦТС) для параллельного видеостыка определяется сле-дующим равенством

QS = QY + 2 QC = 216 Мбит/с.

Передача цифрового телевизионного сигнала на большие расстояния осуществляется в последовательной форме.

Выделение тактовых импульсов из передаваемого последовательного цифрового

сигналасигнала

Последовательный видеостык


•Какие два варианта структурной схемы формирователя цифрового телевизионного сигнала предусмотрены Рекомендацией ITU-R ВТ 601?

•Зачем перед квантованием выполняют гамма-коррекцию телевизионных сигналов?

•Что означают записи "4:2:2" и "4:2:0", характеризующая формат дискретизации телевизионных сигналов?

•Как производится квантование яркостного и цветоразностных сигналов в соответствии с Рекомендацией 601?

•Что такое параллельный видеостык?

•Вычислите скорость передачи двоичных символов для цифровых телевизионных сигналов при различных форматах дискретизации.

•Что такое последовательный видеостык?

•Каким образом происходит выделение тактовых импульсов из передаваемого последовательного цифрового сигнала?

Лекция 14. Методы и способы обработки цифровых видеосигналов

Дискретное преобразование Фурье и дискретное ко-синусное Дискретное преобразование Фурье и дискретное ко-синусное преобразованиепреобразование

функции x(t) и y(t) называются ортогональ-ными на отрезке (t1, t2), если их скалярное

произведение равно нулю

2

1

( ) ( ) 0t

t

x t y t dt =∫

Дискретные сигналы х(n) и у(n), имеющие по N отсчетов, называются ор-тогональными, если выполняется условие

1

0

( ) ( ) 0N

n

x n y n−

=

=∑

0 0 01

1( ) ( cos sin )

2 k kk

x t a a k t b k tω ω∞

=

= + +∑

Одним из наиболее известных примеров применения орто-гонального преобразования является разложение периодического сигнала x(t) в ряд Фурье

где 0

2

T

πω = ; Т – период повторения сигнала х(t).

/ 2

0

/ 2

2( )

T

T

a u t dtT −

= ∫/ 2

0

/ 2

2( )cos

T

k

T

a x t k tdtT

ω−

= ∫/ 2

0

/ 2

2( )sin

T

k

T

a x t k tdtT

ω−

= ∫

0( ) jk tk

k

x t C e ω∞

=−∞

= ∑

Действительные коэффициенты ряда Фурье ak, bk определяются

соотношениями

,

,

В комплексной форме разложение в ряд Фурье имеет вид:

, где 0

/ 2

/ 2

1( )

Tjk t

k

T

C x t e dtT

ω−

−

= ∫ - комплексные амплитуды гармоник; j - мнимая единица.

дискретное преобразование Фурье (ДПФ), имеет вид

21

0

1( ) ( ) , 0,1... 1

N j nkN

k

x n k e n NN

π − ÷

=

= = −∑X

,

где коэффициенты ДПФ Х(k) определяются соотношением

21

0

1( ) ( ) , 0,1... 1

N j nkN

n

k x n e k NN

π − − ÷

=

= = −∑X

Дискретные гармонические функции

Дискретный сигнал (а) и модуль его ДПФ (б)

Дискретно-косинусное преобразования (ДКП), описывается соотношением

1

0

2 2 1( ) ( ) cos ,

2

N

k

nx nС k k

N Nπ

−

=

+ = ÷ ∑

1

0

1(0) ( ),

2

N

n

C x nN

−

=

= ∑1

0

2 2 1( ) ( ) cos ,

2

N

n

nC k x n k

N Nπ

−

=

+ = ÷ ∑

где коэффициенты ДКП определяются по формулам

k=1…N-1

Двумерный дискретный сигнал, например, отдельный кадр цифрового телевизионного сиг-нала, представляется матрицей значений х(m,n), где m = 0... М-1 - номер отсчета в строке, n = 0.., N-1 - номер строки в кадре.

Прямое двумерное ДПФ имеет вид

2 21 1

0 0

1( , ) ( , ) ,

M N j k m j l nM N

m n

k l x m n e eMN

π π − − − × − × ÷ ÷

= =

= ∑∑X k=1…M-1, l=1…N-1,

где X(k,l) - комплексные коэффициенты ДПФ, отображающие пространственно-частотный спектр изображения.

Обратное двумерное ДПФ представляет разложение изобра-жения по базисным функциям

2 21 1

0 0

1( , ) ( , ) ,

M N j k m j l nM N

k l

x m n k l e eMN

π π − − × × ÷ ÷

= =

= ∑∑X

1 1

0 0

2 2 1 2 1( , ) ( , ) cos cos ,

2 2

M N

m n

m nC k l x m n k l

M NMNπ π

− −

= =

+ + = ÷ ÷ ∑∑

1 1

0 0

1 2 1(0, ) ( , ) cos ,

2

M N

m n

nC l x m n l

NMNπ

− −

= =

+ = ÷ ∑∑

1 1

0 0

1 2 1( ,0) ( , ) cos ,

2

M N

m n

mC k x m n k

MMNπ

− −

= =

+ = ÷ ∑∑

1 1

0 0

1(0,0) ( , )

2

M N

m n

C x m nMN

− −

= =

= ∑∑

Коэффициенты двумерного прямого ДКП определяются по формулам

.Обратное двумерное ДКП имеет вид:

1 1

0 0

1 2 1 2 1( , ) ( , ) cos cos ,

2 2

M N

k l

m nx m n C k l k l

M NMNπ π

− −

= =

+ + = ÷ ÷ ∑∑

вид полутоновых картинок базисные функции двумерного ДКП для М = 8, N = 8. Светлые участки соответствуют положительным значениям, а темные – отрицательным.

Показаны примеры:a) k = 1, l = 0; б) k = 0, l = 1; в) k =1, l = 1;г) k = 0, l = 2; д) k = l, l = 2; e) k = 2, l = 2;ж) k = 4, l = 2; з) k = 7, l = 1; и) k = 7, l = 7.

Некоторые базисные функции двумерного ДКП Некоторые базисные функции двумерного ДКП блока 8x8 элементов изображенияблока 8x8 элементов изображения

1

0

1( ) ( ) Re( ) ( ) Im( )

Nkn knN N

n

k x n jx nN

−

=

= + ∑X W W

Оценим количество операций, необходимых для вычисления ДПФ в соответствии с (7.7). Для этого преобразуем (7.7), выделим в нем операции над действительными и мнимыми частями чисел

, где k=0,1,…N-1,

2j nk

kn NN e

π ÷ =W

.

для вычисления одного значения Х(k) необходимо выполнить приблизительно 2N умножений и (2N-2) - сложений действительных чисел. Для вычисления всех N значений Х(k) надо выполнить 2N2 умножений и N(2N-2) сложений действительных чисел. Кроме того, требуется ЗУ для хранения значений х(n), Х(k), WN

kn.

На каждом шаге необходимо N комплексных сложений и N комплексных умножений. Число же шагов равно log2N. Таким об-разом, число операций, которые необходимо выполнить для вы-числения прямого или обратного ДПФ, оказывается пропорцио-нальным N log2N.

Двумерное БПФ может быть разложено на последователь-ность одномерных. Число требуемых операций оказывается про-порциональным NM log2NM. Для

приведенного выше примера телевизионного кадра, состоящего из 720x576 пикселов, это зна-чение оказывается равным примерно 8·106, что в 105 раз меньше, чем число операций, требуемое для непосредственного вычисле-ния ДПФ.

ДКП лежит в основе наиболее широко используемых в настоящее время методов кодирования JPEG, MPEG-1, MPEG-2, MPEG-4.

Цифровая фильтрацияЦифровая фильтрация

Цифровая фильтрация - Цифровая фильтрация - один из важнейших методов обработки одномерных и многомерных цифровых сигналов.

Структурная схема цифрового фильтра

АЧХ нерекурсивного ФНЧ (а), рекурсивного ФНЧ (б) и

рекурсивного режекторного фильтра (в)

Действие двумерного нерекурсивного фильтра может быть описано следующей формулой

1 1

0 0

( , ) ( , ) [ ( 1) / 2, ( 1) / 2],M N

m n

y i j a m n x i m M j n N− −

= =

= + − − + − −∑∑

где i - номер строки; j - номер элемента в строке.

Простейшие двумерные фильтры имеют матрицу 3x3. Ниже приведено несколько примеров фильтров такого типа.

0,1 0,1 0,1 1 2 1 1 2 1

) 0,1 0, 2 0,1 ) 2 5 2 ) 2 4 2

0,1 0,1 0,1 1 2 1 1 2 1

aб в

− − ÷ ÷ ÷− − − − ÷ ÷ ÷ ÷ ÷ ÷− −

Пространственно-частотные характеристики ФНЧ (а) и ФВЧ (б)


•Какие сигналы называются ортогональными?

•Что такое ДПФ и ДКП?

•Почему ДПФ содержит конечное число частотных составляющих?

•Почему ДКП во многих случаях удобнее применять, чем ДПФ?

•Чем различаются матрицы двумерного фильтра верхних частот и двумерного фильтра Лапласа

•Как воздействуют указанные фильтры на изображение?

•Что такое КИХ и БИХ-фильтры?

• Объясните принцип работы медианного фильтра

Лекция 15Обработка и передача сигналов с разложением на частотные

поддиапазоны или на поддиапазоны по разрешающей способности. Вэйвлет-преобразование

Структурная схема системы передачи сигнала с разложением на частотные поддиапазоны.

Структурная схема системы передачи с использованием квадратурных зеркальных фильтров (а) и положения получающихся

частотных поддиапазонов (б)

Простым примером вэйвлет–преобразования является раз-ложение сигнала по базису Хаара (Нааr). Базисная функция преоб-разования Хаара, показанная на рис. ,а, называется scale-function или scaling-function. Ортогональный базис Хаара получа-ется путем сдвига базисной функции с шагом равным единице во все возможные положения по оси абсцисс.

Рис. . Базисная функция преобразования Хаара (а) и вэйвлет Хаара (б)

Вэйвлет–преобразование изображения осуществляется путем последовательного выполнения вэйвлет–преобразований по двум координатам (рис.7.10). Исходное изображение представляет собой матрицу А, имеющую размер NхN и содержащую N2 элементов. В блоках WTx и WTy выполняются вэйвлет–преобразования одномерных цифровых сигналов, например, преобразования Xаара. В блоках IWTx и IWTy выполняются соответствующие обратные преобразования.

Рис. . Структурная схема выполнения прямого и обратного вэйвлет–преобразований изображения

Оценка и компенсация движенияОценка и компенсация движениярассчитывается сумма S(Δп,Δт) абсолютных значений разностей элементов

блока первого кадра и смещенной области второго кадра

,

( , ) ( , ) ( , )m n B

S n m x m m n n x m n∈

′∆ ∆ = + ∆ + ∆ −∑где х(т,п) - элемент первого кадра; х΄(т,п) - элемент второго кадpa; т, п - дискретные координаты по вертикали и по горизонтали, отсчитываемые, например, от левого верхнего угла блока первого кадра. Суммирование производится по всем элементам блока.Из всех проверенных векторов (Δп, Δт) выбирается тот, ко-торый обеспечивает наименьшее значение суммы

Смещение блока на вектор Смещение блока на вектор движениядвижения

Дифференциальная импульсно-кодовая модуляция. Кодирование с предсказанием

Структурная схема системы передачи с ДИКМ

n 1 2 3 4 5 6 7 8 9 10

x(n) 0 5 12 27 24 54 61 53 74 80

S'(n) - 5 7 15 -3 15 15 -1 15 12

y(n) 0 5 12 27 24 39 54 53 68 80

Постепенная коррекция ошибки квантователя иллюстриру-ется табл. 7.1. Из приведенных данных видно, что ошибка, воз-никшая из-за перегрузки квантователя в такте 6, компенсируется за два такта, а ошибка, возникшая в такте 9 - за один такт.

Развитием метода ДИКМ является адаптивная импульсно-кодовая модуляция АДИКМ (Adaptive Differential Pulse Code Modulation - ADPCM). В соответствии с этим методом параметры квантователя Q и предсказателей Р

АДИКМ применяется в некоторых цифровых системах пе-редачи речевой информации, например, в мобильных телефонах и позволяет уменьшить скорость передачи двоичных символов в несколько раз.

Векторное квантование. Фрактальное кодированиеВекторное квантование. Фрактальное кодирование

Обычное квантование, со-стоящее в округлении до ближайшего уровня квантования, назы-вают скалярным, так как отдельные отсчеты сигнала квантуются независимо друг от друга.

Более общей операцией является векторное квантование, при котором одновременно квантуется (кодируется) группа из N отсчетов цифрового сигнала, называемая N-мерным вектором. В случае одномерного сигнала векторами могут быть группы по N последовательных отсчетов.

Структурная схема системы передачи информации с использованием векторного квантования

Близким по сущности к векторному квантованию является фрактальное кодирование изображений, при котором в качестве элементов кодовой книги используются блоки, вырезанные из самого исходного изображения.

Как известно, фракталами называются рисунки, обладаю-щие свойством самоподобия. При этом часть рисунка подобна всему рисунку в целом, но в меньшем масштабе. В этой части есть подобная ей часть еще меньших размеров и т.д. Пример фрактала показан на рис

Векторное квантование и фрактальное кодирование могут использоваться для кодирования звуковых сигналов и изображе-ний, обеспечивая значительное сжатие информации. Однако большой объем вычислений, выполняемых при кодировании, пока что препятствует практическому применению этих методов в сис-темах цифрового телевидения.

Контрольные вопросы•Почему при разложении сигнала на частотные поддиапазоны количество

отсчетов в каждом поддиапазоне может быть уменьшено?

•Каковы свойства квадратурных зеркальных фильтров?

•Что происходит с изображением при выполнении вэйвлет-преобразования?

•За счет чего может быть достигнуто сжатие изображения с помощьювэйвлет-преобразования?

•В чем состоит оценка движения методом соответствия блоков?

•Что такое линейное предсказание?

•Почему использование ДИКМ позволяет уменьшить скорость переда-чи двоичных символов в канале связи?

•Какими средствами может быть обеспечена помехоустойчивость пе-редачи информации с использованием ДИКМ?

•Как выполняются кодирование и декодирование в системах передачи с векторным квантованием?

Лекция 16. Цифровое представление компонентного видеосигнала.Лекция 16. Цифровое представление компонентного видеосигнала.

Кодирование компонентного видеосигнала (4:2:2).

Кодирование компонентного видеосигнала (4:2:2). Структура дискретизации.Полная скорость передачи цифрового компонентного видеосигнала

составляет 10 х 13,5 + 10 х 6,75 + 10 х 6,75 = 270 Мбит/с.

Кодирование компонентного видеосигнала (4:4:4).Кодирование компонентного видеосигнала (4:4:4).

Кодирование компонентного видеосигнала (4:4:4:4).

Кодирование компонентного видеосигнала CIF (Common Interchange Format).

Кодирование композитного видеосигнала (4fsc)Кодирование композитного видеосигнала (4fsc)

Для сохранения непрерывного цифрового потока отсчетов, следующих с

постоянной частотой 4fsc, в системе PAL длительность цифровой строки принята

не равной длительности аналоговой строки. Все строки поля (за исключением

двух) содержат по 1135 отсчетов, а две - по 1137.Длина кодового слова - 10 бит (в

первоначальном варианте - 8). Необходимость цифрового кодирования фронта и

среза синхроимпульсов композитного аналогового сигнала приводит к тому, что

для диапазона от номинальной величины черного до номинального белого

выделяется примерно на 30% меньше уровней квантования, чем для сигнала в

компонентной форме. Скорость передачи данных для цифрового сигнала в

системе NTSC составляет 143 Мбит/с, а в системе PAL - 177 Мбит/с.


•Какова причина выбора значений частот дискретизации компонентного сигнала 13,5 и 6,75 МГц?

•Назовите структуру дискретизации форматов 4:2:2, 4:4:4.

•Назовите структуру дискретизации форматов 4:4:4:4, 4:1:1.

•Назовите структуру дискретизации форматов 4:2:0, 3:1:1.

•Что такое формат CIF?

•Каким образом дискретизируется композитный видеосигнал систем NTSC?

•Каким образом дискретизируется композитный видеосигнал систем PAL?

•Каким образом дискретизируется композитный видеосигнал систем SECAM?

Лекция 17. Сжатие неподвижных изображений по стандарту JPEG

•разбиение изображения на блоки 8x8 пикселов;•выполнение быстрого ДКП (БДКП) в каждом блоке;•квантование полученных коэффициентов ДКП с использо-ванием таблицы

коэффициентов квантования (таблица Q);•энтропийное кодирование квантованных коэффициентов ДКП каждого блока

изображения.

Последовательность операций при декодировании, поясняемая структурной схемой на рис. включает:

- декодирование энтропийного кода (декодер Хаффмена);-деквантование коэффициентов ДКП для каждого блока 8x8 пикселов;-обратное БДКП для каждого блока;- объединение блоков в декодированное изображение.

Разбиение изображения на блокиРазбиение изображения на блоки

Полутоновое монохромное (черно-белое) изображение раз-бивается на блоки 8x8 пикселов. Эти блоки далее кодируются один за другим. Порядок кодирования блоков слева направо, один гори-зонтальный ряд блоков за другим.

Цветное изображение может быть представлено в формате RGB, когда для каждого пиксела задаются значения трех основных цветов. В этом случае каждый блок 8x8 пикселов представляется тремя блоками 8x8 чисел. Кодирование данных каждого из трех цветов выполняется также, как для полутонового монохромного изображения.

Предпочтительнее представление цветного изображения в формате YCBCR, где

для каждого пиксела задаются значения ярко-сти и цветоразностных сигналов. В этом случае возможно умень-шение число блоков для информации о цвете. Например, если уменьшить число отсчетов цветоразностных сигналов по вертикали и по горизонтали в два раза, что соответствует формату 4:2:0, то на каждые четыре блока элементов сигнала яркости Y будет прихо-диться один блок элементов сигнала СВ и один блок элементов сиг-нала CR. По сравнению с

форматом RGB полное число кодируемых блоков уменьшится в два раза, но заметного ухудшения качества изображения при этом не произойдет, так как зрительный аппарат человека не воспринимает искажения цвета мелких деталей изо-бражения.

Возможны два варианта последовательности кодирования блоков цветного изображения. Согласно первому варианту, называемому последовательным (sequential), сначала кодируются все блоки элементов сигнала Y, затем все блоки элементов сигнала СВ, затем все блоки сигнала CR. Второй вариант

предусматривает перемежение (interleaved) блоков разных составляющих. Например, в случае формата дискретизации 4:2:0, сначала кодируются четыре блока Y, образующие матрицу 2x2, затем соответствующий им один блок СВ, затем

один блок CR, затем следующие четыре блока Y и т. д.

При объединении блоков в декодированное изображение количество элементов СВ и CR восстанавливается с помощью интерполяции.

Дискретное косинусное преобразованиеДискретное косинусное преобразование

Исходные данные для ДКП имеют вид блоков или матриц 8x8 элементов сигналов Y, СВ или CR, выражаемых 8разрядны целыми положительными

двоичными числами. Перед выполнением ДКП значение каждого элемента блока сдвигается путем вычитания числа 128, в результате чего элементы блоков выражаются целыми числами со знаком.

После этого в кодере JPEG выполняется ДКП в соответствии с формулами (7.12) при N = М = 8. Обратное ДКП в декодере JPEG выполняется в соответствии с формулой (7.13). После него выполняется обратный сдвиг уровня каждого элемента путем прибавления числа 128. Как правило, при вычислениях используются алгоритмы быстрого ДКП.

В результате выполнении ДКП квадратной матрицы из 8х8 чисел получается квадратная матрица из 8x8 коэффициентов ДКП которые могут быть как положительными, так и отрицательными целыми числами из диапазона –2047...2047.

Единственным источником необратимых потерь информации могут быть ошибки округления при вычислениях, однако эти ошибки могут быть сделаны достаточно малыми за счет выбора разрядности вычислительных средств.

Тем не менее, именно ДКП создает основу для последующего значительного уменьшения объема передаваемой информации. Рассмотрим, как это получается.

В первую очередь необходимо отметить, что каждый коэффициент ДКП содержит информацию не об одном какомто элементе из матрицы элементов изображения, а о всех 64 элементах. Пусть х(т,п), т,п = 0...7 квадратная матрица элементов изображения представляющая собой один из его блоков" [С(k,l)], k,l = 0 ...7 квадратная матрица коэффициентов двумерного ДКП. Коэффициент С(0,0), как следует из (7.12), пропорционален постоянной составляющей, т. е. среднему значению величин х(т,п) блока изображения. Коэффициент С(0,1) показывает величину пространственночастотной составляющей, имеющей нулевую пространственную частоту по горизонтальной координате и пространственную частоту, равную 1/N, по вертикальной координате и т. д.

При выполнении обратного ДКП в соответствии с (7.13), изображение формируется в виде суперпозиции составляющих, каждая из которых имеет определенную пространственную частоту. Как известно, наибольший вклад при формировании большинства реальных изображений вносят низкочастотные составляющие, определяющие формы и яркости основных объектов и фона. Высокочастотные составляющие создают резкие границы и контуры, а также мелкую структуру (текстуру) изображения.

Возможность уменьшения скорости передачи двоичных символов при помощи ДКП (как и при помощи ДПФ) основана на указанных свойствах пространственночастотного спектра реальных изображений и на ограниченной способности человеческого зрения воспринимать изменения и искажения мелкой структуры изображения. Количество передаваемой информации уменьшается путем более грубого квантования части или всех передаваемых коэффициентов С(k,l), в результате которого уменьшается число двоичных разрядов, используемых для представления этих коэффициентов, а многие из коэффициентов становятся равными 0.

Таким образом, использование ДКП в сочетании с последующим квантованием коэффициентов ДКП обеспечивает уменьшение количества передаваемой информации и, следовательно требуемой ширины полосы частот канала связи.

Квантование коэффициентов ДКП. Квантование коэффициентов ДКП С(k,l) выполняется в соответствии с формулой

( , )( , )

( , )q

C k lС k l Round

f Q k l

= ÷×

где С(k,l) - коэффициенты квантования, задаваемые в виде таблицы из 8x8 целых чисел (таблица Q на рис. выше); f параметр, определяющий степень сжатия изображения, Round() операция округления до ближайшего целого значения; Cq(k,l) – полученные в результате данной операции квантованные коэффициенты

ДКП, которые могут быть как положительными, так и отрицательными.

Важно отметить, что для квантования сигнала яркости и цветоразностных сигналов используются разные таблицы.

Примеры таблиц квантования для сигнала яркости и для цветоразностных сигналов приведены в табл. 1 и в табл. 2, соответственно.

16 11 10 16 24 40 51 61

12 12 14 19 26 58 60 55

14 13 16 24 40 57 69 56

14 17 22 29 51 87 80 62

18 22 37 56 68 109 103 77

24 35 55 64 81 104 113 92

49 64 78 87 103 121 120 101

72 92 95 98 112 100 103 99

17 18 24 47 99 99 99 99

18 21 26 66 99 99 99 99

24 26 56 99 99 99 99 99

47 66 99 99 99 99 99 99

99 99 99 99 99 99 99 99

99 99 99 99 99 99 99 99

99 99 99 99 99 99 99 99

99 99 99 99 99 99 99 99

Энтропийное кодированиеЭнтропийное кодирование

Как видно из табл. 3, первым следует коэффициент Сq(0,1), соответствующий

самой низкочастотной составляющей по горизонтали, затем Сq(1,0), а затем

все более и более высокочастотные составляющие. Последовательность завершается специальным символом ЕОВ (end of block конец блока).

k/l 0 1 2 3 4 5 6 7

0 0 1 5 6 14 15 27 28

1 2 4 7 13 16 26 29 42

2 3 8 12 17 25 30 41 43

3 9 11 18 24 31 40 44 53

4 10 19 23 32 39 45 52 54

5 20 22 33 38 46 51 55 60

6 21 34 37 47 50 56 59 61

7 35 36 48 49 57 58 62 63

Чаще всего применяется кодирование по методу Хаффмена, который заключается в построении такого кода с переменной длиной кодового слова, что чаще встречающимся (т. е. более вероятным) символам ставятся в соответствие более короткие кодовые слова, а реже встречающимся (менее вероятным) символам более длинные кодовые слова. Это дает дополнительный выигрыш в сжатии информации.

Формат файла JPEGФормат файла JPEG

Реализация и различные варианты Реализация и различные варианты JPEG. Метод JPEG реализуется, как правило, программными средствами на компьютерах. Основные области его применения: архивирование изображений на магнитных и оптических дисках, передача неподвижных изображений по каналам связи, запись отснятых кадров в электронных фотокамерах и др.

По мере увеличения степени сжатия методом JPEG возрастает заметность блочной структуры, увеличиваются искажения яркости и цветности. Некоторые программы при декодировании и воспроизведении сжатых по стандарту JPEG изображений выполняют дополнительную фильтрацию (сглаживание) на границах блоков, чтобы уменьшить заметность блочной структуры.

JPEG может использоваться и для сжатия движущихся изображений. При этом каждый кадр кодируется независимо от других кадров. Такой метод, называемый Motion JPEG, может быть полезен для видеозаписи и в студийной аппаратуре, но он не дает достаточной степени сжатия видеоинформации для телевизионного вещания.


•Объясните структурную схему кодирования по стандарту JPEG.

•Объясните структурную схему декодирования по стандарту JPEG.

•В какой последовательности кодируются по стандарту JPEG блоки цветного изображения?

•Почему квантование коэффициентов ДКП создает менее заметные искажения, чем квантование самого изображения?

•Что такое энтропийное кодирование?

•Каким образом в стандарте JPEG осуществляется управление степенью сжатия?

•В чем состоит сущность кодирования с переменной длиной кодовых слов?

•Реализация и различные варианты JPEG

Лекция 18. Форматы сжатия видеосигналов

Формат записи

Тип записи Вид сигнала

Ширина ленты,мм

Скорость ленты, мм/сек

Отношение сигнал/шум,

дБ

Коэффициент

компрессии

VHS аналоговая композитный

12.65 23.39 43 -

S-VHS аналоговая Y/C 12.65 23.39 45 -Hi8 аналоговая Y/C 8 20.5 44 -

Betacam аналоговая YUV 12.65 101.5 49 -Betacam SP аналоговая YUV 12.65 101.5 51 -Betacam SX цифровая YUV

4:2:212.65 59.575 51 10:1

Digital Betacam

цифровая YUV 4:2:2

12.65 96.7 55 2:1

DV цифровая YUV 4:2:0

6.35 18.831 54 5:1

DVCam цифровая YUV 4:2:0

6.35 28.2 54 5:1

DVCPro цифровая YUV 4:1:1

6.35 33.813 54 5:1

DVCPro50 цифровая YUV 4:2:2

6.35 67.626 62 3.3:1

Стандартные форматы видеоэкрановФормат Размер по

горизонтали, пикселов

Размер по вертикали, пикселов

Требуемая скорость передачи

без сжатия, Мбит/сCIF 352 288 24,3

2CIF 704 288 48,7

4CIF 704 576 97,3

9CIF 1056 864 219

16CIF 1408 1152 389,3

Формат CIF является производным для форматов больших и меньших размеров, наиболее распространенные из них сведены в табл. В этой таблице для расчета скорости передачи принято количество градаций яркости изображения 256, т.е. 8 битов на один пиксел.

Стандарты кодирования и сжатияСтандарты кодирования и сжатия

Огромные скорости видеопотоков, фигурирующие в табл. 10.2, неприемлемы для практики, поэтому Международным телекоммуникационным союзом (ITU, International Telecommunication Union) были разработаны различные стандарты по компрессии аудиовизуальных сигналов.

Первый из них - Н.261 был создан еще до разработки и внедрения Интернета, для ISDNсетей. В нем используется прогнозирование видеоизображения с целью устранения временной избыточности. Поясним суть его работы на примере простейшего формата CIF. По горизонтали этот формат разбивается пополам, а по вертикали на 12 частей. В итоге получается 12 блоков размером 176x48 пикселов. Эти блоки называют GOB (Groups of Blocks), что значит группы простых блоков. Каждый GOB в свою очередь делится на 11 частей по горизонтали и 3 части по вертикали и в итоге получается 33 простейших блока, называемых MB (Macro Block). MB имеет размер 16x16 пикселов. Далее MB делится на четыре элементарных блока, имеющих размер 8x8 пикселов. Такой элементарный блок кодируется сигналами яркости Y, красного цветоразностного Cr и синего цветоразностного – Св.

Основой стандарта Н.261 является обнаружение и кодирование пространственной и временной неоднородностей блоков и макроблоков видеосигнала. Пространственные области внутри кадра, которые отличаются по уровню яркости и цвету от окружающего фона. Временные изменения или перемещения объектов серии кадров.

Второй, модернизированный метод сжатия и кодирования, определен стандартом Н.263 (его еще часто называют кодек Н.263). В нем достигнуто увеличение качества и степени сжатия видеоизображений. Кодек Н.263 применим для любых форматов видеоизображений, которые классифицированы следующим образом:

QCIF (176x144);

CIF (352x288);

4CIF (704x576);

16CIF (1408x1152).

В этом кодеке увеличена точность прогноза и компенсации движения компонентов изображения, что позволяет в два раза снизить объем передаваемых данных при том же качестве изображения по сравнению с обработкой по методу Н.261.

Другая серия стандартов под названием MPEG (Moving Picture Expert Group) создавалась группой экспертов ISO (International Organization of Standardization). Первый из них MPEG1 был выпущен в 1992 г., он учитывал все передовые наработки стандарта Н.261, а также тот прогресс, который к этому времени был достигнут в области создания цифровых СБИС и дешевой БИС памяти. Кодек MPEG1 был предназначен для сжатия видеофильмов до скорости 1,5 Мбит/с и записи их на оптические диски. При этом ставились следующие условия:

•объем стандартного видеофильма не должен превышать 600 Мбайт (максимальный файл);

•качество видеоизображения должно быть не хуже качества, обеспечиваемого видеокассетой VHS.

Для обеспечения такого компромисса между скоростью потока данных и максимальным файлом было принято, что на каждый стандартный опорный кадр типа I (Intra Picture) начальный кадр, приходится четырнадцать прогнозируемых кадров. Из числа прогнозируемых кадров четыре являются кадрами типа Р (Predictive Picture) предсказуемый по одному направлению кадр, и десять кадров типа В (Bidirectional Predictive Pictures) предсказуемый по двум направлениям кадр.

Удачная реализация кодека MPEG1 позволило применять его как прообраз, для более совершенных кодеков, как для компрессии видеоизображений (MPEG2 и MPEG4), так и для компрессии аудиофайлов (MPEG Layer I, MPEG Layer 2, MPEG Layer 3). Рассмотрим некоторые из них далее более подробно.

MPEG-2. MPEG-2.

В стандарте MPEG2 сигналы изображения и звукового сопровождения преобразуются в индивидуальные потоки данных. Видео и звуковые потоки имеют форматы, удобные для их ввода в компьютеры и записи на различные носители информации (оптические диски, флешкарты и т.д.). Программное обеспечение для обработки этих потоков преимущественно написано на языке С (Си). Большая часть таких программ открыта, и разрешено их свободное использование. Разработаны дешевые комплекты микросхем (чипсеты) для кодирования и декодирования MPEG2 сигналов.

Рассмотрим особенности потока видеоданных. Он состоит из множества элементов, которые объединяются по определенным правилам. Различают следующие виды элементов и их комбинаций:

видеопоследовательность; изображения I, P и В типов со срезами; макроблок;блок.

Видеопоследовательность серия последовательных кадров, причем допускается как чересстрочная, так и прогрессивная развертка. Как и в MPEG1, здесь используется поточное сжатие, анализируется динамика изменения изображения и устраняется временная и пространственная избыточность.

Система кадров заимствована из кодека MPEG1: опорные кад-ры I, их еще называют исходными или основными; предсказанные кадры Р, несущие информацию об изменениях по сравнению с предыдущим кадром; двунаправленные кадры В, в которых предсказание об изменении картинки формируется на основе анализа предыдущего и последующего кадров.

Кадр типа I содержит всю информацию о картинке. Любая новая сцена должна начинаться Iкадром, следовательно, в нем может быть устранена только пространственная избыточность. Объем I кадра в сотни раз превышает объемы Р кадра или В кадра, поэтому I кадры составляют большую часть объема видеофайлов. Для того чтобы был возможен случайный доступ к телепрограмме, I кадры должны регулярно появляться в видеопотоке даже при передаче квазистатических изображений. Кадры группируются в наборы, например в следующую группу из двенадцати изображений:

I, В, В, Р, В, В, Р, В, В, Р, В, В и т.д.

a) б)

Рис. Структуры макроблоков сигнала Y при кодировании:

a кадровом; б полевом

Для универсализации кодека MPEG2 в нем выделено несколько профилей,

характеризующих разнообразные варианты компрессии видеопотоков. Внутри

каждого профиля выделены несколько уровней, определяющих параметры

сжимаемого видеоизображения. Установлено четыре уровня, определяющие

разрешающую способность кадра:

LL (Low Level) низкий с разрешением 352x288;

ML (Main Level) основной с разрешением 720x576;

HL1440 (High Level) высокий с разрешением 1440х 1152;

HL1920 высокий с разрешением 1920x1152,

а также пять базовых профилей кодирования сигналов яркости и цветности:

SP (Simple Profile) простой;

МР (Main Profile) основной;

SNR (Signal to Noise Ratio) масштабируемый по отношению сигнал/шум;

Spatial (Spatial Profile) с масштабируемым пространственным разрешением;

HP (High Profile) высокий;

422 студийный.

Масштабируемый профиль поддерживает все типы изображений. На базовом

уровне кодера используется обычное кодирование на основе предсказания с

компенсацией движения.

Основной профиль на основном уровне (Main Profile at Main Level) является очень важной комбинацией в силу того, что она используется в большинстве стран Европы для вещательного телевидения и обозначается как стандарт MP@ML, в котором применяется кодирование чересстрочных изображений с разрешением 720x576, 25 кадров/с (системы PAL и SECAM) и разрешением 720x480, 30 кадров/с (система NTSC).

Наиболее важные характеристики профилей и уровней приведены в табл.

Степеньсжатия

Соотношение сигнал/шум (PSNR), дБH.261 / MPEG1

H.263 / MPEG2 MPEG4 MPEG4ABC VC9

Менее 10 Более 40 Более 50 Более 55 Более 57 Более 57

10 : 1 37...39 41...48 46...50 48...52 47...5120 : 1 36.. .38 37...45 39...48 41...50 40...4950 : 1 33...37 33...45 36...47 38...49 37...48100 : 1 33...35 32...40 35...45 36...46 36...46Более 100 Менее 30 Менее 30 Менее 35 Менее 36 Менее 36

Рис. Иллюстрация преобразования исходных блоков в блоки доступа в процессе компрессии

Рис. Структурная схема варианта кодера MPEG2

Формирование пакетного элементарного пакета

Представление заголовка PESпакета

Принцип формирования элементарного программного потока

Принцип формирования транспортного потока

Структура транспортного пакета

В спецификации стандарта MPEG2 определен ряд таблиц с программной информацией:

привязки программы PAT (Program Association Table); сетевой информации NIT (Network Information Table); групп программ ВАТ (Bouquet Association Table); описания сервисной информации SDT (Service Descriptor Table); событий EIT (Event Information Table); запущенных программ RST (Running Status Table); смещения времени ТОТ (Time Offset Table); структуры программ PMT (Program Map Table).

Наиболее важными являются таблицы PAT и PMT. Таблица PAT содержит названия всех программ в данном потоке и пакетные идентификаторы (PIDкоды) для РМТ этих программ (таблиц структуры программ). Если ресивером принимается неизвестный транспортный поток, то он вначале дожидается пакетов, содержащих таблицу PAT. затем, в свою очередь, таблица PAT сообщает ресиверу коды PID структуры программ РМТ в этом потоке.

Кодек MPEG2 позволяет сжимать видеопотоки примерно в 640 раз по сравнению с исходными некомпрессированными. Стандартная телепрограмма в итоге требует скорости потока данных 3,5. ..6 Мбит/с (далее будем усреднено считать 4 Мбит/с). Большинство операторов IPTV используют в своих сетях именно стандарт MPEG2.


•Дайте краткую характеристику стандартам цифрового преобразования телевизионных сигналов.

•Сформулируйте основные положения стандарта кодирования MPEG2

•Расскажите об особенностях компрессии видеоданных.

•Назовите типы кодируемых кадров в стандарте MPEG2 и дайте им краткую характеристику.

•Какую структуру имеет PESпакет?

•Поясните механизм компенсации движения в стандарте кодирования MPEG2.

•объясните принципы использования ДКП в стандарте кодирования MPEG2.

•Как формируется транспортный поток данных в устройствах кодирования MPEG2?

Лекция 19. (продолжение)

MPEG-4. MPEG-4.

Были введены следующие новые методы, понятия и термины: графическая сетка (Mesh) — конструкция, состоящая из связанных элементарных графических элементов, которая используется для создания модели (силуэт или объемная поверхность) визуального объекта; метод объектноориентированного кодирования (Content Based Coding), суть которого состоит в гибком сочетании кодирования точек, областей и типовых объектов; многослойная сцена (Scene) — видеоизображение как бы разделяется на слои (передний план, средний план, дальний план); планы визуальных объектов VOP (Video Object Plan) со своей системой графических координат, в пределах которых размещается и перемещается (с прогнозированием перемещения) визуальный объект VO (Video Object); спрайт (Sprite) — неподвижная фоновая область панорамного изображения, например климатическая карта, перед которой выступает комментатор прогноза погоды.

В кодеке MPEG4 реализованы следующие опции:

эффективное сжатие мультимедийных объектов;

эффективное кодирование тек-стур для их отображения на двумерные и

трехмерные графические сетки;

эффективное сжатие объектов, представленных двумерными

графическими сетками;

эффективное кодирование геометрических потоков, отображающих

движение графических сеток;

произвольный доступ к графическим объектам любого типа;

расширены возможно-сти интерактивного взаимодействия с

мультимедийными объектами;

объектно-ориентированное кодирование, временное и пространствен-ное

масштабирование мультимедийных объектов;

компенсация воздействия ошибок на процесс передачи мультимедийного

потока.

Рис.. Структурная схема варианта кодера MPEG4

Визуальные объекты, определенные в спецификации MPEG4, можно разделить на две основные категории:

естественные визуальные объекты NVO (Natural Video Objects); гибридные визуальные объекты SNVO (Synthetic/Natural Video Objects).Образы первого из отмеченных типов создаются путем оцифровки

визуальных изображений реальных объектов фотографий, видеофильмов. Гибридные визуальные объекты имеют искусственную природу, однако могут иметь в своем составе элементы изображений естественных объектов. В табл. 18.4 представлены краткие характеристики основных профилей, которые используются для кодирования видеоизображений в спецификации MPEG4.

Применение алгоритмов сжатия с увеличенной точностью прогноза MPEG4 позволяет передавать мультимедийные потоки с разрешением и качеством систем ТВЧ по каналам с пропускной способностью от 64 Кбит/с до 10 Мбит/с.

Поддержка в кодеке MPEG4 режимов VLBV и High Bit Rate обеспечивает его обратную совместимость с кодеками предыдущих спецификаций MPEG. Расширенный набор функций управления, так же как и модернизированные методы кодирования, оформлен в MPEG4 в виде алгоритмических дополнений и функциональных расширений ядра предшествующих спецификаций, что обеспечивает возможность дальнейшего наращивания его функций и возможностей.

Кодек MPEG4 позволяет превращать стандартный телесигнал в цифровой видеопоток, имеющий скорость 1,5...2,5 Мбит/с (далее усредненно будем считать 2 Мбит/с). Казалось бы, надо быстро и повсеместно внедрять этот стандарт..

Название профиля Тип видеообъекта ВерсияMPEG4

Область применения

Simple Visual Profile (простой) Natural >1 Мобильные абонентыSimple Scalable Visual Profile(масштабируемый) Natural >1

Системы с программнойреализацией кодеков иподдержкой QoS

Core (базовый) Natural >1

Мультисервисныеприложения IP

Main Visual Profile (главный) Natural >1

Развлекательные программы, DVDприложения

NBit Visual Profile (узкополосный) Natural >1

Системы оперативногонаблюдения

Simple Facial Animation Visual Profile (лицевая анимация)

Synthetic/Natural >1

Аудио/видеопрезентации

Scalable Texture Visual Profile(расширяемая текстура)


Видеоигры

Bask Animated 2D Texture Visual Profile (двумерная текстура)


Мультимедийные приложения

Hybrid Visual Profile (гибридный визуальный)


Мультимедийные приложения

Advanced RealTime Simple Profile (ARTS) (реального времени) Natural >2

Телеконференции, видеофоны

Core Scalable(базовый масштабируемый) Natural >2

Интернет приложения, мобильные абоненты, эфирная трансляция

Advanced Coding Efficiency (ACE) Profile (расширенный) Natural >2

Мобильные абоненты

Advanced Scalable Texture Profile (расширенный текстурный)


WWWкамеры

Advanced Core Profile (расширенный базовый)


Видеоигры

MPEG-4ABC. Стандарт MPEG4ABC известен также как Part 10, Н.264. Это достаточно передовой продукт. Аббревиатура ABC значит Advanced Video Coding, т.е. усовершенствованный кодек.

Стандарт Н.264 является результатом коллективных усилий команды, известной как JVT (Joint Video Team form of experts from ITU and ISO объединенная команда видеоэкспертов, сформированная Международной организацией по стандартам ISO.

Стандарт Н.264 идентичен стандарту ISO MPEG4, part 10. Работа над проектом стандарта Н.264 была завершена в мае 2003 г., а в июле 2003 г. стандарт был формально утвержден.

Особенности MPEG4ABC:

более сложный алгоритм предостав-ляет более высокую эффективность сжатия и более высокое каче-ство;

требует в 2 раза меньшей скорости потока по сравнению с MPEG-2 при равном качестве картинки;

поддерживает эффективные инструменты дополнительной энтропии, такие, как САВАС (ContextAdaptive Binary and Arithmetic Coding);

размер блока компенсации движения - от 4x4 до 16x16; множественность опорных кадров; ве-щательный уровень - главный профайл (Main Profile); включен как формат сжатия для дисков Blu-ray и HD DVD.

Стандарт MPEG-7. Стандарт MPEG-7.

MPEG7, сущность которого направлена на создание средств описания содержания видео и аудиофайлов (т.е. на решение совсем другой задачи, чем предыдущие стандарты MPEG). Эти средства должны быть стандартизированы для различных типов аудиовизуальной информации, включая любые неподвижные и движущиеся изображения, речь, музыку, графику, 3мерные модели и синтезированные звуки, независимо от формата представления.

Между MPEG7 и MPEG4 имеется связь, так как описание содержания аудиовизуальной информации будет основано на понятиях аудиовизуальных объектов и состоящих из них сцен. В MPEG4 имеется возможность задавать описание для каждого объекта, а MPEG7 дает правила построения таких описаний.

Основные характеристики MPEG-7:1. Дескриптор (Description описатель) - описание объекта.2. Схема описания (Description Scheme) - структура, содержащая

описание отдельных объектов и взаимосвязей между ними.3. Язык определения описаний (Description Definition Language - DDL) — язык,

с помощью которого составляются схемы описаний.

Данный стандарт содержит DDL, набор дескрипторов объектов и набор схем описаний. С помошью DDL составляются новые описания сцен, используя как дескрипторы, определенные в стандарте, так и вновь создаваемые по заданным правилам.

Содержание одной и той же аудиовизуальной информации может быть описано на разных уровнях детальности, начиная с низкого уровня (цвет, форма, текстура, положение визуальных объектов, высота тона, громкость темп, положение звуковых объектов н т.п.) и заканчивая высоким уровнем, на котором описание может быть задано в виде обычного текста на естественном языке (семантическое описание), например, «сцена, в которой присутствует трое девушек в черных платьях, с темными волосами: двое из них поют, а одна играет на гитаре...».

Кроме того, описание должно включать сведения об авторах информации, дату ее создания, условие доступа, формат записи или кодирования и т.п.

Поиск аудиовизуальной информации осуществляется путем составления запроса, содержащего набор ключевых дескрипторов, так же как сейчас осуществляется поиск текстов по ключевым словам.

Примеры возможных вариантов такого поиска: задав несколько нот, получить список музыкальных произведений,

которые содержат такую последовательность:- нарисовав несколько линии на экране, получить список рисунков,

содержащий данный фрагмент:- задав форму и текстуру объекта, получить список содержащих его

изображений, а добавив сведения о движении, получить список подходящих видеопрограмм;

- задав образец голоса певицы, получить список аудио- и видеофайлов, содержащих его записи.

Формат сжатия Windows Media. Первая версия VC1, теперь он известен также как VC9. Этот формат сжатия видео создан корпорацией Microsoft на базе видеокодека пакета Windows Media 9 Series. В настоящее время организацией SMPTE (общество инженеров кино и телевидения) заканчивается стандартизация VC1.

Особенности Windows Media VC1: менее сложный алгоритм, чем у MPEG4, требует меньше циклов

обработки и более просто реализуется; требует в два раза меньшей скорости потока, чем MPEG2, при равном

качестве картинки; используется кодирование VLC (Variable Length Coding); размер блока компенсации движения 16x16; используется схема опорного кадра, подобная MPEG2; вещательный уровень передовой профайл (Advance Profile); включен как формат сжатия для дисков BluRay и HD DVD.

Стандарт компрессии Windows Media 9 Series (WM9). В последнее время на многих направлениях деятельности вещательной и мультимедийной отраслей наблюдается постепенный переход с широко распространенного стандарта компрессии MPEG2 на стандарты «суперкомпрессии» MPEG4 Part 10 и Windows Media 9 Series. Необходимо отметить, что большую активность проявляет компания Microsoft, продвигая свой стандарт Windows Media 9 Series практически во все сферы деятельности вещательных компаний, кино и видеостудий, в постпроизводство и сетевые технологии передачи данных. Тенденция перехода на новый стандарт сжатия данных хорошо прослеживается на международных специализированных выставках, начиная с 2002 г. Например, на выставке IBC2002 Microsoft впервые продемонстрировала новый алгоритм для ТВЧ, обеспечивающий уплотнение цифрового потока ТВЧ до 5 Мбит/с.

Основные характеристики платформы WM 9. Известно, что алгоритмы сжатия Windows Media компании Microsoft обеспечивают передачу потокового видео по сети Интернет. Являясь передовой платформой для передачи цифрового мультимедийного содержимого, фирма в последние годы стала интенсивно использоваться как потребителями, так и провайдерами контента, провайдерами вещательного оборудования, разработчиками программного обеспечения и различными вещательными организациями. Windows Media 9 Series поднимает процесс сжатия на новый уровень, так как обладает способностью значительно улучшать качество наземной передачи сигналов цифрового ТВ обычной и высокой четкости.

Платформа WM9 включает в себя следующие продукты: инструмент воспроизведения Windows Media Player 9 Series; Windows Media 9 Series мощный алгоритм сервера Windows Server 2003

для потоковой доставки контента; Windows Media Encoder 9 Series кодер для постпроизводства контента;

алгортимы сжатия Windows Media Audio 9 Series и Windows Media Video 9 Series для получения высококачественного изображения и звука;

Windows Media Digital Rights Management для зашиты контента; Windows Media Software Development Kit для разработки ПО по созданию цифровой мультимедийной продукции и услуг.

Стандарт WM9, в сравнении со стандартом MPEG4, обеспечивает повышение степени сжатия на 20% для звука и на 1550% для видео. Это означает, что файл WM9 занимает половину объема файла сравнимого качества при MPEG4 сжатии и треть объема файла MPEG2.

HD видео, круговой звук. Windows Media Video 9 Pro обеспечивает хранение и распределение полнометражного художественного фильма разрешением 720р или 1080р с круговым звуком 5,1 на одном стандартном диске DVD. Такое разрешение может поддерживаться компьютером с ПО декодирования при разрешении 1080р. что примерно в б раз выше разрешения существующих DVD.

Кодер Windows Media Encoder 9 Series поддерживает несколько дополнительных контрольных функций:

управление видеокамерой и другими устройствами для более эффективного кодирования;

поддержка обычных видео и аудиофайлов; более быстрое переключение на источник живой передачи; получение точных данных о временном коде каждого кадра;поддержка ускоренной скорости передачи данных (MBR) и нужного

разрешения изображения.

Практическая реализация стандарта WM 9. В настоящее время началось широкое внедрение данного стандарта, включая:

запись на диски DVDROM;

спутниковое ТВЧвешанне;

передача видеосодержимого WM9 с помощью цифровых радио и ТВсетей;

ТВвешание по Интернету.

MPEG Layer. MPEG Layer.

Фирма Philips для выпускаемых ею компакт кассет DCC (Digital Compact Cassette) предложила формат цифровой высококачественной стереофонической аудиозаписи на ленту, позволивший свести скорость потока аудиоданных до 384 Кбит/с за счет удаления 75 % первоначального объема данных. Такая технология сокращения потока данных была названа PASC (Precision Adaptive Subband Coding), т.е. прецизионное адаптивное кодирование в субдиапазонах. Система PASC была принята в качестве исходной базы аудиокомпрессии в рамках видео/аудиокодирования MPEG Layer 1 (Уровень 1). Метод аудиокодирования MPEG Layer 1 состоит в том, что сначала полоса аудиосигнала с помощью цифровых полосовых фильтров разбивается на 32 субполосы. После разделения сигнала каждый из отсчетов представляется через мантиссу и показатель степени. Далее отсчеты группируются в блоки по 12, в каждом из которых выбирается максимальное значение сигнала. Из этих 32х максимальных значений составляется так называемый маскирующий профиль, относящийся к данному моменту. На основе этого профиля определяется, с какой точностью можно представить мантиссу в каждой субполосе, чтобы шум квантования оставался неслышимым.

MPEG Layer 2 (Уровень 2). Он наиболее предпочтителен для цифрового вещательного телевидения в Европе и включает в себя некоторые усовершенствованные методы алгоритма Уровня 1. Первоначально он был принят в качестве передающего кодирующего стандарта для европейской системы наземного радиовещания DAB, в рамках которой стал называться MUSICAM. Если говорить об уровнях звуковых стандартов MPEG, то следует отметить, что все они поддерживают кодирование цифровых потоков любой величины из возможного набора на всех трех частотах выборки — 32; 44,1; 48 кГц.

Качество кодирования по Уровню 2 повышается благодаря укрупнению группы данных. Кодер Уровня 2 формирует для каждого аудиоканала кадры размером 3x12x32 = 1152 отсчета. Если на Уровне 1 кодирование осуществляется на базе группы из 12 отсчетов в каждой субполосе, то на Уровне 2 на базе совокупности трех групп из 12 отсчетов в субполосе. Каждая группа может иметь свою точность квантования (масштабный фактор). Но этот вариант реализуется только тогда, когда это действительно необходимо, чтобы гарантировать отсутствие слышимых искажений. Если требуемые точности оказываются близкими, то можно установить единое значение сразу для двух или трех групп. Эта же ситуация возможна, когда ожидаемые искажения будут неслышимы изза временного маскирования шума.

Для передачи аудиофайлов через Интернет был разработан алгоритм кодирования MPEG Layer 3 (Уровень 3). Этот алгоритм чаще называют сокращенно МР3. Он потребовал более тщательного подхода, поскольку возможность сильного сжатия аудиоданных важна с точки зрения загрузки файлов. В цифровом вещательном телевидении Уровень 3 не используется.

Сравнение методов компрессии видеосигналовСравнение методов компрессии видеосигналов

В качестве критерия для оценки качества преобразования и восстановления видеоизображений принято использовать максимальное значение соотношения сигнала и шума PSNR (Peak SignaltoNoise Ratio). Как и в случае с оцифрованным речевым сигналом, появление шума вызвано квантованием и кодированием, которые вносят искажения в исходный видеосигнал. Поэтому для вычисления PSNR используется частное от деления максимальной амплитуды оцифрованного видеосигнала на значение среднеквадратического отклонения исходного и оцифрованного видеосигналов, выраженное в децибелах (дБ). Значения PSNR в диапазоне 30...35 дБ обычно соответствуют изображению удовлетворительного качества, а 35...40 дБ — хорошего качества. Кодирование видеоизображения со значением PSNR свыше 45 дБ не вносит в него изменений, заметных человеческому глазу


•Сформулируйте основные положения стандарта кодирования MPEG4.

•Перечислите области применения стандарта MPEG4.

•Сформулируйте основные положения стандартов кодирования MPEG4АВС.

•Что такое гибридные визуальные объекты?

•Что такое естественные визуальные объекты?

•Сформулируйте основные положения стандарта MPEG7.

•Сформулируйте основные положения стандарта WMVideo 9.

•Какие критерии применяются для оценки качества преобразования?

Спасибо за внимание!Спасибо за внимание!

Морозов Олег Геннадьевич (зав. каф. ТМС)8-843-238-5273

[email protected]

6 декабря 2010года 6 декабря 2010года

УМК «ЦИФРОВАЯ ОБРАБОТКА УМК «ЦИФРОВАЯ ОБРАБОТКА

АУДИО И ВИДЕОСИГНАЛОВ». АУДИО И ВИДЕОСИГНАЛОВ».

Конспект лекций Конспект лекций

P up dsp a&v

Education

Transcript of P up dsp a&v