TELEVISÃO DIGITALTELEVISÃO DIGITALmandrade/tvd/2006/trabalhos2... · Televisão Digital –...

TELEVISÃO DIGITALTELEVISÃO DIGITALTELEVISÃO DIGITALTELEVISÃO DIGITAL LEEC 2006/2007

GRUPO 8: Hugo Miguel Rodrigues Gonçalves ee01171 Dinis Guedes Afonso ee01148

Faculdade de Engenharia da Universidade do Porto

- 2 - Televisão Digital – MPEG-4

Índice :

Introdução……………………………………………………………. 3

Representação codificada dos objectos de media na cena…….. 4 Hierarquia dos objectos de media…………………………………. 5 Composição de objectos de media………………………………… 7 Tipo de Frames em Mpeg-4………………………………………… 10 Perfis Visuais em Mpeg-4…………………………………………… 11 Fine Grain Scalability………………………………………………… 14 FGS – Distribuição Multi-Path………………………………………. 19 FGS – Imunidade a erro……………….…………………………….. 20

FGS – Conclusão……………………………………………………... 22



Introdução O inicio da actividade de normalização do Mpeg-4 iniciou-se quando se começou a querer realizar transmissão de TV em redes sem fios. Visto os limites de codificação orientada ao pixel, parecerem estar a atingir a saturação, começou-se a pensar em algoritmos de tratamento de imagem orientada ao objecto capazes de suportar codificação a débitos baixos. Como esta etapa foi atingida com sucesso, as preocupações com a qualidade de imagem foram esquecidas e a convergência necessária com outras aplicações e serviços levou a que a norma fosse mais direccionada para a convergência das tecnologias de TV, comunicações e informática. Esta norma tenta fornecer um conjunto de tecnologias de modo a satisfazer tanto as necessidades dos autores do ficheiro, assim como os fornecedores de serviço e os seus clientes.

• Para autores, MPEG-4 capacita a produção de conteúdo que tem maior reutibilidade, tem maior flexibilidade do que é possível hoje em dia com tecnologias individuais tais como televisão digital, gráficos animados, páginas de Internet e suas extensões. Também é possível melhorar a administração e protecção dos conteúdos e de direitos de autor.

• Para fornecedores de serviço de rede de aplicações Mpeg-4, oferecer

informação transparente, que pode ser interpretada e pode ser traduzida em mensagens de sinalização para cada rede. MPEG-4 está capacitado ainda de um descriptor genérico de qualidade de serviço para diferentes meios de comunicação. As traduções exactas dos parâmetros de serviço são impostas na rede a partir do fornecedor. A sinalização dos parâmetros de serviço dos descriptores end-to-end oferece uma optimização de transporte em redes diferentes.

• Para os clientes ou utilizadores, o Mpeg-4 traz níveis mais altos de

interacção com o conteúdo, dentro dos limites postos pelo autor. Também traz multimédia a novas redes, incluindo a redes de baixo débito e móveis.



Representação codificada dos objectos de media na cena As cenas em mpeg-4 são compostas por vários objectos de media, organizados numa árvore hierárquica e nas folhas dessa árvore vamos ter os objectos primitivos de media assim como: - Imagens estáticas (como o fundo da imagem). - Objectos em movimento (pessoa a andar e/ou falar – mas sem o fundo). - Objectos de áudio (voz associada a uma pessoa, música de fundo). Mpeg-4 permite um número adequado de objectos de media primitivos, capazes da representação de conteúdos naturais ou sintéticos e 2D ou 3D. Em adição aos objectos de media mencionados em cima, Mpeg-4 define ainda códigos de representação de objectos assim como: - Texto e gráficos; - Cabeças animadas (sintéticas) falantes e texto associado sintetiza a fala e anima a cabeça; corpos animados acompanham os rostos;

O código de um objecto de media consiste em descrever elementos que permitem interagir com o objecto na cena audiovisual. É importante referir que na sua forma de código, cada objecto de media pode ser representado independentemente do que o rodeia (objectos vizinhos ou fundo).



Hierarquia dos objectos de media As codificações de vídeo em Mpeg-4 podem conter varias estruturas, e estas possuem um representação hierárquica. Video Object Sequence (VS) é apenas um conjunto ordenado de Video Objects. Video Object (VO) pode ser por exemplo um video Video Object Layer (VOL) se o video tiver multiplas resoluções ou débitos diferentes então deverá ter apenas um VOL para cada objecto diferente. Group of VOPs (GOV) é um grupo de objectos de video. Facilita o acesso aleatório ao vídeo. Video Object Plane (VOP) pode conter informaçao sobre dados (YUV) e forma (plano alfa).



De forma geral, o VOP vai conter informação de vídeo codificado num determinado instante de tempo. Para este, caso o VOP contem parâmetros de movimento, informação de forma e textura codificados por macroblocos. Um macrobloco tem uma secção de componentes de luminancia e componentes de crominancia espacialmente subamostrada. Em Mpeg-4 existe apenas o formato de crominancia para macroblocos 4:2:0, que significa 4 blocos de luminancia e 2 blocos de crominancia. Cada objecto é codificado separadamente.



Composição de objectos de media A figura abaixo explica como uma cena audiovisual é composta em Mpeg-4. A figura contém objectos de media que agrupam objectos primitivos, fazendo assim objectos compostos. Os objectos primitivos estão nas folhas da árvore enquanto os objectos compostos enquadram todo interior da arvore (sub-árvore). Como exemplo o objecto visual correspondente à mulher que fala e o som da voz da mulher, embora sejam objectos diferentes, estão ligados de maneira a formarem um objecto novo composto, que contem tanto a informação visual como o áudio da voz da pessoa. Esta possibilidade do mpeg-4 possibilita o autor a construir cenas complexas, e capacita o utilizador a manipular a cena final (conjuntos de objectos). De um forma mais geral, mpeg-4 fornece um modo de descrever uma cena, permitindo por exemplo : - Colocar os objectos de media em qualquer lugar, num sistema de coordenadas dado; - Aplicam transformadas de forma a mudar a geometria ou acústica dos objectos; - Agrupa objectos primitivos para formar objectos compostos; - Adiciona dados ao código dos objectos, de forma a modificar os seus atributos (ex. um som, uma textura móvel de um objecto; parâmetros de animação num rosto sintético); - Mudar, com interacção, os pontos de visualização e de audição do utilizador na cena.



Mpeg-4 usa a linguagem Binary Format for Scenes (BFS) para fornecer informação das coordenadas dos objectos e das suas características na cena. Também permite interacção do utilizador com os objectos da cena, adição e remoção dos objectos em cena e modificação de alguns parâmetros do objecto (ex: vectores de movimento, e posicionamento na imagem) sem a descodificação prévia dos objectos primitivos de media.

Cada nó é um objecto e podem ser adicionados, removidos ou substituídos.

Composição da cena • Descodificação dos

objectos primitivos • Descrição da cena • Imagem final,

composta pelos objectos e ordenada pelas informações de composição. Imagem pronta para interactividade.



Tipo de Frames em Mpeg-4 I-frame – intra-frame, previsão de movimento não é aplicado a este tipo de imagens, no entanto, estas podem ser descodificadas sem referência prévia para qualquer outra imagem. O seu grau de compressão não é tão bom como os outros tipos de imagens.

P-frame –predictive-frame, é feita previsão de movimento usando a imagem anterior do tipo I ou P.

B-frame –bidirectional-frame, é aplicada previsão de movimento usando a imagem anterior dos tipos I ou P e a imagem futura também dos tipos I ou P.

.



Perfis Visuais em Mpeg-4 Existem várias ferramentas para a codificação de imagem fornecidas pelo Mpeg-4, porém para estas ferramentas serem usadas com um objectivo específico foram criados vários sub-conjuntos com características específicas e com um numero limitado de ferramentas. Estes sub-conjuntos são chamados de Perfis, e para cada destes perfis existem um ou mais níveis que representam a complexidade computacional do perfil a ser usado. Em conclusão, uma junção Perfil@Nivel permite:

• - Um construtor de codec para implementar só o subconjunto do padrão necessitado, enquanto se mantêm interactividade com outros conjuntos construídos com a mesma combinação,

• - Verificar se o conjunto de funções corresponde com o padrão definido. Existem cinco perfis para conteúdos naturais de vídeo. The Simple Visual Profile fornece codificação eficiente de erro em objectos rectangulares de vídeo, conveniente para aplicações de redes móveis, tal como PCS e IMT2000. The Simple Scalable Visual Profile fornece suporte para codificação de objectos temporais e escaláveis espacialmente ao Simple Visual Profile. É útil para aplicações que forneçam serviços para mais de um nível de qualidade devido à banda da rede ou limitações do descodificador, tal como o uso de Internet e descodificação de software. The Core Visual Profile fornece suporte para codificação de objectos com forma arbitrária e temporalmente escaláveis ao Simple Visual Profile. É útil para aplicações de interactividade entre conteúdos relativamente simples (Internet aplicações multimédia). The Main Visual Profile fornece suporte para codificação de objectos semitransparentes, entrelaçados, e sprites (imagens 2D com movimento) ao Core Visual Profile. É útil para transmissão com interacção e transmissão de entretenimento de qualidade e aplicações de DVD. The N-Bit Visual Profile fornece suporte para codificar objectos de vídeo tendo profundidades de pixel a variar de 4 a 12 bits ao Core Visual Profile. É conveniente para uso em aplicações de vigilância. E quatro perfis para conteúdo sintético e conteúdo híbrido sintético/natural: The Simple Facial Animation Visual Profile - fornece meios simples para animar modelos de caras. Apropriado em aplicações de apresentação de áudio/vídeo para pessoas com dificuldades auditivas.



The Scalable Texture Visual Profile fornece codificação de escalabilidade espacial de objectos fixos de imagens com texturas. Útil em aplicações de múltipla escalabilidade, como mapear texturas em objectos de jogos e câmaras digitais de alta-resolução. The Basic Animated 2-D Texture Visual Profile fornece escalabilidade espacial e de SNR, e animação de objectos com texturas e também animação de objectos de face. The Hybrid Visual Profile combina a habilidade de descodificar objectos de formas arbitrárias e escalabilidade temporal em objectos de vídeo natural com a habilidade de descodificar vários objectos sintéticos e híbridos. Usado em várias aplicações com conteúdos multimédia.

Uma seguinte versão (versão 2) da norma adicionou mas seis perfis, três para conteúdo

natural e os restantes três para conteúdo sintético.

Versão 2 vídeo natural :

The Advanced Real-Time Simple Profile (ARTS) –fornece técnicas avançadas de codificação de erro de objectos de vídeo rectangulares usando um canal de retorno e aumentando a estabilidade da resolução temporal com baixo atraso por parte do buffer. É útil para codificação de aplicações em tempo real assim como vídeo-telefonia, vídeo-conferencia e observação remota. The Core Scalable Profile – adiciona ao tipo Core a escalabilidade rectangular temporal e espacial, e ainda escalabilidade temporal baseada em objecto. Útil em aplicações de Internet, telemóveis e broadcast. The Advanced Coding Efficiency (ACE) – aumenta a eficiência de codificação de objectos rectangulares e de forma arbitraria. Acrescenta ao tipo Main a compensação global de movimento. É útil para aplicações de recepção de imagem de broadcast móvel, aquisição de sequências de imagens e outras casos onde são necessárias aplicações de grande eficiência de codificação. Versão 2 vídeo sintético ou híbrido sintético/natural :

The Advanced Scaleable Texture Profile – acrescenta ao tipo Scalable Texture codificação escalar de formas arbitrárias, e tolerância a erros. È útil em aplicações que necessitem de um acesso aleatório rápido, assim como múltiplos níveis de escalabilidade e codificação de formas arbitrárias de objectos estáticos.



The Advanced Core Profile – combina a habilidade de descodificar formas arbitrárias de objectos de vídeo com a habilidade de descodificar formas arbitrárias escaláveis de objectos de imagem estática. È útil em aplicações com vários conteúdos multimédia, assim como transmissão de elementos multimédia através da Internet. The Simple Face and Body Animation Profile – é um super conjunto do Simple Facial Animation, adicionando a animação do corpo.

Em versões seguintes da norma , os seguintes perfis foram adicionados.

The Advanced Simple Profile – acrescenta ao tipo Simple novas ferramentas que melhoram a eficiência de compressão, como compensação global de movimento e quadros de vídeo do tipo B (B-VOPs). The Fine Granularity Scalability Profile (FGS) – inclui em relação ao anterior escalabilidade de granulosidade fina, permitindo obter uma parte do bitstream da camada de realce, a partir de qualquer posição dos bits, de modo a que a qualidade de entrega possa ser facilmente adaptada ás circunstâncias da transmissão e descodificação. Pode ser usado com o tipo Simple ou Advanced Simple como a camada base. Este método está explicado mais em detalhe na secção seguinte. The Simple Studio Profile – Define um objecto baseado apenas em quadros do tipo I visando qualidade e taxa de transmissão de bits elevadas. As taxas de transmissão são superiores a quase 2 Gbit/s. é utilizado em aplicações de edição de alta qualidade em estúdios. The Core Studio Profile – adiciona quadros P ao tipo anterior, tornando-o mais eficiente, mas também mais complexo.



Fine Grain Scalability

“A escalabilidade corresponde à capacidade de extrair do fluxo binário

escalável completo conjuntos eficientes de bits que são utilmente

descodificáveis e oferecem imagens ou vídeos descodificados com uma

variação (escala) segundo uma dada característica da imagem ou vídeo, p.e.

resolução espacial ou SNR. O número de conjuntos que podem ser extraídos

do fluxo binário completo define a granularidade da escalabilidade fornecida,

que pode ser muito fina ou com passos muito grosseiros. Muitas das técnicas

de codificação escalável utilizam uma camada base que tem de ser sempre

descodificada e uma ou mais camadas superiores que permitem uma melhoria

em termos de qualidade (SNR), resolução espacial e/ou resolução temporal.

De todos os esquemas actualmente presentes as normas de codificação

escalável têm um papel importante, nomeadamente os modos escaláveis das

normas JPEG, JPEG2000, H.263 e MPEG-4. O esquema de codificação

escalável fina presente na norma MPEG-4 é uma das técnicas mais

promissoras, pois pode adaptar-se às características dos canais (e.g. Internet)

ou terminais que apresentem um comportamento variável ou desconhecido,

p.e. velocidade máxima de acesso, variações da largura de banda, erros de

canal. Apesar da norma MPEG-4 FGS se afirmar como uma alternativa viável

para aplicações de distribuição de vídeo, possui uma quebra significativa de

desempenho em comparação com a codificação não escalável de vídeo,

nomeadamente o perfil ASP da norma MPEG-4 Visual. “

Autor : João Miguel Duarte Ascenso

http://www.est.ips.pt/ESTS/paginas_curriculo_tc/mestrado/joao_ascenso.htm



Como fazer? Será necessário codificar duas camadas, ao contrario do que é feito tradicionalmente (apenas uma camada), uma base (que tem de ser completamente recebida pelo receptor) e outra de melhoramento, embora esta ultima possa ser truncada para se conseguir um maior controlo sobre a taxa de transmissão de bits. Isto vai permitir que descodificadores mais limitados consigam descodificar a informação necessária, não havendo paragem de fluxo de informação. Desta forma é possível um receptor receber um filme com uma qualidade mais baixa, mesmo tendo menor capacidade de processamento ou caso não tenha largura de banda suficiente, recebendo apenas a camada base. No caso contrario, ou seja, se houver capacidade de processamento ou largura de banda por parte da rede, o receptor poderá receber as camadas de melhoria, aumentando assim a qualidade final do fluxo recebido. Isto permite que o utilizador final tenha um maior numero de sessões abertas e também se consiga adaptar às variações da largura de banda em tempo real. Nos sistemas escaláveis, a informação contida nas camadas de melhoramento tem que ser recebida, caso contrario não seriam sistemas escaláveis. Em FGS a camada de melhoramento pode ser truncada durante ou após a codificação, que mesmo assim vai melhorar a qualidade final, por isso se chama de grão fino.



Em esquemas escaláveis, a camada base pode ser sempre descodificada sem o uso da camada superior (camada de melhoramento). As frames da camada base são codificados a partir de outras frames transmitidas nessa mesma camada. Se apenas for descodificada a camada base, por razoes descritas em cima (limitações de processamento do receptor ou de largura de banda da rede), a qualidade final da imagem será baixa. Para que esta aumente, será necessário receber a informação contida na camada de melhoramento, mas como é visível na imagem em cima (figure 2), esta camada está sempre dependente da camada base. Concluindo, será sempre necessário receber a camada base para a descodificação de camadas superiores.



Nas imagens podemos verificar que a camada base é sempre recebida por inteiro, mas o mesmo não acontece com a camada de melhoramento. Não é necessário receber toda a informação da camada de melhoramento para que a qualidade final do vídeo seja incrementada.



Distribuição de FGS por Multi-Path Outra vantagem da codificação ser feita por camadas, assenta na transmissão em redes com vários caminhos possíveis para o ponto pretendido, chamadas as redes Multi-Path. Deste modo a camada base pode ser entregue por um percurso e as camadas de melhoria entregues por outro, tornando assim os pacotes menos sujeitos a congestionamentos. Outra forma possível de aumentar a qualidade é transmitir as camadas base e de melhoramento em duplicado em canais diferentes. Desta forma a probabilidade de erro diminui e a qualidade do resultado final aumenta. Para entrega de camadas de melhoramento mais pesadas, há a possibilidade de dividi-las em blocos mais pequenos e reenvia-los por diferentes canais, em redes Multi-Path.



Imunidade ao erro –Fine Grain Scalability vs Single Layer Scalability

As imagens mostram o que acontece quando há o aparecimento de um erro.



Para Fine Grain Scalability os erros nas frames das camadas de melhoramento não se propagam, pois estas apenas dependem das frames da camada base, logo não interferem com as seguintes frames, havendo assim pouca perda de informação. Ao ser detectado um erro na camada de melhoramento a restante informação contida na frame vai ser descartada, o que vai significar em apenas uma frame de melhoramento perdida. Para Single Layer Scalability, frames das camadas de melhoramento dependem das frames anteriores e posteriores dessa mesma camada, ou seja, ao acontecer um erro este vai afectar toda a cadeia de frames ate à próxima frame de tipo “I”, que são frames que não dependem das anteriores como foi já foi visto. Muitas frames de melhoramento vão ser perdidos.

De notar que FGS oferece um resultado muito superior ao SLS no aparecimento de um erro, e a qualidade final da imagem é muito melhor.



Fine Grain Scalability Conclusão Podemos concluir então que, FGS permite: a recepção de um mesmo conteúdo por diferentes receptores, de mais alto ou baixo processamento com diferentes qualidades finais de imagem; consegue reduzir a quantidade de ficheiros nas redes distribuindo estes por vários caminhos disponíveis, mas que vão dar ao mesmo ponto final, podendo assim adaptar-se a redes com diferentes larguras de banda e possibilitando a distribuição de ficheiros em redes de fraca qualidade de serviço, transmitindo apenas a camada base, mas obtendo um resultado final de baixa qualidade; ajuste em tempo real a alterações de largura de banda transmitindo apenas a informação possível da camada de melhoramento.

TELEVISÃO DIGITALTELEVISÃO DIGITALmandrade/tvd/2006/trabalhos2... · Televisão Digital –...

Documents

Transcript of TELEVISÃO DIGITALTELEVISÃO DIGITALmandrade/tvd/2006/trabalhos2... · Televisão Digital –...