PDS - Aula10 Audio e Video

Tcnicas de Codificao de udio e Vdeo
Carlos Alexandre Mello
Carlos Alexandre Mello cabm@cin.ufpe.br
Contedo
Introduo (Teoria dos Cdigos) Algoritmos de Compresso Compresso Multimdia Compresso de Vdeo Compresso de udio Referncias
Compresso de Dados
Introduo Uma imagem vale mais do que mil palavras....

Vale mesmo! Uma imagem com 1.000 pixels pode ocupar at 3 Kb, enquanto um arquivo txt com 1.000 palavras ocupa 1Kb
Introduo
Compresso de Dados
Espao de Armazenamento Velocidade de Transmisso
Teoria de Cdigos
Teoria da Informao
Claude Shannon
Algoritmos de Compresso
Estticos ou Dinmicos Com Perda ou Sem Perda
Carlos Alexandre Mello cabm@cin.ufpe.br 5
Algoritmos de Compresso
Sem Perdas
Run-Length Huffman Lempel-Ziv
Com Perdas
Wavelets Quantizao Vetorial
Introduo
Motivao:
Para que compresso?
Um vdeo uma sequncia de quadros (frames) Em boa qualidade, um vdeo tem 30 fps Se cada frame corresponde a uma imagem de 640x480 pixels, com 24 bits/pixel, precisaramos de 27MB para cada segundo de vdeo
Teoria dos Cdigos

De Comprimento Varivel De bloco
Singular No-singular
No-unicamente decodificveis Unicamente decodificveis
Instantneos No-instantneos
Teoria dos Cdigos

CDIGO BLOCO SINGULAR COMPRIMENTO VARIVEL NO-SINGULAR NO UNICAMENTE DECODIFICVEL
UNICAMENTE DECODIFICVEL NO INSTANTNEO INSTANTNEO
Teoria dos Cdigos

Bloco
A = 00 B = 010
Comprimento varivel
A = 00 ou 1 O comprimento pode variar dentro na codificao de uma mesma palavra
10
Teoria dos Cdigos

No singulares
Todas as palavras do cdigo so distintas A = 00 B = 01
Singulares
A = 00 B = 00 C = 01
Teoria dos Cdigos

No-Unicamente Decodificvel
A=0 B=1 C = 01 Como decodificar a seqncia: 0101
ABC, ABAB, CC, CAB
Unicamente Decodificvel
12
Teoria dos Cdigos

Instantneo
No depende de informaes futuras
No-Instantneo
Depende de informaes futuras A = 10 B = 100 C = 1000 D = 10000 Como decodificar 101001000
Teoria dos Cdigos

Prefixo
Uma condio necessria e suficiente para um cdigo ser unicamente decodificvel que nenhuma palavra completa do cdigo seja prefixo de outra palavra qualquer.
14
Teoria dos Cdigos

Desigualdade de Kraft
Garante que um cdigo com palavras com comprimento Li instantneo

q
i=1
-Li
Exemplo: Considere o cdigo A=0 comprimento Li=1 B = 01 comprimento Li=2 C = 11 comprimento Li=2 Nmero binrio base r=2 Ou seja, 2-1+2-2+2-2=1
15
Teoria dos Cdigos

Desigualdade de McMillan
Garante que um cdigo com palavras com comprimento Li unicamente decodificvel

q
i=1
-Li
16
Teoria dos Cdigos

Comprimento Mdio
L=
i=1
Pi*Li
Um cdigo dito compacto para uma fonte S se seu comprimento mdio menor ou igual ao comprimento mdio de todos os outros cdigos unicamente decodificveis para a mesma fonte S.
Teoria dos Cdigos

Taxa de Compresso
C=
COMPRIMENTO DO ARQUIVO ORIGINAL COMPRIMENTO DO ARQUIVO COMPACTADO
Em geral, mas no apropriado para imagens....
18
Algoritmos de Codificao
Algoritmos de compresso sem perda
Run-Length Cdigo de Huffman Lempel-Ziv-Welch
Usados em codificao de udio e Vdeo
19
Run-Length
Contagem de carreiras de smbolos de mesmo valor

Codificao: <contador, smbolo>
Exemplo:
120 120 120 30 45 45 45 60 Codificao: <3, 120> <1, 30> <3, 45> <1, 60>
20
Cdigo de Huffman
[1952]
Variao do algoritmo de Shannon-Fano Divide o conjunto de entrada em dois subconjuntos, atribuindo 0 a um deles e 1 ao outro. Prossegue com a codificao da mesma forma
21
Cdigo de Huffman Organizam-se os smbolos em ordem decrescente de suas probabilidades Uma fonte reduzida formada a partir dos 2 smbolos de menor probabilidade Continua o passo anterior at que s restem 2 smbolos Atribui-se 0 a um dos smbolos e 1 ao outro, aleatoriamente Continua atribuindo 0s e 1s at chegar aos smbolos iniciais
22
Cdigo de Huffman
SMBOLOS DA FONTE S1 S2 S3 S4 S5
FONTE FONTE FONTE PROBABILIDADES REDUZIDA REDUZIDA REDUZIDA 0.3 0.3 0.4 0.6
0.3 0.2 0.1 0.1
0.3 0.2 0.2
0.3 0.3
0.4
23
Cdigo de Huffman
SMBOLOS DA FONTE S1 S2 S3 S4 S5
FONTE FONTE FONTE PROBABILIDADES REDUZIDA REDUZIDA REDUZIDA 0.3 10 0.3 10 0.4 0 0.6 1
0.3 11 0.2 00 0.1 0.1
0.3 0.2
11 00
0.3 0.3
10 11
0.4 0
010 011
0.2
01
24
Cdigo de Huffman
Codificao em 2 passos
Um para determinao das probabilidades O outro para gerar a codificao
Codificao Bottom-Up Variaes:

Para Multi-Smbolos Adaptativo Truncado
25
Lempel-Ziv Welch
Variao do Lempel-Ziv desenvolvida por Terry Welch Implementada no formato GIF para armazenamento de imagens
26
Lempel-Ziv Welch
[1984]
Variao do Lempel-Ziv desenvolvida por Terry Welch Implementada no formato GIF para armazenamento de imagens
27
Lempel-Ziv Welch
Esquema de Codificao
INICIALIZA DICIONRIO [Prefixo] <- 0 C RECEBE O PRXIMO SMBOLO NO CDIGO [Prefixo]C EST NO DICIONRIO?
SIM: [Prefixo] RECEBE [Prefixo]C E VOLTA A (3) NO:
[Prefixo]C ACRESCENTADO AO DICIONRIO SADA RECEBE CDIGO DE [Prefixo] [Prefixo] <- C E VOLTA A (3)
28
Algoritmo de Lempel-Ziv-Welch
Dicionrio bsico: X = #0 Y = #1 Z = #2 W = #3 Entrada do codificador: XYXZXYXW
29
Lempel-Ziv-Welch
Codificao Final #0#1#0#2#4#0#3 Dicionrio X = #0 Y = #1 Z = #2 W = #3 XY = #4 YX = #5 XZ = #6 ZX = #7 XYX = #8 XW = #9

Lempel-Ziv-Welch
Decodificao #0#1#0#2#4#0#3 Dicionrio Bsico X = #0 Y = #1 Z = #2 W = #3
31
Algoritmos de Compresso Multimdia

32
Algoritmos de Compresso Multimdia MPEG-1

Moving Picture Experts Group Codifica udio e Vdeo a uma taxa de 1,5Mbps Define 3 nveis de compresso
Em cada camada, o nvel mais complexo
Nvel mais conhecido: layer-3

MP3 MPEG-1 Layer 3
33

Broadcast Pode ser utilizado em transmisses a taxas de 4 a 9 Mbps Uma verso modificada do MPEG-2 usada pelo padro HDTV e tambm nos DVDs
34

Compresso de Vdeo
Derivados: DiVX, XViD
Podem oferecer qualidade semelhante MPEG-2 sem ocupar tanto espao
OBS: O MPEG-3 foi extinto MPEG-7

Para WWW
A ser usado, por exemplo, em bibliotecas digitais
35
Compresso de Vdeo
36
Compresso de Vdeo
A fim de avaliar sistemas de compresso de vdeo, os seguintes parmetros devem ser considerados quanto ao desempenho da compresso:
Taxa de compactao Qualidade da Imagem Velocidade da compactao e descompactao
37
Compresso de Vdeo
Como medir a taxa de compresso?
Em geral, razo entre entrada e sada Problema: matriz m x n com bits por pixel para representar uma cor Soluo: Determinar o nmero de bits por pixel apresentado necessrio no bitstream comprimido
bitstream = sada do compactador
38
Compresso de Vdeo
Exemplo:
Se estamos reproduzindo uma imagem 256 x 240 pixels de um bitstream de 15.000-byte, a compresso de: (bits)/(pixels) = (15.000x8 bits)/(256x240 pixels) = 2 bits por pixel
Problema: Essa taxa no mede a qualidade da imagem
Compresso de Vdeo
Reduo de Redundncia
Algumas reas do frame possuem a mesma cor que se espalha por mais de um pixel (redundncia espacial); Quando a cena ou parte dela contm predominantemente objetos orientados verticalmente existe grande probabilidade que duas linhas adjacentes sejam as mesmas (redundncia espacial); Imagens onde alguns pixels se repetem por diversos frames (redundncia temporal).
40
Compresso de Vdeo
Redundncia Espacial
Redundncia Temporal
41
Compresso de Vdeo
Principais Tcnicas
Color LookUp Table Run-Length Interpolao Predio (DPCM, ADPCM) Uso de Transformadas (DCT) Codificao Estatstica (Huffman)
42
Compresso de Vdeo
Algoritmos - MPEG
Especificaes
Multiplexar fluxos de bits (vdeo, udio, dados) individuais num nico fluxo de bits Prover Sincronizao Empacota os bits em grupos
Preveno contra propagao de erros
Prov informaes especficas chamadas PSI

Program Specific Information
43
Compresso de Vdeo
Algoritmos - MPEG
Padro de Cores
RGB comum MPEG usa o YCbCr
Mais apropriado para percepo do sistema visual humano
RGB -> YCbCr

Y = 0,299R + 0,587G + 0,114B Cb = -0,1687R 0,3313G + 0,5B + 128 Cr = 0,5R -0,4187G -0,0813B + 128
(120; 60; 30)RGB -> (74,52; 102,88; 160,44)YCbCr
44
Compresso de Vdeo
Algoritmos - MPEG
O padro MPEG especifica 3 tipos de quadros comprimidos no arquivo de sada:

Nos quadros I (Intraframe) somente se aplicam algoritmos de reduo de redundncia espacial Nos quadros P (Predicted) e B (Bidirectionally Predicted) tambm se aplicam algoritmos de reduo de redundncia temporal
No caso dos quadros B a predio de movimento bidirecional, ou seja, feita com quadros no passado e no futuro em relao ao quadro sendo codificado
Compresso de Vdeo
Algoritmos - MPEG
Diferentes taxas de compresso nos quadros

I = 10-20:1 P = 20-30:1 B = 30-50:1
46
Compresso de Vdeo
Algoritmos - MPEG
Quanto maior a compresso, maiores as perdas de qualidade sofridas nos quadros

Por isso, h a necessidade de intercalar quadros I de tempos em tempos para permitir a restaurao da qualidade do sinal e tambm acesso aleatrio aos quadros do filme
47
Compresso de Vdeo
Algoritmos - MPEG
48
Compresso de Vdeo
Algoritmos - MPEG
A predio bilateral importante para utilizar informaes de elementos que no esto presentes em frames anteriores
49
Compresso de Vdeo
Algoritmos - MPEG
Tambm fazem parte do padro:

DCT + Quantizao + Run-Length
Reduo de Redundncia Espacial
Motion Estimation e Motion Compensation (MEC) preditiva e interpolativa

Reduo de redundncia temporal
Uso de Codificao de Huffman

Compresso efetivamente
50
Compresso de Vdeo
Algoritmos - MPEG
A DCT faz uma transformao na imagem, mudando o domnio de representao da mesma Este processo no introduz perdas de qualidade na imagem, sua utilizao se d porque ela permite uma representao mais compacta da imagem, facilitando a compresso O uso da DCT faz com que as maiores frequncias se concentrem no canto superior esquerdo da matriz
Compresso de Vdeo
Algoritmos - MPEG

DCT
Bloco da imagem (YCbCr)
Resultado aps DCT

52
Compresso de Vdeo
Algoritmos - MPEG

DCT
Exemplo: imagem inteira
53
Compresso de Vdeo
Algoritmos - MPEG

DCT
Perdas
54
Compresso de Vdeo
Algoritmos - MPEG
Aps a aplicao da DCT, uma quantizao feita tomando uma matriz de quantizao fixa Cada valor da matriz gerada pela DCT dividido pelo valor correspondente na mscara de quantizao e arredondado para um inteiro
55
Compresso de Vdeo
Algoritmos - MPEG

Quantizao
Matriz de quantizao
Bloco quantizado
56
Compresso de Vdeo
Algoritmos - MPEG

Run-Length
Objetivo: agrupar os valores nulos Dada a disposio deles, usa-se uma leitura em zig-zag
57
Compresso de Vdeo
Algoritmos - MPEG
Motion Estimation e Motion Compensation (MEC) preditiva e interpolativa

No mudou Mudou
Quadro m
Quadro m+1
58
Compresso de Vdeo
Algoritmos - DiVX
O DivX um codec de vdeo criado pela DivX, Inc. Ele foi produzido para ser usado em compactao de vdeo digital, deixando os vdeos com qualidade, apesar da alta compactao Funciona como um MP3 para vdeo
59
Compresso de udio
60
Compresso de udio
Algoritmos Blocos de Silncio
Blocos de silncio so marcadores que contm um valor de durao do tempo que representa a extenso do silncio ou quase silncio
Dados de Silncio Janela de Silncio
61
Compresso de udio
Semelhante ao Run-Length Usado em arquivos VOC Silncio definido como a amplitude da forma de onda que no ultrapassa a janela de silncio
Uma extenso de silncio menor que a janela considerada muito curta para merecer a converso para bloco de silncio
Problema: 1) Os blocos de silncio no existem na maioria dos sons gravados
62
Compresso de udio
Problema: 2) Difcil distinguir silncio do incio de alguns sons (para sinais de voz)
Como os fricativos inaudveis (/f/, /s/, /sh/)
Incio do som /s/ da palavra Sapo

Compresso de udio
Algoritmos MP3 MPEG-1 Layer 3
Terceira camada do formato MPEG-1 Destinada a codificao de udio Taxa de compresso: 10:1 podendo chegar at 12:1 Uso de elementos de psicoacstica
64
Compresso de udio
Um erro comum confundir o MP3 com MPEG-3. MPEG-3 um formato morto, pois o formato MPEG-4 o suplantou com muitas vantagens Enquanto o MPEG-3 deveria ter sido um formato para compresso tanto de udio como de vdeo o MP3 responde apenas pela compresso de udio do MPEG-1
Compresso de udio
A utilizao dos limites da audio humana baseia-se em trs princpios bsicos:

Faixa de freqncia audvel dos seres humanos; Limiar de audio na faixa de freqncia audvel; Mascaramento em freqncia e mascaramento temporal
Compresso de udio
Faixa de freqncia audvel dos seres humanos

O ouvido humano, devido s suas limitaes fsicas, capaz de detectar sons em uma faixa de freqncia que varia de 20 Hz a 20 KHz, sendo que estes valores podem variar de indivduo para indivduo e tambm com a idade (com o envelhecimento perdemos a capacidade de ouvir freqncias mais altas)
Compresso de udio

Desta forma, no faz sentido armazenar dados referentes a sons fora desta faixa de freqncia, pois ao serem reproduzidos, os mesmos no sero percebidos por um ser humano. Esta a primeira limitao da audio humana do qual o sistema MP3 faz uso para alcanar altas taxas de compresso.
Compresso de udio

De acordo com o Teorema de Nyquist, para garantir a reproduo de um sinal, temos de amostr-lo pelo menos a duas vezes sua freqncia mxima Ou seja, neste caso, como a freqncia mxima de interesse 20 KHz, basta amostrar a 40 KHz
Compresso de udio

Utiliza-se 44.100 Hz como taxa de amostragem, pois leva-se em considerao 10% de tolerncia e buscase um valor produto dos quatro primeiros nmeros primos
Obs: (2x3x5x7)2 = 44100
Desta forma, esta taxa de amostragem funciona como um filtro passa-baixa, que remove todos os componentes de freqncia fora da faixa de interesse, neste caso, acima de 20 Khz
70
Compresso de udio
Limiar de audio na faixa de freqncia audvel

Outro fator utilizado pela codificao MP3 a curva de percepo da audio humana dentro da faixa de freqncias audveis, ou Limiar de Audio Apesar da faixa de audio humana variar entre 20 Hz e 20 KHz, a sensibilidade para sons dentro desta faixa no uniforme
Compresso de udio
Limiar de audio na faixa de freqncia audvel

Ou seja, a percepo da intensidade de um som varia com a freqncia em que este se encontra Por isso, o MP3 utiliza-se desta propriedade para obter compresso em arquivos de udios Esta abordagem bastante intuitiva, sendo que o que se faz descartar amostras que se encontrem abaixo deste limiar
Compresso de udio
Mascaramento em freqncia e mascaramento temporal

Por fim, uma ltima propriedade da audio humana ainda utilizada pelo mtodo o chamado mascaramento auditivo, ou audiabilidade diminuda de um som devido presena de outro, podendo este ser em freqncia ou no tempo O mascaramento em freqncia ocorre quando um som que normalmente poderia ser ouvido mascarado por outro, de maior intensidade, que se encontra em uma freqncia prxima
Compresso de udio
Mascaramento em freqncia e mascaramento temporal

O mascaramento em freqncia depende da freqncia em que o sinal se encontra, podendo variar de 100 Hz a 4 KHz Em funo deste comportamento, o que o mtodo de compresso do MP3 faz identificar casos de mascaramento em freqncia e descartar sinais que no sero audveis devido a este fenmeno
Compresso de udio
Algoritmos MP3 MPEG-1 Layer 3 Mascaramento em freqncia e mascaramento temporal
O mascaramento no tempo ocorre quando um som forte precedido por um mais fraco que se encontra em uma freqncia prxima do primeiro
Se o intervalo de tempo entre os dois for suficientemente pequeno, este som mais fraco no ser percebido pela audio humana
Se um som mascarado aps um som mais forte, temos o chamado ps-mascaramento No caso de um som ser mascarado antes do som mais forte, temos o que chamamos de pr-mascaramento
O pr-mascaramento existe s por um curto momento, cerca de 20ms, enquanto que o ps-mascaramento tem efeito por at 200 ms
75
Tcnicas de Codificao de udio e Vdeo Referncias:

The Essential Guide to Video Processing, A.C.Bovik, Academic Press, 2009 A Practical Guide to Video and Audio Compression, C.Wootton, Focal Press, 2005 Introduction to Information Theory and Data Compression, D.Hankersson, CRC Press, 2003
76

PDS - Aula10 Audio e Video

Uploaded by

Document Information

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

PDS - Aula10 Audio e Video

Uploaded by

Copyright:

Available Formats

Tcnicas de Codificao de udio e Vdeo

Carlos Alexandre Mello

Carlos Alexandre Mello cabm@cin.ufpe.br

Carlos Alexandre Mello cabm@cin.ufpe.br

Carlos Alexandre Mello cabm@cin.ufpe.br

Introduo Uma imagem vale mais do que mil palavras....

Carlos Alexandre Mello cabm@cin.ufpe.br

Carlos Alexandre Mello cabm@cin.ufpe.br

Carlos Alexandre Mello cabm@cin.ufpe.br

Teoria dos Cdigos

Carlos Alexandre Mello cabm@cin.ufpe.br

Teoria dos Cdigos

UNICAMENTE DECODIFICVEL NO INSTANTNEO INSTANTNEO

Carlos Alexandre Mello cabm@cin.ufpe.br

Teoria dos Cdigos

Carlos Alexandre Mello cabm@cin.ufpe.br

Teoria dos Cdigos

Teoria dos Cdigos

Carlos Alexandre Mello cabm@cin.ufpe.br

Teoria dos Cdigos

Teoria dos Cdigos

Carlos Alexandre Mello cabm@cin.ufpe.br

Teoria dos Cdigos

Garante que um cdigo com palavras com comprimento Li instantneo

Carlos Alexandre Mello cabm@cin.ufpe.br

Teoria dos Cdigos

Garante que um cdigo com palavras com comprimento Li unicamente decodificvel

Carlos Alexandre Mello cabm@cin.ufpe.br

Teoria dos Cdigos

Teoria dos Cdigos

COMPRIMENTO DO ARQUIVO ORIGINAL COMPRIMENTO DO ARQUIVO COMPACTADO

Em geral, mas no apropriado para imagens....

Carlos Alexandre Mello cabm@cin.ufpe.br

Carlos Alexandre Mello cabm@cin.ufpe.br

Contagem de carreiras de smbolos de mesmo valor

Carlos Alexandre Mello cabm@cin.ufpe.br

Carlos Alexandre Mello cabm@cin.ufpe.br

Carlos Alexandre Mello cabm@cin.ufpe.br

0.3 0.2 0.1 0.1

0.3 0.2 0.2

Carlos Alexandre Mello cabm@cin.ufpe.br

0.3 11 0.2 00 0.1 0.1

Carlos Alexandre Mello cabm@cin.ufpe.br

Codificao Bottom-Up Variaes:

Carlos Alexandre Mello cabm@cin.ufpe.br

Carlos Alexandre Mello cabm@cin.ufpe.br

Carlos Alexandre Mello cabm@cin.ufpe.br

Carlos Alexandre Mello cabm@cin.ufpe.br

Dicionrio bsico: X = #0 Y = #1 Z = #2 W = #3 Entrada do codificador: XYXZXYXW

Carlos Alexandre Mello cabm@cin.ufpe.br

Codificao Final #0#1#0#2#4#0#3 Dicionrio X = #0 Y = #1 Z = #2 W = #3 XY = #4 YX = #5 XZ = #6 ZX = #7 XYX = #8 XW = #9

Decodificao #0#1#0#2#4#0#3 Dicionrio Bsico X = #0 Y = #1 Z = #2 W = #3

Carlos Alexandre Mello cabm@cin.ufpe.br

Algoritmos de Compresso Multimdia

Carlos Alexandre Mello cabm@cin.ufpe.br

Algoritmos de Compresso Multimdia MPEG-1

Nvel mais conhecido: layer-3

Carlos Alexandre Mello cabm@cin.ufpe.br

Algoritmos de Compresso Multimdia MPEG-2

Carlos Alexandre Mello cabm@cin.ufpe.br

Algoritmos de Compresso Multimdia MPEG-4

Podem oferecer qualidade semelhante MPEG-2 sem ocupar tanto espao

OBS: O MPEG-3 foi extinto MPEG-7