BC-0504

Natureza da Informao
Apresentao e uma pequena viagem pela
Histria da Teoria da Informao

David Correa Martins Junior

david.martins@ufabc.edu.br

Apresentao do Professor
Prof. David Correa Martins Junior (CMCC)
E-mail: david.martins@ufabc.edu.br
Assunto do e-mail: [NI] Assunto

Bloco Delta (So Bernardo), sala 253

rea de pesquisa
Reconhecimento de padres em aplicaes de
Bioinformtica/Biologia sistmica

Objetivos da Disciplina

Objetivo:
o

Apresentar os fundamentos sobre a natureza da

informao
o

Ou seja, os principais conceitos envolvidas nos processos

de representao e quantificao da Informao

Pr-Requisitos
No h pr-requisito formal
Pr-requisitos do ensino fundamental/mdio
o
o
o
o
o

Teoria dos conjuntos

Anlise combinatria
Probabilidade e estatstica
Propriedades do logaritmo
Interpretao de texto

Composio do Conceito Final

Avaliao
1 Prova: 50% , 10 de Novembro
2 Prova: 50%, 11 de Dezembro
Prova substitutiva: 15 de Dezembro
Apenas para quem perder uma das provas
No precisa justificar falta
Contedo: Toda matria!

Avaliao Clculo do Conceito

Final
Relao Nota Conceito

8,5 Mdia Geral = A

7,0 Mdia Geral < 8,5 = B
6,0 Mdia Geral < 7,0 = C
5,0 Mdia Geral < 6,0 = D
< 5,0 = F

Inscrio no Tidia
A partir da pgina

http://tidia-ae.ufabc.edu.br
Todos sero inscritos pelo professor
atravs do login institucional da
UFABC

Material das aulas

Material das aulas: Sero disponibilizados no
Tidia (http://tidia-ae.ufabc.edu.br), Seo
Repositrio.

Slides das aulas

Listas de exerccios e gabaritos

IMPORTANTE: estudar o material *ANTES*

da aula
Material estar disponibilizado com certa
antecedncia
Facilita o aprendizado: anotem e tragam suas
dvidas!
O principal responsvel pelo aprendizado o
prprio aluno
Contedo da disciplina extenso: estudar ao longo
do curso (e no apenas em vspera de provas!)

Cronograma estimado
Contedo da Aula

Semana
29/09 e 02/10
06 e 13/10
16 e 20/10
30/10 e 03/11
10/11

Apresentao da Disciplina, Dado, Informao,

Conhecimento, Histria da teoria da informao, Semitica
Sistemas de numerao, converso de base, Bit, lgebra
Booleana
Cdigos, codificao de fonte, converso analgica/digital
Teoria da informao
Prova 1

Cronograma estimado
Semana

Contedo da Aula

13 e 17/11

Cdigos eficientes e compresso de dados

24 e 27/11

Deteco e correo de erros

01 e 08/12
11/12

Codificao neural e cdigos genticos

Prova 2

15/12

Prova substitutiva

Bibliografia:
o

Decoding the Universe. Charles Seife (2006) Penguin

Books. (Este livro, embora de carter divulgativo, o que captura melhor o foco
multidisciplinar da disciplina. Apresenta um roteiro que pode ser preenchido abordando
cada tpico com uma profundidade maior . Existe somente um exemplar na biblioteca.
Existe verso em pdf)

Sistemas Digitais: fundamentos e aplicaes. Thomas L.

Floyd. (Essencial para explicar os sistemas de numerao, cdigo de Hamming, a
converso A/D e D/A e o teorema de amostragem de Shannon-Nyquist. A lgebra
booleana tambm est bem explicada. Existem vrios exemplares na biblioteca)

o Sistemas de Comunicao Analgicos e Digitais. Simon

Haykin (2004). (Inclui Teoria da Informao, compresso de dados e
deteco/correo de erros)

An Introduction to Information theory. Symbols, signals

and Noise. John R. Pierce. Dover. (Embora um pouco ultrapassado,
apresenta os desafios encontrados pelos pioneiros da teoria de informao. Mostra as
solues encontradas para estes desafios)

Eixo da Informao
Os avanos da cincia e da tecnologia esto
multiplicando as nossas capacidades de coletar,
tratar, gerar e utilizar informaes, levando-as a
patamares nunca antes alcanados, trazendo assim
novas oportunidades
novas questes sociais
mais avanos na cincia e tecnologia, em um ciclo
virtuoso.

Eixo da Informao
O Eixo da Informao tem como objetivo apresentar
os fundamentos desses processos, enfocando-os sob
diversas perspectivas
Natureza da Informao
Processamento da Informao
Comunicao da Informao

Eixo da Informao
Fundamentos e processos:
Natureza da Informao: o que Informao e
como se pode represent-la e medi-la
Transformao da Informao: manipulao e
tratamento da Informao, tanto sob o aspecto
humano como por computadores (processamento)
Comunicao da Informao: transmisso e
distribuio da Informao e o seu impacto

Natureza da
Informao

Transformao
da Informao

Comunicao
da Informao

Abstrata

Concreta

(conceitual)
Terica

(suporte)
Tecnologia

 O Bit
 Entropia
 Analog. X Digital
 Capac. Shannon
 T. Informao

Smbolos e Sinais
Rudo

 T. Computao

 Proc. Sinais

 Org. Computadores
 Compresso Dados

Criptografia
Complexidade
 T. Comunicaes
 Capacidade canal
 Canal gaussiano
 Informao
gentica
 Codificao

 Proc. Estocsticos
 Ordem e Desordem

Caos

Social
(utilizao)
Humana
 Sentidos/percepo
 Cognio e Ao
 Inteligncia
 Conscincia
 Memria

 Programao
 Minerao Dados
 Traduo

 Aprendizado
 Crebro
 Conhecimento
 Razo/Emoo
 Redes Sociais

 Sist. Comunicaes
 Redes e Trfego
 Eletrnica
 Fotnica
 Novas Tecnologias

 Linguagem Humana
 Internet
 Soc. Informao
 Econ. Informao
 Regulao/tica

 Transformadas

Amostras

O que a disciplina de
Natureza da
Informao?

A disciplina Natureza da Informao

mostra como a Informao est
presente em nossas vidas
No somente a nvel tecnolgico
(comunicaes, computadores e
internet)
Mas tambm a nvel biolgico (DNA,
crebro)
E humano (linguagem, semitica)

Dado, Informao e Conhecimento

Dado
Dado: elemento puro, quantificvel sobre um
determinado evento
Por si s no oferece embasamento para
entendimento da situao
Percepo inicial do observador sobre objeto
Identificado por caractersticas visuais/simblicas

Ex.: parafuso 63 pesa 60 gramas

Dados
Um conjunto de fatos a respeito do mundo;
So geralmente quantificados;
So facilmente capturados e arquivados em
dispositivos computacionais;
No permitem julgamentos ou significados;
No constituem base para a ao

Dados
Tipos
Alfanumricos
Cdigo de produto, preo individual, quantidade, etc.

Imagens
Fotos

udio
Vdeo
etc...

Dados
Fatos bsicos
Ex.: compra em supermercado
Cdigo

Descrio

Preo Individual

Quantidade

12314

Achocolatado

R$ 3,50

86456

Leite

R$ 1,50

45675

Manteiga

R$ 2,00

54387

Suco

R$ 3,00

57871

Queijo

R$ 5,00

89452

Cerveja

R$ 1,50

Informao
Informao: dado analisado e contextualizado
Envolve a interpretao de um conjunto de dados
Resultado dos dados tratados, comparados,
relacionados, servindo para tomada de deciso
Prov respostas a questes quem", o que", onde",
quando"

Ex.: parafuso 25 o mais pesado do grupo

Dados + processamento = informao

Informao
Um conjunto de dados conjugados que
possuem relevncia e propsito;
Pode ser transformada pela anlise humana e
julgamento
Semitica (qualidade da informao)
Anlise da informao para produo de
conhecimento

Constitui base para a ao (tomada de

deciso)

Informao
Dados organizados para ter valor adicional
Cdigo

Descrio

Preo Individual

Quantidade

12314

Achocolatado

R$ 3,50

R$ 7,00

86456

Leite

R$ 1,50

R$ 12,00

45675

Manteiga

R$ 2,00

R$ 2,00

54387

Suco

R$ 3,00

R$ 12,00

57871

Queijo

R$ 5,00

R$ 5,00

89452

Cerveja

R$ 1,50

R$ 9,00

22

R$ 47,00

Total
Quantidade de laticnios vendidos

Preo Total

Informao
Pode auxiliar a aumentar lucros
Cdigo

Descrio

Preo Individual

Quantidade

12314

Achocolatado

R$ 3,50

R$ 7,00

86456

Leite

R$ 1,50

R$ 12,00

45675

Manteiga

R$ 2,00

R$ 2,00

54387

Suco

R$ 3,00

R$ 12,00

57871

Queijo

R$ 5,00

R$ 5,00

89452

Cerveja

R$ 1,50

R$ 9,00

22

R$ 47,00

Total
Quantidade de bebidas vendidas

Preo Total

Conhecimento
Conhecimento: habilidade de criar um
modelo que descreva o objeto e indique
aes a implementar, decises a tomar
Compreenso, anlise e sntese so realizadas a
partir do nvel do conhecimento
Necessrias para a tomada de decises inteligentes
Responde questes do tipo como


Ex.: definio do mais pesado, regras de

comparao e o procedimento (modelo)

Informao + processamento = conhecimento

(processamento = experincia, treinamento, etc.)

Conhecimento
Um conjunto organizado e estruturado de
informaes a respeito do mundo;
Requer interveno humana e inteligente
Semitica: atribuio de significado s
informaes;

Proporciona regras, comparaes, dedues e

implicaes

Conhecimento
Ex. supermercado:
Compras de itens X e Y ocorrem com frequncia
Leite e achocolatado

Logo, torn-los prximos

Hierarquia

A pirmide pode representar tanto a hierarquia de seqncia entre

os trs componentes e tambm o volume

Dados x informao x conhecimento

Dados x informao x conhecimento

Dados so os nmeros (brutos) uma diviso por reas pode gerar

informaes (grupos com mais/menos dados de uma certa cor)
Regras que descrevem quando um dado vermelho e quando
verde, do tipo se-ento, por exemplo, representam conhecimento

O que informao?
Etimologia em latim
informatio,onis: delinear, conceber idia

Existem diferentes vises

Biologia
Lingustica
Fsica
Cincia da Computao
Qual a relao entre informao e comunicao?
Comunicao: intercmbio de informao entre sujeitos ou

objetos

Teoria da Informao
Informao inversamente proporcional a
probabilidade de ocorrncia de um fato
Quanto maior a probabilidade desse fato, menos
informao ele trar
Exemplos:
A primeira vez que ouvimos um disco ele nos traz um novo
conhecimento musical. Depois de ouvir vrias vezes o mesmo disco,
podemos prever os prximos acordes. Portanto esse disco no nos
traz mais informao.
Na palavra c_mo, todos podem prever que a letra faltando o.
Portanto, desnecessrio escrever essa letra naquela posio.

Objetivo: quantificar a informao (o significado, ou

qualidade, dessa informao irrelevante a princpio)
A qualidade ou significado da informao de interesse
da Semitica

Histria da Teoria da Informao

Claude E. Shannon (1916-2001), considerado o pai da Teoria da Informao,

e seu livro publicado em 1949, Teoria Matemtica da Comunicao

Shannon
Em 1948, Shannon publica seu artigo A Mathematical
Theory of Communication, publicado na forma de livro
no ano seguinte
Antes dele, trabalhos isolados caminhavam passo a
passo em direo a uma teoria geral de comunicao
Hoje em dia, Teoria da Comunicao (ou Teoria da
Informao) uma rea imensa de pesquisa, e muitos
livros e simpsios internacionais sobre este assunto so
publicados e realizados

Teoria da Informao
Teoria da Informao uma teoria muito geral e que
envolve muita matemtica
A unidade fundamental, o bit, uma medida universal da
quantidade de informao

Na UFABC existe uma disciplina especfica sobre Teoria

da Informao

Teoria da Informao
Teoria da Informao nos permite:
Dizer quantos bits de informao podem ser enviados por
segundo atravs de certos canais de comunicao
Medir a taxa na qual uma fonte pode gerar informao
Dizer como representar, ou codificar, mensagens de uma
determinada fonte eficientemente para transmitir atravs de
algum tipo de canal
Dizer como podemos evitar erros nesta transmisso

Os pilares da teoria da informao



Os estudos da termodinmica
Os estudos da criptografia e os computadores
desenvolvidos na 2 Guerra Mundial
As tecnologias de transmisso de informao
(comeando pelo cdigo Morse e pela telefonia)

Entropia e termodinmica

Boltzmann o pai da termodinmica e

da teoria da informao
Inscrio no tmulo de
Boltzmann
As bases da teoria da
informao esto nos
estudos da termodinmica
Mas Boltzmann no
imaginava que seus
estudos serviriam de base
para a Teoria da
Informao

Revoluo Industrial
1769 Watt
inventou
mquina de
vapor.
Pesquisa para
aumentar
eficincia das
mquinas.

Mquina trmica de Carnot

Mquinas trmicas e fontes de calor

Fonte fria

Fonte fria
Q2

Mquina
trmica

Q2

Trabalho

Trabalho

Fonte de
calor

Q1
Fonte
quente

Q1
Fonte
quente

Refrigerao

Rudolf Claussius
impossvel deter a
tendncia ao
equilbrio
termodinmico do
universo (1860)
Em outras palavras
A entropia sempre
tende a aumentar

Impossvel parar a tendncia ao

equilbrio termodinmico
Fonte fria
Q2

Q2

Mquina
trmica

Trabalho

Q1

Fonte de
calor

Q2

Mquina
trmica

Q1

Trabalho

Q1
Fonte quente

2 lei da termodinmica
Entropia mede o equilbrio termodinmico
Maior equilbrio termodinmico equivale a
maior entropia.
A 2 lei da termodinmica estabelece que "A
quantidade de entropia de qualquer sistema
tende a incrementar-se com o tempo, at
alcanar um valor mximo"

S=k log(W)
Inscrio na lpide de
Boltzmann
Os tomos de um gs tendem a
se distribuir uniformemente
A entropia do universo sempre
cresce
Mais para frente vamos ver a
ponte entre a Entropia de
Boltzmann e a de Shannon

Criptografia e Computadores
na 2 Guerra

Est faltando gua em AF

AF is short of water
Estas palavras
reverteram o
curso da guerra
do pacfico.
Criptografia e
cdigo japons
(JN-25) decifrado
pelos americanos

Vamos atacar AF!

Vamos atacar AF!

AF??? O que AF?

AF seria ilha Midway?

Almirante Yamamoto

Comandante Rochefort

A ilha Midway est sem gua!

A ilha Midway est
sem gua!

AF est sem gua!

AHA!!! Te peguei!

Comandante Rochefort

Almirante Yamamoto

Fim da Guerra
Os americanos
aguardaram a
chegada dos
japoneses.
Quatro porta
avies japoneses
foram afundados.
Comeou o fim da
II Guerra Mundial

II Guerra na Europa U-boats

Enigma
O alemo Arthur
Scherbius inventou a
mquina para cifrar
mensagens Enigma
3x10114 configuraes
diferentes.
Fora bruta: cada tomo
do universo tentando um
trilho de combinaes
por segundo desde o
inicio do universo

Turing e seus colegas de Blethley

quebraram o cdigo do Enigma
Todas as letras eram
trocadas de cada vez
Enigma nunca deixava
nenhuma letra sem trocar
(ex: o correspondente letra
F nunca era F
Frases comuns (ex: o clima
est bom hoje)
Permitiu a destruio dos
U-boats e o fim da guerra.

Mquina terica de Turing

A mquina l, escreve, e
apaga uma fita sem fim
A mquina de Turing
possui computabilidade
universal
Ou seja, qualquer
computador atual
considerado uma
Mquina de Turing

A Criptografia aliada fez terminar a II

Guerra e comeou a era da informao
Turing contribuiu
para a II Guerra
Mundial acabar

Criptografia
Um mtodo muito simples para criptografar
uma mensagem consiste em substituir cada
letra pela que esta n posies na frente
Cifra de Csar

Tentar decifrar a mensagem seguinte:

Q xgpvq jqlg guvcxc owkvq hqtg
O vento hoje estava muito forte
n = -2

Redundncia

-s v-n-s d- c--nc-- e d- t-cn-l-g-- -stm-lt-pl-c-ndo -s n-ss-s c-p-c-d-d-s dc-l-t-r, tr-t-r, g-r-r - -t-l-z-r
-nf-rm--es.

Nosso crebro aproveita a redundncia para

conseguir entender textos como o seguinte:
De aorcdo com uma peqsiusa de uma
uinrvesriddae ignlsea, no ipomtra em qaul
odrem as Lteras de uma plravaa etso, a ncia
csioa iprotmatne que a piremria e tmlia
Lteras etejasm no lgaur crteo. O rseto pdoe
ser uma bguana ttaol, que vco anida pdoe
ler sem pobrlmea. Itso poqrue ns no
lmeos cdaa Ltera isladoa, mas a plravaa cmoo
um tdoo. Sohw de bloa.

Ou como este texto...

35T3 P3QU3N0 T3XTO 53RV3 4P3N45 P4R4 M05TR4R COMO
NO554 C4B34
CONS3GU3 F4Z3R CO1545 1MPR3551ON4ANT35! R3P4R3
N155O! NO COM3O 35T4V4
M310 COMPL1C4DO, M45 N3ST4 L1NH4 SU4 M3NT3 V41
D3C1FR4NDO O CD1GO
QU453 4UTOM4T1C4M3NT3, S3M PR3C1S4R P3N54R
MU1TO, C3RTO? POD3 F1C4R
B3M ORGULHO5O D155O! SU4 C4P4C1D4D3 M3R3C3!
P4R4BN5!

Tecnologias de transmisso de
informao

Origem da moderna Teoria da

Informao
Embora haja analogia matemtica da entropia
da Informao com a entropia da
Termodinmica e da Mecnica Estatstica, a
origem real da Teoria Moderna da Informao
tem suas razes nas origens da comunicao
eltrica

Origens com o telgrafo

1838: Samuel B. Morse trabalhando com Alfred Vail, o
cdigo Morse como conhecemos hoje foi idealizado
Neste cdigo, letras do alfabeto so representadas por espaos,
pontos e traos

Para transmisso em um circuito eltrico, espaos eram

representados por ausncia de corrente, pontos por corrente de
curta durao e traos por correntes de longa durao

Vrias combinaes de pontos e traos eram associadas a cada

letra
Ex.: letra E (que mais ocorre em textos em Ingls) era
associada a um nico ponto

Cdigo Morse

Cdigo Morse e Teoria da

Informao
Questo importante:
Uma outra associao entre os pontos, traos e espaos e as
letras do alfabeto nos permitiria enviar textos em Ingls mais
rpido pelo telgrafo?

Resposta:
Usando nossa moderna Teoria da Informao, descobrimos que
teramos, no mximo, um ganho de cerca de 15% sobre a
velocidade de transmisso
Isto mostra que Morse, intuitivamente, sabia o que estava
fazendo, e atacou um assunto que est no centro da Teoria da
Informao

Limitaes do telgrafo
Resumo das limitaes
Limitao associada a velocidade de emisso do sinal
Interferncias (rudos)
Dificuldade em distinguir entre muitos valores possveis de
correntes
Limitao na intensidade de correntes a serem utilizadas (para
no destrur o isolamento dos cabos)

Uma anlise matemtica mais precisa deste problema

se tornou necessria

Contribuies a teoria
da Informao
No sculo XIX, vrias pessoas contriburam
matematicamente para a teoria da Informao:

Lorde Kelvin (William Thomson)

Alexander Graham Bell (inventor do telefone em 1875)
Henri Poincar
Oliver Heaviside
Michael Pupin
G. A. Campbell (ATTC)

Mas sem dvida alguma, a grande contribuio foi de

Joseph Fourier

A contribuio de Fourier
Fourier baseou seus trabalhos na funo seno:

Demonstrou que toda funo (incluindo os sinais eltricos) poderiam ser decompostas numa soma de funes
senos com diferentes amplitudes, fases e frequncias

Contribuies de Kolmogoroff
e Wiener
Na dcada de 40, ambos independentemente,
um na Rssia e outro nos EUA, resolveram o
problema de como, a partir de um sinal
desconhecido com rudo, estimar qual o melhor
sinal correto sem a presena do rudo

E chegamos a Shannon
Portanto, quando Shannon publica seu trabalho
em 1947, muito j se havia feito anteriormente
De certa maneira, ele resumiu e trouxe mais
conhecimento a todos estes problemas j
estudados anteriormente

Contribuio de Shannon
Mas podemos dizer que a grande contribuio da sua
teoria foi responder as perguntas:
Como podemos codificar (em termos de sinais eltricos) uma
mensagem a partir de uma fonte para poder transmit-la o mais
rpido possvel atravs de um canal que introduz rudos com
certas caractersticas?
O quo rpido podemos transmitir um tipo de mensagem atravs
de um determinado canal sem erros?

Tudo isto que vimos faz parte do que chamamos de

Teoria da Informao e veremos alguns tpicos
introdutrios dessa teoria ao longo deste curso

Para a prxima aula

Estudar os slides e fazer a lista de exerccios da
Semana 1 (Semitica)
Seo Repositrio, no Tidia
No precisa entregar, mas fundamental fazer
os exerccios para estudar e se preparar para as
aulas
e consequentemente para as provas