Aprendizado de Mquina e

Minerao de Dados
Voc j pensou em construir seu
diferencial como profissional?

Solange Rezende
Universidade de So Paulo
Departamento de Cincias de Computao
Laboratrio de Inteligncia Computacional

ICMC, USP 1
sor wikimedia2
sor 3
sor 4
sor 5
 Quantos de ns j no utilizamos um
dispositivo eletrnico para fazer uma
compra que nos foi sugerido por ele?

Qual o impacto dessas

possibilidades no Mundo
Conectado? Que
sor
tecnologias so usadas?
sor
6
 Mundo Conectado

7
sor
 Ambiente contemporneo
Mundo Conectado

Ambientes estruturados e
e no estruturados
Pluralidade de ideias/gostos Ambiente colaborativo

Canais de comunicao indefinidos Sistemas descentralizados

Contedo diversificado e esparso
Marketing Involuntrio
Pessoas altamente conectadas:
empreendedores, consumidores,
fornecedores, comunidade
sor
Fluxo de informaes livre
Falta de hierarquias
Mercado: linear x quntico
Informao ilimitada: todos tem
acesso a tudo o tempo todo
8
 Imagine um negcio no
Mundo Conectado?

O que mais importante:

Cliente ou Equipe?
9
sor 9
 Ser que sempre
conseguimos identificar
com clareza o que est
acontecendo?
Voc est preparado para
Reposicionamentos?
Seu diferencial como profissional te
permite reposicionamentos rpidos?
10
 Observe aMotivao
imagem e identifique
um nmero...

11
sor 11
 Observe aMotivao
imagem e identifique
um nmero...

12
sor 12
 O Caso WalMart

sor 13
13
 Casos Clssicos
Apostadores que
gastam entre US$
100 a 500:
Representam 30% da
clientela
Contribuem com 80%
das receitas
Cassino Harrahs
(Guizzo, 2001)
16 milhes de clientes! Estratgias de
marketing para este
Qual o perfil de cliente
proporciona maior
filo mais rentvel
lucratividade? dobrou o
faturamento
 Empresa varejista
utiliza os dados das
compras dos clientes
para criar campanhas
de marketing pr
ativas.
Conseguiram
detectar um padro
de compra de
mulheres que
estavam grvidas e
enviar a elas ofertas
para gestantes.

Detalhes: Muitas vezes a Target sabia da gestao

antes mesmo de alguns familiares. Incluindo alguns
maridos!!
15
15
sor 15
 Equipe
altamente
conectada com
os valores
Jamie Oliver e
com os clientes

sor 16
Volume de Dados e Informao no
Mundo Conectado
1999 a 2002
Crescimento 90% dos dados so
de 30% a cada No Estruturados
ano.

Universidade da
California 2003
O volume de 2013:
informaes em 4.4 ZB
todo o mundo
ocuparia cerca de 2020:
44 ZB
295 trilhes
de Mega
Bytes
Universidade da
California 2011
 O que fazer nesse cenrio
Big Data
de Big Data?
Volume
Velocidade
Variedade
Veracidade
Valor
sor 18
 Os sistemas
computacionais
armazenam quantidades
cada vez maiores de
dados.
Esse volume de dados
uma valiosa fonte de
conhecimento.
A quantidade e
complexidade dos dados
impossibilitam a
explorao manual desse
conhecimento.
Necessidade de tcnicas
automticas para extrair
padres dos dados
armazenados. 19
sor 19
 Aprender a partir do que temos!

Minerao de Dados (MD) refere-se ao

processo de extrair conhecimento de
bases de dados.

Auxilia o ser humano a extrair padres

vlidos, novos e potencialmente
teis dos dados pela aplicao de
diversas ferramentas e tcnicas
computacionais automticas (Fayyad et
al. 1996; Rezende et al., 2003).
sor 20
 Processo de Minerao
Aprendizado de Mquina e de
Dados
Minerao de Dados na prtica

(Rezende et al., 2003)

21
sor 21
 Processo de Minerao de Dados
Identificao do problema

A explorao dos dados comea com os

dados? Grande volume
de dados
Terabytes ou at
PetaBytes
(1015 bytes)
Base de
Dados
A explorao normalmente comea com a identificao de uma
necessidade!

Envolve o estudo do domnio da aplicao. As decises tomadas

neste ponto guiaro os passos consecutivos e podero ter reflexo
no desempenho da aplicao!

Auxlio do especialista de domnio muito importante! 22

Processo de Minerao de Dados
Pr-Processamento

Grande foco de
diferena entre
Minerao de Dados
estruturados e no
estruturados

(Rezende et al., 2003) 23

 Processo de Minerao de Dados
Pr-Processamento

uma das etapas que mais demanda tempo em

um processo de Minerao de Dados
o , talvez, a que tenha menos glamour tcnico
o Envolve muitas atividades manuais
Transformao dos dados para deix-los
adequados Extrao de Padres representao
espao vetorial
o Extrao e Integrao X1 X2 ... Xm Y
o Transformao E1 x11 x12 ... x1m y1
o Limpeza E2 x21 x22 ... x2m y2
o Reduo dos Dados
quando necessrio
E1 xn1 xn2 ... xnm yn
24
 Processo de Minerao de Dados
Extrao de Padres

Etapa direcionada ao cumprimento dos objetivos

identificados na fase de identificao do problema
Processo iterativo
o Escolha da atividade e da tarefa
o Escolha do algoritmo
o Extrao dos padres
Escolha da atividade e da tarefa
o Deve ser feita de acordo com os objetivos desejveis para a
soluo a ser encontrada
o Atividades podem ser agrupadas em:
Atividades preditivas: corresponde ao aprendizado supervisionado
Atividades descritivas: corresponde ao aprendizado no-supervisionado 25
 Processo de Minerao de Dados
Ps-Processamento

Avaliao do conhecimento
extrado
o O conhecimento extrado representa o
conhecimento do especialista?
o De que maneira o conhecimento do
especialista difere do conhecimento
extrado?
o Em que parte o conhecimento do especialista est correto?
o Pode-se ter uma quantidade enorme de padres que podem
no ser importantes, relevantes ou interessantes aos usurios
o interessante fornecer uma quantidade razovel de padres
ao usurio para ser avaliado
Desenvolver tcnicas de apoio para fornecer padres mais interessantes
Envolve tcnicas de visualizao dos padres
26
 Processo de Minerao de Dados
Utilizao do conhecimento

Aps ter percorrido todas as etapas do

processo com sucesso, o conhecimento
encontra-se apto a ser utilizado pelo usurio
o Garante-se, com o correto desenvolvimento das etapas
anteriores, que o conhecimento vlido e til, podendo ser
aplicado no apoio tomada de deciso
o Formao de uma base de conhecimento, que incorporada a
um sistema inteligente

Base de
Conhecimento

Sistema Inteligente
27
 O que voc est fazendo
hoje pra aumentar suas
chances de sucesso
profissional? Qual o seu
diferencial?
Fator Humano como
diferencial: 2Cs
sor 28
Na sociedade do
Conhecimento
Repense os
limites do
possvel!
 Humanos
Dominados
pelas
Mquinas/Tecnologias?
30
sor 30
 Humanos
Construindo
Futuro Digital
Aprendizado de Mquina/
Minerao de Dados/Cincia de
dados!
31
sor 31
 E agora?

Voc tem um
PLANO
de

sor 32
 Algumas fontes
Referncias Gerais pra voc comear

33
sor 33
 Algumas Ferramentas
Python:
Bibliotecas Python: Faa muito com pouco
Anaconda Swiss Army Knife !
Python: Grinding Tools!

R: Simplicidade e eficincia! Ferramenta open-source contendo pacotes para

anlise estatstica e para minerao de dados

RapidMiner: Acelere suas anlises atravs de Workflows.

Weka: O Poder da GUI. classificao, regresso, regras de associao e

clustering alm de outras funcionalidades

Apriori regras de associao

http://fuzzy.cs.uni-magdeburg.de/~borgelt/apriori.html

Orange uma ferramenta para visualizao e anlise de dados tanto para iniciantes
quanto para especialistas (http://orange.biolab.si/download/)

34
sor 34
 KEEL (Knowledge Extraction based on
Evolutionary Learning) is an open source
(GPLv3) Java software tool
O SAS Viya Data Mining and Machine
Learning um ambiente escalvel,
aberto, de anlises avanadas
KNIME - Konstanz Inoformation Miner
https://www.knime.org/
Torch - Topic Hierarchies
http://sites.labic.icmc.usp.br/torch/
Text Categorization Tool API
(implementada em Java) - para
representaes usando Redes
Site LABIC Software and Application Tools
labic.icmc.usp.br
35
sor 35
 Onde voc quer chegar?
Programa pro-lder fala de 4
Pilares para jovens despertar
potencial para alcanar
coisas grandes na vida:
Autoconhecimento
Oportunidades
Planejamento
Ao
36
 As pessoas valem pelo o que elas
so capazes de fazer e no por
aquilo que elas conhecem. Algumas
pessoas sabem tudo, mas no
conseguem transformar isso em
nada.

Beto Sicupira

Solange Rezende
solange@icmc.usp.br
LABIC-ICMC-USP
sor 37
 Referncias Gerais
Algumas Referncias
Fayyad, U. M. ; Piatetsky-Shapiro, G.; Smyth, P.; Uthurusamy, R.
Advances in Knowledge Discovery and Minerao de Dados, MIT Press,
1996.
Witten, I. H.; Frank, E. Minerao de Dados: Practical Machine Learning
Tools and Techniques with Java Implementations, Morgan Kaufmann,
1999.
http://www.cs.waikato.ac.nz/~ml/weka/book.html
Pyle, D. Data Preparation for Minerao de Dados, Morgan Kaufmann
Publhishers, 1999.
Thuraisingham, B. Minerao de Dados: Technologies, Techniques, and
Trends, CLR Press LLC, 1999.
Rezende, S. O; Sistemas Inteligentes: Fundamentos e Aplicaes; Ed
Manole 2003.
Han, J., Kamber, M., and Pei, J. Data Mining: Concepts and Techniques.
The Morgan Kaufmann Series in Data Management Systems. Elsevier,
2011.
Tan, P.-N., Steinbach, M., and Kumar, V. Introduction to Data Mining.
Addison-Wesley, 2005.
Faceli, K,; Lorena, A. C.; Gama, J.; Carvalho, A. C. P. L. F.; Inteligncia
Artificial: Uma abordagem de aprendizado de mquina, Editora LTC, 2012.
38
sor 38
 Agradecimentos
Ao CCMC e minha equipe...

39
sor 39