SIN260 SISTEMAS INTELIGENTES

Universidade Federal de Itajub

UNIFEI

REDE NEURAL MLP EMPREGADA NO

SOFTWARE WEKA

Esse trabalho visa, por meios

tericos e prticos, estudar a rede neural
MLP (Perceptron de Multicamadas) para
classificao de dados empregando o
software livre WEKA tendo como base
alguns conjuntos de dados conhecidos.

PROF. ISABELA NEVES DRUMMOND

Joaquim Manoel Pereira

Patrick Perroni Pereira

32009
31975

SUMRIO
Descrio do Software WEKA.............................................................................................3
Conjunto de Dados................................................................................................................3
Iris Plant Database.....................................................................................................3
Wine Recognition Data..............................................................................................3
Descrio do Modelo MLP...................................................................................................4
Funes dos Parmetros...........................................................................................4
Taxa de Aprendizado, Momento e Nmero de pocas.........................................4
Testes......................................................................................................................................5
Iris...............................................................................................................................5
Experimento 1...............................................................................................5
Experimento 2...............................................................................................6
Experimento 3...............................................................................................7
Combinao de experimentos......................................................................9
Wine..........................................................................................................................10
Experimento 1..............................................................................................10
Experimento 2..............................................................................................12
Experimento 3..............................................................................................13
Combinao de experimentos....................................................................14
Anlise dos testes.................................................................................................................16
Iris.............................................................................................................................16
Wine..........................................................................................................................19
Testes com mudana no nmero de Folds........................................................................21

Descrio do software WEKA.

Weka (Waikato Environment for Knowledge Analysis) um software desenvolvido na
universidade de Waikato, Nova Zelndia e sua licena est sob General Public License
(GNU), o que significa que seu uso totalmente gratuito. Weka uma ferramenta que contm
uma coleo de ferramentas de visualizao e algoritmos para anlise de dados e modelagem
preditiva , juntamente com interfaces grficas para facilitar o acesso a essas funes. Suporta
vrias tarefas padro de minerao de dados, mais especificamente, o pr-processamento de
dados, clustering, classificao, regresso, visualizao e seleo de recursos. Todas as
tcnicas de Weka se baseiam na suposio de que os dados esto descritos por um nmero
fixo de atributos (normalmente, atributos numricos ou nominais, mas outros tipos de
atributos so tambm suportados).
A verso atual dessa ferramenta (Weka 3) escrita em Java, e fornece acesso a bancos de
dados SQL usando Java Database Connectivity, podendo processar o resultado retornado por
uma consulta de banco de dados. Porm, no capaz de realizar minerao de dados multirelacional.
Descrio dos conjuntos de dados
Iris Plant database
Iris Plant Database um conjunto de dados introduzido por R.A. Fisher muito conhecido na
literatura de reconhecimento de padres, tornando-se um clssico nessa rea e
frequentemente referenciada nos dias atuais. Foi primeiramente apresentado em uma
publicao que tratava sobre o uso de mltiplas medies em problemas taxonmicos, sendo
usado para exemplificar uma anlise linear discriminante.
O conjunto de dados contm 3 classes com 50 instncias cada uma, onde cada classe
referente a um tipo de planta ris. Uma classe linearmente separvel das outras duas; as
duas ltimas no so linearmente separveis entre si.
Informaes sobre o conjunto de dados:
Nmero de Instncias: 150 instncias (50 em cada uma das trs classes)
Nmero de Atributos: 4 atributos preditivos numricos e a classe
Informaes dos Atributos:
1. Comprimento da spala em cm
2. Largura da spala em cm
3. Comprimento da ptala em cm
4. Largura da ptala em cm
5. Classe:
a. ris setosa
b. ris versicolor
c. ris virginica
Wine recognition data
Wine recognition data um conjunto de dados que foi obtido atravs da anlise qumica de
vinhos produzidos na mesma regio da Itlia, porm derivados de trs cultivadores diferentes.
A anlise determinou as quantidades de 13 constituintes encontrados em cada um dos trs
tipos de vinhos.
3

Informaes sobre o conjunto de dados:

Nmero de Instncias:
Classe 1: 59 Instncias
Classe 2: 71 Instncias
Classe 3: 48 Instncias
Nmero de Atributos: 13 (numricos)
Descrio do modelo MLP (Multi Layer Perceptron)
Funes dos parmetros
GUI: Ativa/desativa a interface
autoBuild: Ativa/desativa a conexo automtica de uma camada oculta com a internet
batchSize: nmero desejado de processamentos de instncias caso a predio de lotes estiver
ativada
Debug: Ativa ou desativa a sada auxiliar do console
Decay: Caso esteja ativado, a taxa de aprendizado decair
doNotCheckCapabilities: Caso esteja ativado, as capacidades do classificador no so
verificadas durante a build
hiddenLayers: Camadas ocultas da rede neural
learningRate: Quantidade de pesos que so atualizados
Momentum: Quantidade de momento aplicado nos pesos
nominalToBinaryFilter: Caso esteja ativado, as instncias sero processadas com filtro
normalizeAtributes: Caso esteja ativado, os atributos sero normalizados
normalizeNumericaClass: Caso esteja ativado, as classes numricas sero normalizadas
numDecimalPlaces: Quantidade de casas decimais que sero considerados na sada
Reset: Ativar este parmetro permite resetar a rede com um peso menor
Seed: Semente utilizada para gerar valores aleatrios
trainingTime: Nmero de pocas que sero utilizadas no treino
validationSetSize: Percentual do tamanho do set de validao
validationThreshold: Utilizada para terminar a validao de um teste

Taxa de aprendizado, momento e nmero de pocas.

Taxa de aprendizado: learningRate,

Momento: momentum,
Numero de pocas: trainingTime
Testes
Iris
Experimento 1: modificao da taxa de aprendizado valores: {0,3; 0,6; 0,9}

Figura 1: Taxa de Aprendizado - 0,3

Figura 2: Taxa de Aprendizado 0,6

5

Figura 3: Taxa de Aprendizado 0,9

Experimento 2: modificao do momento valores: {0,2 0,5; 0,8}

Figura 4: Momento 0,2

Figura 5: Momento 0,5

Figura 6: Momento 0,8

Experimento 3: modificao do nmero de pocas: {500, 1000, 2000}

Figura 7: Epoca - 500

7

Figura 8: Epoca - 1000

Figura 9: Epoca 2000

Experimentos Combinados:

Figura 10: Taxa Aprendizado 0,6 e Momento 0,8

Figura 11: Taxa Aprendizado 0,6 e Momento 0,5

Figura 12: Taxa Aprendizado 0,9 e Momento 0,5

Figura 13: Taxa Aprendizado 0,9 e Momento 0,8

Wine
Experimento 1: modificao da taxa de aprendizado valores: {0,3; 0,6; 0,9}

Figura 14: Taxa de Aprendizado 0,3

10

Figura 15: Taxa de Aprendizado 0,6

Figura 16: Taxa de Aprendizado 0,9

11

Experimento 2: modificao do momento valores: {0,2 0,5; 0,8}

Figura 17: Momento 0,2

Figura 18: Momento 0,5

12

Figura 19: Momento 0,8

Experimento 3: modificao do nmero de pocas: {500, 1000, 2000}

Figura 20: Epoca - 500

13

Figura 21: Epoca 1000

Figura 22: Epoca 2000

Experimentos combinados:

Figura 23: Taxa de Aprendizado 0,6 e Momento 0,5

14

Figura 24: Taxa de Aprendizado 0,6 e Momento 0,8

Figura 25: Taxa de Aprendizado 0,9 e Momento 0,5

15

Figura 26: Taxa de Aprendizado 0,9 e Momento 0,8

Anlise dos Testes

Iris
Grfico 1: Experimento 1 Mudana na Taxa de Aprendizado

16

Pode-se observar pelo grfico que, independente da mudana nas taxas de aprendizado, a
influncia sobre a taxa de acerto no foi muito significante - apenas 1 erro a mais na ltima
variao. Por mais que uma taxa de aprendizado alta caracterize maior velocidade de
aprendizado da rede, ela pode gerar oscilaes no modelo, o que ocasionou a maior taxa de
erro na ltima variao (3,33%, 5 instncias classificadas incorretamente), com a taxa de
aprendizado a 0,9. A proporo de acertos para os dois primeiros valores de taxa de
aprendizado permaneceu em 146 instancias classificadas corretamente, havendo, dessa
forma, 4 instncias classificadas de forma incorreta.

Grfico 2: Experimento 2 Mudana na Taxa de Momento

Conforme mostra o grfico, pode se concluir que independente da variao da taxa de

momento, a classificao do conjunto de dados Iris pela rede neural MLP teve uma taxa de
acerto constante. A proporo de acertos do classificador para os trs valores de Taxa de
Momento permaneceu em 146 instncias classificadas corretamente.

17

Grfico 3: Experimento 3 Mudana na Taxa de poca

Com relao variao no nmero de pocas, o acerto classificador permaneceu igual para
500 e 1000 pocas - uma proporo de 146 instancias classificadas corretamente. Quando se
aumenta consideravelmente o nmero de pocas, percebe -se que o acerto do classificador
diminui, classificando corretamente 145 instancias das 150 apresentadas.

Grfico 4: Experimentos Combinados Taxa de Aprendizado / Momento

O grfico 4 fornece alguns experimentos combinados entre as Taxas de Aprendizado e

Momento. O classificador obteve o pior ndice de acertos para taxas elevadas tanto de
18

Aprendizagem quanto Momento - 144 instancias classificadas corretamente. Os

experimentos combinados onde o classificador obteve maior eficcia foi aquele onde a Taxa
de aprendizagem foi de 0,6 e as Taxas de Momento 0,5 - a proporo de acerto do
classificador foi de 97,33% (146 instancias classificadas corretamente das 150 apresentadas
ao classificador).

Wine
Grfico 5: Experimento 1 Mudana na Taxa de Aprendizado

O Grfico 5 indica que a taxa de acerto nos trs experimentos no sofreu alterao,
independente da variao da taxa de aprendizado. A proporo de acertos para os trs valores
de taxa de aprendizado permaneceu em 173 instncias classificadas corretamente, ou seja, 5
instncias classificadas de forma incorreta.

19

Grfico 6: Experimento 2 Mudana na Taxa de Momento

Pode-se verificar, atravs do Grfico 6, que a mudana nas taxas de momento no ocasionou
alterao nas taxas de acerto do modelo. A proporo de acertos para os trs valores de taxa
de momento permaneceu em 173 instancias classificadas corretamente, e 5 classificadas
incorretamente.

Grfico 7: Experimento 3 Mudana na Taxa de poca

Em relao a variao das taxas de poca relatadas no Grfico 7, o acerto do classificador

permaneceu o mesmo nos trs casos. A proporo de acertos para os trs valores de taxa de
poca permaneceu em 173 instncias classificadas corretamente, das 178 possveis (97,19%
de acerto).
20

Grfico 8: Experimentos Combinados Taxa de Aprendizado / Momento

O Grfico 8 fornece alguns experimentos combinados entre as taxas de aprendizado e

momento. O classificador obteve o pior ndice de acertos para taxas elevadas tanto de
aprendizagem quanto momento - 172 instncias classificadas corretamente, de um total de
178. Os experimentos combinados onde o classificador obteve maior eficcia (97,75% de
acerto) foi aquele onde a taxa de aprendizagem foi de 0,9 e a taxa de momento 0,5, com um
total de 174 instncias classificadas corretamente.

Testes com mudana no nmero de Folds

Iris

Figura 27: Folds - 2

21

Figura 28: Folds - 3

Figura 29: Folds 5

Grfico 9: Mudana no nmero de Folds no Iris

22

O grfico 9 mostra a variao que se tem na taxa de acerto do classificador da rede neural
MLP ao modificar o nmero de pastas (Folds) quando se opta pela validao cruzada. Notase que ao modificar a quantidade de Folds para 3, o nmero de instncias classificadas
corretamente de 141 - tem-se ento uma proporo de 9 erros do classificador. J quando
se modifica o nmero de Folds para 5, a proporo de instncias corretamente classificadas
144 - tendo assim 6 instncias classificadas incorretamente. Quando se diminui mais ainda
a quantidade de Folds (2 Folds), vemos que o classificador acerta a classificao de 142
instncias. Conclui-se que se tivesse uma ordem de uso de quantidade de Folds em relao
quantidade de instncias corretamente classificadas na sada produzida, essa ordem seria 5,
2 e 3 Folds respectivamente.
Wine

Figura 30: Folds 2

Figura 31: Folds - 3

23

Figura 32: Folds - 5

Grfico 10: Mudana no nmero de Folds no Wine

Com relao ao grfico 10, que mostra as taxas de acerto de classificao das instncias
apresentadas rede com relao variao na quantidade de Folds no conjunto de dados
wine, nota - se que o classificador se comporta diferente se comparado ao Iris. Para as
quantidades de 2 e 3 Folds, o classificador acertou 95,5% das instncias, ou seja, apenas
4,5% foram classificadas erroneamente - de 178 instncias, 170 foram classificadas
corretamente e 8 no foram. J para uma quantia de 5 Folds, como esperado, o nmero de
instncias corretamente classificadas foi de 174 - apenas 4 instncias foram classificadas
incorretamente. Isso mostra, assim como no Iris, que dentre as trs variaes de Folds, a de
ordem 5 a que apresenta uma maior proporo de instncias corretamente classificadas.
24