UNIVERSIDADE FEDERAL DE UBERLNDIA

FACULDADE DE ENGENHARIA MECNICA

FEMEC 42083 SIMULAO DE SISTEMAS

AUTOMATIZADOS

Mdulo 4: Validao
Operacional de Modelos e
Anlise de Resultados

Prof. Dr. Jos Jean-Paul Zanlucchi de Souza Tavares

Data Autor Revisor Reviso

16/06/2015 Jean Tavares Jean Tavares 0

16/11/2015 Jean Tavares Jean Tavares 1
02/06/2016 Jean Tavares Jean Tavares 2
10/11/2016 Jean Tavares Jean Tavares 3
2016
 UNIVERSIDADE FEDERAL DE UBERLNDIA

FACULDADE DE ENGENHARIA MECNICA

FEMEC 42083 SIMULAO DE SISTEMAS

AUTOMATIZADOS

Sumrio

Agradecimento .................................................................................................................... 3
1. Introduo....................................................................................................................... 4
2. Objetivos ......................................................................................................................... 5
3. Validao de Dados.......................................................................................................... 6
4. Anlise dos Resultados..................................................................................................... 7
5. Atividades ..................................................................................................................... 13
Relatrio Impresso (7 pontos)................................................................................................. 13
Apresentao Oral (3 pontos) ......................................................Erro! Indicador no definido.
Referncias Bibliogrficas .................................................................................................. 16
Agradecimento

Agradeo o discente Marco Vincius Muniz Ferreira pelos dados reais capturados na
bancada e disponibilizados para realizao dos exerccios propostos nesse mdulo.

3
1. Introduo

O assunto validao e verificao de modelos de simulao PE fundamental para

que o simulador seja bem sucedido. Apesar dessas atividades advirem depois da
construo do modelo computacional, na realizada deve ser realizado ao longo do
desenvolvimento do mesmo.
O termo validao est relacionado com o modelo conceitual, nesse caso o objetivo
de validar o modelo avaliar se o foi implementado representa adequadamente o
sistema a ser simulado.
A verificao, por sua vez, est relacionada com o modelo computacional em si. O
que se questiona nessa fase se o modelo foi implementado corretamente. Isso inclui a
retirada de bugs, por exemplo.
Nesse sentido pode existir um modelo que foi verificado mas invlido pois no
representa adequadamente o sistema a ser simulado.
No h como validar um modelo 100%, apenas garantir que ele seja 100% vlido, o
que quer dizer aumentar nossa confiana no modelo.
Da mesma maneira no h como garantir que um modelo seja livre de bugs. A
verificao depende dos testes que foram realizados e esses apenas verificam
parcialmente o modelo computacional.
Um modelo certificado quando o mesmo aceitvel para uma aplicao
especfica, o que envolve processos de verificao e validao.
Outra questo importante a validade dos dados que podem ser utilizados para
construo do modelo conceitual (mdulo 1), validao de dados e experimentao.
Normalmente se utiliza dados histricos para calibrar o modelo. Consequentemente
a sada do modelo deve ser compatvel com o desempenho verificado no sistema.
Uma fonte de problemas so valores discrepantes ou outliers nos dados colhidos do
sistema real.
Terminando a verificao e validao conceitual o modelo de simulao torna-se
operacional e fonte de experimentos estatsticos no processo de anlise do
comportamento do sistema.

4
2. Objetivos

Esta atividade prtica tem como objetivo familiarizar o aluno com a validao
operacional e a anlise de resultados de modelos de simulao.

5
3. Validao Operacional de Dados

Uma forma de avaliar se o resultado do sistema de simulao est adequado com o

sistema real comparar sadas. O teste estatstico proposto por Kleijnen (1995)
estabelece se o intervalo de confiana contm o zero, pode-se afirmar com (1-).100%
que as respostas so equivalentes. O intervalo de confiana calculado de acordo com a
Equao 1.

s2S + s2R
x S x R t 2n 2, / 2
n (1)
Onde x S a mdia do resultado obtido a partir da simulao, x R a mdia do
resultado obtido pelo sistema real, s S o desvio padro do resultado obtido a partir da

simulao, s R o desvio padro do resultado obtido pelo sistema real, n o nmero de

observaes e t 2 n 2, / 2 a distribuio t de Student para 2n-2 graus de liberdade em um

nvel de significncia /2.

Caso o intervalo de confiana contenha o nmero zero, pode-se afirmar com % de
confiana que o modelo equivalente ao sistema real para essa medida de desempenho
(mdia do nvel de atendimento).
Dessa forma necessrio verificar a validade operacional de todas as medidas de
desempenho que se achar necessrio.
Sendo assim, para se validar operacionalmente um modelo computacional de um
sistema deve-se:
1) Definir a(s) medida(s) de desempenho a serem analisadas.
2) Obter dados reais.
3) Replicar o modelo computacional no mesmo nmero de vezes que o item 2, para
a(s) medida(s) de desempenho definidas no item 1.
4) Calcular a mdia e desvio padro da diferena dos dados real e simulado para
toda(s) a(s) medida(s) de desempenho determinadas anteriormente.
5) Gerar o intervalo de confiana de acordo o teste de Kleijnen (Equao 1).
6) Caso o intervalo de confiana do item 5 contenha o 0, pode-se afirmar com %
de confiana que o modelo equivalente ao sistema real para essa(s) medida(s)
de desempenho.
.

6
4. Anlise dos Resultados

O processo de anlise de resultados menos dispendioso que os anteriores.

momento do modelo trabalhar!
importante avaliar qual o regime que o sistema atua, transitrio ou permanente.
No caso de regime transitrio, os valores da(s) medida(s) de desempenho oscilam por
um determinado perodo de tempo, podendo, depois desse perodo especfico
convergirem, atingindo assim um regime permanente. Como exemplo temos a mdia
acumulada do nmero obtido no lanamento de dados. Teoricamente, como a
possibilidade de ocorrncia de cada face 1/6, a mdia dos valores obtidos ser dada
pela Equao 2.
6
(1 / 6) * i (2)
i 1

A Tabela 1 apresenta os resultados dos 10 primeiros lanamentos de dados.

Tabela 1: Mdia Acumulada de 10 lanamentos de dados

Lanamento Nmero Obtido Mdia Acumulada

1 1 1/1=1,0
2 1 (1+1)/2=1,0
3 4 (1+1+4)/3=2,0

4 6 (1+1+4+6)/4=3,0

5 6 3,6
6 5 3,8
7 2 3,6
8 1 3,5
9 2 3,3
10 1 3,1

As Figuras 1 e 2 apresentam o resultado dos 10 primeiros lanamentos e o resultado

para 150 lanamentos, respectivamente. Nota-se, na Figura 2, como a mdia dos
primeiros 50 lanamentos influenciada pelo comportamento inicial do sistema

7
representando um regime transitrio, enquanto, a partir desse ponto, pode-se dizer que o
sistema se encontra em regime permanente

6
Mdia Acu m u lada
dos La n a m en t os

3,5

1
1 2 3 4 5 6 7 8 9 10
La n a m en t os

Figura 1: Comportamento da mdia acumulada dos valores obtidos aps 10

lanamentos de dados

6,0
Mdia Acu m ulada
dos La n a m en t os 5,5

5,0

R egim e T ran sitrio R egim e Perm an en te

4,5

4,0

3,5

3,0

2,5

2,0

1,5

1,0
0 20 40 60 80 100 120 140
Lan a m en t os

Figura 2: Comportamento da mdia acumulada dos valores obtidos aps 150

lanamentos de dados.

8
 Tambm podemos analisar os sistemas em funo do tempo de simulao, nesse
caso, separa-se os sistemas em terminais, que tem tempo conhecido de execuo dos
no terminais, os quais no se sabe com certeza qual o momento do trmino da
simulao.
Exemplo de simulao terminal a simulao de nmero de atendimentos efetivos
em um Call Center que trabalha 8h por dia, 20 dias por ms. Um exemplo de simulao
no terminal a produo de ferro gusa de um alto forno de usina siderrgica que opera
24h por dia, todos os dias do ms.
A identificao de qual tipo de simulao implica em metodologias distintas na
anlise da sada dos dados.
Deve-se, a seguir, definir as medidas de desempenho adequadas, que varia de
sistema para sistema. A comparao ser realizada com o resultado da(s) medida(s) de
desempenho obtidas pelo simulador em funo de cada replicao ou rodada.
Uma rodada pode envolver diversas replicaes. A replicao a repetio da
simulao do modelo, de mesma configurao, mesma durao e parmetros de entrada,
mas com uma semente de gerao dos nmeros aleatrios diferentes.
Cada rodada pode ter configuraes, durao e parmetros de entrada distintos, e
pode ser entendida como um novo experimento.
A anlise dos resultados da(s) rodada(s) e ou replicao(es) varia de acordo com a
confiana estatstica desejado e apresenta diferentes precises. A confiana estatstica
est relacionada com o intervalo de confiana, um intervalo de valores que contm a
mdia da populao com uma certa probabilidade. A preciso refere-se ao tamanho
desse intervalo. De nada adianta uma confiana estatstica elevada para um tamanho de
intervalo to grande que nada se pode concluir sobre a mdia da populao.
.Um intervalo de confiana 100 (1-) % para a mdia de uma populao
construdo atravs da equao de Devore (2000), de acordo com as Equaes 3 e 4.
P ( x h x h)) 1 (3)
s
h t n 1, / 2 (4)
n

Onde x a mdia das amostras, h a preciso, t n 1, / 2 o (1-/2) percentil da

distribuio t de Student com n-1 graus de liberdade, s o desvio padro da amostra e n

o nmero de dados da amostra.

9
 Como exemplo, a partir da Tabela 2 de mdia de pessoas em fila para cada
replicao realizada, pode-se obter os intervalos de confiana apresentados na Tabela 3.
Nota-se que quanto maior a confiana, maior o intervalo, o que significa um sistema
menos preciso.
Tabela 2: Mdia de pessoas em fila por replicao

Replicao Mdia de Pessoas em Fila

1 6,72

2 2,00

3 0,38

4 1,28

5 0,46

6 0,19

7 0,14

8 1,30

9 0,12

10 2,85

Mdia de 10 replicaes 1,54

Desvio Padro 2,03

Tabela 3: Intervalos de Confiana

Preciso (metade do
intervalo) Intervalo de
Confiana
n 100(1 )%
t n1, / 2
s
Confiana da
h = t n1, / 2 Mdia ( x =1,54 )
n
10 99% 0,01 3,25 2,09 0 ,55 3,63
10 95% 0,05 2,26 1,45 0 ,09 3,00
10 90% 0,10 1,83 1,18 0 ,37 2 ,72
10 80% 0,20 1,38 0,89 0 ,65 2 ,43

10
 possvel descobrir o nmero necessrio de replicaes n* para se obter uma
preciso desejada h* dado um nmero conhecido de replicaes n e uma preciso
calculada h. A Equao 5 apresenta a frmula para se definir o nmero de replicaes
necessrias.

h 2
n n *
*
(5)
h

Em sntese, a anlise de dados para sistemas terminais deve passar pelos seguintes
passos:
1. Estabelecer as medidas de desempenho adequadas;
2. Escolher a confiana estatstica e a preciso com que se pretende trabalhar;
3. Definir, a partir da observao do sistema real, o tempo de simulao;
4. Construir a amostra piloto;
5. Determinar o nmero de replicaes necessrias;
6. Rodar o modelo novamente;
7. Calcular o novo intervalo de confiana.
Para sistemas no terminais pode-se utilizar trs tcnicas distintas, a saber:
Comear a simulao em um estado prximo daquele esperado em regime
permanente;
Rodar o modelo por um tempo de simulao longo;
Eliminar, dos dados de sada, todos os valores gerados durante o perodo
transitrio.
A seguir, deve-se utilizar os seguintes quatro passos para anlise de dados de
sistemas no terminais:
1. Estabelecer as medidas de desempenho adequadas;
2. Escolher a confiana estatstica e a preciso com que se pretende trabalhar;
3. Identificar o perodo de aquecimento (warm-up);
4. Determinar o tempo de durao da simulao;
a. O tempo de execuo curto: construir os intervalos de confiana a
partir de um conjunto de replicaes;
b. O tempo de execuo longo: construir lotes a partir de uma nica
replicao de longa durao e construir os intervalos de segurana.

11
 A comparao de resultados pode ser realizada para alternativas com mesmo
nmero de replicaes ou no. No caso de mesmo nmero de replicaes deve-se
realizar o teste esttico entre duas mdias xji , onde xji a observao obtida pela isima
replicao da alternativa j. A seguir, deve-se:
Calcular as diferenas entre x1i e x2i;
Calcular a mdia e desvio das diferenas;
Construir o intervalo de confiana [1, 2] para a mdia das diferenas;
Se o intervalo de confiana contiver o 0 nada se pode concluir. Se for totalmente
a direita do 0, ento a alternativa 1 tem maior mdia. Se for totalmente a
esquerda do 0, ento a alternativa 2 tem maior mdia.
No caso de comparao o teste semelhante ao anterior, mas a mdia e varincia
so calculadas para cada alternativa separadamente. O intervalo de confiana com
100(1-)% dado por:
Diferena das mdias tv,2 .(s1^2 n1 + s2^2 n2)^0.5 , onde v o nmero de
graus de liberdade que pode ser obtido pela expresso (arredondado para o
inteiro acima) v = (s1^2 n1 + s2^2 n2)^2 [(s1^2 n1) ^2 (n1-1) + (s2^2 n2) ^2
(n2-1)]

12
5. Atividades

Relatrio (10 pontos)

1) Com base no modelo computacional realizado no MATLAB e ARENA (Mdulo 3),
corrija os tempos e percentuais de separao de pea acordo com a Tabela 4, mantendo
a sequncia de separao comeando com peas pequenas, mdias e grandes, para
depois retirar as peas metlicas (refugo). Refaa as 10 replicaes para uma entrada
com mdia de 5 segundos, exponencialmente distribuda; e avalie a diferena
encontrada no relatrio do mdulo 3.
Tabela 4: Tempo de separao e percentual por tipo de pea
Tipo de Pea Tempo de Separao (ms) Percentual de Pea
Pequena 2400 250 (distr. Normal) 25%
Mdia 4400 250 (distr. Normal) 25%
Grande 6000 250 (distr. Normal) 25%
Refugo (Metlica) 6400 250 (distr. Normal) 25%

2) Efetue a validao operacional dos dados do MATLAB e do ARENA atualizados,

mas para uma rodada cujo modelo primeiro refugue as peas para, em seguida, separar
grandes, mdias e pequenas. As Tabelas 5 a 8 mostram o nmero de peas e os tempos
de cada caso real a ser considerado. Defina a(s) medida(s) de desempenho que achar
conveniente(s). Teste as nove medidas listadas no exerccio 3.
Tabela 5: Dados do primeiro caso real

13
Tabela 6: Dados do segundo caso real

Tabela 7: Dados do terceiro caso real

Tabela 8: Dados do quarto caso real

3) Realize o clculo da preciso para 20 replicaes do caso em que as peas so

refugadas primeiro por um perodo de 20 dias teis de trabalho, 8 horas por dia, com
de 95%. Calcule o nmero de replicaes para reduzir a preciso para metade do valor

14
encontrado inicialmente. Realize as replicaes necessrias e recalcule a preciso at
que a mesma seja realmente menor que metade da preciso com 20 replicaes

4) Refaa o exerccio anterior para uma rodada em que as peas so refugadas ao final e
compare os resultados com o exerccio 3, para 20 replicaes, nas mesmas condies.
Informe qual dos dois cenrios (refugo ao final e refugo no incio) tem maior
produtividade, ou seja, compare os resultados e informe qual tem maior mdia de item
totais processados no perodo.

15
Referncias Bibliogrficas

Chwif, L, Medina, A.,C. Modelagem e simulao de eventos discretos: Teoria e

Prtica. 2. Edio, So Paulo, Ed. Dos Autores, 2006.

Devore, J. Probability and statistics for engineering and sciences. 5. ed. Pacific
Grove: Duxbury Press, 2000.

Kleijnen, J.P.C. Verification and validation of simulation models. European

Journal of Operational Research, v. 82, n.1, p. 145-162, 1995.

16