Universidade Federal do Amazonas UFAM

Instituto de Computao Icomp

Programa de Ps-graduao em Informtica - PPGI

Anlise
Estatstica
RIVERO, Luis, KALINOWSKI, Marcos, CONTE, Tayana. Practical
Findings from Applying Innovative Design Usability Evaluation
Technologies for Mockups of Web Applications.

Gabriel de Souza Leito

Objetivos
1. Identificar se necessrio treinamento para introduzir
tecnologias DUE na indstria
2. Prever o uso de tecnologias por parte de profissionais
de desenvolvimento de software.

3. Identificar eventuais oportunidades de melhorias e

perspectivas industriais adicionais, a partir do ponto de
vista dos desenvolvedores para melhorar as
tecnologias e seus resultados

Objetivos
1. Foram avaliados os indicadores de eficcia e de eficincia
das tecnologias DUE quando aplicadas com e sem
treinamento.
2. Este indicadores so importantes porque fornecem
informaes sobre a capacidade de uma tcnica de
inspeo em ajudar os inspetores durante a identificao de
problemas.

3. Para estes indicadores, foram usadas as seguintes

definies:
1. Eficcia: Razo entre o nmero de defeitos
detectados e o total de defeitos existentes.
2. Eficincia: Razo entre o nmero de defeitos
detectados e do tempo gasto em encontr-los.

Hipteses
H01: No h nenhuma diferena, em termos de eficcia,
no uso das tecnologias DUE para encontrar problemas de
interao do usurio com ou sem formao.
HA1: As tecnologias DUE Web apresentam uma diferena
no indicador de eficcia, quando aplicadas sem
treinamento.
H02: No h nenhuma diferena, em termos de eficincia,
no uso das tecnologias DUE para encontrar problemas de
interao com ou sem formao.
HA2: As tecnologias DUE Web apresentam uma diferena
no indicador de eficincia, quando aplicadas sem
treinamento.

Anlise Quantitativa
As tabelas a seguir agrupam os resultados por inspetor e
tcnica publicados pelo autor do artigo.
Foi encontrado um erro no artigo na Tabela Sujeitos Sem
Treinamento. Isso alterou parcialmente alguns dos resultados
obtidos por esta anlise em relao ao feito por Rivero et al.
O erro do autor est na coluna do inspetor 03, na linha Total
Defects. No original est escrito 09, enquanto que o valor
correto 13. Nesta anlise, foi utilizado o valor corrigido.
Essa modificao alterou, principalmente, os valores de eficcia
e eficincia do inspetor e, assim, as respectivas mdias gerais.

Anlise Quantitativa dados do autor

Anlise Quantitativa dados desta Anlise

Anlise Quantitativa
Conforme visto anteriormente nas Tabelas e indicado pelo autor,
para o clculo do indicador de eficcia foi utilizado o valor de
189 que o nmero total de defeitos.
Nesta Anlise, foi utilizado o software Microsoft Excel (verso
2010 - Student) com o plugin SigmaXL (verso 6.7 - Trial) que
permite clculos e plotagem de grficos de Estatstica Descritiva
e de Inferncia Estatstica.

Anlise Quantitativa
Assim como o autor:
Foi utilizado o valor de = 0.05.
Para comparar os indicadores de eficcia e de eficincia foram
feitas anlises com Mann-Whitney e Boxplot.
Como informaes adicionais:
Foram calculados os valores de Mdia, Desvio Padro,
Intervalo, Mnimo, Mximo, Percentis 25, 50 e 75, Mdia e
Sigma do Coeficiente de Varincia, Teste de Normalidade de
Anderson-Darling, entre outros testes.

Foram plotados os grficos:

Histograma (eficcia e eficincia)
Disperso (defeitos encontrados por tempo em min)

Mann-Whitney (Eficcia)

Mann-Whitney (Eficincia)

Anlise Quantitativa
De acordo com os resultados de Mann-Whitney, no o
possvel rejeitar as Hipteses Nulas (H01 e H02), pois, no h
uma diferena significante nos indicadores de eficcia e
eficincia com ou sem treinamento.
Eficcia: p = 0,4699
Eficincia: p = 0,1358
Apesar disso, podemos observar que tanto no indicador de
eficcia, quanto no de eficincia, o valor da mediana um
pouco maior para os inspetores com treinamento.

Boxplot (Eficcia)

Boxplot (Eficincia)

Anlise Quantitativa
Analisando os Boxplot, chegamos s concluses de que:

O valor da mediana do grupo com treinamento

ligeiramente maior do que a mediana do grupo sem
treinamento.
Sendo que:
A mediana da eficcia muito prxima para os dois
grupos;
A mediana da eficincia visivelmente maior para o
grupo com treinamento.

O grfico pode sugerir que, na verdade, o treinamento

ajudou, especialmente, nos resultados de eficincia.

Grfico de Disperso (Defeitos x Sujeitos)

Grfico de Disperso (Defeitos x Sujeitos)

Anlise Quantitativa
O grfico por disperso indica que:

Para os sujeitos sem treinamento, a maior concentrao est

entre 40 e 100 min e entre 10 e 30 defeitos encontrados.
Para os sujeitos com treinamento, a concentrao fragmentada
em relao ao tempo, mas h uma concentrao entre 10 e 40
defeitos encontrados. Visualmente, houve uma melhoras, mas,
aparentemente no muito significativa.

Nos slides a seguir, so apresentados os clculos adicionais

mencionados no incio desta apresentao.

Estatstica Descritiva (Eficcia)

Histograma (Eficcia)

Estatstica Descritiva (Eficincia)

Histograma (Eficincia)

Anlise Quantitativa
Para os dois indicadores (Eficincia e Eficcia) foram utilizados
o Teste de Normalidade de Anderson-Darling.
Atravs dele obteve-se os seguintes dados:
Eficcia com treinamento: 0,5011
Eficcia sem treinamento: 0,6030
Eficincia com treinamento: 0,1749
Eficincia sem treinamento: 0,6222
O Histograma ajuda a visualizar melhor a distribuio.

Telas (Mann-Whitney) Eficcia

Telas (Mann-Whitney) Eficcia

Telas (Mann-Whitney) Eficcia

Telas (Mann-Whitney) Eficcia

Telas (Mann-Whitney) Eficcia

Telas (Mann-Whitney) Eficcia

Telas (Mann-Whitney) Eficincia

Telas (Mann-Whitney) Eficincia

Telas (Mann-Whitney) Eficincia

Telas (Mann-Whitney) Eficincia

Telas (Mann-Whitney) Eficincia

Telas (Mann-Whitney) Eficincia

Boxplot Eficcia

Boxplot Eficcia

Boxplot Eficcia

Boxplot Eficcia

Boxplot Eficcia

Boxplot Eficcia

Boxplot Eficcia

Boxplot Eficcia

Boxplot Eficcia

Boxplot Eficincia

Boxplot Eficincia

Boxplot Eficincia

Boxplot Eficincia

Boxplot Eficincia

Boxplot Eficincia

Boxplot Eficincia

Boxplot Eficincia

Grfico de Disperso Com Treinamento

Grfico de Disperso Com Treinamento

Grfico de Disperso Com Treinamento

Grfico de Disperso Com Treinamento

Grfico de Disperso Com Treinamento

Grfico de Disperso Sem Treinamento

Grfico de Disperso Sem Treinamento

Grfico de Disperso Sem Treinamento

Grfico de Disperso Sem Treinamento

Grfico de Disperso Sem Treinamento

Grfico de Disperso Sem Treinamento

Estatstica Descritiva - Eficcia

Estatstica Descritiva - Eficcia

Estatstica Descritiva - Eficcia

Estatstica Descritiva - Eficcia

Estatstica Descritiva - Eficcia

Histograma - Eficcia

Histograma - Eficcia

Histograma - Eficcia

Histograma - Eficcia

Histograma - Eficcia

Histograma - Eficcia

Estatstica Descritiva - Eficincia

Estatstica Descritiva - Eficincia

Estatstica Descritiva - Eficincia

Estatstica Descritiva - Eficincia

Histograma - Eficincia

Histograma - Eficincia

Histograma - Eficincia

Histograma - Eficincia