Mtodo de avaliao de usabilidade de software

a partir da satisfao de usurios e

da aplicao de quesitos da norma ISO 9241

Marco Aurlio Medeiros
Ps-Graduao em Engenharia de Produo
Universidade Federal de Santa Catarina
Laboratrio de Utilizabilidade de Informtica
(88040-901) Florianpolis, SC, Brasil
0XX 48 3317549
MARCOM@Amdocs.com
Walter de Abreu Cybis
Ps-Graduao em Engenharia de Produo
Universidade Federal de Santa Catarina
Laboratrio de Utilizabilidade de Informtica
(88040-901) Florianpolis, SC, Brasil
0XX 48 3317549
cybis@inf.ufsc.br

RESUMO
Este artigo apresenta uma atividade de avaliao da satisfao de clientes de empresas
fornecedoras de software a partir do questionrio ISONORM, baseado nos princpios de dilogo
previstos na parte 10 da norma ISO 9241. O artigo mostra ainda como associar o grau de
satisfao dos usurios e os quesitos de diversas partes da norma ISO 9241, para a
identificao objetiva de falhas de usabilidade dos sistemas.
1 INTRODUO
Nos ltimos anos, instituies reguladoras, reconhecendo a importncia da ergonomia no uso e
projeto de equipamentos de terminais de vdeo, tm desenvolvido padres, guias e
regulamentaes que visam proteger a sade, segurana, conforto e eficincia dos usurios de
computador.
Os padres ergonmicos exercem um importante papel no aprimoramento da usabilidade dos
sistemas, atravs da melhoria da consistncia da interface com o usurio e da qualidade
ergonmica de seus componentes [STEWART 95]. Estes padres ajudam os projetistas a obter
sistemas e componentes que podem ser usados de maneira eficaz, eficiente, segura e
confortvel. Tambm auxiliam a reduzir a desnecessria variedade de software e hardware,
assegurando que os benefcios de quaisquer variaes sejam plenamente justificveis.
O padro ISO voltado para usabilidade, cuja discusso encontra-se em estado mais adiantado
a norma internacional ISO 9241 Ergonomic Requirements for Office Work with Visual
Display Terminals (VDT). importante para este artigo citar que uma NBR (Norma Brasileira
Registrada) correspondente a esta norma ISO e que leva o nome de Requisitos ergonmicos
para o trabalho de escritrio com computadores encontra-se em fase de elaborao desde
junho de 1999. Espera-se a publicao das partes 1 e 10 desta norma ainda para o ano 2000
(www.abnt.com.br).
Paralelamente, outros padres, que focalizam a usabilidade de sistemas de software,
encontram-se em desenvolvimento:
ISO 14915 - Multimedia User Interface Design - Ergonomic Requirements for
human-centred multimedia interfaces;
ISO 11064 - Ergonomic Design of Control Centres;
ISO 13407 - Human-Centred Design Process for Interactive Systems.
O trabalho de definio de padres tem impacto direto no setor de desenvolvimento de
software, por duas razes [SYSCON 99]:
os maiores fornecedores de software so grandes corporaes que atuam no
mercado internacional. Por isso, as melhores e mais efetivas solues tm que ter
aplicabilidade internacional;
a CEN Organizao de Padronizao Europia optou por adotar as padronizaes
da ISO no mercado interno da Comunidade Econmica Europia. A padronizao da
CEN substitui padres nacionais na Unio Europia e nos pases membros da rea
de Livre Comrcio Europia. Esta diretiva pode tornar-se uma dificuldade adicional
no caso de empresas brasileiras exportadoras de software.
No setor de informtica, como nos demais setores da economia, perceptvel a tendncia de
busca da conformidade dos sistemas da qualidade com as normas da srie ISO 9000. Dados
da SEPIN Secretaria de Polticas de Informtica e Automao - [SEPIN 99], de fevereiro de
1999, apontam 166 empresas de informtica, das quais aproximadamente 40 atuando no
desenvolvimento de software, com seus sistemas da qualidade auditados e em conformidade
com a norma ISO 9001 ou 9002.
No requisito 4.20, demanda-se do fornecedor o estabelecimento de tcnicas estatsticas que
mensurem a capacidade de processo [MARANHO 94] e, mais recentemente, os indicadores de
satisfao dos clientes com relao aos produtos e servios fornecidos. A opo preferencial
para suprir este requisito a adoo de questionrios de avaliao de satisfao ad-hocs que
examinam critrios de qualidade definidos de forma heurstica pelas empresas.
A substituio destes critrios heursticos por princpios normativos, como os fornecidos pela
ISO 9241-10, por exemplo, tende a permitir:
classificar os indicadores de satisfao obtidos: pode-se, alm de obter um indicador
geral, determinar indicadores para cada princpio de dilogo descrito na norma
(Adequao Tarefa, Auto-descrio, Controlabilidade, Conformidade com as
Expectativas do Usurio, Tolerncia a Erros, Suporte Individualizao, Adequao
ao Aprendizado);
determinar metas para os graus de satisfao globais e de cada princpio;
atuar pontualmente: ao se detectar indicadores com grau de avaliao indesejveis,
pode-se buscar formas de atuao especfica sobre os critrios considerados
insatisfatrios, de forma a reduzir as falhas;
abordagem metdica: a partir da correlao entre as partes da norma, pode-se
buscar mecanismos para elevar os indicadores. Por exemplo, se o indicador de
controlabilidade de um produto que utiliza a metfora de formulrios estiver abaixo
dos nveis desejados, pode-se buscar amparo na parte 17 da norma, que trata de
preenchimento de formulrios, para identificar as falhas apresentadas e alternativas
de correo.
2 A IMPORTNCIA DA USABILIDADE PARA A SATISFAO DO USURIO
Os computadores tornam-se mais e mais importantes no espao de trabalho. To difundida
quanto o prprio computador no dia-a-dia a idia que a informtica agiliza e facilita a
execuo das tarefas originalmente manuais. No entanto, [EBERTS 94] relata estudos, que
concluem que interfaces projetadas de maneira incorreta fazem com que essa no seja uma
verdade absoluta. Por essa razo, algumas vezes a execuo de uma tarefa informatizada
mais difcil e consome mais tempo :
[HANSEN 78] conclui que estudantes que fizeram provas informatizadas levaram,
em mdia, o dobro do tempo que levariam para fazer o mesmo teste usando lpis e
papel: questionados quanto razo do tempo extra, os estudantes responderam
que o gastaram tentando descobrir como usar o computador.
[GOULD 81] analisando o trabalho de usurios de computador, chegou concluso
que escrever uma carta em um processador de texto requeria, em 1981, at 50%
a mais de tempo do que escrever mo.
Embora no sejam exatamente atuais, estes estudos colocam em questo a usabilidade do
software moderno, concebido para ser utilizado com interface grfica e ser suportado por
hardware dotado de maiores recursos. [PRUMPER 93] demonstra que a melhoria de
usabilidade devido a simples evoluo tecnolgica no evidente. Em pesquisa baseada em
um questionrio elaborado a partir da norma ISO 9241-10, 350 usurios de software na
Alemanha expressaram suas opinies com relao utilizao de produtos com interface
grfica e de outros, com interfaces tradicionais (modo caractere). Os resultados alcanados
pelos produtos com interface grfica deixaram muito a desejar, tendo tido avaliaes
levemente superiores as interfaces tradicionais.
Considerando estes aspectos, evidente que a usabilidade uma necessidade elementar para
sistemas de software interativo. Produtos com baixa usabilidade so, geralmente, responsveis
por frustrao, ansiedade, baixa produtividade e, em casos extremos, por abandono do
software [EBERTS 94]. [Cybis et Michel, 1999], por exemplo, demostraram ser significativas
as interferncias na manifestao poltica dos eleitores brasileiros causadas por problemas de
usabilidade na interface da urna eletrnica empregada nas eleies municipais de 1996.
3 AVALIAO DE USABILIDADE COMBINANDO SATISFAO DO USURIO E ISO 9241
O grau de satisfao dos clientes de empresas fornecedoras de software, pelo menos no que
se refere ao produto, est ligado, tanto sua utilidade como ao grau de usabilidade do
produto. Assim, os questionrios de avaliao da satisfao de clientes com relao a produtos
de software devem investigar tambm, o grau de usabilidade percebida por seus usurios.
Este artigo apresenta uma proposta de avaliao de usabilidade de sistemas a partir da
avaliao da satisfao de clientes da empresa Softplan Planejamento e Sistemas, de
Florianpolis, fornecedora de um Sistema de Informaes Gerenciais destinado aos
Departamentos de Estradas de Rodagem Nacional e Estaduais.
Diversos fatores propiciaram a realizao desta atividade junto Softplan:
o Sistema da Qualidade da Softplan j tem sua conformidade com a ISO 9001
reconhecida e certificada, e o processo de projeto e desenvolvimento padronizado
e atende ao requisito 4.4 da Norma ISO 9001.
a aplicao de formulrios de avaliao de satisfao dos clientes j faz parte da
cultura da empresa, estando de acordo com o item 4.10 da mesma norma;
os clientes esto geograficamente distribudos por vrias regies do pas, o que
possibilita agregar avaliao influncias culturais distintas.
A estratgia incluiu a aplicao de questionrios para identificar o grau de satisfao dos
usurios no que se refere aos princpios de dilogo previstos na parte 10 da norma ISO 9241
(Ergonomic Requirements for Office Work with Video Display Terminals VDTs: Dialogue
Principles ). Posteriormente os indcios de problemas de usabilidade foram examinados com a
ajuda de quesitos especficos de diversas partes desta norma ISO. Cronologicamente, foram
realizadas as seguintes atividades:
identificao de um modelo de questionrio de avaliao;
definio de uma amostra de usurios.
anlise da satisfao do usurio
inspeo baseada na norma ISO 9241
IDENTIFICAO DE UM MODELO DE QUESTIONRIO
O modelo de questionrio teve que obedecer a alguns critrios mnimos:
possuir uma grande correlao com a norma usada e, preferencialmente ser dela
derivado;
ser conciso e objetivo;
j ter sido suficientemente aplicado anteriormente, tendo a validade de seus
resultados sido discutida e comparada com outras ferramentas de avaliao.
Com base nestes critrios foram analisados os trabalhos de:
[NORMAN 89], que descreve o QUIS Questionnaire for User Interaction
Satisfaction na Universidade de Maryland;
[OPPERMANN 97], que referencia o SUMI Software Usability Measurement
Inventory desenvolvido como parte do Projeto MUSIC Metrics for Usability
Standards in Computing do Programa ESPRIT;
[REITERER 93], que apresenta o EVADIS II Evaluation of User Interfaces uma
verso aprimorada do questionrio voltado especialistas desenvolvido por
Oppermann em 1988;
e, finalmente, [PRUMPER 99], que descreve brevemente o ISONORM 9241/10,
baseado na norma ISO 9241-10.
O questionrio ISONORM foi o escolhido por melhor atender aos critrios definidos,
especialmente, no que se refere validade dos resultados obtidos por este modelo de
questionrio. No trabalho citado, Prmper compara os resultados obtidos por um grupo de 31
usurios que efetuaram duas avaliaes de um mesmo produto: uma usando o QUIS, outra o
ISONORM. O trabalho conclui que o ISONORM, apesar de mais conciso, obteve resultados
similares e uma correlao de 73% com o QUIS.
Este questionrio apresenta questes organizadas em sete divises, conforme os princpios de
dilogo da ISO 9241-10 :Adequao Tarefa, Auto-descrio, Controlabilidade, Conformidade
com as Expectativas do Usurio, Tolerncia a Erros, Suporte Individualizao, Adequao ao
Aprendizado. Com o objetivo de reduzir o tempo de preenchimento do questionrio, para cada
princpio foram definidas, no mximo, cinco questes. As respostas encontram-se entre dois
plos, o esquerdo descreve o extremo negativo, e o direito, o positivo, conforme o exemplo
mostrado a seguir.
O software
--- -- - +/- + ++ +++
Requer muito tempo
para aprender
x Requer pouco tempo
para aprender
Tabela 1 Formato de questo colocada ao usurio

Os conceitos atribudos pelos usurios avaliadores so transformados em notas de acordo com
a seguinte equivalncia.
Conceito --- -- - +/- + ++ +++
Nota Equivalente 1 2 3 4 5 5 7
Tabela 2 Equivalncia nota x conceito

IDENTIFICANDO A AMOSTRA DE USURIOS
O Sistema de Informaes Gerenciais destinado aos Departamentos de Estradas de Rodagens
Nacional e Estaduais, e rgos afins foi o escolhido entre os vrios projetos da empresa, por
possuir a maior quantidade de mdulos. Assim, foram enviados questionrios para todos os
usurios (em uma quantidade estimada de 200) situados nos Estados de Santa Catarina,
Paran, Rio Grande do Norte, Bahia e Distrito Federal. Foram respondidos 31 questionrios,
representando 15,5% do total enviado.
Os usurios responderam 5 perguntas para cada um dos princpios da norma [ISO9241-10
94]:
Adequao Tarefa: avalia se o software d ao usurio suporte suficiente para que
as tarefas sejam executadas de maneira eficiente e efetiva;
Auto-descrio: Avalia se cada passo do programa imediatamente compreensvel
atravs de feedback do sistema ou atravs de explicaes quando solicitadas;
Controlabilidade: : avalia se o software permite que o usurio inicie e controle a
direo e o ritmo da interao;
Conformidade com as expectativas dos usurios: Avalia se o software consistente
e corresponde s caractersticas individuais do usurio como tarefa, conhecimento,
educao, experincia e convenes usualmente aceitas;
Tolerncia a Erros: avalia se o software atinge os resultados esperados apesar de
erros evidentes na entrada, requerendo nenhuma ou mnima ao corretiva por
parte do usurio;
Suporte Individualizao: avalia se o software facilmente modificado de forma a
adequar-se s necessidades das tarefas do usurio, preferncias e experincia
individuais;
Adequao ao Aprendizado: avalia se o software suporta e guia o usurio no
aprendizado do uso do sistema.
Os grficos a seguir caracterizam o perfil dos usurios participantes da pesquisa conforme os
seguintes aspectos:
experincia de uso do sistema: foram divididos em 3 categorias, segundo a
experincia de uso do sistema, em meses at 6 meses 35% da amostra, de 6 a
18 meses 55 % da amostra, mais que 18 meses 10 % da amostra ;
freqncia semanal de uso do sistema: foram divididos em 3 categorias, segundo a
carga horria semanal de uso do sistema at 8 horas 40% da amostra, de 8 a
20 horas 27 % da amostra, mais que 20 horas 33 % da amostra;
experincia na atividade: foram divididos em 3 categorias, segundo a experincia na
atividade para a qual o sistema foi desenvolvido, em meses at 12 meses 31%
da amostra, de 12 a 36 meses 24 % da amostra, mais que 36 meses 45 % da
amostra.

ANLISE DA SATISFAO DO USURIO

Figura 1 Mdias das notas dadas aos critrios

Os dados das avaliaes tabulados, verifica-se que os usurios manifestaram-se sensivelmente
favorveis a 3 aspectos dos produtos, que obtiveram mdias bastantes elevadas:
adequao tarefa, com mdia 6,10;
conformidade com as expectativas do usurio: 6,00;
adequao ao aprendizado, com mdia 6,03.
Contudo, alguns itens merecem estudo mais aprofundado visando interveno corretiva:
controlabilidade, com mdia 5,61. Este tipo de qualidade mais importante para
sistemas on-line, cujos tratamentos podem ser demorados ou para sistemas cujas
aes tenham uma estrutura sequencial extensa. Como os sistemas administrativos
avaliados no possuem estas caractersticas, as notas no to favorveis no
denotam um impacto to importante na tarefa, podendo ser minimizadas;
tolerncia a erros, mdia 5,45. Este tipo de qualidade geral e requer maior
ateno dos projetistas devido ao tipo de tarefa administrativa que os sistemas
apoiam, onde a potencialidade de erros significativa;
Suporte individualizao, mdia 5,74. Esta qualidade importante para os
usurios mais experientes na tarefa e na operao dos sistemas, sendo portanto
necessria uma anlise mais afinada da distribuio deste percentual entre os tipos
de usurios questionados;
Auto-descrio, com mdia 5,96: Este tipo de qualidade geral para qualquer tipo
de aplicao e estilo de interface e, a exemplo da tolerncia a erros, requer uma
ateno especial.
importante considerar o que dizem os que tm mais experincia na tarefa no que se refere
ao suporte individualizao. Assim, a estratificao das mdias segundo os perfis dos
usurios classificados por frequncia de uso semanal, experincia no uso do sistema (figura 2
e 3) demonstra uma tendncia importante de melhoria nas mdias de avaliao.

Figura 2 Mdias das notas estratificadas por experincia no uso do sistema

Figura 3 Mdias das notas estratificadas por freqncia de uso
Observa-se que quem usa mais o sistema o considera mais conforme a suas expectativas,
mais personalizvel e mais adequado tarefa. Mas o acha menos tolerante a erros, menos
controlvel e com feedback no to bom. Se estas so dimenses no to bem colocadas no
mbito geral, este quadro confirma ainda mais a necessidade de trat-las de forma prioritria
nas revises dos sistemas.

Figura 4 Mdias das notas estratificadas por experincia na atividade
evidente que quem tem mais experincia no programa o conhece melhor, devendo ter suas
observaes levadas em conta de forma especial. Neste caso, importante saber que estas
pessoas consideraram melhor as qualidades de conformidade com as expectativas do usurio e
de adequao tarefa, que representam importantes qualidades de operao. J estas
mesmas pessoas acham que o sistema no est no mesmo nvel no que se refere
controlabilidade, ao feedback e tolerncia a erros.
Conforme as estratificaes realizadas, verifica-se que as dimenses controlabilidade,
auto-descrio e tolerncia a erros foram no to bem avaliadas pelos usurios mais
freqentes e experientes na operao dos sistemas. Considerando que a dimenso de controle
no tenha um impacto to grande em sistemas administrativos, as qualidades de feedback e
de tolerncia a erros deveriam ser as priorizadas nas futuras revises dos sistemas.
INSPEO BASEADA NA NORMA ISO 9241
Na sequncia do estudo, elaborou-se uma matriz de correlao que associa cada questo do
ISONORM com os quesitos das partes 12, 13, 14, 15, 16 e 17 da norma. Como sua estrutura
sugere, para cada questo ISONORM foram listados os quesitos de diferentes partes que
devem ser aplicados em uma inspeo tcnica detalhada dos sistemas.

Verificar os seguintes itens da parte:
Para a questo 12 13 14 15 16 17
Oferece poucos recursos para automatizar
tarefas repetitivas?
4.3
6,9
7.7

Pequenos erros podem ter conseqncias
severas?
9.2.3
9.2.5
6.6
Tabela 3 Relao questo x quesito da norma ISO 9241
Assim, se a pergunta Pequenos erros podem ter conseqncias severas? obtiver uma
avaliao negativa, deve-se aplicar uma inspeo a partir dos critrios 9.2.3 e 9.2.5 da parte
13 da norma, e 6.6 da parte 15.
A elaborao desta matriz resultou da anlise emprica tanto das questes ISONORM como dos
quesitos das diversas partes da norma ISO 9241. A estrutura final selecionou 183 quesitos da
norma, que associados s questes ISONORM geraram um checklist de 278 itens de inspeo.
O item Tolerncia a Erros, cujas questes obtiveram os menores graus de satisfao na
pesquisa realizada, apontaram os critrios que posteriormente foram utilizados na inspeo do
produto da Softplan. Verificou-se primeiramente a aplicabilidade do critrio ao sistema e,
posteriormente, a aderncia do sistema ao quesito. As falhas identificadas atravs da aplicao
dos quesitos da norma ISO 9241, foram em sua maioria de fcil soluo, j que originam-se
de caractersticas no implementadas, ou insuficientemente implementadas, na toolkit
desenvolvida pela empresa.
4 CONCLUSES
O estudo realizado parece indicar que as boas prticas ergonmicas adotadas pela empresa
influenciam positivamente no grau de satisfao dos usurios dos produtos. De fato, [ROSA
99] mencionou que entre as prticas normais da empresa, no que se refere ao projeto de
produtos de software, destacam-se:
a elaborao de um guia de estilo da organizao permeado por preocupaes
ergonmicas;
os sistemas so desenvolvidos a partir de uma biblioteca de classes reutilizveis
construda pela prpria empresa. A elaborao destas classes cercada de
cuidadosos estudos ergonmicos [ROSA 99]. Este aspecto particularmente
interessante porque permite avaliar o quanto esta forma de desenvolvimento
influencia positivamente na satisfao dos clientes.
aplicao de um checklist ergonmico no projeto da interface de utilizao;
desenvolvimento de prottipos com validao junto ao usurio.
A forma de avaliao aqui apresentada mostrou-se til e prtica, permitindo atingir os
objetivos de:
servir como uma ferramenta de levantamento do grau de satisfao do usurio;
estabelecer como melhorias prioritrias exatamente os pontos considerados menos
satisfatrios por parte dos usurios.
partir das falhas apontadas pelos usurios para o processo de identificao de
causas e interveno corretiva baseada na norma ISO 9241.
5 REFERNCIAS BIBLIOGRFICAS
CYBIS, W.A. e MICHEL, G., 1999, Avaliao ergonmica da urna eletrnica: II Workshop de fatores
humanos e sistemas informatizados, Campinas, SP
EBERTS, R. 1994. User interface design. New Jersey: Prentice-Hall, 1994.
GOULD , J. 1981. Composing letters with computer-based text editors. Human Factors, 23, p. 831-833,
1981.
HANSEN, W.; DORING, R.; WHITLOCK, L., 1978 . Why an examination was slower on-line than on paper.
International Journal of Man-Machine Studies, 10, p. 507-519, 1978.
ISO. ISO 9241-10: ,1994 Ergonomic requirements for office work with visual display terminals (VDTs)
dialogue principles. Zurique, 1994.
MARANHO, M. ,1994 . ISO srie 9000: manual de implementao. 2. ed. Rio de Janeiro: Qualitymark,
1994.
NORMAN, K.; SHNEIDERMAN, B. , 1989. Questionnaire for user interaction satisfaction (quis 5.0). EUA:
Universidade de Maryland, HCI-Lab, 1989.
OPPERMANN, R.; REITERER, H. 1997. Software evaluation using iso 9241 evaluator. Behaviour &
Information Technology, v.16, n. 4/5, p. 232-245, 1997.
PRUMPER, J., 1993 . Software-evaluation based upon ISO 9241 part 10. In: Vienna Conference,
VCHCI93. Viena: 1993.
PRUMPER, J., 1999 . Test it: isonorm 9241/10. In: HCI International 99. 1999. Ainda no publicado
cpia gentilmente cedida pelo Dr. Prumper.
ROSA, M., 1999 . Consideraes ergonmicas na elaborao de guias de estilo uma ferramenta de
apoio concepo / projeto de formulrios. Florianpolis, 1999. Dissertao de Mestrado
apresentada ao Programa de Ps-graduao em Engenharia de Produo da UFSC.
SEPIN, 1999. EMPRESAS do setor de informtica com certificao. Braslia: MCT, Secretaria de Poltica de
Informtica e Automao, 1999. http://www.mct.gov.br/sepin/dsi/qualidad/ISOinfor.htm.
Consultado em 06/06/1999.
STEWART, T., 1995 .Display screen ergonomics. Londres: System Concepts, 1995.
SYSCON, 1999, Standards & Legislation. System Concepts, Londres, v. 5, n. 4, 1999.