Indicadores para avaliao de websites

Clorisval Pereira Jr.

PUC-Rio/Rede Nacional de Pesquisa
Estrada Dona Castorina, 110
(22460-320) Rio de Janeiro, RJ, Brasil
+ 55 (21) 274-7445 (e 239-2436 FAX)
cjunior@nc-rj.rnp.br
Rodolfo Capeto
ESDI-UERJ/Rede Nacional de Pesquisa
Estrada Dona Castorina, 110
(22460-320) Rio de Janeiro, RJ, Brasil
+ 55 (21) 274-7445 (e 239-2436 FAX)
rcapeto@nc-rj.rnp.br
RESUMO
Diversos fatores influenciam a usabilidade de websites. Planejamento e gesto da informao,
modelos de navegao e orientao no sistema, preveno de erros, consistncia e
flexibilidade, aspectos visuais e estticos, aspectos tecnolgicos, so alguns desses fatores que
devem ser observados para garantir a funcionalidade, usabilidade e eficincia de um website.
Sendo a Web um veculo ainda em consolidao, comum encontrar nela projetos que
dispem de grandes investimentos tcnicos, humanos e financeiros, mas falham de alguma
forma no processo de interao com o usurio. Este trabalho apresenta indicadores que podem
ser usados para avaliar e identificar problemas em diferentes aspectos do projeto de um
website, servindo como um instrumento de diretrizes e checklist, auxiliando e
complementando avaliaes de usabilidade em websites.
Palavras-chave
Avaliao de websites. Usabilidade em websites.
1. INTRODUO
Indicadores e listas de verificao de diretrizes e critrios para projetos de interface de
software so um instrumento prtico e de baixo custo para auxiliar avaliaes de usabilidade
em sistemas computacionais. Para o desenvolvimento de uma lista de indicadores para
avaliao de websites, este trabalho considerou trs importantes instrumentos criados para
verificao de aspectos de usabilidade em interfaces de software, a saber: o QUIS,
Questionnaire for User Interaction Satisfaction, do Laboratory for Automation Psychology, da
Universidade de Maryland; o ErgoList, um checklist ergonmico desenvolvido pelo LabiUtil,
Laboratrio de Usabilidade em conjunto com o Ncleo Softex de Florianpolis, SC; e o WAMMI,
Website Analysis and MeasureMent Inventory, um servio de avaliao de websites
desenvolvido pela Nomos Management AB.
O QUIS e o Ergolist foram desenvolvidos para avaliao de interfaces de software em geral e
consideram diversos aspectos ergonmicos do processo interativo. Para o nosso caso,
observamos a necessidade de um modelo de avaliao que considerasse aspectos mais
especficos e caractersticos de interfaces de software desenvolvidas para a Web.
O WAMMI um servio comercial desenvolvido especificamente para avaliao de websites
que permite avaliar a usabilidade de um site a partir de um questionrio que respondido
pelos usurios do site.
Nielsen (2000) observa que mtodos de engenharia de usabilidade contribuem
substancialmente em projetos de interface de software desde que sejam realmente usados
durante o ciclo de desenvolvimento do projeto, e prope uma abordagem de baixo custo para
realizao de inspees de usabilidade a partir da conduo de avaliaes heursticas, que
podem ser desenvolvidas por avaliadores especialistas, sem demandar grandes investimentos
em tecnologias ou amostragem de usurios. A partir de lista original de heursticas de
usabilidade desenvolvidas por Molich e Nielsen (1994), Nielsen (1998) passa a propor um
conjunto revisado de 10 heursticas bsicas que podem cobrir os principais problemas de
usabilidade em interfaces de software. Este conjunto de heursticas tambm foi discutido e
revisado por Instone (1997).
A partir dos modelos do QUIS, do Ergolist, e do WAMMI, e considerando o modelo de avaliao
heurstica de Nielsen, este trabalho prope uma lista de indicadores para avaliao especfica
de websites considerando aspectos em 11 categorias. Diferentemente do WAMMI, que coleta
os dados a partir de respostas dos usurios, o modelo proposto nesse trabalho pode ser usado
como um instrumento de verificao e checklist por um especialista participando do ciclo de
desenvolvimento do projeto.
Tambm foram considerados aspectos relacionados a acessibilidade e conformidade tcnica a
partir das recomendaes do W3C, World Wide Web Consortium, o consrcio responsvel pela
especificao e manuteno dos padres internacionais da Web.
2. Categorias dos indicadores de avaliao
1. Tratamento da informao
Esta categoria avalia como a informao e o contedo do site so gerenciados, considerando
aspectos como adequao ao perfil da instituio, clareza, relevncia e organizao.
Questes a serem verificadas:
as informaes disponveis so adequadas s necessidades do perfil da instituio?
possvel perceber de forma global a abrangncia de contedo do site?
a informao fornecida em nveis progressivamente mais detalhados, de acordo com a
necessidade?
as informaes disponveis esto atualizadas?
o site est bem indexado pelos principais engenhos de busca?
2. Compatibilidade do sistema com o contexto e linguagem do usurio
Esta categoria trata do uso de linguagem, sua adequao com o perfil do usurio do site, com
o contexto de uso e considerando o bom uso das normas gramaticais da lngua portuguesa.
Questes a serem verificadas:
os termos usados no site para descrever funes, pginas, sees, vnculos, indicam de
forma clara o que eles representam?
a linguagem utilizada adequada ao tipo de usurio do site?
o uso de abreviaes evitado e siglas, smbolos tcnicos, unidades de medida so usados
de forma padronizada e correta?
as informaes seguem o correto uso de tempos verbais e da gramtica da lngua
portuguesa?
3. Reconhecimento e orientao no sistema
Esta categoria avalia o potencial que tem o usurio de navegar no site de maneira eficiente,
mantendo o reconhecimento de identificao e hierarquias da informao.
Questes a serem verificadas:
as pginas possuem ttulos de identificao tanto nas barras de janela como na rea de
contedo?
a estrutura de organizao hierrquica das informaes do site de fcil aprendizado e
memorizao?
fcil navegar entre as diferentes sees do site a partir de qualquer pgina?
o site fornece identificao da instituio e referncias para contato em todas as pginas?
4. Visibilidade do sistema
Esta categoria avalia se o sistema transparente quanto ao uso de funcionalidades e quanto ao
gerenciamento de documentos e arquivos.
Questes a serem verificadas:
so apresentadas informaes de verso e data de atualizao tanto para as prprias
paginas do site como para os documentos e arquivos disponveis no site?
arquivos em formato no HTML e outros documentos disponveis para download
apresentam informao de tipo, formato e tamanho em bytes?
vnculos para pginas ou aplicativos externos e para acionamento de plug-ins so
identificados?
vnculos e elementos de navegao mostram claramente seu estado (ativo, inativo,
visitado)?
5. Consistncia e padres
Esta categoria avalia se o sistema mantm coerncia entre as pginas e quanto forma de
apresentao das informaes.
Questes a serem verificadas:
a disposio e localizao dos diferentes elementos de interface (cabealhos, rodaps,
reas de navegao) so mantidas de forma consistente em todas as pginas do site?
os formatos de apresentao de informaes, estilos de fontes, cores, etc. so usados de
forma consistente e padronizada em todo o site?
h consistncia entre ttulos dos vnculos, os ttulos das pginas vinculadas e o contedo
acessado?
6. Aspectos visuais, esttica, legibilidade e design
Esta categoria avalia a qualidade formal do site e o planejamento visual do arranjo das
informaes.
Questes a serem verificadas:
o aspecto visual do site atraente e adequado ao perfil da instituio?
os elementos de informao so dispostos nas pginas de forma organizada e racional?
existe boa distino visual entre os diferentes elementos de interface, elementos de
navegao, elementos de contedo?
so usadas variaes de hierarquia tipogrfica para distinguir diferentes partes do texto, de
forma clara e organizada?
7. Flexibilidade e eficincia
Esta categoria avalia a flexibilidade do uso do site e a eficincia dos processos de interao.
Questes a serem verificadas:
o site permite atingir contedo de interesse com um mnimo de clicks?
o site projetado de forma a permitir acesso rpido a informaes mesmo em conexes
lentas, minimizando o tempo de download das pginas?
o site permite fazer o 'bookmark' das pginas de interesse para consulta futura, garantindo
tambm a manuteno da referncia ao longo do tempo?
o site projetado de forma a permanecer acessvel independentemente de tipos e verses
de hardware ou software?
as pginas do site imprimem sem perder formatao?
8. Controle e liberdade do usurio
Esta categoria avalia se o usurio est sempre consciente de todos os processos envolvidos na
interao com o site.
Questes a serem verificadas:
o usurio pode controlar o processo de navegao de forma conveniente e de acordo com
sua necessidade ou interesse?
funcionalidades ou aplicaes externas so executadas sempre a partir da iniciativa ou com
o consentimento do usurio?
9. Preveno de erros e recuperao
Esta categoria avalia se o site administra a ocorrncia de erros com eficincia.
Questes a serem verificadas:
o site projetado de forma a minimizar a ocorrncia de erros?
na ocorrncia de um erro fornecida uma soluo, uma opo de contato tcnico ou uma
forma de retomar a navegao?
o texto das mensagens de erro significativo e identifica o tipo de problema ocorrido?
10. Suporte ao usurio
Esta categoria avalia a qualidade do suporte ao usurio quanto sua interao com o site.
Questes a serem verificadas:
so fornecidas referncias para contato com a instituio ou com a equipe de manuteno
do site?
as pginas do site apresentam suporte ao esclarecimento de dvidas?
o site oferece suporte busca e recuperao de informaes?
11. Conformidade tcnica
Esta categoria indica a conformidade do site com padres e diretrizes de acessibilidade,
validao de cdigo e mtodos de manuteno.
Questes a serem verificadas:
o cdigo HTML do site vlido em conformidade com uma das especificaes definidas pelo
W3C?
o site fornece aos engenhos de busca palavras-chave e descrio apropriadas aos objetivos
e atividades da instituio?
o site faz bom uso do HTML, dando preferncia marcao estrutural, independente da
apresentao?
o cdigo HTML adequadamente documentado para melhor manuteno?
3. Aplicao do mtodo de avaliao
Esta lista de indicadores foi aplicada em uma avaliao do website da Rede Nacional de
Pesquisa. Para proceder avaliao, foram selecionados 5 avaliadores em diferentes setores
da instituio: Operaes, Informaes, Administrao, Capacitao, Design. Desta forma
buscou-se diferentes perfis de avaliadores para garantir diferentes focos de observao sobre
os problemas.
Cada questo a ser avaliada recebeu uma pontuao de 0 a 4. Para cada categoria, foram
considerados o somatrio total de pontos e o nmero de pontos para extrair o percentual de
pontuao de cada categoria.
Exemplo de uma avaliao de categoria:

1. tratamento da informao
. as informaes disponveis atendem as necessidades do perfil da instituio?
0 1 2 3 4
apesar de poder melhorar, o trabalho de informaes est bem feito. talvez
poderiam ter mais informaes sobre o uso do backbone e os artigos tcnicos
mereciam um apuro melhor no tratamento e indexao.
. possvel perceber de forma global a abrangncia de contedo do site?
0 1 2 3 4
o site permite uma boa relao entre viso global e viso local. talvez um mapa
do site bem completo deve ser explorado com funcionalidade de busca
. o detalhamento da informao fornecido de acordo com a necessidade?
0 1 2 3 4
o site oferece um bom benefcio de contedo mas os nodos hipertextuais e
informaes relativas a tpicos de interesse local poderiam ser melhor
explorados.
. as informaes disponveis so atuais?
0 1 2 3 4
o site tem um bom trabalho de atualizao. quase nota mxima. mas as
notcias poderiam estar um pouco mais adiante no tempo em vez de correndo
atrs do prejuzo. e de vez em quando uma informao desatualizada passa
em branco. poderiam ser estudadas controles automticos de verses e
atualizaes.
. o site est bem indexado junto aos principais engenhos de busca?.
0 1 2 3 4
possui boa indexao em alguns. mas vale a pena uma reviso desse aspecto.

pontuao total: 20 - pontuao obtida: 15
porcentagem obtida: 75%

ndices de pontuao:

acima de 96%: timo superior
de 91% a 95%: timo
de 81% a 90%: bom superior
de 71% a 80%: bom
de 61% a 70%: regular superior
de 51% a 60%: regular
de 41% a 50%: regular inferior
de 31% a 40%: ruim
de 21% a 30%: ruim inferior
de 11% a 20%: pssimo
de 0% a 10%: pssimo inferior

4. Discusso
Os indicadores apresentados neste trabalho permitiram realizar, com baixo custo, uma
avaliao dos principais problemas de funcionalidade e usabilidade no website da Rede
Nacional de Pesquisa. Estes indicadores ajudam a observar problemas especficos que podem
ocorrer no desenvolvimento de websites e que no se aplicam a outros tipos de interfaces de
sistemas computacionais.
Para aplicao desta avaliao, observamos que cada avaliador precisa ter conhecimentos
mnimos sobre os critrios sendo avaliados. Em alguns casos, uma pequena preparao a
partir de reunies e discusses sobre os tpicos a serem observados podem ajudar a
esclarecer algum ponto da lista de indicadores que no seja de familiaridade do avaliador.
Esta avaliao demanda algumas horas de trabalho de cada avaliador, mas proceder-se a esta
avaliao especializada pode trazer bons resultados para o desenvolvimento do projeto, e ela
se mostra menos dispendiosa do que trabalhar com uma grande amostra de usurios ou com
laboratrios de usabilidade. No entanto, vale ressaltar que esta avaliao pode ser usada de
forma complementar a outros testes de usabilidade. O resultado geral obtido a partir destes
indicadores pode apontar para avaliaes e testes mais especficos a serem desenvolvidos.

REFERNCIAS
organizaes:
LabUtil: Laboratrio de Utilizabilidade. INE-CTC-UFSC. http://www.labiutil.inf.ufsc.br/
useit.com: Jakob Nielsen's Website. http://www.useit.com/
W3C: World Wide Web Consortium. http://www.w3.org/
modelos de avaliao de interface de software:
ErgoList. LabUtil: Laboratrio de Utilizabilidade. INE-CTC-UFSC. http://www.labiutil.inf.ufsc.br/
QUIS, Questionnaire for User Interaction Satisfaction. Laboratory for Automation Psychology, University
of Maryland; http://www.lap.umd.edu/QUISFolder/; citado por Schneiderman, Ben. Designing the User
Interface. Addison Wesley, Reading, Massachusetts (1998)
WAMMI, Web Analysis and MeasureMent Inventory. Nomos Management AB. Sweden.
http://www.wammi.com/
publicaes:
Instone, Keith. (1997) Usability Heuristics for the Web.
http://webreview.com/97/10/10/usability/sidebar.html (em janeiro, 2000)
Nielsen, Jakob. (1994) Heuristic evaluation. Em Nielsen , J and Mack, R (eds.) Usability Inspection
Methods. New York: John Wiley & Sons, Inc.
Nielsen, Jakob. (1998) Heuristic evaluation. http://www.useit.com/papers/heuristic/ (em janeiro, 2000)
Nielsen, Jakob. (2000) Designing Web Usability. Indiana: New Riders Publishing.