PUC-Rio/Rede Nacional de Pesquisa Estrada Dona Castorina, 110 (22460-320) Rio de Janeiro, RJ, Brasil + 55 (21) 274-7445 (e 239-2436 FAX) cjunior@nc-rj.rnp.br Rodolfo Capeto ESDI-UERJ/Rede Nacional de Pesquisa Estrada Dona Castorina, 110 (22460-320) Rio de Janeiro, RJ, Brasil + 55 (21) 274-7445 (e 239-2436 FAX) rcapeto@nc-rj.rnp.br RESUMO Diversos fatores influenciam a usabilidade de websites. Planejamento e gesto da informao, modelos de navegao e orientao no sistema, preveno de erros, consistncia e flexibilidade, aspectos visuais e estticos, aspectos tecnolgicos, so alguns desses fatores que devem ser observados para garantir a funcionalidade, usabilidade e eficincia de um website. Sendo a Web um veculo ainda em consolidao, comum encontrar nela projetos que dispem de grandes investimentos tcnicos, humanos e financeiros, mas falham de alguma forma no processo de interao com o usurio. Este trabalho apresenta indicadores que podem ser usados para avaliar e identificar problemas em diferentes aspectos do projeto de um website, servindo como um instrumento de diretrizes e checklist, auxiliando e complementando avaliaes de usabilidade em websites. Palavras-chave Avaliao de websites. Usabilidade em websites. 1. INTRODUO Indicadores e listas de verificao de diretrizes e critrios para projetos de interface de software so um instrumento prtico e de baixo custo para auxiliar avaliaes de usabilidade em sistemas computacionais. Para o desenvolvimento de uma lista de indicadores para avaliao de websites, este trabalho considerou trs importantes instrumentos criados para verificao de aspectos de usabilidade em interfaces de software, a saber: o QUIS, Questionnaire for User Interaction Satisfaction, do Laboratory for Automation Psychology, da Universidade de Maryland; o ErgoList, um checklist ergonmico desenvolvido pelo LabiUtil, Laboratrio de Usabilidade em conjunto com o Ncleo Softex de Florianpolis, SC; e o WAMMI, Website Analysis and MeasureMent Inventory, um servio de avaliao de websites desenvolvido pela Nomos Management AB. O QUIS e o Ergolist foram desenvolvidos para avaliao de interfaces de software em geral e consideram diversos aspectos ergonmicos do processo interativo. Para o nosso caso, observamos a necessidade de um modelo de avaliao que considerasse aspectos mais especficos e caractersticos de interfaces de software desenvolvidas para a Web. O WAMMI um servio comercial desenvolvido especificamente para avaliao de websites que permite avaliar a usabilidade de um site a partir de um questionrio que respondido pelos usurios do site. Nielsen (2000) observa que mtodos de engenharia de usabilidade contribuem substancialmente em projetos de interface de software desde que sejam realmente usados durante o ciclo de desenvolvimento do projeto, e prope uma abordagem de baixo custo para realizao de inspees de usabilidade a partir da conduo de avaliaes heursticas, que podem ser desenvolvidas por avaliadores especialistas, sem demandar grandes investimentos em tecnologias ou amostragem de usurios. A partir de lista original de heursticas de usabilidade desenvolvidas por Molich e Nielsen (1994), Nielsen (1998) passa a propor um conjunto revisado de 10 heursticas bsicas que podem cobrir os principais problemas de usabilidade em interfaces de software. Este conjunto de heursticas tambm foi discutido e revisado por Instone (1997). A partir dos modelos do QUIS, do Ergolist, e do WAMMI, e considerando o modelo de avaliao heurstica de Nielsen, este trabalho prope uma lista de indicadores para avaliao especfica de websites considerando aspectos em 11 categorias. Diferentemente do WAMMI, que coleta os dados a partir de respostas dos usurios, o modelo proposto nesse trabalho pode ser usado como um instrumento de verificao e checklist por um especialista participando do ciclo de desenvolvimento do projeto. Tambm foram considerados aspectos relacionados a acessibilidade e conformidade tcnica a partir das recomendaes do W3C, World Wide Web Consortium, o consrcio responsvel pela especificao e manuteno dos padres internacionais da Web. 2. Categorias dos indicadores de avaliao 1. Tratamento da informao Esta categoria avalia como a informao e o contedo do site so gerenciados, considerando aspectos como adequao ao perfil da instituio, clareza, relevncia e organizao. Questes a serem verificadas: as informaes disponveis so adequadas s necessidades do perfil da instituio? possvel perceber de forma global a abrangncia de contedo do site? a informao fornecida em nveis progressivamente mais detalhados, de acordo com a necessidade? as informaes disponveis esto atualizadas? o site est bem indexado pelos principais engenhos de busca? 2. Compatibilidade do sistema com o contexto e linguagem do usurio Esta categoria trata do uso de linguagem, sua adequao com o perfil do usurio do site, com o contexto de uso e considerando o bom uso das normas gramaticais da lngua portuguesa. Questes a serem verificadas: os termos usados no site para descrever funes, pginas, sees, vnculos, indicam de forma clara o que eles representam? a linguagem utilizada adequada ao tipo de usurio do site? o uso de abreviaes evitado e siglas, smbolos tcnicos, unidades de medida so usados de forma padronizada e correta? as informaes seguem o correto uso de tempos verbais e da gramtica da lngua portuguesa? 3. Reconhecimento e orientao no sistema Esta categoria avalia o potencial que tem o usurio de navegar no site de maneira eficiente, mantendo o reconhecimento de identificao e hierarquias da informao. Questes a serem verificadas: as pginas possuem ttulos de identificao tanto nas barras de janela como na rea de contedo? a estrutura de organizao hierrquica das informaes do site de fcil aprendizado e memorizao? fcil navegar entre as diferentes sees do site a partir de qualquer pgina? o site fornece identificao da instituio e referncias para contato em todas as pginas? 4. Visibilidade do sistema Esta categoria avalia se o sistema transparente quanto ao uso de funcionalidades e quanto ao gerenciamento de documentos e arquivos. Questes a serem verificadas: so apresentadas informaes de verso e data de atualizao tanto para as prprias paginas do site como para os documentos e arquivos disponveis no site? arquivos em formato no HTML e outros documentos disponveis para download apresentam informao de tipo, formato e tamanho em bytes? vnculos para pginas ou aplicativos externos e para acionamento de plug-ins so identificados? vnculos e elementos de navegao mostram claramente seu estado (ativo, inativo, visitado)? 5. Consistncia e padres Esta categoria avalia se o sistema mantm coerncia entre as pginas e quanto forma de apresentao das informaes. Questes a serem verificadas: a disposio e localizao dos diferentes elementos de interface (cabealhos, rodaps, reas de navegao) so mantidas de forma consistente em todas as pginas do site? os formatos de apresentao de informaes, estilos de fontes, cores, etc. so usados de forma consistente e padronizada em todo o site? h consistncia entre ttulos dos vnculos, os ttulos das pginas vinculadas e o contedo acessado? 6. Aspectos visuais, esttica, legibilidade e design Esta categoria avalia a qualidade formal do site e o planejamento visual do arranjo das informaes. Questes a serem verificadas: o aspecto visual do site atraente e adequado ao perfil da instituio? os elementos de informao so dispostos nas pginas de forma organizada e racional? existe boa distino visual entre os diferentes elementos de interface, elementos de navegao, elementos de contedo? so usadas variaes de hierarquia tipogrfica para distinguir diferentes partes do texto, de forma clara e organizada? 7. Flexibilidade e eficincia Esta categoria avalia a flexibilidade do uso do site e a eficincia dos processos de interao. Questes a serem verificadas: o site permite atingir contedo de interesse com um mnimo de clicks? o site projetado de forma a permitir acesso rpido a informaes mesmo em conexes lentas, minimizando o tempo de download das pginas? o site permite fazer o 'bookmark' das pginas de interesse para consulta futura, garantindo tambm a manuteno da referncia ao longo do tempo? o site projetado de forma a permanecer acessvel independentemente de tipos e verses de hardware ou software? as pginas do site imprimem sem perder formatao? 8. Controle e liberdade do usurio Esta categoria avalia se o usurio est sempre consciente de todos os processos envolvidos na interao com o site. Questes a serem verificadas: o usurio pode controlar o processo de navegao de forma conveniente e de acordo com sua necessidade ou interesse? funcionalidades ou aplicaes externas so executadas sempre a partir da iniciativa ou com o consentimento do usurio? 9. Preveno de erros e recuperao Esta categoria avalia se o site administra a ocorrncia de erros com eficincia. Questes a serem verificadas: o site projetado de forma a minimizar a ocorrncia de erros? na ocorrncia de um erro fornecida uma soluo, uma opo de contato tcnico ou uma forma de retomar a navegao? o texto das mensagens de erro significativo e identifica o tipo de problema ocorrido? 10. Suporte ao usurio Esta categoria avalia a qualidade do suporte ao usurio quanto sua interao com o site. Questes a serem verificadas: so fornecidas referncias para contato com a instituio ou com a equipe de manuteno do site? as pginas do site apresentam suporte ao esclarecimento de dvidas? o site oferece suporte busca e recuperao de informaes? 11. Conformidade tcnica Esta categoria indica a conformidade do site com padres e diretrizes de acessibilidade, validao de cdigo e mtodos de manuteno. Questes a serem verificadas: o cdigo HTML do site vlido em conformidade com uma das especificaes definidas pelo W3C? o site fornece aos engenhos de busca palavras-chave e descrio apropriadas aos objetivos e atividades da instituio? o site faz bom uso do HTML, dando preferncia marcao estrutural, independente da apresentao? o cdigo HTML adequadamente documentado para melhor manuteno? 3. Aplicao do mtodo de avaliao Esta lista de indicadores foi aplicada em uma avaliao do website da Rede Nacional de Pesquisa. Para proceder avaliao, foram selecionados 5 avaliadores em diferentes setores da instituio: Operaes, Informaes, Administrao, Capacitao, Design. Desta forma buscou-se diferentes perfis de avaliadores para garantir diferentes focos de observao sobre os problemas. Cada questo a ser avaliada recebeu uma pontuao de 0 a 4. Para cada categoria, foram considerados o somatrio total de pontos e o nmero de pontos para extrair o percentual de pontuao de cada categoria. Exemplo de uma avaliao de categoria:
1. tratamento da informao . as informaes disponveis atendem as necessidades do perfil da instituio? 0 1 2 3 4 apesar de poder melhorar, o trabalho de informaes est bem feito. talvez poderiam ter mais informaes sobre o uso do backbone e os artigos tcnicos mereciam um apuro melhor no tratamento e indexao. . possvel perceber de forma global a abrangncia de contedo do site? 0 1 2 3 4 o site permite uma boa relao entre viso global e viso local. talvez um mapa do site bem completo deve ser explorado com funcionalidade de busca . o detalhamento da informao fornecido de acordo com a necessidade? 0 1 2 3 4 o site oferece um bom benefcio de contedo mas os nodos hipertextuais e informaes relativas a tpicos de interesse local poderiam ser melhor explorados. . as informaes disponveis so atuais? 0 1 2 3 4 o site tem um bom trabalho de atualizao. quase nota mxima. mas as notcias poderiam estar um pouco mais adiante no tempo em vez de correndo atrs do prejuzo. e de vez em quando uma informao desatualizada passa em branco. poderiam ser estudadas controles automticos de verses e atualizaes. . o site est bem indexado junto aos principais engenhos de busca?. 0 1 2 3 4 possui boa indexao em alguns. mas vale a pena uma reviso desse aspecto.
acima de 96%: timo superior de 91% a 95%: timo de 81% a 90%: bom superior de 71% a 80%: bom de 61% a 70%: regular superior de 51% a 60%: regular de 41% a 50%: regular inferior de 31% a 40%: ruim de 21% a 30%: ruim inferior de 11% a 20%: pssimo de 0% a 10%: pssimo inferior
4. Discusso Os indicadores apresentados neste trabalho permitiram realizar, com baixo custo, uma avaliao dos principais problemas de funcionalidade e usabilidade no website da Rede Nacional de Pesquisa. Estes indicadores ajudam a observar problemas especficos que podem ocorrer no desenvolvimento de websites e que no se aplicam a outros tipos de interfaces de sistemas computacionais. Para aplicao desta avaliao, observamos que cada avaliador precisa ter conhecimentos mnimos sobre os critrios sendo avaliados. Em alguns casos, uma pequena preparao a partir de reunies e discusses sobre os tpicos a serem observados podem ajudar a esclarecer algum ponto da lista de indicadores que no seja de familiaridade do avaliador. Esta avaliao demanda algumas horas de trabalho de cada avaliador, mas proceder-se a esta avaliao especializada pode trazer bons resultados para o desenvolvimento do projeto, e ela se mostra menos dispendiosa do que trabalhar com uma grande amostra de usurios ou com laboratrios de usabilidade. No entanto, vale ressaltar que esta avaliao pode ser usada de forma complementar a outros testes de usabilidade. O resultado geral obtido a partir destes indicadores pode apontar para avaliaes e testes mais especficos a serem desenvolvidos.
REFERNCIAS organizaes: LabUtil: Laboratrio de Utilizabilidade. INE-CTC-UFSC. http://www.labiutil.inf.ufsc.br/ useit.com: Jakob Nielsen's Website. http://www.useit.com/ W3C: World Wide Web Consortium. http://www.w3.org/ modelos de avaliao de interface de software: ErgoList. LabUtil: Laboratrio de Utilizabilidade. INE-CTC-UFSC. http://www.labiutil.inf.ufsc.br/ QUIS, Questionnaire for User Interaction Satisfaction. Laboratory for Automation Psychology, University of Maryland; http://www.lap.umd.edu/QUISFolder/; citado por Schneiderman, Ben. Designing the User Interface. Addison Wesley, Reading, Massachusetts (1998) WAMMI, Web Analysis and MeasureMent Inventory. Nomos Management AB. Sweden. http://www.wammi.com/ publicaes: Instone, Keith. (1997) Usability Heuristics for the Web. http://webreview.com/97/10/10/usability/sidebar.html (em janeiro, 2000) Nielsen, Jakob. (1994) Heuristic evaluation. Em Nielsen , J and Mack, R (eds.) Usability Inspection Methods. New York: John Wiley & Sons, Inc. Nielsen, Jakob. (1998) Heuristic evaluation. http://www.useit.com/papers/heuristic/ (em janeiro, 2000) Nielsen, Jakob. (2000) Designing Web Usability. Indiana: New Riders Publishing.