Pesquisa sobre testes de Usabilidade

Levantamento para comparao entre teste de usabilidade presencial e teste remoto na avaliao de um fluxo de compra de passagens areas.

Puc-RJ - Especializao em Ergodesign Leandro Maldonado

Tema
A avaliao dos testes de usabilidade remotos, como alternativa aos testes presenciais, para avaliao de um processo online de compra de passagens areas.

O problema
Os mtodos de teste remoto podem ter validade em comparao aos testes de usabilidade presenciais para avaliao de um processo online de compra de passagens areas?

Justificativa
Esta pesquisa pretente contribuir para: Levantamento de indicaes ao uso de testes remotos para avaliao de processos online de compra de passagens areas; Confirmar se os testes remotos no tem validade em relao ao entendimento da experincia do usurio.

Caracterizao e posio serial do sistema

Restries: Problemas de interface, disponibilidade do site da Gol e conexo.

Meta: Proporcionar a compra da passagem

Sistema alimentador: Necessidade ou desejo do usurio realizar uma viagem seja por motivos de lazer ou por motivos de trabalho.

Entrada: Dados pessoais ,dados do voo de ida e volta, dados sobre bagagem, pagamento entre outros.

Sistema alvo: Sistema de compras da Gol Linhas areas.

Sadas: Pgina e e-mail de confirmao de reserva do voo.

Sistema Ulterior: Sistema de Check-in do aeroporto ou do site.

Requisitos: Acesso a internet, ,meio de pagamento e-mail, CPF, Endereo, computador.

Resultados Despropositados: Falha da operadora de carto, falha no sistema de reserva de assentos e erro na validao dos dados durante o cadastro.

Organizao hierrquica do sistema

Ecossistema: Site da Gol linhas areas Supra-supra-sistema: Plataforma de e-commerce Supra-sistema: Menu de opes

Sistema-alvo: Sistema de compra de passagens

Sub-sistema 1: Seletor dos voos (origem, destino, aeroporto, horrios) Sub-sistema 2: Formulrio de cadastro des dados pessoais Sub-sistema 3: Interface de escolha dos assentos. Sub-sistema 4: Pagamento Meio de pagamento

Transao

Expanso do Sistema
Supra-sistema: Menu de opes do site
Sistema serial 1: Necessidade ou desejo do usurio viajar.

Sistema-alvo: Sistema de compra de passagens

Sub-sistema 1: Seletor dos voos Sub-sistema 2: Formulrio de cadastro

Sistema serial 2: Sistema de Check-in

Sub-sistema 3: Interface de escolha dos assentos.

Sub-sistema 4: Pagamento

Sistema paralelo 1: Promoes

Sistema paralelo 2: Seu voo

Sistema paralelo 3: Servios

Sistema paralelo 4: Destinos

Sistema paralelo 5: Smiles

Sistema paralelo 6: Gollog

Sistema paralelo 7: Busca no site

Sistema paralelo 8: Atendimento

Modelagem comunicacional do Sistema

Mquina
Fontes de Informao: Site da Gol Linhas Areas Plataforma de e-commerce
Canais de Transmisso

Homem
Sistemas Humanos Envolvidos: Viso Tato

Transmisses

Neurnios

Comandos ativados: Teclado do computador

Acionamentos: Digitar, Clicar

Respostas Humanas: Com as mos

Mtodos e Tcnicas:
Foram utilizados testes de Usabilidade Presenciais, Testes remotos e formulrios para coleta de dados; No foram utilizadas as demais tcnicas, pela prpria natureza da pesquisa;

Mtodos e Tcnicas:
Para o teste presencial, ao invs de uma abordagem convencional

Mtodos e Tcnicas:
Foram necessrias adaptaes devido a restries tcnicas e de oramentrias. Segundo Nielsen (2005): A abordagem tradicional era custosa, pois os experimentos envolviam entre 30 e 50 participantes. Entretanto, este pesquisador props uma mudana de paradigma ao sugerir testes com melhor relao custo-benefcio, utilizando entre quatro e cinco usurios. Tambm props a dispensa de laboratrios, para que os testes pudessem se encaixar dentro dos oramentos das empresas.

Mtodos e Tcnicas:
A soluo alternativa com base nestas restries foi:

Mtodos e Tcnicas:
Foram realizados testes de usabilidade e uma breve pesquisa para coleta de dados da seguinte forma: Duas modalidades de teste, o mesmo cenrio, tarefas e questes a serem levantadas, tentando reproduzir em ambos as mesmas condies, porm, preservando as caractersticas bsicas de cada modalidade; Aplicao do teste de usabilidade moderado foi feita com 5 usurios e foi utilizada a ferramenta Cantasia, dentro do ambiente em que o usurio se sente a vontade;

Mtodos e Tcnicas:
Aplicao do teste de usabilidade remoto tambm foi feita com 5 usurios, sendo utilizada a ferramenta Loop11:

Mtodos e Tcnicas:

Mtodos e Tcnicas:

Mtodos e Tcnicas:

Amostra
Foi realizada uma pr-seleo utilizando os seguintes critrios:
Voc j realizou compras pela Internet? Sim [ ] No [ ] Voc viaja de avio com frequencia igual ou superior a 1 vez por ano? Sim [ ] No [ ]

Amostra

Para realizar o recrutamento dos 5 usurios presenciais foram necessrias, em mdia, 10 ligaes; Para atingir a amostra de 5 usurios do teste remoto foi necessrio enviar e-mail para 30 usurios para obter o seguinte resultado

Amostra

Amostra

Os testes
Cenrio: Voc foi convidado por amigos para passar o Reveillon em Florianpolis e precisa comprar uma passagem de ida e volta. Para que voc aproveite o mximo do tempo, decidiu sair na sexta-feira diretamente do trabalho para o Aeroporto Santos Dumont e retornar na segunda-feira diretamente para o trabalho a tempo de uma reunio que ocorrer s 15hs. Voc trabalha no centro do Rio e o percurso entre o seu trabalho e o aeroporto Santos Dumont dura mais ou menos 20 minutos considerando trnsito lento.

Tarefa:
Com base no cenrio acima, compre uma passagem area para passar o Reveillon em Florianpolis.

SITE www.voegol.com.br

Os testes
Questes:

1) O que voc achou em relao a facilidade em comprar neste site? Voc teve dificuldades em algum momento ou melhoraria algo?

2) Classifique este processo de compra escolhendo uma das opes abaixo:

Muito fcil Fcil Difcil Muito difcil

Os testes
Questes: 3) Em relao a experincia de compra neste site, em comparao com outros, o que voc achou? Tem alguma sugesto sobre o que poderia tornar este processo mais agradvel?

4) Quais destes adjetivos voc utilizaria para classificar este site (podem ser escolhidas mais de uma opo)? Profissional Pouco intuitivo Fcil de usar Confuso

Resultados Parciais
Perguntas fechadas:

Resultados Parciais
Perguntas abertas:

Resultados Parciais
50 palavras mais utilizadas no teste remoto:

Resultados Parciais
50 palavras mais utilizadas no teste presencial:

Concluso
Lembrando das Justificativas da Pesquisa: 1) Levantamento de indicaes ao uso de testes remotos para avaliao de processos online de compra de passagens areas. 2) Confirmar se os testes remotos no tem validade em relao ao entendimento da experincia do usurio.

Concluso
O uso do teste remoto em processos de compra de passagens areas seria indicado para: Levantamento de Sugestes; Confirmao de hiptestes com nvel de maturidade maior utilizando, questionrios com perguntas fechadas; Testes para levantamento de taxa de eficincia na concluso de tarefas especficas; No foi comprovada a eficcia para econtrar problemas de usabilidade com o nmero de 5 usurios;

Concluso
Em relao ao entendimento da Experincia do usurio: Pode ser considerado o uso, porm, perde muito em relao aos testes presenciais, principalmente em relao ao entendimento do que o usurio no gosta no produto;

Desdobramentos Futuros:
Ampliao da pesquisa para investigao: Entendimento da experincia do usurio em relao aos testes em s (j entra no relatrio completo)

Desdobramentos Futuros:
Ampliao da pesquisa para investigao: Se existem aspectos que so mais facilmente detectados a partir de um teste de usabilidade remoto e buscar levantar alguns destes aspectos; Para que um teste remoto obtenha resultados qualitativamente prximos os testes de usabilidade presenciais, quantos usurios seriam necessrios para atingir este ponto de equilbrio?

Obrigado