IHC 2014 Companion Proceedings - Student Competition

Foz do Iguau - PR, Brazil

Competio de Avaliao IHC14:

Avaliao do Aplicativo para Corridas
RunKeeper
Charles Alvarenga
Autor
UFMG-ICEX - Av. Antnio Carlos
6627 Pampulha - CEP 31270010 - Belo Horizonte-MG-Brasil
charlesalvarengati@gmail.com
Frederico Americano
Autor
UFMG-ICEX - Av. Antnio Carlos
6627 Pampulha - CEP 31270010 - Belo Horizonte-MG-Brasil
american@dcc.ufmg.br

Resumo

Priscila Souza
Autora
UFMG-ICEX - Av. Antnio Carlos
6627 Pampulha - CEP 31270010 - Belo Horizonte-MG-Brasil
prof.priscilasouza@gmail.com
Raquel Prates
Professora orientadora
UFMG-ICEX - Av. Antnio Carlos
6627 Pampulha - CEP 31270010 - Belo Horizonte-MG-Brasil
rprates@dcc.ufmg.br

O presente artigo tem como objetivo avaliar as

primeiras experincias do usurio com o aplicativo
Runkeeper em smartphone e identificar quais recursos
este aplicativo oferece para motivar a continuao da
prtica de atividades esportivas. Os mtodos escolhidos
para realizao desta avaliao foram: aplicao de
questionrio, mtodo de inspeo semitica, mtodo de
avaliao de comunicabilidade e avaliao heurstica.

Palavras-chaves
IHC; RunKeeper; Smartphone; Avaliao Heurstica;
MIS; MAC.

Abstract

Permission to make digital or hard copies of all or part of this work for
personal or classroom use is granted without fee provided that copies are
not made or distributed for profit or commercial advantage and that copies
bear this notice and the full citation on the first page. To copy otherwise,
or republish, to post on servers or to redistribute to lists, requires prior
specific permission and/or a fee. IHC'14, Brazilian Symposium on Human
Factors in Computing Systems. October 27-31, 2014, Foz do Iguau, PR,
Brazil. Copyright 2014 SBC. ISSN 2316-5138 (pendrive). ISBN 978-857669-291-1 (online).

113

This article aims to assess the user's first experiences

with the Runkeeper app on smartphone and identify
which features this application offers to motivate the
continuation of sports activities. The methods chosen
for this evaluation were: a questionnaire, the Semiotic
Inspection Method, the Communicability Evaluation
Method and Heuristic Evaluation.

Author Keywords
HCI; RunKeeper; Smartphone; Heuristic Evaluation;
SIM; CEM.

IHC 2014 Companion Proceedings - Student Competition

Foz do Iguau - PR, Brazil

ACM Classification Keywords

Experimentation, Human Factors.

General Terms
Experimentation, Human Factors, Theory.

1. Introduo
Atualmente a sociedade esta cada vez mais sedentria
devido a um cotidiano excessivamente apressado e
atarefado. Este um dos principais motivos que faz
com que a tecnologia esteja ultrapassando fronteiras
para contribuir com a sade das pessoas. Para isto, a
tecnologia est fazendo com que as pessoas tenham
motivao para comear e manter uma atividade fsica
regular. Atravs de aplicativos para smartphone uma
srie de funcionalidades so oferecidas. Entre estas
funcionalidades esto o acompanhamento de
atividades, o compartilhamento de resultados em redes
sociais e a definio de metas. Devido diminuio do
preo dos aparelhos smartphones e a facilidade de
acesso internet, um nmero cada vez maior de
pessoas passou a ter acesso a aplicativos com
funcionalidades como as citadas anteriormente.
Frente ao exposto, o presente artigo tem como objetivo
avaliar as primeiras experincias do aplicativo
RUNKEEPER em smartphone no apoio a corridas e
caminhadas e identificar quais recursos que este
aplicativo oferece para motivar a continuao da prtica
dessas atividades fsicas. Essa avaliao foi realizada
por alunos de graduao e ps-graduao da
Universidade Federal de Minas Gerais, que aplicaram
seus conhecimentos tericos relacionados a
metodologias de avaliao adquiridos na disciplina
Interface Humano Computador.

114

Um dos fatores mais importantes na avaliao a

definio dos critrios de avaliao. Atualmente, o
critrio mais comumente adotado a usabilidade [5].
Este critrio est presente na maioria dos mtodos.
Porm, a usabilidade ainda no constitui um conceito
unnime na literatura. A varincia deste conceito
dada atravs das prprias definies dos autores na
literatura. Essas definies envolvem alguns aspectos
ou caractersticas de usabilidade. Alguns desses
aspectos so nmeros de erros, aprendizado, facilidade
de uso, satisfao subjetiva e performance. Um outro
critrio importante a ser considerado na avaliao a
comunicabilidade [8]. A comunicabilidade de um
sistema a propriedade atravs da qual o sistema
transmite ao usurio de uma forma eficaz e eficiente as
intenes e princpios de interao que guiaram o
design da interface [7]. Este critrio permite avaliar se
o designer conseguiu comunicar ao usurio o que ele
pode fazer e como usar o sistema. A comunicabilidade
permite mostrar que vrios problemas na interao
usurio-sistema ocorrem porque o designer no
consegue transmitir ao usurio, atravs da prpria
interface, o modelo conceitual da aplicao. O critrio
de comunicabilidade est fundamentado na abordagem
da Engenharia Semitica. A Engenharia Semitica [8]
uma teoria explicativa de IHC, na qual as interfaces de
usurio so vistas como artefatos de metacomunicao
que utilizam signos para representar mensagens de
designers para os usurios da aplicao.
Com base no exposto acima, escolheu-se os seguintes
mtodos para realizao da avaliao do aplicativo
Runkeeper: aplicao de questionrio, mtodo de
inspeo semitica (MIS), mtodo de avaliao de
comunicabilidade (MAC) e avaliao heurstica.

IHC 2014 Companion Proceedings - Student Competition

Foz do Iguau - PR, Brazil

As perguntas especficas que guiaram esse trabalho

foram: O aplicativo possui uma interface com boa
comunicao para influenciar os usurios a continuar
utilizando o aplicativo e realizar atividades fsicas?
Quais recursos existentes no aplicativo podem motivar
os usurios a praticar esportes regularmente?
Nas prximas sees, ser apresentada a metodologia
utilizada para conduo desse trabalho, a aplicao dos
mtodos selecionados para a avaliao, uma discusso
sobre os resultados obtidos e a concluso.

2. Metodologia

A metodologia aplicada para a realizao deste trabalho

consiste na aplicao de quatro mtodos para a
avaliao do aplicativo RunKeeper. Os mtodos
escolhidos foram: Aplicao de Questionrios, Mtodo
de Inspeo Semitica (MIS), Mtodo de Avaliao de
Comunicabilidade (MAC) e Avaliao Heurstica.
A escolha da aplicao de questionrios neste trabalho
de avaliao foi motivada pela facilidade da
metodologia e por alcanar um maior nmero de
participantes de forma simples. Alm disso, atravs do
questionrio, foi possvel conhecer o perfil dos usurios
para identificar a marca, modelo e sistema operacional
dos smartphones; o aplicativo de corrida e caminhada
mais utilizado e o tempo de experincia com o
aplicativo. Foi possvel tambm identificar se o usurio
j tinha experincia com o RunKeeper e saber por que
e como eles utilizam o aplicativo para monitorar e
auxiliar suas atividades fsicas. Finalmente, pde-se
identificar quais recursos do aplicativo motivam a
continuao da prtica desses exerccios, bem como
sua evoluo.

115

O Mtodo de Inspeo Semitica (MIS), assim como, o

Mtodo de Avaliao de Comunicabilidade (MAC), foram
selecionados, pois permitem identificar rupturas de
comunicao nos aplicativos. Essas rupturas indicam o
nvel de comunicabilidade que um aplicativo possui. Se
um aplicativo avaliado possui poucas rupturas
identificadas por esses mtodos significa que possui um
alto ndice de comunicabilidade. Segundo PRATES e
BARBOSA [7], a comunicabilidade definida como a
propriedade de um sistema transmitir ao usurio de
forma eficaz e eficiente as intenes e princpios de
interao que guiaram o seu design. Portanto, a
avaliao da comunicabilidade se torna importante, pois
quando um usurio no capaz de interagir e entender
a comunicao transmitida pelo designer, rupturas
ocorreram na comunicao e podem dificultar ou at
impossibilitar o uso do sistema. Devido a isto, a
comunicabilidade foi escolhida como uma das
propriedades avaliadas do aplicativo.
A metodologia de avaliao heurstica foi utilizada neste
trabalho porque Nielsen [6] a define como sendo um
mtodo barato de usabilidade, ou seja, uma iniciativa
simples e de custo reduzido para aprimorar interfaces
utilizando de diretrizes de usabilidade que possibilita
uma melhoria no produto para o usurio. Alm disso,
os avaliadores consideram a usabilidade um fator
importante para aplicativos de smartphone. Segundo
Galitz [3], a definio de usabilidade simples e
pertinente, como sendo: "algo que apresenta grande
usabilidade quando humanos conseguem us-lo com
facilidade e efetividade, sendo facilidade uma mtrica
de avaliao subjetiva e efetividade do desempenho
humano ao us-lo.

IHC 2014 Companion Proceedings - Student Competition

3. Aplicao
Obtidos

dos

Mtodos

Foz do Iguau - PR, Brazil

Resultados

3.1 Questes ticas

A aplicao dos questionrios e do Mtodo de Avaliao
de Comunicabilidade envolve a participao de seres
humanos, e para a realizao da pesquisa nestes
mtodos foi necessrio observar alguns pontos sobre a
tica destas pesquisas. A Resoluo 466/2012 do
Conselho Nacional de Sade [2] define pesquisa com
seres humanos como toda investigao que, individual
ou coletivamente, envolva o contato direto ou indireto
com o ser humano, incluindo o manejo de informaes
por ele geradas. Alm disso, a resoluo cita os riscos
envolvendo este tipo de pesquisa que so: a
possibilidade de danos dimenso fsica, psquica,
moral, intelectual, social ou cultural do ser humano.
Segundo LEITO e DIAS ROMO [4], quatro aspectos
tornam-se extremamente relevantes para as pesquisas
em IHC envolvendo seres humanos, sendo eles: a
necessidade de consentimento dos sujeitos
pesquisados, a preservao do seu anonimato, a
proteo de grupos vulnerveis e a garantia de bem
estar desses sujeitos.
Diante disto, os autores desse trabalho se preocuparam
em levar em considerao os aspectos relevantes para
as pesquisas em IHC. Para o primeiro aspecto que diz
respeito necessidade de consentimento dos sujeitos
pesquisados, na aplicao do questionrio, os
participantes leram um texto explicando os objetivos da
pesquisa, e, caso concordassem, deveriam responder
ao questionrio. J para a aplicao do Mtodo de
Avaliao de Comunicabilidade, uma das etapas da
aplicao do mtodo foi ler em conjunto com o
participante o Termo de Consentimento da realizao

116

da pesquisa e, caso o participante estivesse de acordo,

este termo seria assinado pelo avaliador e pelo
participante. Com relao ao segundo aspecto que diz
respeito preservao do anonimato, tanto no texto
explicativo do questionrio, quanto no termo de
consentimento no MAC, os usurios foram informados
que a pesquisa manteria o anonimato. Alm disso, em
todos os documentos e registros, no foram associados
o nome do participante e nenhuma outra caracterstica
que fosse possvel identificao do participante.

3.2 Questionrio
O questionrio foi aplicado atravs de e-mail e
publicao em redes sociais em grupos relacionados
prtica de corrida e caminhada. Os resultados
demonstraram que o aplicativo Runkeeper o mais
usado em celulares smartphones da linha Galaxy e
sistema operacional Android.
Foram obtidas 51 respostas. A maioria das pessoas que
responderam ao questionrio so da regio Sudeste,
sendo que Minas Gerias tem 30 dos 51 participantes.
Os outros estados com mais participantes foram
Espirito Santo (6), Rio de Janeiro (5) e Bahia (4). A
distribuio entre os sexos foi quase igual, 51%
masculino e 49% feminino. A faixa etria predominante
ficou entre os 20 a 40 anos (40 participantes). Ningum
com mais de 51 anos respondeu a pesquisa e mais da
metade dos participantes responderam que possuem
ps-graduao e formao na rea de tecnologia. Sobre
a prtica de corrida e caminhada, os participantes
responderam que realizam a atividade fsica h mais de
um ano (55% dos participantes). Quanto frequncia,
30 dos 51 participantes informaram que praticam de
uma a trs vezes por semana e 21 pessoas praticam de
quatro a seis vezes por semana. A grande maioria

IHC 2014 Companion Proceedings - Student Competition

Algumas das
perguntas feita aos
participantes:
Ver no aplicativo a
rota que voc correu
te influencia ou te
motiva em alguma
coisa?
Ouvir o quanto voc
j correu de tempos
em tempos te
influencia ou ajuda a
cumprir suas metas?
Voc publica as
informaes da sua
corrida no Facebook
ou outra rede social?
Voc gosta quando
seus posts sobre a
corrida so "curtidos"
ou comentados?
Voc recomendaria o
Runkeeper a pessoas
que ainda no o
conhecem?

% de
Sim

82%

86%

60%

61%

90%

Tabela 1 Algumas perguntas

feitas aos participantes na
aplicao do questionrio e a
quantidade de respostas
positivas.

Foz do Iguau - PR, Brazil

pratica a atividade fsica em locais pblicos ao ar livre.

A durao da corrida ou caminhada de acordo com 65%
dos participantes tem durao de uma hora.
Sobre a utilizao de smartphone, apenas 9
participantes utilizam h pouco tempo (at seis meses).
A grande maioria j utiliza smartphone de 1 a 5 anos.
J quanto ao uso do Runkeeper 61% das pessoas o
utilizam h seis meses ou menos e 20% j o utilizam
ha mais de 7 meses. O principal motivo sinalizado pelos
participantes da pesquisa quanto ao porqu eles
comearam a utilizar o aplicativo foi devido influncia
de amigos ou conhecidos (45% dos entrevistados).
Outro dado importante que 57% dos participantes
usam o aplicativo em todas as corridas. Sobre a
experincia com o aplicativo Runkeeper, 24
participantes responderam que s vezes estipulam
metas; 14 sempre estipulam metas e 13 nunca
estipulam. Em relao s metas, 32% informaram que
tentam ultrapassar a meta da corrida anterior, 30%
no so influenciados por metas anteriores; 17%
estipulam as metas de acordo com a vontade de correr
no dia e 13% tentam cumprir a mesma meta da corrida
anterior.
Com relao influncia do aplicativo, observa-se pela
Tabela 1 que os participantes so influenciados ou
motivados ao visualizarem no aplicativo a rota que
correram. Alm disso, geralmente ouvir o quanto j
correu de tempos em tempos influencia a evoluo da
atividade fsica e ajuda a cumprir as metas. A maior
parte dos participantes publicam as informaes das
corridas no Facebook ou outra rede social e informaram
que gostam quando os posts das corridas so "curtidos"
ou comentados. Um fato interessante que 90% dos
participantes informaram que esto satisfeitos com o

117

aplicativo. Frente aos resultados expostos, pode-se

concluir que alguns recursos do Runkeeper como
possibilitar a definio de metas, ouvir o quanto j
correu de tempos em tempos durante a atividade,
visualizar a rota percorrida e realizar o
compartilhamento de informaes das corridas e
caminhadas em redes sociais so fatores que os
usurios relataram influenciar positivamente a
continuao e a evoluo das suas atividades fsicas.

3.3 Mtodo de Inspeo Semitica (MIS)

O Mtodo de Inspeo Semitica (MIS) segundo
PRATES e BARBOSA [7], um mtodo antecipativo, ou
seja, um mtodo em que um especialista percorre a
interface e identifica potenciais rupturas de
comunicao que poderiam surgir na interao usuriosistema. Neste mtodo, o objetivo avaliar a
qualidade da emisso da metacomunicao do designer
codificada na interface. Portanto, no foi necessrio
envolver usurios nessa avaliao.
Para realizar as etapas de avaliao do MIS, os
especialistas utilizam a classificao de signos
codificados na interface para se orientarem no trabalho
de avaliao [1]. Para todo tipo de signo, o avaliador
inspeciona a interface interpretando os signos daquele
tipo com o objetivo de reconstruir a metamensagem do
designer. Assim, o avaliador tem trs verses da
metamensagem reconstruda, uma para cada tipo de
signo. Posteriormente, o avaliador contrasta e compara
as trs metamensagens reconstrudas. Finalmente
feito uma julgamento de valor sobre a comunicabilidade
do sistema interativo.
Os trs tipos de signos so: signos estticos, signos
dinmicos e signos metalingusticos [1]. Os signos

IHC 2014 Companion Proceedings - Student Competition

Foz do Iguau - PR, Brazil

estticos expressam o estado do sistema, cujo

significado interpretado independentemente de
relaes causais e temporais da interface. Os signos
dinmicos expressam o comportamento do sistema
envolvendo aspectos temporais e causais da interface,
e esto relacionados prpria interao. Os signos
metalingusticos so principalmente verbais e que se
referem a outros signos de interface, sejam eles
estticos, dinmicos ou mesmo metalingusticos.
Atravs de signos metalingusticos, os designers podem
explicitamente comunicar aos usurios os significados
codificados no sistema e como eles podem ser
utilizados.

Figura 1 - Exemplo de um
problema identificado na etapa
de anlise dos signos estticos,
onde a opo de seleo
Monitoramento pode induzir o
usurio a interpretar errada a
informao, entendendo que a
opo para monitorar a
corrida, quando de fato sua
funo permitir que outras
pessoas monitorem em tempo
real a corrida do usurio e ele
poder divulgar em relatrios
detalhados no website.

Para a aplicao do MIS, o mtodo prope cinco passos

que foram seguidos pelos autores desse trabalho. No
primeiro passo o avaliador faz a inspeo dos signos de
metacomunicao presentes na documentao e
sistema de ajuda, onde o principal objetivo deste passo
a reconstruo da metamensagem do designer. O
segundo passo consiste em inspecionar os signos
estticos da interface e com base neles o avaliador
tambm faz a reconstruo da metamensagem
designer-usurio. No terceiro passo, o avaliador realiza
a inspeo dos signos dinmicos e tambm reconstri a
metamensagem. No quarto passo, o avaliador analisa
os diferentes tipos de signos identificados nos passos
anteriores, juntamente com as meta-mensagens. Estas
informaes so contrastadas com o objetivo de
identificar se os signos no possuem o mesmo poder de
expresso na interface. Alm disso, o avaliador procura
identificar inconsistncias e ambiguidades, juntamente
com a possibilidade de o usurio atribuir significados
contraditrios aos signos que constituem as mensagens
em cada uma das etapas. No quinto e ltimo passo, o

118

avaliador produz um relatrio contendo sua apreciao

final da qualidade da metacomunicao, contendo
principalmente os problemas de comunicabilidade
encontrados que possam dificultar para o usurio
entender a mensagem pretendida pelo designer.
Para a aplicao deste mtodo foi definido um cenrio
em que um usurio (chamado Heitor), experiente em
tecnologia e que possua um smartphone, resolveu sair
do sedentarismo e praticar corrida. Assim, ele seleciona
na Play Store - loja de aplicativos da Google - o
RunKeeper e comea a explorar o aplicativo como apoio
atividade de corrida. Neste cenrio, o usurio
precisou interagir com a criao e personalizao do
seu perfil e com as configuraes iniciais do aplicativo.
Aps esta etapa, Heitor comeou a explorar o aplicativo
e descobriu funcionalidades como rotinas de exerccios,
planos de treinamento, criao de metas,
acompanhamento durante a corrida, alm da
possibilidade de ouvir msica durante a corrida.
Neste trabalho, os passos 1, 2 e 3 do MIS foram
aplicados individualmente por trs avaliadores e depois
foi feita a consolidao das avaliaes individuais do
MIS e o contraste entre os trs primeiros passos com o
objetivo de identificar se os signos no possuem o
mesmo poder de expresso na interface, os seguintes
resultados foram obtidos:
Ao todo foram identificados 7 problemas relacionados
com a comunicabilidade do RunKeeper e que foram
apoiados pela identificao dos signos codificados no
sistema, onde 2 deles foram relacionados aos signos
metalingusticos, 2 ao signos estticos e 3 aos signos
dinmicos.

IHC 2014 Companion Proceedings - Student Competition

Figura 2 - Exemplo de um problema

identificado na etapa de anlise dos
signos dinmicos, onde o usurio
precisa realizar uma interao com
o sistema para obter o
entendimento da comunicao
pretendida pela ferramenta.

Foz do Iguau - PR, Brazil

Signos metalingusticos: O aplicativo disponibiliza

poucos signos metalingusticos, a maior parte deles
est presente no site do aplicativo. A falta de mais
signos metalingusticos reforada com a identificao
de novos problemas com os signos estticos, como
apresentado no exemplo ao lado na Figura 1 com o
signo esttico do boto Monitoramento, o qual pode
induzir o usurio a interpretar errada a comunicao,
entendendo que a funcionalidade do boto para
monitorar a corrida quando na verdade para outras
pessoas monitorarem em tempo real a corrida do
usurio e este poder divulgar relatrios detalhados no
website.

Mesmo com os problemas identificados com a aplicao

desse mtodo, os autores desse artigo acreditam que o
aplicativo Runkeeper possui boa comunicabilidade, pois,
mesmo um usurio sem familiaridade, consegue
executar as principais atividades propostas pelo
aplicativo. Para os usurios dispostos a explorar a
interface, interagindo com todos os tipos de signos
apresentados, a metamensagem provavelmente ser
transmitida com sucesso. No entanto, o custo desta
estratgia que se o usurio no explorar a interface,
ele pode no perceber todas as suas funcionalidades e
julgar que o aplicativo no atende s suas
necessidades.

Durante a avaliao, percebeu-se que o designer utiliza

diversos signos estticos e dinmicos para comunicar
ao usurio a sua metamensagem. Porm alguns deles
s so entendidos pelo usurio se o mesmo realizar
uma interao com o sistema. Um exemplo ocorre na
Figura 2: a possibilidade do usurio selecionar outros
tipos de atividades fsicas que no seja a Corrida, onde
ele pode no perceber que esta funcionalidade est
disponvel. Isto talvez j no acontea com a escolha
de Rotina de exerccios, porque para um primeiro
acesso, j est selecionado com a opo Nenhum e
isto j pode ser considerado um indicador de que h a
possibilidade de escolha de uma Rotina de exerccios.

3.4 Mtodo de Avaliao de Comunicabilidade

No quinto e ltimo passo, os autores desse trabalho

produziram um relatrio contendo a apreciao final da
qualidade da metacomunicao, contendo os 7
problemas de comunicabilidade encontrados que podem
dificultar o usurio de entender a mensagem pretendida
pelo designer.

119

(MAC)
O mtodo de avaliao de comunicabilidade (MAC) tem
como objetivo identificar rupturas de comunicao
vivenciadas pelo usurio [9]. As rupturas so
identificadas pelos avaliadores atravs da sua
observao dos usurios interagindo com um conjunto
de tarefas utilizando o sistema em um ambiente
controlado [1].
Neste mtodo, as experincias de uso so observadas e
registradas, onde os avaliadores analisam cada registro
da experincia de uso. O foco dessa analise identificar
os provveis caminhos de interpretao dos usurios,
suas intenes de comunicao e principalmente, as
rupturas de comunicao que ocorreram dessa
interao. Como resultado, os avaliadores identificam
problemas na comunicao da metamensagem do
designer e na comunicao do usurio com o sistema, e

IHC 2014 Companion Proceedings - Student Competition

Foz do Iguau - PR, Brazil

tambm ajudam a informar ao designer as causas

desses problemas [9].
Conforme PRATES[7], para a realizao da avaliao
com o MAC, a metodologia define que os testes devem
ser realizados em um ambiente controlado. Um
ambiente controlado onde o usurio poder se
concentrar no sistema, sem correr o risco de ser
interrompido ou ter sua ateno desviada das
atividades do teste. Portanto, para realizar a avaliao
do MAC, os avaliadores optaram por utilizar um
ambiente controlado, o Laboratrio de Testes com
Usurio da Universidade Federal de Minas Gerais
(UFMG). O laboratrio composto por uma sala para os
usurios e outra de observao para os avaliadores;
uma estrutura com computador desktop com sistema
operacional Windows; o aplicativo Morae Recorder para
gravao das aes do usurio; microfone e cmera
para registrar as expresses dos usurios.
Apesar do foco da avaliao deste trabalho ser a
avaliao do aplicativo em smartphones, os avaliadores
optaram tambm por utilizar a interface web do
aplicativo na avaliao do MAC. Esta deciso foi porque
o aspecto da comunicabilidade utilizando o smartphone
j foi avaliado atravs da aplicao da metodologia
MIS. Com isto, aplicando-se o MAC na interface web, o
grupo pode complementar a analise da
comunicabilidade do RUNKEEPER, j que alguns
recursos do Runkeeper exigem o acesso interface
Web e no se limita a uma s plataforma. Logo, para
ter uma avaliao completa, pode-se considerar essa
parte como um trabalho extra na avaliao do
aplicativo RUNKEEPER.

120

A aplicao do MAC realizada em cinco etapas. Abaixo

ser detalhado como essas etapas foram aplicadas e os
resultados obtidos por cada uma nesta avaliao.
1.Preparao: A primeira etapa do MAC a Preparao
para a Avaliao. O objetivo desta preparao
planejar e elaborar todo o material necessrio para a
realizao da coleta de dados com o usurio. Nessa
etapa foram definidos os objetivos do teste; as tarefas
que deveriam ser executadas. Foram selecionados
tambm participantes que nunca utilizaram o aplicativo
Runkeeper para assim, conseguir avaliar suas primeiras
experincias. Alm disso, foi elaborado um formulrio
de consentimento da participao envolvendo questes
ticas e uma entrevista para ser realizada no inicio e no
final do teste. Nessa etapa, um script foi definido para
padronizar a aplicao do teste por todos os
avaliadores, e evitar que nenhum item que deveria ser
comunicado e/ou observado com o usurio pudesse ser
esquecido.
2. Cenrios e tarefas: Nesta etapa so definidos
cenrios descrevendo algumas tarefas para os usurios
executarem. Desta forma os usurios interagem com o
sistema e so avaliados durante a aplicao do mtodo.
As tarefas possuem um papel muito importante na
avaliao no MAC, pois so elas que auxiliam na anlise
e identificao das rupturas de comunicao com o
sistema, pois so atravs das tarefas que o usurio
executa as atividades no sistema para ser observado
pelo avaliador. Aps definidas, as tarefas so validadas
antes da avaliao atravs de um teste piloto. Para este
trabalho, o teste piloto foi executado no mesmo
ambiente controlado das avaliaes a fim de verificar o
tempo necessrio para execuo da avaliao e
identificar falhas na descrio das tarefas. Para a

IHC 2014 Companion Proceedings - Student Competition

Foz do Iguau - PR, Brazil

avaliao com o MAC foram criados dois cenrios para a

execuo das tarefas. O primeiro cenrio foi
relacionado com um usurio iniciante que localizou o
RunKepper atravs do Google e queria personalizar
suas preferncias no aplicativo. No segundo cenrio, o
usurio j tinha praticado a corrida e precisava
registrar todos os dados da corrida no aplicativo.

Tabela 2 - Resultados da etiquetagem

dos 4 participantes para a Tarefa 1

3. Aplicao: Nessa etapa, a execuo do teste

realizada com os participantes selecionados no
ambiente controlado. Os testes foram executados nos
dias 08 e 09 de maio de 2014 com a participao de
quatro usurios. Antes da execuo das tarefas, os
usurios junto com os avaliadores leram e assinaram o
termo de consentimento e realizaram uma entrevista
pr-teste com o objetivo de identificar o perfil dos
participantes. Durante a execuo das tarefas, os
participantes foram monitorados pelos avaliadores e
filmados para uma posterior anlise dos gestos, sons e
articulaes dos participantes facilitando a anlise e
etiquetagem. No final da execuo do teste, uma
entrevista foi realizada para obter um feedback do
usurio com relao ao Runkeeper e ao teste realizado.
4. Anlise: A etapa de etiquetagem extremamente
importante para a identificao de padres de ruptura
na comunicao do sistema com o usurio. Alm disso,
o resultado da etiquetagem so necessrios para a
interpretao dos resultados e principalmente na
criao do perfil semitico. Nessa fase, foram
identificadas algumas rupturas de comunicao e as
etiquetas mais frequentes. Nas tabelas 2 e 3
apresentado um resumo dos resultados da etiquetagem
por participante e por tarefa.

121

O principal objetivo da tarefa 1 era o usurio

personalizar suas preferncias na interface web do
RunKeeper. De acordo com os resultados da
etiquetagem e na interpretao dos vdeos, foi possvel
perceber que o usurio no entendeu corretamente a
transmisso da mensagem por parte do designer. Para
que o usurio conseguisse personalizar suas
preferncias, ele precisava antes, fazer o login no
sistema, porm, dos 4 participantes, 3 no
identificaram rapidamente os signos necessrios para
realizar o login, o que impactou o andamento da tarefa
1.
A etiqueta de maior ocorrncia na tarefa 1 foi a Cad?,
onde foi possvel perceber os principais pontos de
ruptura de comunicao da verso web do RunKeeper.
Todos os usurios tiveram dificuldade para identificar
os locais para a configurao das suas preferncias,
como por exemplo, alterar a forma de medida padro
de libras para quilos. O participante 3, teve diversas
rupturas procurando como poderia configurar o
primeiro dia de corrida como Segunda-feira.
A segunda etiqueta de maior ocorrncia foi a Epa!,
pois em vrios momentos os usurios realizaram
atividades indesejadas e assim que perceberam o
engano, desfizeram a ao. A grande ocorrncia desta
etiqueta, pode ser justificada pela grande ocorrncia da
etiqueta Cad?, pois como os usurios ficavam um
bom tempo procurando onde alterar as preferncias,
em alguns momentos eles executavam uma ao para
tentar encontrar a funcionalidade descrita na tarefa.
As etiquetas E agora? e Onde estou? foram as
terceiras de maior ocorrncia na tarefa 1, onde mais
uma vez, demonstrou as rupturas de comunicao que

IHC 2014 Companion Proceedings - Student Competition

Foz do Iguau - PR, Brazil

evidenciam os momentos em que os usurios ficaram

vagando com o cursor do mouse pela tela e tambm ao
tentarem interagir com signos que no contexto em que
se encontravam eram apenas de exibio.
Na tabela 3 sero apresentados os resultados
consolidados da etiquetagem da Tarefa 2.
O principal objetivo da tarefa 2 era para o usurio logar
com sua conta do Facebook, incluir uma corrida j
realizada e compartilhar com seus amigos no Facebook.
A etiqueta de maior ocorrncia na tarefa 2, foi
novamente a Cad?. Atravs desta etiqueta, foi
possvel perceber um outro importante ponto da
ruptura da comunicao, onde os usurios no
conseguiram localizar facilmente como adicionar uma
corrida. Os usurios percorreram por vrios itens de
menu e no conseguiam encontrar a funcionalidade que
permiti adicionar a atividade fsica executada.

Tabela 3 - Resultados da etiquetagem dos

4 participantes para a Tarefa 2

Em seguida, as etiquetas Epa!, E agora? e Porque

no funciona?, foram as de maior ocorrncia, com um
total de 5 ocorrncias cada uma na tarefa 2. As
etiquetas Epa!e E agora? podem ser uma
consequncia da quantidade de etiquetas Cad?
identificadas, pois na etiqueta Epa!, os usurios
executaram vrias aes indesejadas e ao perceberem
o erro, desfaziam imediatamente a ao. Porm isto
ocorreu porque os usurios no encontravam o local
correto para execuo da ao. Com relao etiqueta
E agora?, os usurios permaneceram um bom perodo
vagando com o cursor do mouse pela tela para iniciar
um novo caminho de interao. Atravs da etiqueta
Porque no funciona?, foi possvel identificar duas
principais rupturas de comunicao: Uma foi no

122

momento de incluir a informao do KM percorrido e a

outra ao realizar o login atravs do Facebook. Nestas
duas aes, os usurios perceberam que no tiveram o
resultado esperado, mas repetiram a ao vrias vezes
com o objetivo de obter o resultado solicitado na tarefa.
5. Apreciao Final: Nessa etapa so apresentadas as
principais rupturas de comunicao identificadas
atravs da aplicao do MAC:

Os signos para realizao de login na ferramenta

Web no esto transmitindo a mensagem
corretamente. Os usurios avaliados interpretaram
em um primeiro momento que a interface exibida
era para fazer o login, porm era para criar uma
nova conta. Esta mesma ruptura aconteceu ao
realizar o login pelo Facebook.

O signos utilizados para informar o local para

alterao do perfil do usurio tambm no
conseguem transmitir a comunicao corretamente.
Alguns usurios demoraram para encontrar a
informao e alguns quando entraram, no
entenderam o objetivo da interface e desfizeram a
ao achando que estava errado.

A comunicao dos signos para personalizao das

preferncias de corridas(alterar o peso de libras
para quilo, colocar o primeiro dia de corrida na
semana como segunda-feira e alterar a exibio
para velocidade ao invs de passo) tambm
causaram rupturas, pois os usurios no
conseguiram encontrar facilmente o local para
alterao destas preferncias.

Os signos utilizados para comunicar a ao de

adicionar uma nova atividade fsica tambm
apresentaram rupturas de comunicao. Apenas um

IHC 2014 Companion Proceedings - Student Competition

Foz do Iguau - PR, Brazil

usurio conseguiu identificar imediatamente o

objetivo do artefato e os outros usurios
despenderam muito tempo procurando.

Ao adicionar uma atividade fsica, a data de fim da

atividade no preenchida na interface pelo
usurio, pois ela calculada de acordo com a
durao da corrida j informada anteriormente.
Neste ponto existe uma ruptura, pois os usurios
no entenderam a ao da funcionalidade e
tentaram alterar as informaes, mesmo no
estando disponveis.
A interface web do RunKeeper apresentada apenas
no idioma ingls e isto foi um fator que dificultou a
comunicao com alguns usurios, aumentando
mais ainda as rupturas de comunicao.

3.5 Avaliao Heurstica

Figura 3 Consolidao do resultado

das Heursticas Violadas na avaliao do
RunKeeper.

Nas avaliaes heursticas, os analistas testam

elementos da interface como: caixas de dilogos,
menus, estrutura de navegao, botes, etc., para
verificar se esto de acordo com os princpios
heursticos previamente selecionados e a partir dos
erros descobertos so propostas solues e melhorias
na interface a fim de torn-la mais adequada aos
usurios [5].
Segundo BARBOSA e SILVA [1] as atividades
envolvidas na avaliao heurstica envolvem as tarefas
detalhadas a seguir. Durante a preparao todos os
avaliadores aprendem sobre a situao atual: usurios,
domnio, etc. Eles ento selecionam as partes da
interface que devem ser avaliadas. Durante as
atividades de coleta de dados e interpretao, cada
avaliador inspeciona individualmente a interface para
identificar violao das heursticas selecionadas. Ele

123

tambm lista os problemas encontrados pela inspeo,

indicando local, gravidade, justificativa e
recomendaes de soluo. Finalmente, durante as
atividades de consolidao e relato dos resultados
todos os avaliadores revisam os problemas
encontrados, julgando sua relevncia, gravidade,
justificativa e recomendaes de soluo.
Posteriormente os avaliadores geram um relatrio
consolidado.
O conjunto de heursticas mais difundido e escolhido
para ser utilizado neste trabalho, o proposto por
Nielsen e seus colegas em 1994 que composto por 10
princpios [5]. Com base nesses princpios a avaliao
heurstica foi realizada no Runkeeper. A consolidao
dos resultados apresentada na Figura 3 e abaixo
sero detalhados alguns dos problemas identificados.
Dentre os problemas identificados, trs deles violam a
heurstica: Correspondncia entre o sistema e o mundo
real, e nas tabelas 4 e 5 sero detalhados dois dos
problemas identificados.
Descrio: A forma como apresentado o treino de 5
km pode confundir o usurio.
Tal problema ocorre
quando se seleciona o plano Iniciante 5k pelo aplicativo.
Severidade: Foi considerado pequeno pelos avaliadores.
Seu conserto desejvel, mas deve receber baixa
prioridade.
Sugesto de Soluo: Incluir o texto "Corrida 5 km"
prximo ao texto "Iniciante 5k".
Tabela 4 Problema: Exibio do treino de 5 km no RunKeeper

Descrio:
Problema ocorre quando
o
usurio
personaliza o aplicativo para exibir as medidas em
quilmetro, porm algumas medidas continuam sendo
exibidas em milhas. Este problema pode ser visto na
exibio de rotinas de exerccios.

IHC 2014 Companion Proceedings - Student Competition

Foz do Iguau - PR, Brazil

Severidade: Os avaliadores julgaram tal problema como

sendo grande. Um dos motivos levantados pelos
avaliadores que este problema pode impactar o
mercado. J que os brasileiros em geral no esto
acostumados com o uso de medidas em milhas.
Sugesto de soluo: Identificar todos os lugares no
aplicativo onde so exibidas as distncias e as unidades
de medidas em todos esses lugares devem ser alteradas
automaticamente de acordo com a opo selecionada
manualmente.
Tabela 5 Problema: Alterao de medidas no RunKeeper

J outros trs problemas violam as heursticas:

Correspondncia entre o sistema e o mundo real e
Preveno de erros. Abaixo, dois deles sero
detalhados:
Descrio: Na interface de visualizao dos detalhes da
rotina de exerccios, existe um boto para ignorar o
exerccio planejado, porm no existe a informao do
significado do boto e tambm ele no induz o usurio a
entender que ele ir ignorar aquela rotina. Desta forma, o
sistema no previne o erro do usurio.
Severidade: Segundo os avaliadores o problema
pequeno. Um dos motivos desta classificao que a
ferramenta permite o usurio desfazer a ao errada.
Sugesto de soluo: Exibir um texto (ao invs de
cone) no boto para ignorar o exerccio planejado e,
alm disso, aumentar o tamanho (de preferncia na
altura) do boto selecionar rotina de para que caiba o
texto completo.
Tabela 6 Problema: Boto para ignorar o exerccio planejado
no Runkeeper

Descrio: Na interface de meta de ritmo, o usurio

pode se perder em como cadastrar as informaes.
Severidade: Tal problema grande e o principal motivo
devido seu alto impacto no mercado, j que no ocorre
a preveno do erro por parte do aplicativo e o usurio

124

pode deixar de definir uma meta.

Sugesto de soluo: Deixar apenas
habilitado para cadastro da meta de ritmo.

um

campo

Tabela 7 Problema: Cadastro de meta de ritmo no Runkeeper

O problema detalhado na tabela 8 viola as heursticas:

Correspondncia entre o sistema e o mundo real e
Ajuda e documentao:
Descrio: A opo de ajuda no fcil de encontrar.
Ela no esta na tela principal e no menu de configuraes
ela aparece como Sobre Runkeeper e deveria ser
Ajuda como geralmente em outros sistemas.
Severidade: Os avaliadores julgaram tal problema como
sendo grande, pois o usurio precisa ter acesso rpido
ajuda para conseguir tirar duvidas e executar as tarefas.
Sugesto de soluo: Uma sugesto alterar o nome
da tela Sobre Runkeeper para Ajuda, alm disso,
alterar seu caminho para a tela principal.
Tabela 8 Problema: Localizao da Ajuda do aplicativo

O problema detalhado na tabela 9 viola somente a

heurstica Ajuda e documentao:
Descrio: Ausncia ou insuficincia de textos de ajuda
para a realizao de vrias tarefas no aplicativo. Em
muitos casos o usurio no consegue encontrar passos
concretos para atingir seus objetivos.
Severidade: O problema foi considerado como grande j
que os usurios precisam ter todas as informaes
necessrias para conseguirem tirar dvidas e executarem
as tarefas.
Sugesto de soluo: Aumentar o nmero de textos de
ajuda.
Tabela 9 Problema: Insuficincia de textos de
ajuda no Runkeeper

IHC 2014 Companion Proceedings - Student Competition

Foz do Iguau - PR, Brazil

Um problema que viola a heurstica Reconhecimento

em vez de memorizao est detalhado na tabela 10:
Descrio: O problema ocorre na interface de encontrar
novos amigos. Existe um cenrio (opo de e-mail) em
que o usurio precisa lembrar que os passos no so os
mesmos realizados para outros tipos de busca de amigos.
Severidade: O problema foi considerado pequeno j que
mesmo que o usurio no consiga encontrar amigos a
partir de e-mail, a popularidade do aplicativo no diminui,
pois existem outras opes para encontrar amigos.
Sugesto de soluo: Padronizar a forma de busca de
novos amigos utilizando Facebook, contatos ou e-mail.
Tabela 10 Problema: Interface de encontrar
novos amigos no Runkeeper

A tabela 11 apresenta detalhes de um problema que

viola a heurstica Consistncia e padronizao:
Descrio: O problema que mesmo o usurio definindo
o idioma do aplicativo como portugus, em vrias telas
pode-se observar algumas palavras e textos em Ingls.
Severidade: O problema foi considerado pequeno, pois,
em geral, os usurios que se encaixam no perfil analisado
conseguem entender as palavras e textos em ingls.
Sugesto de soluo: Identificar todos os lugares no
aplicativo onde so exibidos textos em ingls. Os textos
em todos esses lugares devem ser alterados
automaticamente de acordo com a lngua selecionada
manualmente.
Tabela 11 Problema: Definio de idioma
no Runkeeper

Por fim, detalhado na tabela 12 o ltimo problema

identificado que viola as heursticas: Visibilidade do
estado do sistema e Flexibilidade e eficincia de uso:

125

Descrio: Falha do aplicativo que ocorre ao tentar

adicionar um amigo em uma atividade no aplicativo para
posterior exibio. O Runkeeper fica buscando a lista de
amigos do usurio logado, mas no conclui a tarefa.
Severidade: O problema foi considerado pequeno, pois
raro, acontecendo em um cenrio nico.
Sugesto de soluo: A sugesto para soluo a
correo da falha.
Tabela 12 Problema: Adicionar amigo no Runkeeper

3.6. Avaliao dos mtodos aplicados

Aps a aplicao dos mtodos, a equipe de avaliadores
fez um parecer sobre a capacidade dos mtodos
revelarem ou no problemas em aplicaes em
smartphones. Com relao aplicao do questionrio,
o grupo de avaliadores concluiu que mesmo o usurio
no tendo interao com o sistema no momento da
avaliao, atravs das perguntas, foi possvel identificar
problemas e pontos de melhorias provenientes das
respostas obtidas. Alm disso, esse mtodo foi
fundamental na identificao dos fatores que
influenciam os usurios a iniciar e manter atividades
fsicas.
Atravs da aplicao do Mtodo de Inspeo Semitica
(MIS), foi possvel identificar rupturas de
comunicabilidade no aplicativo RunKeeper para
smartphones. Porm o mtodo s consegue apresentar
resultados se os avaliadores possurem conhecimento
de IHC e engenharia semitica.
O Mtodo de avaliao de comunicabilidade (MAC)
precisa de algumas adaptaes para ser aplicado em
avaliaes em aplicativos em smartphones, pois a
proposta original do MAC gravar a sequncia de aes
do usurio mostrando o caminho do cursor do

IHC 2014 Companion Proceedings - Student Competition

Foz do Iguau - PR, Brazil

participante para identificar as etiquetas que se

enquadram em cada problema de comunicabilidade
identificado atravs da interao do usurio. Neste
trabalho, no foi necessrio fazer ajustes na
metodologia porque ela foi aplicada na verso web do
RunKeeper conforme citado na metodologia.
Alm da realizao do MIS ter contribudo para a
definio dos cenrios a serem utilizados no MAC, a
comparao da metamensagem emitida (MIS) com a
recebida (MAC) forneceu informaes importantes para
a avaliao da comunicabilidade do Runkeeper:
potenciais rupturas de comunicao identificadas na
inspeo foram confirmadas no teste e os resultados de
outras rupturas encontradas em cada um se
complementaram.
A aplicao da Avaliao Heurstica permitiu identificar
problemas de usabilidade no Runkeeper sem a
necessidade de adaptaes, uma vez que as heursticas
originais so genricas e se aplicam a interfaces de
usurios de forma geral. Alm disso, como apresentado
anteriormente, com a aplicao de ambos os mtodos,
foi possvel a identificao de problemas no aplicativo
avaliado.

4. Concluso
Neste trabalho foi apresentada a avaliao feita do
aplicativo Runkeeper em smartphone para apoiar
corridas e caminhadas, na perspectiva de identificar as
primeiras experincias de uso e, assim, avaliar sua
usabilidade e comunicabilidade e verificar quais
recursos que este aplicativo oferece para motivar a
continuao da prtica dessas atividades fsicas. Para
isso, os mtodos escolhidos para realizao da
avaliao foram: aplicao de questionrio, mtodo de

126

inspeo semitica (MIS) e avaliao heurstica. Para

complementar o estudo, foi aplicado o mtodo de
avaliao de comunicabilidade (MAC) na interface web
do aplicativo.
Dentre as possveis contribuies deste trabalho devem
ser consideradas: 1) Descrio dos mtodos MIS, MAC
e avaliao heurstica; 2) Apresentao de decises
sobre como aplicar esses mtodos em um aplicativo
para smartphone e tambm em uma interface web; 3)
Os problemas encontrados so relevantes sobre o uso
do aplicativo, podendo gerar melhorias na sua
qualidade com relao comunicabilidade e
usabilidade; 4) A descrio dos problemas
apresentados pode evitar que eles ocorram em outros
aplicativos que tenham o mesmo objetivo que o
Runkeeper.
Conforme descrito anteriormente, a utilizao de quatro
mtodos para avaliao deste trabalho resultou em
uma anlise de vrios aspectos e perspectivas
diferentes e que muito contribuiu para os resultados. A
aplicao de questionrios contribuiu para identificao
da forma como os usurios utilizaram o aplicativo e,
principalmente, como o aplicativo poderia motivar na
prtica de corridas. Atravs da utilizao do Mtodo de
Inspeo Semitica (MIS), foi possvel analisar e
detalhar os problemas na qualidade da comunicao
designer-usurio, alm de identificar os signos que no
conseguem transmitir a mensagem definida pelo
designer e a ausncia de signos metalingusticos.
Atravs da aplicao do Mtodo de Avaliao de
Comunicabilidade (MAC), foi possvel identificar vrias
rupturas na comunicao vivenciadas pelo usurio na
interface web, que tambm faz parte do sistema do
Runkeeper. Por meio da avaliao heurstica foram

IHC 2014 Companion Proceedings - Student Competition

Foz do Iguau - PR, Brazil

identificados problemas de usabilidade que podem

comprometer a experincia de uso do usurio com o
aplicativo. Mesmo com algumas rupturas de
comunicao identificadas, a facilidade de aprendizado
do aplicativo no smartphone contribui para usurios
iniciantes conseguirem atingir seus objetivos. Com
relao verso da interface WEB que est no idioma
Ingls, muitas rupturas na comunicao foram
identificadas e precisam ser trabalhadas para que os
usurios brasileiros e que so iniciantes, consigam
atingir seus objetivos interagindo com o sistema. Alm
disso, necessrio, por parte dos designers, avaliar as
culturas de desenvolvimento dos pases e agregar isso
ao sistema.
Os resultados apresentados neste trabalho so
relevantes e devem ser considerados pelos
desenvolvedores do aplicativo avaliado e tambm por
outras pessoas que desejam projetar ou avaliar este
tipo de aplicativo. A realizao desse trabalho foi uma
excelente experincia para os autores. Atravs dele foi
possvel aplicar a teoria vista dentro de sala de aula
durante a disciplina de interao humano computador e
pode-se perceber na prtica a importncia da utilizao
dos mtodos de inspeo semitica, do mtodo de
avaliao de comunicabilidade e da avaliao heurstica
para identificao de rupturas de comunicao e
problemas de usabilidade. Acredita-se que, se as
fbricas de software adotassem esses mtodos a
qualidade dos sistemas seria consideravelmente
melhor.

6. Referncias
[1] BARBOSA, S.D.J.; SILVA, B.S. Interao HumanoComputador. Editora Campus-Elsevier, 2010.

127

[2] CONSELHO NACIONAL DE SADE. (2012)

Resoluo nmero 196/96 sobre pesquisas envolvendo
seres humanos. Disponvel em: <
http://conselho.saude.gov.br/resolucoes/2012/Reso46.
pdf>. Acesso em setembro/2014.
[3] Galitz, W. O. (2003). The Essential Guide to User
Interface Design: An Introduction to GUI Design
Principles and Techniques. John Wiley & Sons, New
York, NY, USA, 2nd edition.
[4] LEITO, C, F. e Dias-Romo, D. (2003). Pesquisas
em IHC: um debate interdisciplinar sobre a tica. Em
Nicolaci-da-Costa, A. M. e Leite, J. C. Atas do Workshop
sobre Interdisciplinaridade em IHC, CLIHC 2003
[5] NIELSEN, J., LORANGER, H. Prioritizing Web
Usability, 1 edio, New Riders Press, 2006.
[6] Nielsen, J. (1994). Heuristic evaluation. In Nielsen,
J., and Mack, R.L. (Eds.), Usability Inspection Methods.
John Wiley & Sons, New York, NY.
[7] PRATES, R. O.; BARBOSA, Simone D. J. Introduo
Teoria e Prtica da Interao Humano Computador
fundamentada na Engenharia Semitica. Jornada de
Atualizao em Informtica do Congresso da Sociedade
Brasileira de Computao. SBC 2007.
[8] SOUZA, C. S. de et al. Projeto de interfaces de
usurio: Perspectivas cognitiva e semitica. 1999.
Anais da Jornada de Atualizao em Informtica, XIX
Congresso da Sociedade Brasileira de Computao, Rio
de Janeiro, junho 1999.
[9] SOUZA, C. S. The Semiotic Engennering of HumanComputer Interaction. Cambridge, MA: The MIT Press,
2005.