Val Tese

VALRIA FARINAZZO MARTINS
AVALIAO DE USABILIDADE PARA SISTEMAS DE TRANSCRIO
AUTOMTICA DE LAUDOS EM RADIOLOGIA
So Paulo
2011
Tese apresentada Escola Politcnica da

Universidade de So Paulo para a
obteno do Ttulo de Doutor em Engenharia
So Paulo
2011
Tese apresentada Escola Politcnica da

Universidade de So Paulo para a
obteno do Ttulo de Doutor em Engenharia
rea de Concentrao: Sistemas Eletrnicos
Orientador: Prof. Dr. Lincoln de Assis Moura Jr.
So Paulo
2011
DEDICATRIA
Aos meus pais Maria Izolete Farinazzo Martins e

Segundo Garcia Martins
AGRADECIMENTOS
Ao Prof. Dr. Lincoln de Assis Moura Jr. pelo grande apoio, incentivo, pacincia e
orientao em todo o desenvolvimento deste trabalho e pela contribuio para a minha
carreira acadmica e profissional. Sem ele, eu no teria chegado at aqui.
Universidade Presbiteriana Mackenzie, por ter me fornecido subsdios para a

finalizao deste trabalho e apoio financeiro para as publicaes de trabalhos
relacionados a esta pesquisa, sobretudo ao Prof. Dr. Arnaldo Rabello de Aguiar Vallim
Filho.
Ao Hospital Edmundo Vasconcelos, sobretudo ao Prof. Dr. Claudio Campi de Castro por
sempre ser to prestativo e apoiar a minha pesquisa, desde a fase de qualificao.
empresa MacSym Tecnologia Mdica, em especial ao Sr. Carlos Kavai, pela

concesso da licena do software de transcrio automtica, por tempo determinado, e
pelas informaes cedidas.
minha amiga Ana Grasielle Dionsio Corra que participou, efetivamente, como
especialista de usabilidade nas inspees e testes de usabilidade. Agradeo tambm
por todo o apoio e amizade em muitos momentos.
Ao prof. Pericles Prado Turnes Jr., pelo auxlio e crticas, sempre construtivas, na
anlise dos dados das avaliaes. E pelo apoio e amizade sempre presentes.
Aos meus amigos e colegas da Universidade Presbiteriana Mackenzie pela

disponibilidade em participarem dos testes de usabilidade e pelas sugestes dadas
neste trabalho.
Ao Prof. Dr. Leandro Zerbinatti pelo material cedido para os testes de usabilidade.
A todas as pessoas que, de uma forma direta ou indireta, contriburam para que fosse
possvel que eu alcanasse este objetivo tanto no plano acadmico e profissional
quanto pessoal.
...Que ningum se engane,
s se consegue a simplicidade
atravs de muito trabalho.
Clarice Lispector
RESUMO
Este trabalho relaciona elementos das reas de Computao e Sade para comporem
a elaborao de uma metodologia para avaliao de usabilidade de sistemas de
transcrio automtica de laudos na rea de Radiologia. Inicialmente, apresentado
um estudo realizado sobre a rea de Interface do Usurio Baseada em Voz que
identifica requisitos para os sistemas que trabalham com comunicao mediada por voz
assim como as iniciativas no sentido de se criar uma metodologia para sua avaliao.
Em seguida realizado um estudo dos sistemas de transcrio automtica de laudos,
no qual os principais requisitos so caracterizados e classificados. Os dois estudos
acima citados foram integrados para a elaborao de uma metodologia para a avaliao
de Sistemas de Transcrio Automtica de Laudos em Radiologia. A metodologia foi,
ento, validada previamente atravs de inspees e testes de usabilidade realizados
fora do ambiente hospitalar, atravs do uso de um sistema de transcrio automtica de
laudos em Radiologia. Posteriormente, a metodologia foi tambm aplicada a um
hospital da cidade de So Paulo. Como resultado principal foi proposto um guia
bastante detalhado para se avaliar os Sistemas de Transcrio Automtica de Laudos
em Radiologia, cada vez mais presentes em hospitais e clnicas no pas, alm dos
relatos das experincias obtidas com a aplicao desta metodologia em um caso real.
Palavras-chaves: Avaliao de Usabilidade, Voice User Interface, Sistema de

Transcrio Automtica de Laudos em Radiologia, Sistema de Ditado.
ABSTRACT
This work combines knowledge from Computer Science and Health Science in order to
to propose an evaluation methodology for Automatic Transcription System of Radiology
Reports. At first a study regarding a Voice User Interface is presented, this interface
identifies the requirements for Spoken Language Dialogue Systems and it can also be
used as a tool for an evaluation methodology. Following, a study of automatic
transcription systems is presented; in this study the main requirements are listed and
classified. Both studies were integrated to allow a new methodology to evaluate an
Automatic Transcription System in Radiology. This methodology was previously
validated through some inspections and usability tests outside the hospital environment
and afterword the methodology was used in a hospital in So Paulo city. As a main
result it was proposed a very detailed guide for evaluating the Automatic Transcription
Systems Reports in Radiology, increasingly found in hospitals and clinics in this country,
apart from reports on experiences gained in applying this methodology in a real case.
Keywords: Usability Evaluation, Voice User Interface, Automatic Transcription System of

Radiology Reports, Dictation System.
LISTA DE ILUSTRAES
Figura 1: Componentes de um Sistema Interativo ......................................................... 34

Figura 2: Exemplo de um dilogo entre o sistema e um usurio .................................... 36
Figura 3: Arquitetura de um sistema de compreenso de linguagem falada .................. 41
Figura 4: O ponto de finalizao determina onde as ondas de voz comeam e terminam
....................................................................................................................................... 41
Figura 5: A extrao de caractersticas .......................................................................... 42
Figura 6: O mdulo de reconhecimento de voz .............................................................. 43
Figura 7: Mdulo de compreenso da Linguagem Natural ............................................. 44
Figura 8: Gerenciador de dilogo ................................................................................... 45
Figura 9: Taxonomia de Aspectos de Qualidade............................................................ 70
Figura 10: Etapas de um Sistema de Transcrio Automtica de Laudo ....................... 83
Figura 11: Dispositivo para a entrada de voz SpeechMike Pro 5274 .......................... 84
Figura 12: Interface grfica de um sistema de transcrio automtica de laudo ............ 85
Figura 13: Tela Inicial do Aplicativo SmInitialTraining .................................................. 110
Figura 14: Tela de Treinamento do Aplicativo SmInitialTraining .................................. 111
Figura 15: Tela Principal do Neoc 6.1 .......................................................................... 112
Figura 16: Tela do Sistema Philips Speech Magic 2.1 ................................................. 113
Figura 17: Ambiente no qual so realizados os laudos dos exames de Ressonncia
Magntica atravs do sistema de transcrio automtica. . ........................................ 114
Figura 18: SpeechMike Pro - Dispositivo de Entrada de udio. ................................... 123
Figura 19: Decibelmetro Utilizado nos Testes. ............................................................ 123
Figura 20: Testes de Usabilidade com Voluntrios. ..................................................... 149
LISTA DE TABELAS
Tabela 1: Perfil dos Participantes. ................................................................................ 149

Tabela 2: Interferncia Sonora do Ambiente. ............................................................... 150
Tabela 3: Tempo de durao de cada teste de usabilidade. ........................................ 150
Tabela 4: Parte do Questionrio sobre Experincia de Uso do Sistema ...................... 155
Tabela 5: Parte do Questionrio sobre Experincia de Uso do Sistema Carga
Cognitiva ...................................................................................................................... 157
Tabela 6: Parte do Questionrio sobre Experincia de Uso do Sistema Adequao do
Feedback...................................................................................................................... 158
Tabela 7: Questo sobre a percepo do udio pelo prprio usurio .......................... 159
Tabela 8: Formulrio de Observao do Delay do Sistema. ........................................ 161
Tabela 9: Formulrio de Observao da Interferncia Sonora do Ambiente. .............. 162
Tabela 10: Formulrio de Observao do Tempo para o Laudo ficar Pronto. ............. 162
Tabela 11: Resultado da Observao do Delay do Sistema. ....................................... 165
Tabela 12: Formulrio de Observao da Interferncia Sonora do Ambiente. ............ 166
Tabela 13: Resultado da Observao do Tempo para o Laudo ficar Pronto .............. 167
LISTA DE GRFICOS
Grfico 1: Porcentagem de Erro de Teste de um Laudo .............................................. 125

Grfico 2: Porcentagem de Erro do Sistema Com x Sem Treinamento Prvio ............ 126
Grfico 3: Porcentagem de Erro do Sistema Com ou Sem Interferncia Sonora ......... 126
Grfico 4: Diferena da porcentagem de Erro do Sistema entre Dois Especialistas .... 127
Grfico 5: Resultado da Porcentagem de Erro em 10 Testes com o Mesmo Laudo .... 129
Grfico 6: Porcentagem de Erro causado por Interferncia Sonora no Ambiente Teste
com o Equipamento Head Set Philips .......................................................................... 131
com o Equipamento SpeechMike Pro .......................................................................... 131
com o Equipamento SpeechMike Pro .......................................................................... 132
Grfico 9: Diferena da Porcentagem de Erro entre os dois Equipamentos ................ 135
Grfico 11: Naturalidade da Fala de Oito Voluntrios .................................................. 153
Grfico 12: Porcentagem de Erro de Teste com Seis Usurios ................................... 155
LISTA DE QUADROS
Quadro 1: Diferenas entre GUI e VUI. (Fonte: autor) ................................................... 38

Quadro 2: Lista de Heursticas Revisadas de Usabilidade ............................................. 56
Quadro 3: Caractersticas de Qualidade Relacionadas ao Dilogo ................................ 72
Quadro 4: Caractersticas de Qualidade relacionadas Comunicao, Tarefa e Servio
....................................................................................................................................... 73
Quadro 5: Classificao de Medidas (1) ........................................................................ 75
Quadro 6: Classificao de medidas (2) ........................................................................ 76
Quadro 7: Agrupamento dos Requisitos em Classes. .................................................... 93
Quadro 8: Classificao da complexidade de se avaliar cada requisito. ........................ 94
Quadro 9: Template utilizado para realizar a avaliao dos requisitos. ......................... 98
Quadro 10: Avaliao da Satisfao do Cliente. ............................................................ 99
Quadro 11: Avaliao da Modalidade Apropriada. ......................................................... 99
Quadro 12: Avaliao da Diversidade e Percepo Humana. ....................................... 99
Quadro 13: Avaliao da Minimizao da Sobrecarga de Memria. ............................ 100
Quadro 14: Avaliao do Feedback do Sistema. ......................................................... 100
Quadro 15: Avaliao da Eficincia do Sistema de Ajuda. ........................................... 100
Quadro 16: Avaliao da Visibilidade do Sistema. ....................................................... 101
Quadro 17: Avaliao da Preciso. .............................................................................. 101
Quadro 18: Avaliao da Integrao com Sistemas j Existentes. .............................. 102
Quadro 19: Avaliao da Recuperao de Erros. ........................................................ 102
Quadro 20: Avaliao da Naturalidade da Fala do Usurio. ........................................ 103
Quadro 21: Avaliao do Tempo para o Laudo ficar Pronto. ....................................... 104
Quadro 22: Avaliao do Tamanho do Vocabulrio. .................................................... 104
Quadro 23: Avaliao da Aderncia do Dicionrio. ...................................................... 105
Quadro 24: Avaliao da Interferncia Sonora do Ambiente. ...................................... 105
Quadro 25: Avaliao da Capacidade do Sistema de Resolver Homnimos. .............. 105
Quadro 26: Avaliao da Qualidade de udio do Sistema. .......................................... 106
Quadro 27: Avaliao da Qualidade das Entradas de udio. ...................................... 106
Quadro 28: Avaliao do Tempo de Feedback do Sistema. ....................................... 106
Quadro 29: Avaliao do Tratamento e Preveno de Erros. ...................................... 107
Quadro 30: Template para Casos de Testes................................................................ 116
Quadro 31: Caso de Teste para Avaliao da Preciso. .............................................. 116
Quadro 32: Caso de Teste para Avaliao da Recuperao de Erros do Sistema por
Inspeo. ...................................................................................................................... 117
Quadro 33: Caso de Teste para Avaliao da Interferncia Sonora. ........................... 117
Quadro 34: Caso de Teste para Avaliar a Resoluo de Ambiguidade para Homnimos.
..................................................................................................................................... 118
Quadro 35: Caso de Teste para Avaliar Tempo de Resposta do Sistema. .................. 118
Quadro 36: Caso de Teste para Avaliar a Qualidade das Entradas de udio. ............. 119
Quadro 37: Caso de Teste para Avaliar a Qualidade do Sistema de udio. ................ 119
Quadro 38: Caso de Teste para Avaliar a Visibilidade do Sistema por Inspeo. ....... 120
Quadro 39: Caso de Teste para Avaliar a Adequao do Sistema de Ajuda por Inspeo
..................................................................................................................................... 120
Quadro 40: Caso de Teste para Avaliar Modalidade Apropriada. ................................ 121
Quadro 41: Caso de Teste para Avaliar a Naturalidade da Fala do Usurio por Inspeo.
..................................................................................................................................... 121
Quadro 42: Obteno do Tamanho do Vocabulrio. .................................................... 121
Quadro 43: Resultados e Anlise do Caso de Teste para Avaliao da Preciso. ...... 128
Quadro 44: Resultados e Anlise do Caso de Teste para Avaliao da Recuperao de
Erros do Sistema por Inspeo. ................................................................................... 130
Quadro 45: Resultados e Anlise do Caso de Teste para Avaliar a Interferncia Sonora.
..................................................................................................................................... 133
Quadro 46: Resultados e Anlise do Caso de Teste para Avaliar a Resoluo de
Ambiguidade para Homnimos. ................................................................................... 134
Quadro 47: Resultados e Anlise do Caso de Teste para Avaliar Tempo de Resposta do
Sistema. ....................................................................................................................... 135
Quadro 48: Resultados e Anlise do Caso de Teste para Avaliar a Qualidade das
Entradas de udio. ....................................................................................................... 136
Quadro 49: Resultados e Anlise do Caso de Teste para Avaliar a Qualidade do
Sistema de udio. ........................................................................................................ 137
Quadro 50: Resultados e Anlise do Caso de Teste para Avaliar a Visibilidade do
Sistema por Inspeo. .................................................................................................. 138
Quadro 51: Resultados e Anlise do Caso de Teste para Avaliar a Adequao do
sistema de ajuda por Inspeo..................................................................................... 139
Quadro 52: Resultados e Anlise do Caso de Teste para Avaliar Modalidade Apropriada.
..................................................................................................................................... 140
Quadro 53: Resultados e Anlise do Caso de Teste para Avaliar a Naturalidade da Fala
do Usurio por Inspeo .............................................................................................. 142
Quadro 54: Obteno do Tamanho do Vocabulrio. .................................................... 142
Quadro 55: Caso de Teste para Avaliar a Naturalidade da Fala do Usurio por
Observao. ................................................................................................................. 146
Observao. ................................................................................................................. 146
Quadro 57: Caso de Teste da Avaliao da Carga Cognitiva do Sistema. .................. 146
Quadro 58: Caso de Teste para Avaliar a Adequao do Feedback por Observao. 147
Quadro 59: Caso de Teste para Avaliao do Tempo de Feedback do Sistema. ........ 147
Quadro 61: Caso de Teste para Avaliar a Naturalidade da Fala do Usurio por
Observao .................................................................................................................. 154
Observao. ................................................................................................................. 156
Quadro 63: Caso de Teste da Avaliao da Carga Cognitiva do Sistema. .................. 157
Quadro 64: Caso de Teste para Avaliar a Adequao do Feedback por Observao. 158
Quadro 66: Formulrio de Observao da Naturaliza da Fala do Usurio .................. 161
Quadro 67: Formulrio de Observao da Recuperao de Erros ............................. 162
Quadro 68: Formulrio de Observao da Sobrecarga Cognitiva do Usurio............. 163
Quadro 69: Formulrio de Satisfao do Usurio. (Fonte: autor) ................................. 165
Quadro 70: Formulrio de Observao da Naturaliza da Fala do Usurio. .................. 166
Quadro 71: Resultado da Observao da Recuperao de Erros. .............................. 167
Quadro 72: Formulrio de Observao da Sobrecarga Cognitiva do Usurio.............. 168
Quadro 73: Medio de Rudo ..................................................................................... 212
Quadro 74: Laudos utilizados nos testes ..................................................................... 214
LISTA DE ABREVIATURAS
GUI Graphical User Interface
HIS Hospital Information System
IHC Interface Homem-Computador
IVR Interactive Voice Response
NVA Nonverbal Audio
PACS Picture Archiving and Communication System
RIS Radiology Information System
SUI Speech User Interface
TAT Turnaround Time
TI Tecnologia da Informao
TTS Text to Speech
VUI Voice User Interface
WER Word Error Rate
WIMP Windows, Icons, Mouse and Pointers
WYSIWYG What you see is what you get

SUMRIO
ABSTRACT ...................................................................................................................... 9
LISTA DE ILUSTRAES ............................................................................................. 10
LISTA DE TABELAS ...................................................................................................... 11
LISTA DE GRFICOS .................................................................................................... 12
LISTA DE QUADROS .................................................................................................... 13
LISTA DE ABREVIATURAS ........................................................................................... 16
SUMRIO....................................................................................................................... 17
1. INTRODUO .......................................................................................................... 20
1.1 Consideraes iniciais ......................................................................................... 20
1.2 Objetivos da Pesquisa ......................................................................................... 23
1.3 Motivaes e Justificativas .................................................................................. 25
1.4 Mtodos da Pesquisa .......................................................................................... 27
1.5 Organizao do Trabalho .................................................................................... 28
2. INTERFACE DO USURIO BASEADA EM VOZ ..................................................... 30
2.1 Interface Homem-Computador (IHC) ................................................................... 30
2.1.1 Requisitos de Interface ...................................................................................... 30
2.1.2 Tipos de Interfaces ............................................................................................ 32
2.1.3 Independncia de dilogo .................................................................................. 34
2.2 Definio.............................................................................................................. 35
2.3 Principais Diferenas entre Interfaces Grficas e interfaces do usurio baseadas
em voz ........................................................................................................................ 37
2.4 Arquitetura de um Sistema Baseado em Interface de Voz .................................. 39
2.4.1 Mdulo de Ponto de Finalizao ........................................................................ 41
2.4.2 Mdulo de Extrao de Caractersticas ............................................................. 42
2.4.3 Mdulo de Reconhecimento de Voz .................................................................. 42
2.4.4 Mdulo de Compreenso da Linguagem Natural .............................................. 44
2.4.5 Mdulo Gerenciador de Dilogo ........................................................................ 45
2.5 Sintetizao de Voz ............................................................................................. 45
2.6 Vantagens e Dificuldade no Uso de VUI.............................................................. 46
2.7 Questes Tcnicas .............................................................................................. 49
2.8 Consideraes Finais .......................................................................................... 50
3. AVALIAO DE USABILIDADE ............................................................................... 51
3.1 Definio.............................................................................................................. 51
3.2 Mtodos Tradicionais de Avaliao de Usabilidade de Interfaces ....................... 54
3.2.1 Mtodos de Inspeo de Usabilidade ................................................................ 54
3.2.2 Testes de Usabilidade ....................................................................................... 58
3.2.3 Comparao entre os Mtodos de Avaliao de Usabilidade ............................ 60
4. USABILIDADE DE INTERFACES DO USURIO BASEADAS EM VOZ .................. 62
4.1 Contextualizao ................................................................................................. 62
4.2 Avaliao de VUI Ideia inicial ........................................................................... 63
4.3 Requisitos no funcionais para Interface do Usurio Baseada em Voz .............. 63
4.3.1 Requisitos no-funcionais relacionados representao da informao .......... 64
4.3.2 Requisitos no-funcionais relacionados entrada de dados ............................. 66
4.4 Caractersticas da Qualidade em Interface do Usurio Baseada em Voz ........... 69
4.5 Mtricas para a Avaliao de Usabilidade para Interface do Usurio Baseada em
Voz 73
5. INTERFACE DO USURIO BASEADA EM VOZ PARA SISTEMAS DE
INFORMAO RADIOLGICA ..................................................................................... 78
5.1 Consideraes Iniciais ......................................................................................... 78
5.2 Sistemas de Transcrio Automtica de Laudos ................................................. 80
5.3 Funcionamento de um Sistema de Transcrio Automtica de Laudos .............. 83
5.4 Consideraes Financeiras ................................................................................. 85
5.5 Requisitos de um Sistema de Transcrio Automtica de Laudo ........................ 86
6. METODOLOGIA DE AVALIAO DE INTERFACES DE VOZ PARA A REA DA
SADE SISTEMAS DE TRANSCRIO AUTOMTICA DE LAUDO ........................ 90
6.1 Introduo............................................................................................................ 90
6.2 Objetivos da Metodologia Utilizada ..................................................................... 91
6.3 Agrupamento dos Requisitos em Classes ........................................................... 91
6.4 Classificao dos Requisitos quanto Dificuldade de Avaliao ........................ 93
6.5 Requisitos Selecionados ..................................................................................... 94
6.6 Mtodo de Avaliao para cada Requisito Selecionado ...................................... 97
6.7 Consideraes Finais ........................................................................................ 107
7. APLICAO DA METODOLOGIA A SISTEMAS J IMPLANTADOS .................... 108
7.1 Descrio dos sistemas utilizados ..................................................................... 109
7.2 Planejamento da Inspeo do Sistema Stand-alone ......................................... 115
7.3 Planejamento das Observaes dos Usurios Finais em Ambiente de Produo
.159
7.4 Discusses sobre os resultados dos testes ....................................................... 168
8. CONCLUSES ....................................................................................................... 173
8.1 Aspectos Gerais do Trabalho ............................................................................ 173
8.2 Contribuies do Trabalho................................................................................. 176
8.3 Trabalhos Futuros ............................................................................................. 182
REFERNCIAS BIBLIOGRFICAS ............................................................................. 184
APNDICES E ANEXOS ............................................................................................. 194
APNDICE A - QUESTIONRIO DE SATISFAO DE USURIOS DE .................... 195
SISTEMAS DE TRANSCRIO DE LAUDOS EM RADIOLOGIA ............................... 195
APNDICE B - CARTA DE APRESENTAO PARA OS ........................................... 198
PARTICIPANTES DO TESTE ...................................................................................... 198
APNDICE C AUTORIZAO PARA O USO DE IMAGEM E SOM ........................ 200
APNDICE D PLANO DO OBSERVADOR ............................................................... 202
APNDICE E - RESULTADOS DA APLICAO DO QUESTIONRIO ...................... 205
APNDICE F - PLANO DE OBSERVAO PARA O USO DO SISTEMA DE
TRANSCRIO AUTOMTICA DE LAUDOS EM RADIOLOGIA................................ 208
ANEXO A - TABELA DE REFERNCIA DE INTERFERNCIA SONORA .................. 211
DESEJVEL PARA AMBIENTES ................................................................................ 211
ANEXO B - LAUDOS UTILIZADOS NOS TESTES E INSPEES ............................. 213
DE USABILIDADE ........................................................................................................ 213
20
1. INTRODUO
Este trabalho relaciona elementos das reas de Computao e Sade para comporem a
elaborao de uma metodologia para avaliao de usabilidade de sistemas de transcrio
automtica de laudos na rea de Radiologia.
Sero apresentados, neste captulo, as consideraes iniciais deste trabalho, os objetivos,

motivaes e justificativas para a elaborao da Tese, a metodologia utilizada e a organizao
do trabalho.
1.1 Consideraes iniciais
Interface Homem-Computador (IHC) pode ser definida como a parte de um sistema

computacional com a qual uma pessoa entra em contato fsico, perspectivo e conceitualmente
(ORTH, 2005), ou seja, a interface pode ser entendida como um sistema de comunicao que
possui dois componentes, um sendo o componente fsico hardware e software em que o
usurio capaz de perceb-lo e interagi-lo; e outro conceitual, em que ele interpreta,
processa e raciocina.
No incio da computao, em que apenas os especialistas utilizavam sistemas computacionais,

pouco se explorou efetivamente da rea de Interface Homem-Computador. Porm, desde a
popularizao do acesso aos equipamentos e a consequente proliferao de usurios no
especialistas, h uma preocupao, cada vez mais acentuada, de se criar interfaces que se
julguem mais amigveis.
Nos ltimos anos, a rea de IHC tem se desenvolvido e um grande esforo tem sido
empregado em relao a questes de projeto e avaliao de interfaces no convencionais,
tais como em Realidade Virtual, Realidade Aumentada, Interfaces por Gestos e Interface do
Usurio Baseada em Voz, do ingls Voice User Interface.
21
A origem das Interfaces do Usurio Baseadas em Voz se deu nos anos 50, quando
pesquisadores vislumbraram a voz como forma de comunicao entre o humano e a mquina.
Afinal, desde que a fala constitui a principal interface para a comunicao entre pessoas, era
de se esperar que essa forma natural de interao entre seres humanos fosse pensada como
interao entre homens e mquinas.
Os sistemas de dilogo de voz surgiram de pesquisas em Inteligncia Artificial dos anos 50

(ALLEN; PERRAULT, 1980; PRICE, 1990; KAMM et al, 1997), a partir do desenvolvimento
das conversational interfaces. Porm, somente a partir dos anos 90, houve um crescimento
significativo na criao e desenvolvimento de interfaces do usurio baseadas em voz,
especialmente para uso via telefone, para fins comerciais, mas tambm cientficos. Isto se
deve ao maior poder computacional dos dispositivos digitais, aos avanos de tecnologia de
reconhecimento e sntese de voz, processamento de linguagens naturais e a modelagem de
dilogo entre homem e mquina.
Interfaces do usurio baseadas em voz usam tecnologia de reconhecimento e sntese de voz

para fornecer a seus usurios acesso informao, permitindo-os executar transaes e
oferecendo suporte comunicao (MCTEAR, 2002; COHEN; GIANGOLA; BALOGH, 2004).
O estado da arte em tecnologia de voz j permite que sistemas automticos sejam
desenvolvidos para trabalhar em condies reais (SAN-SEGUNDO et al, 2005). Empresas
como a Nuance (2010), a IBM ViaVoice (IBM, 02/03/2009) e a Philips Speech (2010)
compradas recentemente pela Nuance (2010) e a Microsoft (MICROSOFT, 10/04/2010) tm
investido no desenvolvimento de sistemas de voz para domnios restritos1.
Apesar deste avano, pouco se tem falado a respeito do processo de desenvolvimento de

aplicaes baseadas em comandos de voz. As particularidades dessas aplicaes devem ser
mais bem destacadas e os impactos dessas no processo de desenvolvimento da aplicao
devem ser estudados de maneira mais aprofundada.
1
O termo domnios restritos est sendo empregado aqui como sub-reas do conhecimento, que trabalham com um conjunto
finito de palavras em seu vocabulrio. Como exemplo, a rea de Radiologia uma sub-rea da Sade, e os seus
especialistas trabalham com uma fatia bem menor de termos do que os 100 mil termos da rea Mdica e 60 milhes de
possibilidades de diagnsticos presentes no SNOMED (07/03/09).
22
Outro ponto-chave so os processos de avaliao destas interfaces do ponto de vista de

usabilidade. A criao de diretrizes (guidelines) que facilitem todas as fases da anlise de
requisitos, a posterior criao destes sistemas e de sua avaliao crucial para o aumento da
qualidade destes sistemas.
Ainda vale destacar que poucos trabalhos tem se voltado para o estudo de metodologias de
avaliao para esta classe de aplicaes. O conhecimento atual sobre avaliao de Voice
User Interface (VUI) advm de pequenas contribuies de avaliaes que foram
desenvolvidas para projetos especficos, e que tentam generalizar e propor recomendaes
para tais classes de aplicaes, como PARADISE (WALKER et al, 1997), EAGLES (GIBBON;
MOORE; WINSKI, 1997) e DISC (DYBKJAER; BERNSEN, 2000).
Analisando, especialmente, a rea da Sade, a utilizao de reconhecimento de voz em

sistemas da Sade de propsito geral, tais como em emergncia, no tem sido eficiente
devido ao grande vocabulrio do domnio - sabe-se que um profissional de sade utiliza, no
seu cotidiano, mais de 100 mil itens no seu vocabulrio. Alm disto, as possibilidades
diagnsticas presentes no SNOMED (07/03/09), por exemplo, so mais de 60 milhes. Ou
seja, a informao disponvel na rea da Sade extremamente variada.
Assim, a tecnologia de reconhecimento de voz tem sido usada para propsitos mais
especficos, tais como em sistemas de ditado como, por exemplo, sistemas de transcrio
automtica de laudos2; sistemas com unidades de resposta audvel baseados em voz (IVR);
sistemas para controlar equipamentos mdicos, e sistemas para interpretao de linguagem
(DURLING; LUMSDEN, 2008). Isto significa que o vocabulrio consideravelmente menor,
proporcionando uma preciso mais alta no reconhecimento dos termos especficos.
Porm, muito pouco tem sido explorado em questo da avaliao destes sistemas de voz
para uso em domnio restrito na rea da Sade. No h trabalhos suficientes na literatura que
estabeleam os requisitos especficos da rea que devem ser atendidos de forma a tornar o
uso de reconhecimento de voz efetivo e eficaz.
2
O termo laudo radiolgico ou laudo em Radiologia um documento, em que so mencionadas a tcnica utilizada e as
possveis intercorrncias durante o procedimento. A descrio dos achados deve ser redigida de forma sucinta e completa, e
quando o diagnstico seguro, terminar com uma impresso/concluso (FENELON, 2003). Exemplos de laudos podem ser
visualizados na Anexo B deste trabalho.
23
Os sistemas que utilizam reconhecimento de voz na rea da Sade, no so, na sua grande
maioria, analisados seguindo mtodos mais completos e complexos e bem-estabelecidos de
avaliao de usabilidade. Alm disto, algumas avaliaes de usabilidade para esta classe de
aplicaes so focadas apenas no desempenho do reconhecimento de voz num contexto
particular do ambiente, enquanto outras avaliaes se voltam para a usabilidade de um
sistema todo, em que o reconhecimento de voz apenas um dos aspectos (DURLING;
LUMSDEN, 2008).
Sendo assim, torna-se necessrio o desenvolvimento de uma metodologia para analisar a

usabilidade de sistemas de transcrio automtica de laudos que possa abordar no somente
falhas no reconhecimento da voz, mas que possa tratar questes mais amplas, tais como a
satisfao do usurio.
1.2 Objetivos da Pesquisa
O objetivo deste trabalho de pesquisa propor uma metodologia de avaliao da usabilidade

de interfaces do usurio baseadas em voz, em aplicaes da Sade, mais especificamente,
em sistemas de transcrio automtica de laudos em Radiologia.
A elaborao desta metodologia tem o intuito de poder ser utilizada como um guia para
hospitais e clnicas mdicas que desejem comprar sistemas de transcrio automtica de
laudos em Radiologia, o prprio desenvolvimento deste sistema ou customizaes e, que
estejam preocupados, tanto com a usabilidade quanto pela aceitabilidade destes sistemas por
seu corpo de mdicos radiologistas.
Tal plano deve incluir o estudo e o estabelecimento de mtricas de usabilidade a partir dos
atuais requisitos de interface - criados principalmente para atender s interfaces grficas (GUI)
-, de requisitos prprios para interfaces do usurio baseadas em voz e o estudo e a
metrificao de requisitos especficos, definidos e estudados, de sistemas de transcrio
automtica de laudos em radiologia. Assim, os objetivos especficos deste trabalho so:
1. Estudar o estado da arte das tecnologias envolvidas na construo de interfaces de

usurio baseadas em voz, inclusive em relao s suas limitaes.
24
2. Conhecer todo o processo de criao de interfaces do usurio baseadas em voz:

anlise dos requisitos, projeto, implementao, testes e implantao.
3. Estudar os requisitos prprios de VUI, em contraposio aos requisitos de GUI.
4. Entender as particularidades da rea da Sade, principalmente em Radiologia, no que

tange s interfaces do usurio baseadas em voz.
5. Estudar aplicaes de VUI de um modo geral, VUI na rea da Sade e mais

especificamente na Radiologia.
6. Buscar, na literatura, os requisitos mencionados para a avaliao de VUIs e VUI em

Sistemas de Informao Radiolgica (RIS), desenvolvendo uma anlise quanto a sua
completude e suficincia.
7. Estabelecer outros requisitos para VUI em RIS que forem julgados pertinentes.
8. Classificar os requisitos propostos, assim como sua importncia no processo de

avaliao e dificuldades de avaliao.
9. Escolher e justificar o uso dos requisitos classificados dentro da metodologia.
10. Estudar os mtodos de inspeo de usabilidade e os mtodos de testes de usabilidade

utilizados na rea de Interface Homem-Computador.
11. Escolher o mtodo de avaliao apropriado para cada requisito escolhido, levando em
considerao fatores como eficincia, tempo e custo.
12. Estabelecer mtricas a fim de que se possam analisar os requisitos de maneira

quantitativa.
13. Aplicar a metodologia proposta a um conjunto de sistemas de VUI em Radiologia.
14. Planificar todos os testes necessrios para a validao da metodologia.
15. Analisar os resultados encontrados a partir da aplicao da metodologia.
16. Apresentar pontos fortes e fracos do uso da metodologia.
17. Apresentar trabalhos futuros que possam ser desenvolvidos a partir desta pesquisa.
18. Estabelecer consideraes finais sobre o trabalho, incluindo a discusso sobre as

limitaes do mesmo.
25
1.3 Motivaes e Justificativas
Um dos principais problemas apontados na literatura (WHITE, 2005; KANAL et al, 2001;
BHAN et al, 2008; HUNDT et al, 1999; DURLING; LUMSDEN, 2008; GOPAKUMAR et al,
2008; KIMBERLY, 2006) a demora da disponibilizao dos laudos de Radiologia devido ao
tempo gasto entre o envio de laudos gravados e seu retorno de forma textual para a avaliao
do radiologista (TAT Tournaround Time).
Este problema pode se agravar consideravelmente se o laudo pertencer a um paciente que

necessite de uma investigao radiolgica imediata para receber interveno apropriada.
Como os laudos transcritos podem consumir bastante tempo, os mdicos necessitam esperar
mais do que o necessrio antes de definir uma conduta adequada para o caso em estudo.
Os sistemas de transcrio automtica de laudos (que utilizam VUI) tm sido cogitados como
soluo para diminuir este tempo (TAT) e tambm como redutor dos custos globais dos
departamentos de Radiologia. Porm, para se verificar a eficcia de se utilizar sistemas de
transcrio automtica de laudos, preciso avaliar se os requisitos gerais de VUI e tambm
os requisitos especficos da rea esto sendo tratados de maneira correta nos produtos
disponveis no mercado.
Dos trabalhos pesquisados at o momento na literatura, pouco se tem abordado sobre

avaliao de sistemas de transcrio automtica de laudos. Quando isto realizado, apenas a
preciso (acurcia) do reconhecimento de voz ou a deteco de erros (KANAL et al, 2001;
KIMBERLY, 2006; VOLL; ATKINS; FORSTER, 2008; PAULETT; LANGLOTZ, 2009; McGURK
et al, 2008) tem sido avaliada, ou seja, os trabalhos na rea de avaliao ainda so muito
incipientes. No h suficincia de trabalhos e, tampouco, de contedo sobre uma metodologia
de como avaliar tais sistemas.
26
Por outro lado, a maioria dos sistemas de VUI encontrados na literatura trata de sistemas de
consultas a determinadas informaes vindas de uma base de dados. So, assim, sistemas
relativamente simples de reservas de passagens areas, reserva de hotis, consulta de
horrios de vos, e similares. Desta maneira, possuem um vocabulrio pequeno, com uma
interao entre o usurio e a mquina bastante grande (dilogo). Muitos pesquisadores
(WALKER; PASSNNEAU; BOLAND, 2001; MLLER, 2002; MLLER 2005; LARSEN, 2003;
HARTIKAINEN; SALONEN; TURUNEN, 2004) tm proposto mtodos e metodologias para
avaliar a usabilidade destes sistemas mais simples. Porm, avaliar os sistemas de transcrio
automtica de laudos uma tarefa relativamente diferente, desde que:
O vocabulrio mais extenso, implicando numa taxa de reconhecimento mais baixa.
O vocabulrio deve ser especfico para a rea de Radiologia.
O dilogo entre o usurio e o sistema bem menor, visto que o sistema deve apenas
transcrever (gerar um texto) a partir da fala do usurio, sem haver consultas a serem
realizadas e informadas ao usurio.
O radiologista no deseja ser interrompido quando est ditando um laudo.
O tratamento e a preveno de erros so bastante diferentes. O sistema deve ser apto

a apontar, de alguma maneira, as palavras, no texto, que foram mal-compreendidas,
mas no deve perguntar novamente ao usurio ou permitir confirmao.
A satisfao do usurio est diretamente ligada preciso (acurcia) do texto transcrito

e tambm ao tempo para a realizao da tarefa.
A qualidade das mensagens de sada e a adequao das frases de sada devem ser
substitudas pela preciso do texto.
H, tambm, algumas outras consideraes importantes aplicveis aos sistemas de

transcrio automtica de laudos:
1. Falhas no laudo causadas por erros no reconhecimento das palavras podem ser
desastrosas para os pacientes, pois podem significar um diagnstico equivocado.
27
2. Como criar uma metodologia que leve em considerao os principais requisitos para
este tipo de sistema.
3. Os desafios encontrados para avaliar estes tipos de sistemas so:
a) Quais requisitos de VUI devem ser considerados para se avaliar um sistema de

laudo automtico;
b) Quais os requisitos especficos dos sistemas de laudo automtico que devem ser
considerados para esta avaliao;
c) Quais, dentre os muitos requisitos apresentados, so ditos fundamentais e viveis

de se avaliar;
d) Como medir cada requisito apontado como fundamental destes sistemas;
e) Como avaliar estes sistemas de uma maneira vivel, com custos e tempos
aceitveis para a instituio da sade;
Sendo assim, h que se propor uma metodologia para avaliao destes sistemas que
considere estas questes particulares.
1.4 Mtodos da Pesquisa
Esta pesquisa foi desenvolvida a partir do interesse crescente desenvolvido na participao

de projetos na rea de interfaces no-convencionais, especificamente em projetos no mbito
profissional em VUI e tambm no interesse na aplicabilidade de IHC na rea da Sade. A
investigao do uso de VUI na rea radiolgica incentivou e motivou um estudo mais
aprofundado sobre o assunto.
Assim, o levantamento bibliogrfico teve o objetivo de desvendar, coletar e analisar as

principais pesquisas sobre os assuntos relacionados que contriburam para o avano do tema.
28
A seguir, o mtodo exploratrio visou um aprofundamento no conhecimento de sistemas de

transcrio automtica de laudos, atravs de visitas tcnicas, conversas informais e
experimentao do sistema.
Ao final, foi realizada uma pesquisa de campo por corresponder coleta direta de informao
no ambiente em que a tcnica pode ser usada. Segundo Marconi e Lakatos (2007), pesquisa
de campo aquela que realizada fora do laboratrio, no prprio ambiente no qual as
ocorrncias so geradas.
Desta forma, a fim de se alcanar os objetivos gerais e especficos propostos neste trabalho,
as seguintes atividades foram realizadas:
1. Reviso bibliogrfica dos temas envolvidos no projeto, incluindo: Interface Homem-

Computador, interfaces do usurio baseadas em voz, sistemas de informao
radiolgica com VUI, e mtodos tradicionais de avaliao de usabilidade;
2. Identificao dos requisitos genricos para interfaces do usurio baseadas em voz;
3. Identificao dos requisitos de interface do usurio baseada em voz para sistemas em

Sade, especialmente, para sistemas de informao radiolgica;
4. Gerao de uma metodologia de avaliao de interfaces do usurio baseadas em voz,

adaptada s peculiaridades desta classe de interfaces;
5. Aplicao da Metodologia proposta a um conjunto restrito, porm significativo, de

sistemas baseados no dilogo por voz, em domnios restritos da rea da Sade, a fim
de validar a Metodologia.
Percebeu-se que um nome mais apropriado para esta tese poderia envolver o termo
metodologia, pois, na verdade, trata-se de uma metodologia proposta pela autora para
avaliar os sistemas de transcrio de laudos em Radiologia.
1.5 Organizao do Trabalho
Este trabalho de pesquisa est organizado em captulos, conforme explicitado a seguir:

29
O Captulo 1, INTRODUO, aborda as consideraes sobre a pesquisa, tais como seus

objetivos, metodologia e justificativas.
No Captulo 2, INTERFACE DO USURIO BASEADA EM VOZ, trata de um estudo

aprofundado sobre o tema, apontando suas diferenas em relao s interfaces grficas do
usurio, alm de sua arquitetura e principais funes.
O Captulo 3, AVALIAO DE USABILIDADE DE INTERFACES, resgata as principais

metodologias clssicas para avaliao as interfaces do usurio. Estas metodologias foram,
principalmente, criadas para avaliao das interfaces grficas.
No Captulo 4, USABILIDADE DE INTERFACES DO USURIO BASEADAS EM VOZ, so

apresentados os principais requisitos que devem ser analisados quando se avalia uma VUI,
algumas heursticas para sua avaliao e caractersticas de qualidade para estes sistemas.
O Captulo 5, INTERFACE DO USURIO BASEADA EM VOZ PARA SISTEMAS DE

INFORMAO RADIOLGICA, versa sobre o uso de VUI aplicado rea da Sade,
principalmente no que se refere ao seu uso em transcries de laudos em Radiologia,
tratando, inclusive sobre seus requisitos.
O Captulo 6, METODOLOGIA DE AVALIAO DE INTERFACES DE VOZ PARA A REA

DA SADE SISTEMAS DE TRANSCRIO AUTOMTICA DE LAUDO, expe a
metodologia de avaliao, que compe os resultados parciais.
O Captulo 7, APLICAO DA METODOLOGIA A SISTEMAS J IMPLANTADOS, aborda os

passos utilizados para que seja possvel avaliar sistemas de transcrio automtica de laudo
sobre uma metodologia proposta pela autora.
No Captulo 8, CONSIDERAES FINAIS, so destacadas as contribuies da pesquisa e as

limitaes dos resultados obtidos, trazendo algumas indicaes de trabalhos futuros.
Os Apndices e Anexos apresentam as ferramentas de coleta de dados, a tabela de

referncia sonora desejvel para ambientes e os laudos utilizados para os testes.
30
2. INTERFACE DO USURIO BASEADA EM VOZ
Este captulo faz um levantamento bibliogrfico de Interface Homem-Computador (IHC) e da

dos conceitos relacionados Interface do Usurio Baseada em Voz (VUI). Tambm versa
sobre as principais diferenas entre um projeto de Interfaces Grficas do Usurio (GUI) e
Interfaces do Usurio Baseadas em Voz.
2.1 Interface Homem-Computador (IHC)
Segundo Myers (1995), a pesquisa em IHC estuda como as pessoas projetam, implementam
e usam sistemas computacionais interativos e como os computadores afetam o indivduo, as
organizaes e a sociedade. Isto abrange no s a facilidade de uso, mas tambm novas
tcnicas de interface para dar suporte s tarefas dos usurios, fornecendo um melhor acesso
informao e criando formas mais poderosas de comunicao. Ela envolve dispositivos de
entrada e sada (E/S) e tcnicas de interao que os usam; como a informao apresentada
e requisitada; como os processos computacionais so controlados e monitorados; todas as
formas de ajuda, documentao e treinamento; as ferramentas usadas para projetar, construir,
testar e avaliar as interfaces do usurio; e os processos que os desenvolvedores seguem para
criar interfaces.
2.1.1 Requisitos de Interface
Liang (1987), Fischer (1990) e Rocha e Baranauskas (2003), estabeleceram que para se obter
uma boa interface, necessrio que certos requisitos sejam atendidos:
Diversidade A interface deve fazer todo o tratamento do usurio, ou seja, suportar

todas as classes de usurios, identificar cada usurio e adaptar-se a ele,
desenvolvendo uma linguagem adequada ao usurio em questo;
31
Complacncia A interface deve dar suporte ao usurio, quando este fizer a

recuperao de seus erros, assim como prever que o usurio se esquea de
informaes j apresentadas.
Eficincia A interface deve minimizar o esforo do usurio para executar uma

dada tarefa. Deve existir a garantia de que o sistema auxilia ao usurio a executar
determinada ao mais rapidamente do que o faria manualmente.
Convenincia A interface deve ser capaz de proporcionar acesso fcil a todas as

operaes.
Flexibilidade A interface deve fornecer vrias maneiras para se executar uma

dada operao.
Consistncia A interface deve ter comportamentos e apresentao fsica bem

definidos por regras e conhecidos pelo usurio, como por exemplo: empregar
sempre a mesma codificao; empregar caracteres de teclado sempre na mesma
funo; e mostrar as mensagens de estado do sistema em local fixo.
Prestimosidade A interface deve fornecer ajuda sempre que requisitada ou

quando perceber que o usurio se encontra em dificuldades.
Imitao A interface deve explorar os aspectos de comunicao no orientados a

comandos, tais como o uso de exemplos, explanaes, analogias, comparaes e
descries.
Naturalidade A interface deve envolver o usurio de uma maneira bastante natural,

no exigindo terminologia no referente tarefa.
Satisfao A interface deve realizar o que o usurio espera, no o frustrando. Seu

tempo de resposta deve ser suficientemente pequeno a ponto de no desmotivar o
usurio e deve permitir que o usurio obtenha ajuda em qualquer ponto de sua
interao.
Passividade A interface deve permitir que o usurio detenha o controle da

interao.
32
Foley e Van Dan (1990) e Nielsen (1993) destacam as principais metas a serem atingidas, ao
se desenvolver uma dada IHC:
Aumento da Velocidade de Aprendizado Significa a diminuio do tempo em que

um novo usurio leva para atingir um certo grau de proficincia com um sistema.
Aumento da Velocidade de Uso Ou seja, uma diminuio do tempo em que um

usurio experiente requer para executar alguma tarefa especfica dentro do sistema,
seja porque a interface utiliza shorcut ou porque evita retrabalho.
Reduo da Taxa de Erros Significa uma reduo do nmero de erros do usurio

por interao. Alguns erros de interao que podem ocorrer uma interface so:
digitao incorreta (sem validao), seleo incorreta de um item em um formulrio,
valores corretos em campos errados, campos no formulrio que confundem o
usurio (SALVADOR et al, 2006).
Facilidade de uma Rpida Recordao de como Utilizar a Interface Permitindo

que um usurio inativo, possa retornar rapidamente a utilizar o sistema.
Aumento da Atratividade para Potenciais Usurios e Compradores Isto ,

aumentar a percepo do conjunto de usurios.
2.1.2 Tipos de Interfaces
Segundo a classificao tradicional, h quatro tipos mais comuns de interface: WYSIWYG,

icnica, de manipulao direta e interface grfica com o usurio, que so consideradas como
intrinsecamente grficas.
WYSIWYG (What you see is what you get): Neste tipo de interface, a representao
com que o usurio interage nas telas de interface basicamente a mesma que a
imagem final criada pela aplicao. A maioria das aplicaes interativas possui algum
componente nesta representao. Por exemplo, um editor de texto que imprime uma
letra em negrito tambm a mostra neste formato em vdeo.
33
Icnica: Aqui, os objetos, atributos ou relaes que podem ser operados so

representados de forma pictrica (cones). Um cone um smbolo caracterizado pela
semelhana ou por analogia entre o smbolo escolhido e o que ele representa.
De Manipulao Direta: A manipulao direta trata os objetos, atributos, relaes e

operaes de uma forma visual, seja atravs de grficos ou textos. Esta forma de
interface faz com que o usurio esteja mais integrado com a semntica da aplicao.
Nas interfaces de manipulao direta, no h operaes escondidas, nem sintaxes
para serem aprendidas (ROCHA; BARANAUSKAS, 2003). Tal estilo de interface
apresenta uma metfora da sua aplicao, em que o usurio pode manipular os
objetos. A metfora utilizada o ponto fundamental na manipulao direta (CURTIS,
1994). Ela deve ser suficientemente simples para que o usurio a compreenda
rapidamente, e ao mesmo tempo bastante sofisticada para oferecer de forma natural,
intuitiva e consistente todas as operaes necessrias tarefa do usurio. O
desenvolvimento desta metfora pode ser complicado, at mesmo porque, muitas
vezes, difcil identificar os objetos a manipular. Entre as interfaces de manipulao
direta esto: seleo de menus, linguagem de comandos, linguagem natural e caixa de
dilogo.
Interface Grfica com o Usurio (GUI): Conforme Vavassori (1995), as formas de IHC
evoluram de comandos textuais para mecanismos de interao avanados, tais como
grficos e objetos tridimensionais, oferecendo suporte a uma ampla variedade de
caractersticas. Vrios benefcios foram trazidos com a interface grfica:
o Acesso Direto Um objeto grfico pode ser considerado como um objeto atmico
com facilidade de ser enfocado. Utilizando-se variaes de forma, cor e tamanho,
pode-se tornar fcil atrair o usurio para a rea de interesse.
o Largura de Banda A quantidade de informao contida em um grfico muito

grande se comparada a outras formas de representao.
o Riqueza de Expresso Se tratados de forma eficiente, os grficos desenvolvem

um contexto apropriado para representar uma informao ao usurio.
34
o Consistncia Com o surgimento e utilizao das GUIs, facilitou-se a transposio

de consistncia de um sistema para outro, reduzindo o tempo de aprendizado e a
ansiedade do usurio.
o Comandos Naturais As interfaces grficas trabalham a intuio natural do usurio,

o que torna o seu aprendizado relativamente fcil.
o Multi-tarefa Permite que diversas aplicaes compartilhem a tela,

simultaneamente, atravs de janelas diferentes.
Porm, h, atualmente, vrios outros tipos de interface que no se enquadram nestas quatro
categorias supracitadas, as chamadas interfaces no-convencionais, entre as quais possvel
citar as interfaces touch-screen e as interfaces do usurio baseadas em voz (que sero vistas
na prxima seo).
2.1.3 Independncia de dilogo
Independncia de dilogo consiste na clara separao entre interface (componentes de

dilogo) e aplicao (componentes de computao), como mostra a Figura 1
(VAVASSORI,1995).
Dilogo Interno
Componente de Componente de
Usurio Dilogo Computao
(Interface) (Aplicao)
Sistema Interativo
Dilogo
Externo
Figura 1: Componentes de um Sistema Interativo

35
Como se sabe, a interface responsvel pela comunicao com o usurio, o que chamado
de dilogo externo. J a aplicao responsvel pela execuo das tarefas requisitadas pelo
usurio atravs da interface. Entre a interface e a aplicao estabelecido o dilogo interno.
Esta abordagem de desenvolvimento permite que a construo dos componentes do sistema

seja feita em separado. Assim, uma equipe composta por psiclogos, artistas visuais,
cientistas da computao e usurios pode cuidar de desenvolver a interface, enquanto que
uma equipe integrada por analistas, programadores e usurios deve cuidar do
desenvolvimento da aplicao. Este enfoque tambm possibilita uma manuteno mais
simplificada, j que possvel alterar um componente sem influenciar o outro.
Entretanto, a independncia de dilogo possui algumas desvantagens: se o dilogo interno

no for bem estruturado pode no ser capaz de efetivar todas as trocas de informao entre
os dois componentes; a sobrecarga na comunicao interna em tempo de execuo pode
gerar uma queda de desempenho; e necessrio saber como se efetuar a gerncia da
comunicao interface-aplicao, j que h dois componentes se comunicando. Segundo
Liang (1987), Fischer (1990) e Rocha e Baranauskas (2003), para se obter uma boa interface,
necessrio que certos requisitos sejam atendidos.
2.2 Definio
Interface do usurio baseada em voz, em ingls Voice User Interface (VUI) ou Speech User
Interface (SUI), consiste na interao de uma pessoa com um sistema atravs de voz,
utilizando uma aplicao de linguagem falada (SHNEIDERMAN, 2000).
As VUIs tiveram sua origem em pesquisas de Inteligncia Artificial, especialmente do

desenvolvimento de conversational interfaces, na dcada de 50. Mas somente depois dos
anos 90 que esta tecnologia contou com uma significativa melhoria (MCTEAR, 2002;
COHEN, GIANGOLA, BALOGH, 2004).
Sistemas com interfaces do usurio baseadas em voz so sistemas capazes no somente de

reconhecer a voz do usurio, mas compreender o que ele diz e responder a estas entradas,
geralmente, em tempo real (LAI, 2000).
36
Dependendo do propsito do sistema em questo, possvel ter aplicaes que somente

reconhecem o que o usurio est dizendo, qualquer que seja este usurio, chamados de
sistemas independentes do usurio; outros sistemas precisam apenas garantir que aquele
usurio seja quem diz ser (autenticador de voz) chamados de sistemas dependentes do
usurio, ou ambos os requisitos em conjunto, ou seja, necessrio que o sistema entenda o
que o usurio autenticado diz.
Este tipo de interface inclui elementos tais como: prompts ou mensagens do sistema,
gramticas e lgica de dilogo ou fluxo de chamada (call flow). Os prompts so todas as
mensagens de voz pr-gravadas ou sintetizadas que devem ser executadas durante o dilogo
com o usurio. Gramticas definem todas as palavras, sentenas ou frases que podem ser
ditas pelo usurio em resposta a um prompt. A lgica de dilogo define todas as aes a
serem tomadas pelo sistema em determinado ponto da interao, tais como um acesso
base de dados (COHEN; GIANGOLA; BALOGH, 2004).
A seguir apresentado um exemplo de um sistema de atendimento automtico de chamadas

telefnicas (Figura 2):
SISTEMA: [Nome da empresa] Bom dia. Com quem voc deseja falar?
USURIO: Eu gostaria de falar com Valria Farinazzo.
SISTEMA: Desculpe-me, voc gostaria de falar com Valria Farinazzo?
USURIO: Sim.
SISTEMA: Estamos transferindo sua chamada para Valria Farinazzo. Obrigado.
Figura 2: Exemplo de um dilogo entre o sistema e um usurio
Neste exemplo, uma locutora gravou todas as possveis falas do sistema. Aps o prompt
Bom dia. Com quem voc gostaria de falar? o sistema ouve, usando uma gramtica que
ajusta entradas do usurio com o nome da pessoa da empresa; como o reconhecimento no
atingiu uma taxa considerada segura, o sistema pede a confirmao Desculpe-me, voc
gostaria de falar com seguido do nome da pessoa que possivelmente o sistema entendeu.
Dada a confirmao, o sistema reproduz a mensagem Estamos transferindo sua chamada
para.. acompanhado do nome da pessoa e conecta o udio das duas pessoas.
37
Interfaces audveis so as que interagem somente atravs do som tipicamente, uma entrada
falada (sonora) do usurio e uma sada falada (sonora) ou no-falada do sistema. As sadas
no-faladas (Nonverbal audio - NVA, em ingls) podem ser na forma de earcons (cones
audveis, ou sons projetados para comunicar um significado especfico por exemplo, o aviso
de que um amigo est online), msica de fundo ou ambiental (para criar uma sensao) ou
outros sons de fundo (CHAMBERLAIN et al, 2006; OLIVEIRA NETO; SALVADOR, 2007).
Uma das principais questes relacionadas voz para interfaces que ela mais transiente
do que esttica, ou seja, o usurio deve obter a informao no momento em que esta
informao fornecida - no h uma tela para visualizar a informao. No existe a
oportunidade de rever as sadas do sistema ao seu prprio ritmo. O ritmo totalmente
controlado pelo sistema. Se a interface no for muito evidente em todos os seus caminhos, o
usurio ter que aprender atravs de tentativa-e-erro, tornando o sistema insatisfatrio
(DYBKJAER; BERNSEN, 2001). Portanto, a natureza efmera das interfaces audveis exige
um esforo cognitivo significativo do usurio. O projetista desse tipo de interfaces deve seguir
diretrizes que diminuam a carga cognitiva do usurio e que proveja mecanismos para que o
ritmo da interao seja controlado por ele (OLIVEIRA NETO; SALVADOR, 2007).
2.3 Principais Diferenas entre Interfaces Grficas e interfaces do usurio baseadas

em voz
Ao ser detectado que num projeto de Interface Grfica com o Usurio, h uma separao
clara da lgica da aplicao do modelo em que a aplicao mostrada, ou seja, uma
separao entre a parte funcional e a forma de apresentao desta, ento pode-se perceber
que plausvel estender a aplicao para trabalhar sobre uma interface de voz.
Porm, possvel perceber que a natureza dos projetos baseados em componentes para
aplicaes grficas e de voz podem ser bastante diferentes.
O Quadro 1 reflete esta diferena e o texto a seguir explica estas diferenas (HUNT; WALKER,
2000):
38
CARACTERSTICA GUI VUI
Visibilidade X
Transincia X
Assimetria de Banda-Larga X
Temporalidade X
Concorrncia X
Quadro 1: Diferenas entre GUI e VUI. (Fonte: autor)
Visibilidade: Interfaces grficas so visveis para o usurio e a maioria das

funcionalidades est aparente para o usurio para inspeo visual ou para
manipulao (atravs de menus, por exemplo). Em contraste, voz invisvel. Assim,
o usurio deste tipo de aplicao pode apresentar maior dificuldade para determinar
as aes que ele pode realizar e como invoc-las. Tambm, uma entrada de voz
com erro no reconhecimento pode levar a aes no desejadas no sistema, se
estas falhas no forem previstas no projeto. Sendo assim, sob o ponto de vista do
desenvolvedor, a invisibilidade dos sistemas de voz mais difcil de projetar e
controlar e isto motiva o uso de monitores visuais.
Transincia: entradas e sadas de voz so transientes. Uma vez que se disse ou se

ouviu algo, esta informao no est mais disponvel. Por outro lado, as interfaces
grficas podem ser persistentes e boas prticas de projeto permitem que as
informaes visuais estejam disponveis ao usurio no momento que ele delas
necessite.
Assimetria de Banda-Larga: entradas de voz so tipicamente mais rpidas do que

entradas digitadas, entretanto sadas de voz podem ser mais lentas do que sadas
grficas de leitura, particularmente em circunstncias que permitam uma varredura
visual.
39
Temporalidade: eventos de teclado e mouse so discretos, quase eventos

instantneos em que significado e inteno podem ser tratados por um evento
simples ou podem ser tratados por uma seqncia de eventos discretos. Entradas e
voz no so nem instantneos nem discretos desde que a elocuo pode gastar
muitos segundos para serem ditas e consiste de dados contnuos que so
transformados em uma seqncia de palavras atravs do reconhecedor de voz.
Apesar do resultado final do reconhecimento de voz ser efetivamente um evento
instantneo, ele pode ser protelado por um tempo perceptvel quando o usurio
para de falar.
Concorrncia: comunicao apenas por voz tende a ser serial e com canal nico. A
maioria das pessoas encontra dificuldade para ouvir e falar simultaneamente ou
ouvir mais de uma voz, de maneira eficiente, ao mesmo tempo. Por outro lado,
sadas visuais permitem concorrncia de mltiplos canais de dados que podem ser
processados juntos pelo usurio ou a ateno do usurio pode simplesmente mudar.
Alm disto, muitos aspectos de sada visual so projetados para responder em
tempo real s entradas do usurio (por exemplo, digitar uma letra e ela aparecer na
tela).
2.4 Arquitetura de um Sistema Baseado em Interface de Voz
De acordo com Zukerman e Litman (2001), possvel construir sistemas baseados em

comandos de voz interativos e em tempo-real, em que as entradas do usurio sejam
capturadas por um reconhecedor automtico de voz e as sadas do sistema sejam enviadas
atravs de um sintetizador de voz ou atravs de mensagens previamente gravadas. Assim,
para atender as necessidades do usurio, a mquina necessita entender o que o usurio diz,
desempenhar um processo de computao/transao, e responder ao usurio de tal forma
que d prosseguimento conversao e cumprimento dos objetivos do usurio.
40
O processo de compreenso da linguagem falada pode ser, por exemplo, a transformao de

uma fala em texto, atravs do reconhecimento da fala. Este reconhecimento o processo de
extrao automtica da informao lingustica do sinal da voz (LAMEL; MINKER; PAROUBEK,
2000; LAI, 2000; SAN-SEGUNDO et al, 2005, COHEN; GIANGOLA; BALOGH, 2004;
MCTEAR, 2002).
O reconhecimento de voz se estabelece quando o usurio emite um comando: o sistema

interpreta o que foi dito e a sada a concretizao da ao derivada desse comando de voz -
por exemplo, a transformao da voz em texto ou uma requisio de um servio para o
sistema operacional ou aplicativo utilizado.
Sendo assim, para converter a fala em um texto ou em um comando computvel,

necessrio o processamento de vrios passos. A fala gera vibraes ondas analgicas
que so captadas e traduzidas por um conversor analgico-digital (ADC) em dados digitais.
Estas ondas so medidas em freqncias; filtradas a fim de que sejam removidos os rudos; e
separadas em diferentes faixas de freqncia. Alm disso, o ADC tambm padroniza o som,
ajustando-o a um nvel de volume constante.
A seguir, o sinal fracionado em fonemas. O reconhecedor, ento, contrape esses

segmentos aos fonemas conhecidos do idioma desejado.
No prximo passo, o motor de reconhecimento examina os fonemas dentro do contexto de

outros fonemas prximos a eles. Isso realizado utilizando um modelo estatstico, tal como o
Modelo de Markov (HUANG; ACERO; HON, 2001; SONNENBERG; BECK, 1993),
comparando uma grande coleo de palavras, frases e sentenas conhecidas. Por fim, o
motor de reconhecimento de voz determina o que o usurio provavelmente estava dizendo e o
transforma em texto ou comandos para o computador.
Um sistema com interface do usurio baseada em voz tpico composto por mdulos
conforme mostrado na Figura 3 (LAMEL; MINKER; PAROUBEK, 2000; LAI, 2000; SAN-
SEGUNDO et al, 2005, COHEN; GIANGOLA; BALOGH, 2004; MCTEAR, 2002).
41
Figura 3: Arquitetura de um sistema de compreenso de linguagem falada

Fonte: Adaptado de (Cohen; Giangola; Balogh, 2004)
Nas sub-sees a seguir, sero detalhados e explicados cada um dos mdulos que
compe a Figura 3 acima, de maneira mais detalhada.
2.4.1 Mdulo de Ponto de Finalizao
O funcionamento do primeiro mdulo que compe a arquitetura em questo mostrado na

Figura 4, onde o ponto de finalizao (endpointing) detecta o incio e o fim da fala, ou seja, ele
determina quando as ondas, representando as vibraes da fala do usurio, comeam e
depois aguarda um perodo de silncio, suficiente para indicar que a fala terminou.
Figura 4: O ponto de finalizao determina onde as ondas de voz comeam e terminam

As ondas so, ento, empacotadas e enviadas para o prximo mdulo, no qual ser realizada
a extrao de caractersticas (feature extraction).
42
2.4.2 Mdulo de Extrao de Caractersticas
O mdulo de extrao de caractersticas (Figura 5) transforma as ondas captadas na fala em

uma sequncia de vetores de caractersticas (feature vectors). Um vetor de caracterstica
uma lista de valores numricos representando caractersticas mensurveis do discurso que
so teis para o reconhecimento. Os nmeros tipicamente representam caractersticas do
discurso relacionadas a uma quantidade de energia em vrias frequncias.
Figura 5: A extrao de caractersticas

Sistemas tpicos dividem as ondas do ponto de finalizao em uma sequncia de vetores de

caractersticas, com um vetor para cada pequeno perodo de tempo (ex. um vetor de
caracterstica para cada segmento de 10 milissegundos sucessivos do discurso).
2.4.3 Mdulo de Reconhecimento de Voz

O reconhecimento de voz o processo pelo qual o computador pode converter um sinal
acstico em um texto, livrando o usurio da limitao da interface WIMP windows, icons,
menus e pointers.
O mdulo reconhecedor (Figura 6) usa a sequncia dos vetores de caractersticas que so
as representaes numricas de fonemas - para determinar as palavras que foram ditas pelo
usurio.
43
Eu quero ir a So Paulo
Figura 6: O mdulo de reconhecimento de voz

Para criar o modelo de reconhecimento, trs componentes so necessrios: um modelo

acstico, um dicionrio e uma gramtica.
Modelo Acstico: uma representao interna do reconhecedor da pronncia de

cada possvel fonema, ou som bsico, na linguagem. Por exemplo, em
portugus, um modelo acstico pode representar o som geralmente associado
com a letra X. Modelos acsticos da maioria dos sistemas atuais so criados por
um processo de treinamento, ou seja, muitos exemplos de sentenas e frases
faladas, rotuladas com a sequncia de palavras efetivamente pronunciadas, so
alimentados no sistema. Baseado em um conjunto de exemplos, um modelo
estatstico para cada fonema criado, representando a variedade de maneiras
que o fonema pode ser pronunciado. As caractersticas que so modeladas so
as mesmas como nos vetores de caractersticas criados pelo mdulo de
extrao de caractersticas.
Dicionrio: Um dicionrio consiste em uma lista de palavras e suas pronncias.

A pronncia indica para o reconhecedor quais os modelos acsticos para a
sequncia do conjunto para criar um modelo de palavra.
44
Gramtica: a definio de todas as palavras que o usurio pode dizer para o

sistema e ser entendido. Ela inclui uma definio de todas as possveis
sequncias de palavras que o reconhecedor pode tratar. Gramticas diferentes
podem ser ativadas em momentos diferentes durante a conversao.
2.4.4 Mdulo de Compreenso da Linguagem Natural
Aps o reconhecimento, ocorre a compreenso da linguagem natural. A funo deste mdulo

atribuir um significado s palavras ditas. H um nmero de maneiras para representar o
significado, uma delas, bastante comum, como um conjunto de slots com valores. Um slot
definido para cada item da informao que relevante para a aplicao. Por exemplo, uma
informao relevante para uma aplicao de uma companhia area, pode incluir a cidade de
origem do usurio do sistema, cidade de destino, data da viagem, e o horrio de partida
predileto. O sistema analisa a string da palavra passada pelo mdulo de reconhecimento de
voz e atribui valores aos slots apropriados. Por exemplo, na Figura 7, o usurio diz, Eu quero
ir a So Paulo, informando que a cidade destino So Paulo. O sistema define o valor do
slot <destino> com So Paulo.
Eu quero ir a So Paulo destino: So Paulo
Figura 7: Mdulo de compreenso da Linguagem Natural

45
2.4.5 Mdulo Gerenciador de Dilogo
O mdulo gerenciador de dilogo (Figura 8) o principal componente dentro do sistema com

interface do usurio baseada em voz. Ele o elo entre o sistema e o usurio, utilizando voz,
sendo responsvel por gerenciar os demais mdulos do sistema. Determina o que o sistema
deve fazer dentre as vrias possibilidades. Por exemplo, este mdulo responsvel por
gerenciar o mdulo de reconhecimento, quando o usurio entrar, por voz, com uma
informao, gerenciar o acesso base de dados e gerenciar a sintetizao de voz, a fim de
fornecer a sada ao usurio.
Nos sistemas comerciais atuais, o gerenciamento de dilogo o resultado de um programa

escrito explicitamente para controlar o fluxo da aplicao (frequentemente com ferramentas
especiais fornecidas pelos fornecedores de plataformas, ou em linguagens para fins especiais
como VoiceXML).
destino: Dallas Play> OK, que dia voc quer partir?
Figura 8: Gerenciador de dilogo

2.5 Sintetizao de Voz
A tecnologia de sintetizao de Voz (TTS do ingls Text to Speech) o processo que

converte texto em voz. O sintetizador recebe um texto na forma digital e faz sua vocalizao.
Um programa de sntese de voz til para vocalizar informaes resultantes de consultas
base de dados e em situaes em que o usurio no pode desviar a ateno para ler algo ou
no tem acesso ao texto escrito; um sistema com interface do usurio baseada em voz pode
usar um mdulo para sintetizao de voz ou utilizar mensagens pr-gravadas quando no
houver variao da informao a ser prestada ao usurio.
46
Embora a tecnologia TTS ainda no reproduza com fidelidade a qualidade da voz humana
gravada - vale a pena destacar que, at o momento, os sintetizadores de voz no conseguem
representar entonao - ela tem melhorado muito nos ltimos anos. Tipicamente, o uso da voz
humana pr-gravada est atrelado aos prompts e ao envio de mensagens para os usurios.
No entanto, determinadas aplicaes, como leitores de e-mail e notcias, tem dados muito
dinmicos. Nesses casos, uma vez que os textos das mensagens no podem ser previstos,
pode-se usar a tecnologia TTS para criar os discursos de sada (COHEN; GIANGOLA;
BALOGH, 2004).
As medidas primrias da qualidade destas mensagens que usam voz sintetizada so as

seguintes:
Inteligibilidade: quo bem o ouvinte pode entender o que dito.

Naturalidade: quanto o discurso sintetizado soa como fala humana real.
Preciso: a preciso do que sintetizado (por exemplo, fazer a escolha correta
entre doctor e drive quando o texto de entrada incluir a sequncia Dr. ).
Capacidade de Escutar: quo bem os usurios toleram ouvir uma fala extensa
sem se cansar.
2.6 Vantagens e Dificuldade no Uso de VUI
Atualmente, possvel usar sistemas que interagem atravs da fala em aplicaes que
permitem verificar informaes de vos, passagens e companhias areas, realizar consultas
em instituies financeiras (como bancos e cartes de crdito), alugar carros, verificar as
condies do trfego e de tempo, localizar endereos, acessar o horrio de trens e nibus,
encontrar os locais e horrios de sesses de cinemas, e fazer reservas em restaurantes. A
esta lista, em constante crescimento, podem ser adicionados muitos outros servios, como o
acesso secretria de voz do telefone celular (OLIVEIRA NETO; SALVADOR, 2007).
Para as empresas, os principais benefcios em utilizar esses sistemas so (COHEN;

GIANGOLA; BALOGH, 2004):
47
Economia: embora Cohen, Giangola e Balogh (2004) digam que o custo de

sistemas baseados em interfaces de voz usualmente se paga em questo de meses,
h que se entender que este fator pode estar fortemente relacionado ao padro
financeiro do pas. Para pases desenvolvidos que pagam altos salrios para seus
funcionrios, isso pode ser realmente incontestvel, j para pases como o Brasil,
em que os salrios so relativamente baixos, este fator pode ser contestado. Por
outro lado, a diminuio do tempo de durao das ligaes outro fator financeiro
importante e pode ser reduzido significativamente atravs do uso de VUI. No Brasil,
as leis estabelecidas para o atendimento ao cliente por telefone tm contribudo
para a implantao de automatizaes nos Call Centers e tambm podem
impulsionar a implantao de VUIs.
Disponibilidade: as empresas querem estar disponveis para os seus clientes em

todo lugar a qualquer hora (24x7). Em certos casos, o sistema o complemento de
um servio j desenvolvido para a Web; portanto, a empresa pode alcanar os
usurios que no possuam acesso Web (ou que momentaneamente no podem
acessar a Rede).
Ampliar uma marca: atravs da pronncia e tom de voz, vrias sensaes podem
ser passadas ao usurio, como polidez, firmeza e emoo. Isso pode ser usado a
favor da construo da imagem da empresa ou marca de um produto.
Satisfao do cliente: vrios estudos mostram um alto grau de satisfao dos

clientes que usam sistemas baseados em voz; porm ainda h uma grande
resistncia de pessoas que no gostam de serem atendidas por mquinas.
Para os usurios, existem vrias outras vantagens em se usar bons sistemas baseados em
voz sobre outras formas de interao (COHEN; GIANGOLA; BALOGH, 2004):
Intuio e eficincia: os sistemas de boa qualidade que interagem com voz utilizam
as habilidades natas dos usurios. As tarefas podem ser feitas de maneira mais
simples e mais eficiente do que, por exemplo, em aplicaes touchtone. Numa
aplicao bancria, por exemplo, o usurio pode falar algo como Eu quero meu
48
extrato bancrio dos ltimos 15 dias, que muito mais simples do que navegar
numa srie de menus.
No precisa de treinamento: exatamente por utilizar as habilidade natas dos

usurios, os sistemas se tornam fceis e amigveis e dispensam, na maioria das
vezes, o treinamento inicial do usurio no sistema.
Onipresente: o telefone onipresente e a maioria das pessoas tem celular. Dessa

forma, sistemas que fornecem acesso por voz se tornam disponveis em todo lugar,
mesmo que o usurio esteja longe de um computador.
Experincia agradvel: ao ser eficiente, o sistema baseado em comandos de voz

bem projetado possibilita uma experincia agradvel ao usurio, aumentando sua
usabilidade.
Rapidez: falar muito mais rpido do que digitar.
Liberdade para as mos e olhos: algumas atividades, como dirigir, ocupam as mos
e os olhos do usurio. As aplicaes baseadas em comandos de voz se tornam
uma soluo ideal para esse tipo de situao, at mesmo porque a interface dos
telefones celulares ainda bastante pobre.
Porm, os sistemas baseados em comandos de voz no so indicados para todos os tipos de

aplicaes. Por exemplo, uma aplicao que necessite mover uma janela pela tela,
obviamente, no deve utilizar a fala como entrada para realizar a operao.
Segundo Deng e Huang (2004), para que os sistemas baseados em comandos de voz tenham
uma aceitabilidade macia pela sociedade, h alguns desafios a serem vencidos:
Diminuir a diferena entre o que a tecnologia atualmente oferece em termos de

interface e o que os usurios desejam de um sistema de reconhecimento de voz,
essencialmente num ambiente multimodal3.
3
De acordo com Suhm, Myers e Waibel (2001), o termo multimodal deveria se referir ao uso de mais de uma modalidade,
indiferente da natureza das modalidades. Entretanto, muitos pesquisadores tm usado o termo multimodal referindo-se
especificamente s modalidades que so comumente utilizadas na comunicao entre pessoas, tais como fala, gestos e
escrita a mo.
49
Construir sistemas robustos em todos os possveis ambientes acsticos: os sistemas

de reconhecimento de voz trabalham bem em ambientes silenciosos, mas quando o
usurio est inserido num ambiente com barulho um restaurante, uma rua ou um
shopping center, geralmente no pode usar este sistema eficazmente, elevando,
imensamente, a taxa de erros de reconhecimento. Este foi por muitos anos, o principal
problema estudado por pesquisadores de reconhecimento de voz, tanto das
universidades quanto das empresas.
Necessidade de se trabalhar com sistemas para linguagem natural, com estilo livre: at
o momento, quando usurios interagem com sistemas baseados em comandos de voz,
eles esto cientes de que seu partner uma mquina. Esta mquina falha no
reconhecimento de voz se o usurio tenta introduzir um estilo natural e casual na
conversao.
2.7 Questes Tcnicas
De acordo com Alapetite, Boje e Morten (2009), quando se desenvolve uma aplicao com
interface do usurio baseada em voz, h algumas questes que no devem ser esquecidas
ou menosprezadas para o sucesso da aplicao:
O vocabulrio afeta o reconhecimento de voz pelo seu tamanho e pela cobertura do

seu domnio. Assim, vocabulrios extensos com uma boa cobertura do domnio so
atrativos, exatamente porque so capazes de reconhecer mais palavras. Porm,
vocabulrios menores proporcionam um aumento de preciso no reconhecimento.
Alm disto, sistemas que fazem a transcrio funcionam melhor para domnios
restritos, tais como domnio radiolgico.
Os usurios influenciam o reconhecimento de voz por sua clareza e sua

consistncia na pronncia das palavras. Sistemas dependentes do usurio
possuem uma taxa de reconhecimento da voz mais alta do que os sistemas que so
independentes do usurio, porm, necessitam de sesses de treinamento
baseadas no fato de que o sistema adapta o modelo acstico ao usurio e pode
ser mais sensvel s variaes de barulho, microfones e voz (por exemplo, se o
50
usurio estiver com um resfriado). Alm disto, haveria a necessidade de

treinamento para pessoas no-nativas na lngua do sistema, assim como considerar
as taxas de reconhecimento de voz de crianas e idosos.
Interferncia sonora afeta o reconhecimento da voz de duas formas: a) distores

no sinal da voz causam maior dificuldade para distinguir as palavras ditas; b) na
presena de barulho, usurios tendem a alterar sua voz e, assim, causar distoro
no sinal da fala.
Todos os sistemas de reconhecimento de voz esto baseados em princpios de

padres estatsticos. Entretanto, apesar de suas semelhanas, sistemas diferem
entre si na sua parametrizao do sinal de voz, o modelo acstico de cada fonema
e o modelo de linguagem utilizado na escolha de palavras mais de acordo com as
palavras ditas anteriormente. Assim, muitos sistemas causam diferenas em
relao aos erros de reconhecimento, mesmo quando eles tm taxas de
reconhecimento similares.
2.8 Consideraes Finais
Este captulo versou sobre as definies de interface homem-mquina e interface do usurio

baseada em voz. Esta ltima consiste numa tendncia tanto nas interfaces unimodais, como
tambm como um dos modos que compe as interfaces multimodais e ubquas. Estas
definies so de extrema importncia para darem base para que se entenda os captulos 4 e 5.
A seguir, sero apresentadas as principais metodologias clssicas para avaliao de

interfaces homem-computador.
51
3. AVALIAO DE USABILIDADE
A avaliao de usabilidade deve ser utilizada em todo o processo de desenvolvimento de uma

aplicao computacional. Esta avaliao est ligada satisfao e facilidade do usurio em
utilizar tais sistemas.
Este captulo apresenta uma reviso bibliogrfica dos principais mtodos de avaliao de
usabilidade, criados, principalmente, para interfaces grficas do usurio.
3.1 Definio
A avaliao de usabilidade consiste de uma das trs avaliaes possveis para um sistema.
possvel pensar em avaliar: i) tecnicamente os componentes do sistema; ii) a usabilidade do
sistema; e iii) o sistema e seus componentes sobre o ponto-de-vista dos clientes. Obviamente
estas trs formas no esto completamente desassociadas; por exemplo, um sistema com
uma boa integrao de componentes considerados excelentes pode ter uma usabilidade baixa,
assim como um cliente pode preferir um sistema com componentes no considerados to
eficientes por questes de custo e compatibilidade de plataformas (BERNSEN; DYBKJAER,
2001).
Usabilidade um requisito de qualidade de software que compreende aspectos relacionados

eficincia e eficcia no uso de software; avaliar, ento, o processo de assegurar a
usabilidade de uma interface e garantir que os requisitos de usurios sejam atendidos
(NIELSEN, 1993; SOMMERVILLE, 2001).
52
A fase de avaliao de um sistema deve ocorrer durante todo o processo de desenvolvimento,

utilizando seus resultados como melhorias a serem aplicadas gradativamente na interface.
Assim, a avaliao de usabilidade cada vez mais usada no desenvolvimento de software,
especialmente para avaliar os projetos de interao do usurio. H tambm um crescimento
dos resultados vindos da avaliao de usabilidade de sistemas j existentes (ROCHA,
BARANAUSKAS, 2003).
Vrias definies sobre usabilidade so propostas, na literatura, incluindo a dada pela ISO
(ISO 9241-11): usabilidade a capacidade que um sistema interativo oferece a seu usurio,
em um determinado contexto de operao, para a realizao de tarefas, de maneira eficaz
(que a preciso e a completude com que usurios conseguem atingir seus objetivos),
eficiente (que a relao entre a preciso e a inteireza com que usurios atingem certos
objetivos e os recursos gastos para atingi-los) e satisfatria (que o conforto e as atitudes
positivas dos usurios concernentes ao uso do sistema).
J para Lauesen (2005), Avouris (2001), Sommerville (2001) e Nielsen (1989; 1993), a
usabilidade consiste de fatores como:
Funcionalidade: o sistema pode dar suporte s tarefas que o usurio tem na vida
real.
Fcil aprendizado: quo fcil o aprendizado sobre o sistema para vrios grupos de
usurios.
Eficiente: o objetivo alcanado atravs do sistema por um usurio freqente.
Satisfao subjetiva: o quanto o usurio est satisfeito com aquele determinado

sistema.
Compreenso: quo fcil entender o que o sistema executa. Este fator

particularmente importante para situaes no usuais que podem ocorrer quando
h falhas ou erros no sistema.
Adequao a padres especficos: o quanto o sistema consegue estar de acordo

com um padro de projeto de interfaces.
53
Adaptao ao nvel de experincia dos usurios: o quanto o sistema adaptativo s

necessidades de usurios com nveis diferentes de conhecimento sobre o sistema,
que podem variar entre iniciante, intermedirio e avanado.
Enquanto a ISO e outros autores (LAUESEN, 2005; AVOURIS, 2001; SOMMERVILLE, 2001;
NIELSEN, 1993) so conceitualmente claros, difcil usar estas definies na prtica. Quando
a avaliao realizada atravs de estudos empricos, os pesquisadores necessitam decidir
sobre indicadores (mtricas) para cada fator. Por exemplo, uma mtrica de memorizao
pode determinar que um operador que estivesse familiarizado com o trabalho deveria estar
habilitado a usar 80 por cento das funcionalidades do sistema depois de uma sesso de trs
horas de treinamento.
Porm, complexo decidir como estes fatores contribuiro para uma concluso sobre a
usabilidade de um sistema. Uma alternativa definir usabilidade de um sistema como a ausncia
de obstculos que impedem os usurios de completar suas tarefas. Com base nesta abordagem,
usabilidade pode ser medida em termos dos problemas de usabilidade que so identificados
quando os usurios esto usando um sistema em seu trabalho (SKOV; STAGE, 2005).
A avaliao de usabilidade envolve um conjunto de atividades. Segundo Rubin e Chisnell

(2008), esta avaliao pode ser realizada em termos de cinco atividades: (1) determinaes
bsicas, (2) planejamento do processo, (3) criao de situaes de teste, (4) conduo dos
testes e (5) interpretao dos dados.
A usabilidade importante por diversos fatores, tais como: economia de tempo na

manipulao do sistema, maior nmero de pessoas podem usar o sistema, pessoas podem
usar diversos sistemas computacionais, sem ter que se especializar em um nico sistema.
54
3.2 Mtodos Tradicionais de Avaliao de Usabilidade de Interfaces
A avaliao sistemtica de um projeto de interface do usurio pode ser um processo caro,

envolvendo cientistas cognitivos e projetistas grficos. Pode significar que se tenha que
trabalhar com um nmero estatisticamente significativo de experimentos com usurios tpicos
em laboratrios construdos especialmente para este propsito. Uma avaliao de interface de
usurios desta proporo pode ser economicamente no realstica (nem vivel) para sistemas
desenvolvidos por pequenas organizaes, com recursos limitados (SOMMERVILLE, 2001).
Assim, projetistas e profissionais de IHC procuram mtodos mais rpidos e baratos de

avaliao de interfaces em substituio aos testes de laboratrio. Em virtude disso, as
tcnicas de avaliao denominadas mtodos de inspeo de usabilidade prometem oferecer
informao de usabilidade mais barata e rpida que os tradicionais testes de usabilidade. Os
mtodos mais populares incluem avaliao heurstica e percurso cognitivo.
Os mtodos de avaliao sero aqui classificados em duas dimenses, de acordo com Rocha
e Baranauskas (2003):
Inspeo de Usabilidade: no envolve os usurios e pode ser aplicada em qualquer

fase de desenvolvimento de um sistema, estando este implementado ou no.
Teste de Usabilidade: envolve, necessariamente, o usurio e inclui mtodos

experimentais ou empricos, mtodos observacionais e tcnicas de questionamento.
Neste caso, necessrio que o sistema possua alguma implementao real.
3.2.1 Mtodos de Inspeo de Usabilidade
A inspeo de usabilidade consiste de um conjunto de mtodos baseados em avaliadores

humanos que inspecionam aspectos relacionados usabilidade de uma interface de usurio
(ROCHA, BARANAUSKAS, 2003; SOMMERVILLE, 2001).
55
Muito do trabalho de inspeo consiste em classificar e contar o nmero de problemas de

usabilidade (aspectos da interface do usurio que podem ocasionar uma usabilidade reduzida
ao usurio final do sistema) apresentado pela interface. A estes problemas de usabilidade so
dados graus de severidade para que os problemas mais graves sejam tratados com maior
prioridade que problemas menos importantes (ROCHA, BARANAUSKAS, 2003).
A seguir, sero abordados dois dos mtodos de inspeo de usabilidade mais utilizados:
avaliao heurstica e percurso cognitivo.
a) Avaliao Heurstica
A maioria dos mtodos de inspeo tem um efeito significativo na interface final somente se
for usada durante o ciclo de vida do projeto, o que, efetivamente, no ocorre na maioria dos
casos, seja porque so caros, difceis ou demorados (ROCHA, BARANAUSKAS, 2003).
Pesquisando este problema, Nielsen (1993) prope o que ele chama de engenharia
econmica de usabilidade. A avaliao heurstica o principal mtodo desta proposta.
Este tipo de avaliao envolve um pequeno conjunto de avaliadores examinando a interface e

julgando suas caractersticas, em face de reconhecidos princpios de usabilidade, definidos
por uma heurstica.
A avaliao heurstica realizada, primeiramente, de maneira individual. Cada avaliador,

durante a sesso de avaliao, percorre a interface diversas vezes, inspecionando os
diferentes componentes de dilogo e ao verificar problemas, estes so relacionados s
heursticas violadas. Estas heursticas (Quadro 2) so, na verdade, regras gerais que
objetivam descrever propriedades comuns de interfaces usveis (NIELSEN, 1994).
Ao final desta etapa inicial, as listas elaboradas pelos avaliadores so consolidadas em uma
nica lista. Tipicamente, uma sesso de avaliao dura cerca de 2 horas, mas, dependendo
do tamanho ou complexidade da interface, recomendvel dividi-la em vrias sesses
abordando cenrios especficos.
Adicionalmente, o avaliador tambm pode considerar heursticas especficas da categoria do

produto que est sendo analisado.
56
HEURSTICAS DE NIELSEN
1. Visibilidade do status do sistema

- manter feedback sobre o que est acontecendo no sistema
2. Compatibilidade do sistema com o mundo real
- vocabulrio pertinente ao ambiente do usurio.
- no utilizar termos especficos rea computacional.
3. Controle do usurio e liberdade
- quando o usurio chega a funes do sistema por engano, necessrio
ter sadas claras destes estados indesejados, sem ter que percorrer um
extenso dilogo. Prover funes de undo e redo.
4. Consistncia e padres
- seguir convenes de plataforma computacional ajudam o usurio a se
familiarizar com a interface.
5. Preveno de erros
- sempre que houver uma mensagem de erro, verificar se este erro no
poderia ser evitado.
6. Reconhecimento ao invs de lembrana
- no sobrecarregar o usurio, fazendo-o relembrar informaes de uma
parte da aplicao em outras pontos.
7. Flexibilidade e eficincia de uso
-prover mecanismos ao usurio experiente para que ele possa evitar
extensos dilogos e mensagens de informaes que ele no deseje.
8. Esttica e design minimalista
- dilogos devem ser objetivos, sem mostrar ao usurio informaes pouco
relevantes.
9. Ajudar os usurios a reconhecer, diagnosticar e corrigir erros
- informar ao usurio qual o erro de forma clara, sugerindo uma soluo.
10. Suporte e documentao
- as informaes sobre suporte (help) e documentao devem ser fceis de
serem encontradas, focalizadas na tarefa do usurio e no muito extensas.
Quadro 2: Lista de Heursticas Revisadas de Usabilidade
Fonte: Baseada em (NIELSEN, 1993)
57
Estas heursticas so bastante gerais, podendo ser adaptadas dependendo do tipo de sistema
que se venha a trabalhar. Por exemplo, Salvador, Oliveira Neto e Guimares (2009)
compuseram outras heursticas para avaliar interface do usurio baseadas em voz e Sutcliffe
e Gault (2004) propuseram outras heursticas para avaliar sistemas de Realidade Virtual.
b) Percurso Cognitivo
Percurso Cognitivo um mtodo de inspeo de usabilidade que tem como foco central a
avaliao do projeto quanto sua facilidade de aprendizagem, sobretudo por explorao
(ROCHA, BARANAUSKAS, 2003).
Ao invs de investir tempo em treinamento formal ou leitura de manuais de utilizao do

sistema, os usurios preferem aprender a usar um sistema enquanto executam suas tarefas,
adquirindo conhecimento sobre as caractersticas do sistema medida que necessitem
destas funcionalidades. Isto garante que o custo da aprendizagem de uma determinada
funcionalidade seja em parte determinado pelo seu benefcio imediato ao usurio.
O percurso cognitivo um processo de reviso. Os revisores avaliam a interface proposta no

contexto de uma ou mais tarefas do usurio. Este processo pode ser dividido em duas fases:
Fase preparatria: definio das tarefas, sequncias de aes para cada tarefa,
universo de usurios e da interface a ser analisada.
Fase de anlise: Os revisores analisam se os usurios faro a ao correta para

atingir o resultado esperado; se os usurios percebero a ao correta
disponvel; se os usurios iro associar a ao correta com o efeito desejado; se
a ao correta for executada os usurios percebero que foi realizado um
progresso em relao tarefa desejada.
58
3.2.2 Testes de Usabilidade
O teste com usurios um mtodo fundamental de usabilidade. Embora seja considerado um

mtodo bastante caro e demorado, alguns autores afirmam que os testes de usabilidade tm
acelerado muitos projetos e levado a uma significativa reduo em seus custos (GOLD;
LEWIS, 1985; RUBIN; CHISNELL, 2008).
O objetivo do teste de usabilidade pode ajudar no desenvolvimento do sistema ou pode visar

a avaliao da qualidade global desta interface.
Num teste de usabilidade, dois problemas devem receber ateno especial:
Confiabilidade: o grau de certeza de que o mesmo resultado ser obtido se o teste

for repetido.
Validade: se os resultados de teste refletem os aspectos de usabilidade que se

deseja testar.
Basicamente um teste de usabilidade um processo composto por quatro passos:
Preparao: nesta fase, busca-se garantir que tudo esteja pronto antes do usurio
chegar.
Introduo: os usurios so apresentados situao de teste e colocados

vontade.
Teste: somente um avaliador deve se comunicar com o usurio e importante que

sejam evitados comentrios sobre o desempenho, ou observaes sobre o usurio
e ajudas ao ele.
Sesso final: Depois do tempo definido para completar as tarefas, os participantes

so convidados a fazer comentrios ou sugestes gerais ou a responder a um
questionrio especfico.
H um nmero mais simples e menos dispendioso de tcnicas de avaliao de interface do

usurio que podem ser identificadas para projetos de interface de usurio:
59
Questionrios: que colocam informaes sobre o que os usurios pensam sobre a

interface.
Observao de usurio no trabalho com o sistema e pensando em voz alta sobre

como eles esto tentando usar o sistema, de acordo com algumas tarefas que eles
tenham que desempenhar.
Vdeo Snapshots do uso tpico de sistema: o usurio tem suas aes gravadas em
vdeo estando ciente de que a gravao est acontecendo.
A incluso, no software, de programas que coletem informaes sobre as maiores

facilidades e erros encontrados pelos usurios.
A aplicao de um questionrio para inspecionar usurios da aplicao um meio

relativamente barato de avaliar uma interface. As questes devem ser to precisas quanto
possvel a fim de conseguir respostas claras. Por exemplo, questes do tipo por favor,
comente sobre a usabilidade desta interface no devem ser utilizadas.
J a avaliao baseada em observao envolve simplesmente observar como os usurios

esto utilizando o sistema, procurando pontos como as facilidades no uso e os erros
cometidos. Isto pode ser complementado com sesses de pensando alto, nas quais os
usurios falam sobre o que eles esto tentando realizar, como eles entendem o sistema e
como eles esto tentando usar o sistema de acordo com os seus objetivos.
Equipamentos de vdeo de custo relativamente baixo permitem registrar a observao direta

de sesses do usurio para posterior anlise. A anlise completa de vdeo cara e requer um
conjunto de avaliao de equipamentos especficos com muitas cmeras focadas no usurio e
na tela. Entretanto, a gravao de vdeo de operaes de um usurio selecionado pode ser
til para detectar problemas.
Cdigo de instrumentao para coleta estatstica permite que as interfaces sejam melhoradas
vrias vezes. As operaes mais comuns podem ser detectadas. A interface pode ser
reorganizada de tal forma que seja mais rpida, por exemplo, atravs do uso de menus do
tipo pop-up.
Nenhuma destas abordagens relativamente simples para avaliar a interface com o usurio
completamente segura e so, provavelmente, insuficientes para detectar todos os problemas
60
de interface do usurio. Entretanto, estas tcnicas podem ser usadas por um grupo de
voluntrios, antes do sistema ser liberado, sem um grande gasto de recursos. A maioria dos
grandes problemas de projeto de interface do usurio pode, ento, ser descoberta e corrigida.
3.2.3 Comparao entre os Mtodos de Avaliao de Usabilidade
Um estudo abrangente (DESURVIRE, 1994), comparando testes de usabilidade, avaliao

heurstica e percurso cognitivo, apresenta os seguintes resultados:
Os resultados dos mtodos de inspeo so melhores quando os avaliadores so

especialistas em avaliao. Mesmo assim, no substituem o teste de usabilidade.
Em experimentos relatados por Desurvire (1994), os melhores avaliadores, usando
o mtodo de melhor desempenho, no detectaram, em mdia, 56% dos problemas
encontrados nos testes de usabilidade.
A avaliao heurstica permite uma avaliao global da interface facilitando a

identificao de melhorias na interface. Foi a mais eficaz na deteco de erros e
principalmente na identificao da maioria de erros srios. Alm disso, a de menor
custo.
O teste de usabilidade o mais eficaz para detectar erros, mas o mais caro. O
custo de um teste de usabilidade da ordem de 50 vezes o custo dos mtodos de
inspeo. Todos os problemas srios so encontrados, mas h perda de valor na
deteco de consistncias.
Este captulo apresentou os mtodos tradicionalmente utilizados para a avaliao de

usabilidade de interfaces de sistemas computacionais. Todos os mtodos apresentam falhas
ou custo muito elevados e, se combinados, podem oferecer um resultado mais eficaz.
O prximo captulo aplicar os conceitos de usabilidade para uma interface no-convencional

a interface do usurio baseada em voz que apresenta certas caractersticas especiais no
61
levadas em considerao pelos mtodos tradicionais de avaliao, visto que estes mtodos
foram criados, principalmente, para interfaces grficas do usurio.
62
4. USABILIDADE DE INTERFACES DO USURIO BASEADAS EM VOZ
Este captulo expe o escopo de usabilidade para interfaces do usurio baseadas em voz.
Sendo assim, define e prope requisitos gerais e especficos para esta classe de aplicaes.
Por fim, versa sobre aspectos de qualidade destes sistemas, alm de listar mtricas para este
fim.
4.1 Contextualizao
A usabilidade est se tornando uma questo cada vez mais importante no desenvolvimento e
na avaliao de sistemas de reconhecimento de voz. Muitas companhias comeam a gastar
um volume alto de recursos para conhecerem exatamente as caractersticas destes tipos de
sistemas que so atraentes aos usurios e, tambm, saberem como avaliar se seus sistemas
possuem estas caractersticas. Apesar destas importantes questes sobre usabilidade,
durante os ltimos anos, o que mais se tem pesquisado so os componentes deste tipo de
sistema, e no, sobretudo, os aspectos de usabilidade.
Estes aspectos tm sido frequentemente negligenciados no desenvolvimento e na avaliao

de interfaces do usurio baseadas em voz. Por outro lado, tem crescido a cultura de que esta
usabilidade um fator to importante quanto qualidade tcnica dos componentes destes
sistemas e, que a qualidade desta interface constitui um importante parmetro de competio
(DYBKJAER; BERNSEN, 2001).
Alm disto, o conhecimento atual sobre avaliao de VUI advm de pequenas contribuies
em avaliaes que foram desenvolvidas para projetos especficos, e que tentam generalizar e
propor recomendaes para tais aplicaes, como o framework PARADISE (WALKER et al,
1997), o projeto EAGLES (Expert Advisory Group on Language Engineering Standards)
(GIBBON; MOORE; WINSKI, 1997) e EU DISC (DYBKJAER; BERNSEN, 2000).
63
4.2 Avaliao de VUI Ideia inicial
Segundo Dybkjaer e Bernsen (2001), para fazer uma avaliao de um sistema com
reconhecimento de voz, torna-se necessrio o uso de templates que contenham as seguintes
questes:
O que est sendo avaliado: por exemplo, feedback adequado.
Qual a parte do sistema que est sendo avaliado: por exemplo, o gerenciamento do
dilogo.
Tipo de avaliao: por exemplo, qualitativo.
Mtodo de avaliao: por exemplo, observao do usurio.
Sintomas a procurar: por exemplo, se o sistema de ajuda consistente.
Importncia da avaliao: por exemplo, crucial.
Dificuldade da avaliao: por exemplo, fcil.
Custo da avaliao: por exemplo, alto.
Ferramentas de suporte: ferramenta para auxiliar na contagem do tempo para que a

tarefa seja completada.
A ideia fornecer ferramental suficiente ao avaliador para que, seguindo este template, seja
possvel avaliar a interface do usurio baseada em voz de maneira eficaz e eficiente. H que
se apontar, sobretudo, que a importncia dos critrios para a avaliao de um VUI depende
da aplicao e de usurios ou grupo de usurios deste sistema.
4.3 Requisitos no funcionais para Interface do Usurio Baseada em Voz
H diferenas substanciais na anlise dos requisitos de sistemas de reconhecimento de voz

dos j conhecidos sistemas interativos tradicionais (que utilizam o paradigma WIMP). Talvez a
diferena mais importante esteja relacionada ao fato das entradas de dados em sistemas de
comandos de voz serem transientes, enquanto as entradas para GUIs so persistentes
64
(DYBKJAER; BERNSEN, 2001). Os requisitos no-funcionais desejveis para uma boa

interface podem ser classificados em duas categorias: requisitos relacionados
representao da informao e os relacionados entrada de dados (PRESSMAN, 2004). Esta
classificao mais aplicada s GUIs; entretanto, uma anlise de como estes requisitos pode
ser aplicada interface do usurio baseada em voz pode e deve ser realizada.
4.3.1 Requisitos no-funcionais relacionados representao da informao
Aqui so apresentados os requisitos relacionados, basicamente, forma com que a interao

tem que assumir para ser utilizada pelo usurio, tais como (DYBKJAER; BERSEN, 2001;
SALVADOR, OLIVEIRA NETO; KAWAMOTO, 2008):
Consistncia: uma das principais caractersticas de usabilidade de interface

(NIELSEN, 2000a). Controla o comportamento no esperado do sistema, reduzindo
a frustrao do usurio. Para interfaces do usurio baseada em voz que usam
adaptao do seu dilogo e contedo, estes requisitos no seriam respeitados, uma
vez que o sistema pode ser modificado baseando-se no perfil dinmico de seus
usurios.
Modalidade apropriada: a maioria das tarefas orientadas a sistemas de

reconhecimento de voz usam apenas a voz para entrada e sada de informaes.
Porm, este tipo de sistema no , claramente, indicado para todos os tipos de
aplicaes, principalmente, quando, o usurio precisa entrar com cdigos de
segurana, por exemplo, em sistemas bancrios. Assim, h casos em que
conveniente integrar voz com outras formas de interao.
Adequao do feedback: importante em qualquer comunicao. Assim, a

interao com o computador requer um feedback planejado (FOLEY, VAN DAN,
1990). Um feedback adequado significa que o usurio possa se sentir no controle
durante a interao. O usurio deve se sentir confiante de que o sistema
compreendeu e que est atendendo aos seus objetivos. H feedbacks em trs
nveis; nvel de hardware indica se as entradas do usurio tiveram sucesso (para
entrada de voz, indica que o sistema entendeu o que o usurio est dizendo); nvel
65
de sequncia indica que uma unidade de linguagem de comando foi aceita (em
interface do usurio baseada em voz significa que o sistema entendeu a ao
solicitada pelo usurio); nvel funcional: indica que o sistema est trabalhando no
problema (mensagens como por favor, aguarde um momento) ditas ao usurio.
Diversidade e Percepo Humana: a interface deve dar suporte a todas as classes

de usurios, identificando cada usurio e se adaptando a ele, executando
adaptaes de contedo e de apresentao atravs do Modelo do Usurio.
Algumas estratgias podem ser usadas para isto: por exemplo, fornecendo aos
4
usurios mais experientes informaes mais detalhadas e barge-in ; e
proporcionando aos usurios novatos, informaes mais concisas e superficiais e
sentenas no final de dilogos (KOMATANI et al, 2003).
Minimizao do Esforo para Lembrar: a interface deve minimizar o esforo

cognitivo do usurio para executar suas tarefas. Dilogos de iniciativa mista e
sentenas adicionais no final de dilogo podem ser fornecidas para guiar o usurio
a utilizar o sistema de maneira adequada.
Frases de sada adequadas: o contedo das sadas do sistema deve ser correto,
relevante e suficientemente informativo, sem prover sobrecarga de informao ao
usurio. A forma de expresso do sistema deve ser clara e no-ambgua e a
linguagem deve fornecer uma terminologia apropriada e familiar ao usurio.
Qualidade da sada de voz: sob o ponto-de-vista de usurios, a qualidade da sada

de voz de um sistema est ligada a questes de clareza e inteligibilidade
(entonao correta, emoo, ritmo da fala apropriado e prazer de se ouvir). H trs
classes de sada de voz num sistema: a) as que gravam as frases inteiras do
sistema (quando as informaes no so dinmicas); b) as que concatenam
palavras e frases gravadas, ou; c) as que utilizam text-to-speech.
4
Barge-in conhecido como a interrupo no sistema de telefonia (sistemas automticos) causada por usurios
experientes que esto acostumados a navegar pelo sistema de maneira mais rpida para os prximos prompts
do sistema. uma caracterstica importante porque permite que usurios experientes consigam se mover
rapidamente atravs do sistema a fim de obter as informaes desejveis (COHEN; GIANGOLA; BALOGH,
2004).
66
4.3.2 Requisitos no-funcionais relacionados entrada de dados
Dybkjaer e Bersen (2001) e Salvador, Oliveira Neto e Kawamoto (2008) definiram um conjunto
de critrios de avaliao de usabilidade para sistemas de comandos de voz que esto
relacionados ao acesso do usurio ao sistema:
Reconhecimento adequado da entrada: sob o ponto-de-vista de usurios, um

reconhecimento adequado de voz significa que o sistema raramente compreende
erroneamente uma entrada do usurio. Porm, isto est ligado a muitos fatores do
ambiente (se o ambiente ruidoso ou no) e tambm a fatores do usurio: sexo,
idade, sotaque, voz grave ou aguda, e qualidade da voz recebida pelo sistema.
Naturalidade da fala do usurio: preciso, atravs da linguagem de sada do

sistema, conseguir gerenciar as entradas do usurio enquanto este sente a
naturalidade da fala. Se as limitaes impostas pela tarefa so satisfeitas e a
linguagem de sada do sistema controla, de maneira adequada, a linguagem de
entrada do usurio, os usurios podem sentir que o dilogo seja natural.
Iniciativa de dilogo adequado: para dar suporte a uma interao natural,

necessrio que o sistema escolha, de forma razovel, a iniciativa do dilogo
estabelecido entre ele e o usurio. Isto est ligado ao nvel de conhecimento do
usurio sobre o sistema. Dilogos direcionados ao sistema podem funcionar de
maneira apropriada para tarefas em que o sistema simplesmente requer uma srie
de pedaos especficos de informao do usurio, especialmente se o usurio
novo no sistema. A fim de satisfazer usurios experientes, o sistema ter que ser
hbil ao lidar com grandes pacotes de informao que so naturais para estes
usurios.
Naturalidade da estrutura do dilogo: importante que a estrutura fixada pelo

desenvolvedor no dilogo seja natural para o usurio, refletindo as expectativas
esperadas por ele, especialmente no dilogo direcionado pelo sistema em que o
usurio no deva interferir na estrutura do dilogo. Estruturas de dilogo no
naturais frequentemente levam os usurios a tentar tomar a iniciativa de maneira
que o sistema no est preparado para atender.
67
Suficincia de orientao de interao: orientao suficiente de interao

essencial para que o usurio se sinta no controle durante a interao. A fala
inapropriada para fornecer instrues complexas do manual do usurio para
usurios com pouca experincia. H usurios experientes enquanto que outros so
novatos. Sendo assim, necessrio considerar questes vinculadas a turn-taking5
x barge-in; facilidades de sistema de ajuda, e sadas para comportamentos no
bvios do sistema.
Suficincia da cobertura de tarefas e domnio: coberturas suficientes de tarefas e

domnios so tambm cruciais interao natural. Mesmo que o usurio no esteja
familiarizado com o sistema de reconhecimento de voz, normalmente, ele prefere
ter expectativas detalhadas sobre as informaes ou os servios que o sistema
possa fornecer.
Suficincia da capacidade de raciocnio do sistema: os usurios, mesmo quando cientes

de que esto falando com um interlocutor primitivo (mquina), tendem a assumir que o
sistema seja capaz de executar pedaos de raciocnio que humanos fazem sem sequer
pensar e que so partes inseparveis do dilogo natural sobre a tarefa.
Mecanismos de ajuda: a interface deve fornecer ajuda quando requisitada ou quando

perceber que o usurio se encontra em dificuldades. Para interface do usurio baseada
em voz, um dilogo deve prover a lista de possveis opes que o usurio pode realizar
na aplicao quando ele perceber que o usurio no tomar a iniciativa do dilogo.
Estratgias de confirmao de dilogo tambm podem ser utilizadas.
Preveno de erros: desejvel que uma boa interface seja capaz de prevenir
possveis erros realizados pelos usurios. O que pode ser feito, no caso de VUI,
tentar guiar o usurio a alcanar seus objetivos rapidamente, por exemplo,
passando o controle do dilogo para o sistema, se for percebido que o usurio tem
alguma dificuldade, ou fornecer sentenas adicionais ao final de cada dilogo
alertando o usurio para os prximos passos que ele pode tomar no sistema.
5
Turn-Taking um dos mecanismos bsicos para todos os tipos de dilogo e conversas envolvendo mais do que duas pessoas.
um mecanismo crucial na interao homem-computador permitindo que cada interlocutor tenha a sua vez de interagir
(BOSCH; OOSTDJIK; RUITER, 2004).
68
Tratamento de erros: uma boa interface deve ser capaz de fornecer correo das
entradas rapidamente, aumentando a produtividade de usurios e estimulando que
eles explorem o sistema. As VUIs podem atender a este requisito adotando dilogos
de iniciativa mista, tcnicas de confirmao de dilogo e, no caso de sistemas de
telefonia, transferindo a chamada para um atendente humano quando o usurio se
encontra em srias dificuldades. possvel dividir este tratamento de erros em
quatro modalidades.
o Reparo de iniciativa do sistema: necessrio quando o sistema no pode

entender ou no pode ter certeza se entendeu corretamente a entrada do
usurio. Ento, o sistema pode pedir para o usurio repetir a entrada, falar mais
alto, modificar a forma em que a entrada est sendo feita, ou repetir o que o
sistema entendeu da entrada do usurio e pedir a ele que confirme ou a corrija.
Caso isto no resolva o problema, o sistema pode transferir a chamada para um
atendente humano ou modificar a interao para uma forma mais simples.
o Reparo de iniciativa do usurio: alguns sistemas necessitam que o usurio utilize

palavras-chave especificamente definidas. O problema que isto no natural e
se torna difcil para o usurio recordar. Outra possibilidade utilizar o princpio
eraser em que o usurio simplesmente repete suas entradas at que o sistema
receba sua mensagem.
o Esclarecimento iniciado pelo sistema: necessrio quando a entrada do usurio

inconsistente ou ambgua, ento o sistema solicita um esclarecimento ao
usurio.
o Esclarecimento iniciado pelo usurio: necessrio se o sistema produzir sadas

inconsistentes ou ambguas, ou se o usurio no estiver familiarizado com os
termos usados na comunicao.
Nmero de problemas de interao: a falta de cooperao na sada do sistema

pode ser diagnosticada a partir da ocorrncia de problemas de comunicao nas
interaes reais ou simuladas entre o usurio e o sistema. O problema de se
capturar e analisar os dados que isto uma atividade com custo alto,
especialmente porque uma grande quantidade de dados necessria para resolver
69
a maioria dos problemas de comunicao causados no sistema. Para resolver estes

problemas de interao de maneira mais eficaz, seria necessrio aplicar alguma
metodologia de avaliao j na fase de projeto do sistema.
Satisfao do usurio: a satisfao do usurio uma medida subjetiva da

usabilidade, construda com preferncias pessoais e fatores contextuais. possvel
aplicar questionrios e promover entrevistas com o usurio para obter esta medida.
4.4 Caractersticas da Qualidade em Interface do Usurio Baseada em Voz
As avaliaes de usabilidade so, normalmente, divididas em objetivas e subjetivas. As

primeiras esto relacionadas efetividade do usurio em relao ao sistema, enquanto que
as subjetivas coletam as opinies do usurio quanto ao sistema, usualmente atravs de
questionrios. As avaliaes objetivas ainda podem ser divididas em quantitativas e
qualitativas.
Os fatores que comporo as avaliaes subjetivas e objetivas de usabilidade foram

encontrados em vrios trabalhos na literatura (WALKER; PASSONNEAU; BOLAND, 2001;
MLLER, 2005; LARSEN, 2003; DYBKJAER; BERNSEN; MINKER, 2004a; DYBKJAER;
BERNSEN; MINKER, 2004b; MLLER, 2002; DYBKJAER; BERNSEN, 2001; HARTIKAINEN;
SALONEN; TURUNEN, 2004). Mller (2002) faz um estudo bastante aprofundado sobre a
questo da qualidade de servios de telefonia baseados em VUI, estabelecendo uma nova
taxonomia a ser aplicada a esta classe de sistemas. Embora trate apenas de sistemas que
utilizam um aparelho telefnico para a realizao de interaes entre o usurio e o sistema,
esta taxonomia pode ser ajustada, facilmente, aos sistemas que utilizam VUI de uma maneira
geral. Na Figura 9 h uma boa viso da interrelao dos vrios fatores que compe a
qualidade destes tipos de sistemas.
70
Figura 9: Taxonomia de Aspectos de Qualidade

Fonte: Adaptada de (Mller, 2002)
Na figura supracitada, h vrios fatores que contribuem para a qualidade de VUI, entre eles
possvel destacar:
Fatores Humanos correspondem s atitudes, objetivos, motivaes, flexibilidade,

experincia, conhecimento do domnio e da tarefa pelos usurios.
Fatores do Ambiente so o canal de transmisso utilizado, interferncia sonora

barulho detectada e acstica do ambiente utilizado.
Fatores dos Agentes indicam a flexibilidade e estratgia do dilogo entre o

sistema e o usurio.
71
Fatores das Tarefas: cobertura da tarefa e do domnio, flexibilidade e dificuldade

na execuo da tarefa.
Fatores Contextuais: custo, disponibilidade e acesso ao sistema; Tambm:

economia de tempo.
De acordo com a Figura 9, possvel discutir que a aceitabilidade de uma aplicao VUI est
ligada a trs pilares fundamentais: a usabilidade que leva satisfao do cliente, a
eficincia do servio e aos benefcios econmicos com a aquisio da aplicao. Obviamente,
a eficincia da tarefa, que leva eficincia do servio, requisito fundamental e est ligada
eficincia do servio.
Sendo assim, para que um sistema seja aceito, ele precisa atender a requisitos como preciso
do reconhecimento da voz, tempo de resposta adequado e minimizao da sobrecarga de
memria, mas tambm qualidade do sistema de udio e de entrada da voz e atender
condies mnimas estabelecidas de interferncia sonora do ambiente (vide Anexo A deste
trabalho); tambm primordial estudar as questes financeiras que podem inviabilizar a
implementao de tal sistema.
Com base nos estudos encontrados na literatura, foi possvel coletar as principais
caractersticas da qualidade para aplicaes VUI que constam da Quadro 3: e Quadro 4:.
Estas caractersticas referem-se ao dilogo estabelecido entre o sistema e o usurio e
tambm comunicao, tarefa e servio.
As caractersticas de qualidade relacionadas ao dilogo se referem informao que deve ser

apresentada ao usurio pelo sistema, deixando-o confortvel, ou seja, esto ligadas a
informaes claras, verdades, consistentes e que permitem um dilogo simples e verdadeiro
entre o usurio e o sistema.
J as caractersticas de qualidade relacionadas comunicao, tarefa e servio se referem a

fatores como cordialidade na comunicao do sistema com o usurio, facilidade do usurio
executar suas tarefas e se sentir satisfeito com o desempenho do sistema e a um servio de
qualidade, estando, por exemplo, sempre disponvel.
72
Percebe-se que estas caractersticas de qualidade so desejveis no fornecimento de

servios de um modo geral, mesmo aqueles que envolvem atendimento humano, tais como os
Call Centers que ainda utilizam atendimento com pessoas.
QUALIDADE ASPECTO CARACTERSTICA DA QUALIDADE

Cooper.do Dilogo Capacidade de ser Informao exata, especfica, completa, clara, concisa e
informativa adequada ao feedback do sistema
Verdade e Evidncia Informao com credibilidade, consistente, confivel e
raciocnio do sistema
Relevncia Adequao do feedback do sistema,, compreenso e
raciocnio do sistema, naturalidade da Interao
Forma Expresso clara, no-ambgua, consistente e concisa.
Transparncia da Interao
Conhecimento adquirido Congruncia com o Conhecimento da Tarefa/ Domnio e
com a experincia do usurio
Adequao da Adaptao do Usurio e da Inferncia
Orientao de Interao
Gerenciamento da Meta- Adequao no gerenciamento do reparo e do
Comunicao esclarecimento
Capacidade de ajuda e re repetio
Simetria do Dilogo Iniciativa Flexibilidade, orientao e naturalidade da Interao
Controle da Interao Capacidade de controle, de barge-in, e de cancelamento
Assimetria do Partner Transparncia da Interao, da cobertura da
Tarefa/Domnio;
Orientao da Interao
Naturalidade da Interao
Carga cognitiva requerida do usurio
Qualid.a E/S da Voz Qualidade da Sada de Inteligibilidade
Voz Naturalidade da Voz
Esforo necessrio para o usurio escutar
Qualidade da Entrada de Compreenso percebida do Sistema
Voz Raciocnio do sistema
Quadro 3: Caractersticas de Qualidade Relacionadas ao Dilogo
73

Eficincia da Velocidade Ritmo da interao
Comunicao Tempo de resposta
Conciso Comprimento e durao da interao
Suavidade Adequao do feedback, compreenso e raciocnio do
sistema
Adequao no Gerenciamento do Reparo e de
esclarecimento
Naturalidade, orientao e transparncia da interao
Congruncia com a experincia do usurio
Conforto Personalidade do Polidez
Agente Amigabilidade
Naturalidade do Comportamento
Carga Cognitiva Facilidade de Comunicao
Concentrao requerida do usurio
Stress / Ansiedade
Eficincia da Tarefa Sucesso da Tarefa Adequao da Cobertura da Taref/Domnio
Validade, preciso e confiabilidade dos Resultados da
Tarefa
Facilidade da Tarefa Capacidade de ajudar
Orientao da tarefa
Transparncia da cobertura da Tarefa/Domnio
Eficincia do Servio Adequao do ServioAdequao do acesso, da modalidade e da tarefa

Disponibilidade
Funcionalidade e utilidade do servio
Valor Agregado Melhoria do Servio
Interface comparvel
Usabilidade Facilidade de Uso Operabilidade, inteligibilidade e capacidade de
aprendizagem do servio
Quadro 4: Caractersticas de Qualidade relacionadas Comunicao, Tarefa e Servio
4.5 Mtricas para a Avaliao de Usabilidade para Interface do Usurio Baseada em Voz
Assim como a classificao dada avaliao de usabilidade, as mtricas de usabilidade

tambm so, normalmente, divididas em mtricas objetivas e mtricas subjetivas. As mtricas
objetivas ainda podem ser divididas em quantitativas e qualitativas. Tanto as mtricas
objetivas quanto as subjetivas podem ser utilizadas para avaliar aplicaes VUI, podendo ser
utilizadas em conjunto, dentro de um template para avaliao, tal como o proposto por
Dybkjaer e Bernsen (2004b).
74
A medida de desempenho mais comum em aplicaes VUI a taxa de erro de reconhecimento,

do ingls, word error rate (WER), que a mtrica relacionada preciso (acurcia).
Na literatura, foram encontrados vrios trabalhos que citam possveis mtricas e medidas para
avaliar a usabilidade de VUIs, agrupados entre avaliaes subjetivas e objetivas. Dentre os
vrios trabalhos sobre avaliao subjetiva para Interfaces do Usurio Baseadas em Voz esto
(WALKER; PASSONNEAU; BOLAND, 2001; MLLER, 2002; MLLER, 2005; LARSEN, 2003;
DYBKJAER; BERNSEN, 2001; HARTIKAINEN; SALONEN; TURUNEN, 2004). Alguns autores
citam a avaliao subjetiva como a mais importante, por colherem a opinio da satisfao do
usurio. Os trabalhos encontrados foram baseados na experincia adquirida pelos autores na
construo e avaliao de sistemas de reconhecimento de voz; outros na modificao de
mtodos utilizados em outras reas do conhecimento para medir qualidade, tal como o
trabalho de Hartikainen, Salonen e Turunen (2004) que consiste em fazer uma modificao no
mtodo SERVQUAL (PARASURAMAN; ZEITHAML; BERRY, 1988). Este mtodo produz uma
medida subjetiva entre a diferena entre expectativas e percepes dos usurios em cinco
dimenses de qualidade de servio para todos os servios. Outro trabalho encontrado
estabelece um mtodo para avaliar a qualidade dos servios de telefonia baseados em voz
atravs do mtodo utilizado para avaliar a qualidade dos servios de telefonia baseados no
atendimento humano (MLLER, 2002; 2005).
Entre as medidas objetivas (quantitativas e qualitativas), assim como as subjetivas mais

utilizadas esto (Quadro 5: e Quadro 6:) (WALKER; PASSONNEAU; BOLAND, 2001;
MLLER, 2005; MLLER, 2002; LARSEN, 2003; DYBKJAER; BERNSEN; MINKER, 2004a;
DYBKJAER; BERNSEN; MINKER, 2004b; PARASURAMAN; ZEITHAML; BERRY, 1988;
HARTIKAINEN; SALONEN; TURUNEN, 2004):
75

Cooper.do Dilogo Capacidade de ser # perguntas do usurio;
informativo # ajuda requisitada pelo usurio;
Verdade e Evidncia # perguntas corretamente/ incorretamente/
parcialmente/ falhas sendo feita;
Relevncia # barge-in realizados pelos usurio;
Forma # turns do sistema;
nmero de palavras por turns do sistema;
Conhecimento adquirido # solicitaes de ajuda;
# cancelamento realizado pelo usurio;
# barge-in realizado pelo usurio;
# prompts por time-out;
Gerenciamento da Meta- # mensagens de erro do sistema ;
Comunicao # solicitaes de ajuda;
taxa de correo;
recuperao implcita;
Simetria do Dilogo Iniciativa # perguntas do usurio;
# perguntas do sistema;
taxa de correo;
Controle da Interao # barge-in realizados pelo usurio;
# solicitaes de ajuda;
taxa de correo;
Assimetria do Partner # barge-in realizados pelo usurio;
Qualid. E/S da Voz Qualidade da Sada de Voz desempenho de TTS (Inteligibilidade, Naturalidade,
Preciso, Capacidade de escutar);
Qualidade da Entrada de preciso da palavra, taxa de erro reconhecimento;
Voz preciso da sentena, taxa de erro da sentena;
# erros por sentena;
# erro da palavra por sentena;
taxa de erro de entendimento;
# rejeies por parte do sistema;
contedo da informao;
# mensagens de erro do sistema;
Quadro 5: Classificao de Medidas (1)
76

Eficincia da Velocidade durao do turn;
Comunicao delay da resposta do sistema;
delay da resposta do usurio;
# barge-in realizado pelo usurio;
Tempo e turns usado para confirmaes
Variao do Tempo de Resposta;
Conciso durao do dilogo
# turns (# turns do sistema, # turns do usurio);
Suavidade # mensagens de erro do sistema;

# ajuda solicitada;
# rejeies por parte do sistema;
# barge-in realizados pelo usurio;
polidez para o dilogo;
polidez para transferir a chamada para um
atendente humano, quando o sistema no capaz
de entender a entrada;
comportamento esperado;
diferenas culturais tratadas pelo sistema.
Conforto Personalidade do Agente adequao s preferncias do usurio;
Carga Cognitiva # prompts por time-out;

delay de resposta do usurio;
cobertura do vocabulrio e gramtica do usurio;
Eficincia da Tarefa Sucesso da Tarefa sucesso da tarefa;
soluo da tarefa;
preciso da soluo;
qualidade da soluo (# tarefas e sub-tarefas
completadas);
Facilidade da Tarefa # solicitaes de ajuda;
Eficincia do Servio Adequao do Servio cobertura da tarefa/domnio;
Valor Agregado - # tempo diminudo da tarefa antes executada;
Usabilidade Facilidade de Uso - habilidade para se adaptar a novos usurios;
- habilidade para se adaptar ao mesmo usurio;
- habilidade para gerenciar interface multi-modal;
- nmero de problemas de interao.
Quadro 6: Classificao de medidas (2)
77
Atravs deste captulo possvel perceber a complexidade de se avaliar um sistema que

utiliza reconhecimento de voz para a interao com o usurio. Muitas outras mtricas e
medidas teriam que ser utilizadas se o objetivo desta pesquisa fosse ainda avaliar
tecnicamente e/ou sobre o ponto-de-vista dos clientes os componentes do sistema. Apenas
esto sendo considerados aqui, como objetivo da pesquisa, os requisitos, mtricas e medidas
referentes usabilidade do sistema. Devido quantidade de requisitos e mtricas
encontradas, torna-se invivel a utilizao de todo este conjunto, sendo necessria a escolha
das mais relevantes de acordo com o sistema em questo.
O prximo captulo abordar VUI para sistemas de informao radiolgica, sobretudo para
sistemas de transcrio automtica de laudos em radiologia.
78
5. INTERFACE DO USURIO BASEADA EM VOZ PARA SISTEMAS DE

INFORMAO RADIOLGICA
O uso de VUI em sistemas de informao de propsito geral na rea da Sade no

apropriado devido s peculiaridades intrnsecas s informaes mdicas. Porm, para um
propsito mais especfico, estes sistemas tm sido cogitados como possveis solues para a
entrada e consulta destas informaes.
Este captulo versa sobre o uso de VUI aplicado rea da Sade, principalmente no dia que
se refere ao seu uso em transcries de laudos em radiologia, tratando, inclusive sobre seus
requisitos.
5.1 Consideraes Iniciais
Segundo Rodrigues (1996), um dos grandes desafios para a comunidade cientfica no campo
da informtica aplicada Sade a implementao de solues de grande impacto funcional,
aliadas a um baixo custo operacional, que possam contribuir para a melhoria da qualidade do
setor, facilitar o acesso e expedir servios oferecidos aos pacientes e prover dados
organizados rapidamente disponveis para os profissionais de sade, sejam eles mdicos,
pesquisadores, epidemiologistas, estatsticos, administradores etc.
Apesar da Tecnologia da Informao ter avanado rapidamente no que concerne

conectividade fsica para a comunicao de informao, os aspectos referentes integrao
de sistemas e utilizao da informao pelos profissionais da Sade no avanaram na
mesma proporo. No Brasil, isto se deve principalmente aos seguintes fatores:
computadores disponveis em pequena quantidade nos servios de sade, dificuldade de
convergncia a modelos comuns para aquisio, representao e troca das informaes
(padres), e poucos sistemas clnicos eficazes nas instituies de sade. Adicionalmente, so
raros os profissionais qualificados e experientes na rea (SHORTLIFFE, 1990; AMARAL;
SALVADOR, 2005).
79
Uma rea de grande interesse, atualmente, a busca de modelos para a implementao de

pronturios eletrnicos. Diversos centros de pesquisa e desenvolvimento no mundo,
financiados por instituies acadmicas ou empresas de desenvolvimento de software, esto
buscando solues tecnolgicas e metodolgicas para a construo de seus sistemas de
registro eletrnico de sade (AMARAL; SALVADOR, 2005).
Neste ponto, uma das tecnologias promissoras para aumentar a usabilidade desta classe de
sistemas o reconhecimento de voz. Esta tecnologia tem sido utilizada, na rea da Sade,
em aplicaes como (DURLING; LUMSDEN, 2008):
Sistemas de ditado: so sistemas que visam facilitar a transcrio de linguagem

falada em texto para sua incluso em documentos mdicos como, por exemplo, em
pronturios eletrnicos do paciente. Este tipo de aplicao deve utilizar um
vocabulrio extenso, sendo, na maioria, sistemas dependentes do usurio que so
utilizados para a entrada de dados clnicos gerais, tais como em radiologia, patologia,
pediatria e salas de cirurgia. Um estudo realizado por Rodger e Pendharkar (2007)
mostrou que a preciso do sistema utilizado variou de 85% a 99%, dependendo de
fatores, tais como idade do usurio, sexo, familiaridade com sistemas de VUI. J
Mohr et al (2003) estudaram a comparao de qualidadeXpreciso de documentos
mdicos gerados por transcrio humana e por sistemas baseados em
reconhecimento de voz. Mohr et al (2003) concluram que os nveis de preciso da
tecnologia de reconhecimento de voz, naquele momento, foravam a edio em
grande proporo dos documentos transcritos e, portanto, esta tecnologia no
deveria ser proferida como reduo assegurada nos custos da entrada de dados.
Sistemas com unidades de resposta audvel baseados em voz (IVR): o

reconhecimento de voz tambm tem sido utilizado para documentao mdica por
pacientes a fim de fornecer informaes adicionais que ajudem no tratamento de
doenas crnicas. Um exemplo dado por Levin e Levin (2006) que avaliaram um
sistema de Unidade de Resposta Audvel baseada em voz para monitorar os nveis
de dor do paciente. Os pacientes podiam fazer uma chamada para o servio de
monitoramento da dor ou configurar o sistema, em intervalos especificados, para
80
que ele pudesse reportar informaes tais como os nveis de dor e a sua
localizao. Para este sistema, a taxa de erro do reconhecedor foi de apenas 2%.
Sistemas para controlar equipamentos mdicos: conforme relatado por Durling e

Lumsden (2008), h uma considervel falta de pesquisas sobre controle de
equipamentos mdicos atravs de reconhecimento de voz. Um exemplo a ser citado
dado por Sebastian (2004) que utiliza voz para controlar comandos de um
scanner de ultrassonografia, tais como Zoom in e Zoom out.
Sistemas para interpretao de linguagem: estes sistemas de reconhecimento de

voz so utilizados quando tradutores humanos no esto disponveis a fim de
facilitar a comunicao com pacientes que tenham proficincia limitada em ingls
(SELIGMAN, DILINGER; 2006).
5.2 Sistemas de Transcrio Automtica de Laudos
Os sistemas de transcrio humana tm sido usados para gerar laudos de radiologia

manualmente, de acordo com os seguintes passos: as imagens so interpretadas por um
radiologista e um laudo verbal ditado e gravado. Este udio digitado por uma pessoa,
resultando num laudo escrito. Este laudo considerado preliminar, mas, em algumas prticas,
ele j pode ser compartilhado por mdicos nesta fase. O radiologista ento finaliza o laudo
transcrito depois de t-lo revisado (usualmente sem revisar as imagens) e supe-se que o
texto esteja correto. O laudo final e as imagens so ento disponibilizados para os mdicos.
Este um processo que pode levar vrias horas (VORBECK et al, 2000; BHAN et al, 2008).
Entre as principais desvantagens em relao ao uso de sistemas de transcrio humana,

possvel destacar (HUNDT et al, 1999; DURLING; LUMSDEN, 2008; WHITE, 2005;
GOPAKUMAR et al, 2008):
81
Demora na devoluo dos laudos digitalizados. Segundo Gopakumar et al (2008),

este tempo, chamado de turnaround time (TAT), de cerca de 72 horas. Os
servios tradicionais de transcrio so conhecidos por, s vezes, produzirem
acmulos de fitas de ditado esperando para serem transcritas por secretrias, ou
transcries esperando para serem revistas e aprovadas por mdicos.
Alguns pacientes necessitam de uma investigao radiolgica imediata para

fornecer interveno apropriada. Entretanto, como os laudos transcritos podem
consumir bastante tempo, os mdicos necessitam esperar mais do que o
necessrio antes de aplicar a terapia correta ao paciente.
Questes ticas da rea da Sade, sobretudo ligadas privacidade. Segundo

Salvador e Almeida Filho (2006), vrias leis e normas brasileiras e internacionais,
tais como Constituio Federal Brasileira, Cdigo Penal Brasileiro, Conselho
Federal de Medicina e Organizao Pan-Americana de Sade tratam da questo da
privacidade da informao em um meio eletrnico. Os profissionais envolvidos na
transcrio so obrigados a no revelar as informaes fornecidas em confidncia
sem autorizao prvia do paciente, exceto quando estas informaes possam ser
utilizadas em funo da necessidade de cuidado ao paciente, por justa causa ou
dever legal.
Adicionalmente, uma consequncia no esperada o fato de que secretrias

necessitam assumir mais uma obrigao: de compartilhar o tempo com suas
obrigaes com o tempo nas transcries.
A fim de encurtar o tempo necessrio para escrever laudos, a tecnologia de reconhecimento

de voz aparece como uma alternativa para o servio de transcrio. A possibilidade de usar
transcrio de interpretaes radiolgicas controladas por voz foi descrita pela primeira vez
em 1981 (Robbins et al, 1987) , mas a tecnologia disponvel naquela poca era insuficiente e
economicamente invivel para trabalhar. Em 1987 e 1988, Robbins et al (1987) descreveram
o primeiro sistema de reconhecimento de voz para a escrita de laudos. Neste momento, a
tecnologia de reconhecimento de voz era de natureza discreta, o que significava que os
usurios deveriam aprender a falar devagar, inserindo pausas entre as palavras para serem
entendidos pelo sistema. O sistema desenvolvido por Robbins et al (1987) tinha outra grande
82
desvantagem relacionada ao tamanho reduzido de vocabulrio (900 palavras na primeira

verso e 5000 na segunda), que era irreal para a rea radiolgica (HUNDT et al, 1999;
DURLING; LUMSDEN, 2008; WHITE, 2005).
Atualmente, os sistemas de reconhecimento de voz tm trabalhado de forma contnua,

permitindo que seus usurios falem de maneira mais natural (DURLING; LUMSDEN, 2008).
Alapetite, Boje e Morten (2009) relataram suas expectativas em relao ao aumento da

qualidade dos registros do paciente, com o uso de sistemas de reconhecimento de voz, desde
que os mdicos agora chequem e validem os registros escritos imediatamente aps suas
concluses, que ainda esto recentes na memria.
Outro fator importante para o uso de sistemas de reconhecimento de voz a possibilidade de

integr-los aos sistemas j existentes, incluindo Picture Archiving and Communication System
(PACS), Sistemas de Informao Radiolgica (RIS) e Sistemas de Informao Hospitalares
(HIS)
Portanto, os principais propsitos de se utilizar reconhecimento de voz nos departamentos de

radiologia so o de diminuir o TAT e, consequentemente, os custos operacionais; conseguir
uma qualidade mais alta dos pronturios do paciente e; integrar o sistema de reconhecimento
de voz com os sistemas j existentes (PACS, RIS e HIS) (WHITE, 2005; ALAPETITE; BOJE;
MORTEN, 2009).
H a necessidade de se ressaltar, conforme apontado por Ichikawa et al (2007), que a taxa de

reconhecimento de voz para a transcrio automtica de laudos est intrinsecamente ligada
ao ambiente (silencioso ou barulhento), assim como a quantidade de trabalho deste ambiente.
Assim, em reas ambulatoriais h menos barulho do que na rea de internao, o que
aumentaria a taxa de reconhecimento de voz para o primeiro caso.
Porm, outros autores tm relatado na literatura algumas desvantagens de se utilizar a

tecnologia de reconhecimento de voz no departamento de radiologia, entre as quais podem
ser citadas (WHITE, 2005; GUTIERREZ; MULLINS; NOVELLINE, 2005):
O tempo que os radiologistas levam para fazer seu trabalho maior porque eles
tem que ler e corrigir os laudos.
83
O uso de tecnologias como VUI e PACS tm aumentado a velocidade das

informaes, porm tem diminudo o contato face-a-face dos profissionais da sade
com os radiologistas.
De acordo com White (2005), outra desvantagem de se utilizar novas tecnologias

seria o aumento da dependncia dos radiologistas em relao s tecnologias
eletrnicas. Assim, diariamente, o radiologista visualiza imagens atravs de
sistemas PACS, dita laudos utilizando sistemas de reconhecimento de voz, faz
conferncia atravs da Web, utiliza HIS para verificar os valores dos resultados de
exames de pacientes. Assim, o radiologista gasta parte do seu tempo inserido em
aprender novas tecnologias e fazer seus trabalhos utilizando-as.
Outra soluo apontada por Ichikawa et al (2007), prope o uso de reconhecimento de voz
para a gerao de arquivos de texto, mas passando pela correo de erros de pessoas para
fazerem a transcrio (utilizando os arquivos de voz tambm gerados), ou seja, uma
abordagem mista entre as duas frentes defendidas pelos autores supracitados. Obviamente
esta soluo diminui o TAT, mas no torna o laudo disponvel em tempo real.
5.3 Funcionamento de um Sistema de Transcrio Automtica de Laudos
As principais etapas, que compe um sistema automtico de transcrio de laudo em

radiologia atualmente comercializados, so mostradas na Figura 10.
Figura 10: Etapas de um Sistema de Transcrio Automtica de Laudo. (Fonte: autor)

84
So elas:
Entrada de Voz: utilizao de um equipamento, tal como mostrado na Figura 11,

para a entrada de voz do radiologista.
Captura do Laudo: um servidor capaz de armazenar os arquivos de udio

gerados durante o ditado do radiologista.
Reconhecimento de Voz: um mdulo de reconhecimento de voz com o

vocabulrio e gramtica prprias da rea de radiologia, fornecido, atualmente, pela empresa
Nuance (2010).
Correo e Edio de Laudo: verificao de possveis erros de reconhecimento

de voz que possam ter acontecido na fase anterior. Estes erros podem ser simplesmente a
falta de pontuao ou erros que comprometam o entendimento do lado.
Laudo Disponvel: j corrigido, o laudo disponibilizado para aqueles que

possam ter acesso a ele.
Figura 11: Dispositivo para a entrada de voz SpeechMike Pro 5274

Fonte: http://www.solitonit.com/speech_hardware.htm
85
A interface grfica relativa a estes sistemas de laudos pode ser vista a seguir, conforme a
Figura 12.
Figura 12: Interface grfica de um sistema de transcrio automtica de laudo

Fonte: http://www.medquist.com)
5.4 Consideraes Financeiras
Os sistemas de reconhecimento de voz necessitam de um investimento de capital que podem

ser substanciais. necessrio um investimento em (WHITE, 2005):
Computadores desktops: equipados com sistemas de som que so relativamente

baratos.
Servidores: que armazenaro todas as gravaes. So relativamente caros.
Infra-estrutura de rede: embora geralmente j exista na instituio, pode ter que ser
realizado uma atualizao.
Software e atualizaes: so geralmente mais caros e necessrio pensar sobre as

atualizaes que devero ser realizadas. Alm disto, geralmente, estes sistemas
so vendidos por nmeros de licenas (uma licena para cada voz).
86
Treinamento: depois de toda a implantao do sistema, necessrio fazer um

treinamento a todos que utilizaro o sistema, a fim de que sua produtividade seja
incrementada.
Suporte: custos com falhas de equipamento e software e ajudas devem ser

considerados.
5.5 Requisitos de um Sistema de Transcrio Automtica de Laudo
Atravs da reviso bibliogrfica sobre Interface Homem-Computador, VUI, Sistemas de

Informao Radiolgica, foi possvel listar os seguintes requisitos no uso de VUI em RIS em
sistemas de transcrio automtica de laudo:
1. Preciso (Acurcia): um dos requisitos mais importantes j que informaes

erradas podem comprometer a qualidade do laudo, alterar um diagnstico e
comprometer um tratamento.
2. Tamanho do vocabulrio: tambm um requisito bastante importante, pois o

vocabulrio no pode ser grande o bastante para baixar o nvel de reconhecimento
das palavras, nem to pequeno que no contemple as palavras do domnio da
aplicao.
3. Dicionrio especfico para RIS: o sistema deve contemplar palavras utilizadas

diariamente num laudo de radiologia.
4. Interferncia Sonora: o ambiente hospitalar, dependendo da rea, pode ser um

ambiente de muito rudo (ICHIKAWA et al, 2007). Porm, isto no pode influenciar
grandemente a eficincia do reconhecimento.
5. Reconhecimento contnuo: o usurio deve ditar o laudo sem se preocupar com

pausas entre palavras, ou seja, deve falar de maneira natural e contnua.
87
6. Desejvel separao entre o teclado e o sistema de ditado: o usurio deveria poder

fazer o ditado atravs de um aparelho especfico (como o mostrado na Figura 11),
atravs do celular ou de um telefone comum, permitindo que a aplicao seja
ubqua.
7. Ajuda: caso o usurio tenha algum problema na execuo do sistema, preciso que
haja uma ajuda e que o sistema seja capaz de identificar quando o usurio est em
apuros. Tambm desejvel que o usurio possa acionar a ajuda, dizendo alguma
palavra especfica, tal como ajuda ou help.
8. Minimizao da sobrecarga de memria: o sistema no deve exigir que o usurio se

recorde de termos especficos do sistema ou deve proporcionar a lista destes
termos para que o usurio no se frustre.
9. Recuperao de erros: o usurio deve ser capaz de corrigir seu ditado a qualquer
momento.
10. Tempo de resposta do feedback: o tempo de resposta para o usurio no deve ser
alto deixando o usurio pensando que o sistema no o compreendeu ou que algo
errado foi realizado. Segundo Nielsen (1993), um dcimo de segundo (0,1s) o
limite para o usurio pensar que o sistema est reagindo instantaneamente, o que
significa que nenhum feedback especial necessrio; um segundo (1.0s) o limite
para que o fluxo de pensamento do usurio no seja interrompido, mesmo que o
usurio perceba uma certa demora; e dez segundos (10s) o limite para manter a
ateno do usurio focalizada no dilogo. s vezes, feedbacks especiais so
necessrios para contextualizar uma navegao mais demorada do usurio.
necessrio salientar que estas medidas foram realizadas para sistemas stand-alone
ou pginas WEB. Porm, para sistemas de reconhecimento de voz, este tempo no
foi encontrado na literatura, precisando ser tomado a partir de observao do
usurio no uso do sistema.
88
11. Visibilidade do sistema: o sistema deve proporcionar ao usurio do sistema, o que

est se passando, se o sistema est consultando determinada informao, se no
entendeu uma entrada ou se est processando determinada ao; a transio entre
dilogos em uma interao por voz deve ser perceptvel ao usurio, pois as suas
habilidades e necessidades, bem como o contexto de uso podem ser modificadas
durante a interao.
12. Uso da arquitetura Cliente-Servidor: para que os radiologistas estejam livres para se
moverem de uma estao a outra dentro do hospital ou clnica.
13. Integrao com os sistemas j existentes: PACS, HIS e RIS.
14. Qualidade das entradas de dados: o sistema deve possuir perifricos de entrada, tal
como microfones que no causem interferncias s entradas de voz.
15. Qualidade das mensagens de sada: est ligada inteligibilidade e o quo

agradvel seu uso. possvel produzir mensagens de sada atravs de
sintetizao de voz, por mensagens pr-gravadas ou um texto exibido na tela.
Embora a sintetizao de voz produza mensagens bastante inteligveis, elas no
so muito agradveis de serem escutadas. J as mensagens pr-gravadas no
podem ser utilizadas em todos os sistemas, sendo bastante restritas e inflexveis.
16. Qualidade do sistema de udio: a voz gravada deve ser compreensvel e muito
semelhante voz original.
17. Tempo de retorno: tempo para o laudo ficar pronto que deve ser menor do que os
sistemas de transcrio humana.
18. Modalidade apropriada: se o sistema no compreender o que o usurio diz,

necessrio fornecer outra forma de entrada de dados que no a voz, tal como a
possibilidade de soletrar as letras ou entrar via teclado.
19. Adequao do Feedback (sincronizao da fala e escrita na tela): as frases ditas

pelo radiologista aparecero, normalmente, na tela, para que este possa fazer o
acompanhamento do que est ditando e o que o sistema est reconhecendo. Se o
delay for muito alto, isto poder causar um efeito de sobrecarga de trabalho para o
radiologista, que estar ditando uma frase e visualizando outra.
89
20. Diversidade e Percepo Humana: o sistema deve permitir que usurio experientes
possam realizar suas tarefas de maneira mais eficiente que usurios iniciantes, seja
atravs de teclas de atalho ou uso de barge-in - por exemplo, sendo capaz de clicar
com o mouse e recuperar padres de laudos j disponibilizados.
21. Satisfao do Cliente: est ligada porcentagem de erros gerados pelo sistema e
facilidade de uso, assim como o entusiasmo do usurio para utilizar o sistema
novamente.
22. Naturalidade da fala do usurio: o usurio deve poder falar de maneira natural e
contnua, da mesma forma que faria se estivesse gravando o udio.
23. Resoluo de ambiguidade para homnimos: o sistema deveria ser capaz de

diferenar palavras com o mesmo fonema, porm com escrita diferente.
Neste captulo foi possvel verificar o uso de reconhecimento de voz para aplicaes efetivas
na rea da Sade, sobretudo em aplicaes de propsito especfico, tais como na radiologia.
Tambm, aqui, foram descritas as principais caractersticas e os requisitos para sistemas de
transcrio automtica de laudos em radiologia.
Uma metodologia ser proposta, utilizada para medir estes principais requisitos, aqui
estabelecidos. O prximo captulo tratar de abordar esta metodologia.
90
6. METODOLOGIA DE AVALIAO DE INTERFACES DE VOZ PARA A

REA DA SADE SISTEMAS DE TRANSCRIO AUTOMTICA DE
LAUDO
O objetivo deste captulo apresentar a metodologia de avaliao para sistemas de

transcrio automtica de laudos em radiologia como parte dos resultados obtidos a partir de
estudos aprofundados em temas discutidos nos captulos anteriores. Ser mostrado como os
requisitos esto sendo agrupados em seis classes e tambm sua dificuldade de avaliao.
Ento, so listados e explicados os requisitos selecionados e proposta uma metodologia
para avaliao de cada requisito selecionado.
6.1 Introduo
Conforme visto no Captulo 2, a avaliao de VUIs diferente da avaliao de GUIs,

principalmente no que se refere transincia natural da voz, o que afeta fatores importantes
de usabilidade, tais como transparncia, aprendizado, sobrecarga cognitiva, manipulao de
erros e controle do usurio.
Em geral, a maioria dos mtodos de avaliao, testes, padres e mtricas de usabilidade

pode ser aplicada a VUIs. Porm, h requisitos, conforme vistos no captulo 4 e 5, que so
especficos para aplicaes VUI, ou, mais diretamente, para sistemas de transcrio
automtica de laudos em radiologia. H requisitos de VUIs que no so aplicveis a estes
sistemas, principalmente aqueles referentes iniciativa do dilogo ou comunicao. Isto leva
a se pensar numa metodologia especfica para esta classe de aplicaes.
91
6.2 Objetivos da Metodologia Utilizada
A metodologia proposta a seguir para a avaliao dos requisitos de sistemas de informao

em radiologia (sistemas de transcrio automtica de laudos) que utilizam VUI tem como
objetivos:
1. Utilizar testes de usabilidade e inspeo de usabilidade de maneira complementar a

fim de propiciar um menor custo e um menor tempo de avaliao.
2. Poder ser aplicada a sistemas j implementados.
3. Servir como um guia para se avaliar a usabilidade desta classe de sistemas.
4. Investigar a viabilidade de se avaliar determinados requisitos.
5. Agrupar os requisitos propostos segundo classes de caractersticas.
6. Propor mtricas para avaliar estes requisitos.
Esta metodologia sugere que se utilizem os mtodos para avaliao da usabilidade baseados
em inspeo sempre que seja possvel avaliar a interface sem envolver os usurios finais, a
fim de diminuir os custos das sesses de testes de usabilidade. Devem-se utilizar testes de
usabilidade quando for verificado que a inspeo no seja suficiente.
Embora, na literatura apontada por Nielsen (1989, 1993) seja desejvel utilizar de trs a
quatro avaliadores para se compor a lista de inspeo de usabilidade, esta metodologia
utilizar dois avaliadores (a prpria autora e um especialista em VUI convidado). O motivo
para esta abordagem se deu porque as inspees utilizariam muito mais horas cerca de 10
vezes mais - do que Nielsen (1989, 1993) discute em seu trabalho em torno de 2 horas.
Tambm por esta razo, a 2 especialista no fez parte de todas as inspees.
6.3 Agrupamento dos Requisitos em Classes
Mller (2005), em seu trabalho, encontrou 36 diferentes mtricas objetivas e as dividiu em

cinco categorias, relacionadas a:
92
a. dilogo e comunicao;
b. meta-comunicao;
c. capacidade de trabalho colaborativo (cooperativeness);
d. tarefa, e
e. entrada de dados.
Porm, para o domnio estabelecido na rea da Sade, a partir dos requisitos e mtricas
listados no Captulo 4 e 5, para se avaliar sistemas de transcrio automtica de laudo, as
seguintes classes so, aqui, propostas:
Classe 1 Desempenho: requisitos que estejam ligados ao correto

funcionamento da aplicao, em termos de reconhecimento da voz e
interferncias sofridas pela aplicao que possam degradar o seu desempenho.
Classe 2 - Facilidade de Uso: requisitos que estejam ligados s facilidades que o

sistema pode fornecer ao usurio, a fim de que sua tarefa possa ser executada
de maneira eficaz e eficiente, diminuindo a carga cognitiva do usurio.
Classe 3 - Hardware e Integrao: requisitos que estejam ligados ao

desempenho fsico, com dispositivos que permitam uma boa entrada de udio,
assim como facilidade de integrao deste sistema a outros tais como PACS e
HIS.
Classe 4 - Fatores Humanos: requisitos que estejam ligados ao prazer do

usurio em usar o sistema e sua vontade de continuar a utilizar o sistema.
Classe 5 - Feedback: requisitos que estejam ligados s mensagens

apresentadas ao usurio sobre o status do sistema, assim como o tempo de
resposta entre o ditado do usurio e sua transcrio na tela.
Classe 6 Tratamento de Erro e Sistema de Ajuda: requisitos que estejam

relacionados capacidade tanto do sistema corrigir erros encontrados, quanto
do sistema corrigir um ditado, seja em tempo real, ou tempo posterior.
93
O quadro a seguir mostra o agrupamento sugerido de acordo com a definio das classes:
CLASSE REQUISITO
Classe 1: Desempenho Preciso, Tamanho do vocabulrio, Dicionrio

especfico para RIS, Interferncias sonoras,
Naturalidade da fala do usurio (Reconhecimento
Contnuo), Resoluo de ambiguidade para homnimos
Classe 2: Facilidade de Uso Minimizao da sobrecarga de memria, Modalidade

apropriada, Tempo para o laudo ficar pronto
Classe 3: Hardware e Integrao Integrao com sistemas j existentes, Qualidade do

sistema de udio, Qualidade das entradas de dados
Classe 4: Fatores Humanos Diversidade e Percepo humana, Satisfao do

usurio
Classe 5: Feedback Tempo de feedback do sistema, Visibilidade do sistema,

Adequao do feedback
Classe 6: Tratamento de erros e Tratamento e Recuperao de Erros, Sistema de Ajuda

Sistema de Ajuda
Quadro 7: Agrupamento dos Requisitos em Classes. (Fonte: autor)
6.4 Classificao dos Requisitos quanto Dificuldade de Avaliao
A necessidade de se classificar os requisitos para os sistemas de transcrio automtica de

laudos segundo sua complexidade em serem avaliados, gerou a criao de 3 classes de
dificuldade: Grau 1 Baixa Complexidade; Grau 2: Complexidade Mdia; e Grau 3: Alta
Complexidade.
Assim, foram classificados todos os requisitos listados no item 6.3 em trs graus, conforme
mostrado na Quadro 8:.
94
COMPLEXIDADE REQUISITOS
Grau 1 Preciso (Acurcia); Tamanho do vocabulrio; Interferncias

sonoras; Reconhecimento contnuo; Tempo para o laudo ficar
pronto;
Grau 2 Adequao do Sistema de Ajuda, Tratamento e Recuperao de

erros; Qualidade das entradas de dados; Modalidade apropriada;
Naturalidade da fala do usurio;
Grau 3 Minimizao da sobrecarga de memria; Tempo de resposta do

feedback; Adequao do feedback; Qualidade do sistema de
udio; Diversidade e Percepo Humana; Satisfao do cliente;
Resoluo de ambiguidade para homnimos
Quadro 8: Classificao da complexidade de se avaliar cada requisito. (Fonte: autor)
6.5 Requisitos Selecionados
Dos 19 requisitos estudados, foram selecionados os seguintes para compor a metodologia de

avaliao:
1. Preciso (Acurcia): significa a porcentagem de acerto no reconhecimento das

palavras ditas pelo usurio e que sero transcritas. Trata-se de um requisito crucial
para os sistemas de transcrio automtica de laudo, pois enganos no
reconhecimento das palavras podem trazer consequncias desastrosas ao paciente.
2. Tamanho do vocabulrio: o vocabulrio no pode ser muito pequeno de tal forma

que no cubra o domnio da aplicao, nem to amplo que diminua a taxa de
reconhecimento ( fundamental investigar qual , aproximadamente, este tamanho
e se os sistemas analisados tem variao deste tamanho).
3. Dicionrio especfico para RIS: o vocabulrio deve cobrir o domnio da aplicao, no

caso, os termos utilizados na rea de radiologia (torna-se prescindvel investigar
como este dicionrio formado, e verificar se o sistema no reconhece palavras
alm do que necessitaria).
95
4. Interferncia sonora: num ambiente hospitalar, necessrio investigar qual a

contribuio do rudo do ambiente tanto na reduo da taxa de reconhecimento
quanto no aumento da carga cognitiva do usurio final.
5. Naturalidade da Fala do Usurio (Reconhecimento contnuo): este requisito est

ligado capacidade do sistema de transcrio automtica de laudo conseguir
reconhecer o ditado feito pelo usurio final, referente a um laudo. Deve ser
lembrado que o usurio est construindo as frases em tempo-real, podendo haver
vrios problemas da fala natural, tais como concordncia verbal e nominal, insero
de palavras irrelevantes ao texto, tais como , hummm que tero que ser
tratadas pelo sistema.
6. Ajuda: este requisito est ligado facilidade com que usurios, principalmente
iniciantes, tero para aprenderem e acessarem o sistema de ajuda para
conseguirem resolver seus problemas com o uso do sistema e conseguirem finalizar
seus objetivos (ditar um laudo de maneira eficiente).
7. Tratamento e Recuperao de erros: est relacionado a como o sistema deve agir

para se recuperar de um erro. Isto, em um sistema de transcrio automtica de
laudo, estaria ligado, por exemplo, a como o sistema age quando no reconhece
uma palavra que o usurio ditou.
8. Adequao do feedback: tratando-se de um sistema de tempo-real, em que o

usurio est ditando o laudo, existem alguns agravantes: a) o sistema no deve
fornecer feedbacks que atrapalhem a capacidade de raciocnio do usurio; b) deve
estar presente, de maneira que o usurio, em tempo oportuno, saiba de erros que
tenham ocorrido no sistema enquanto ele ditava o laudo (tal como uma falha no
reconhecimento de alguma palavra).
9. Tempo de resposta do feedback: as transcries devem ocorrer em tempo-real,

sem que o delay possa interferir na carga cognitiva do usurio final.
96
10. Visibilidade do sistema: este requisito est relacionado maneira como o sistema
ter para mostrar ao usurio seu status atual. Por exemplo, se o sistema encontrar
algum erro de reconhecimento ou tiver algum problema no acesso ao dicionrio,
como ser realizada a visibilidade do sistema.
11. Integrao com os sistemas j existentes: este um requisito bastante desejvel, j

que evita re-trabalho dentro das unidades que compe o Sistema de Informao
Hospitalar e o PACS.
12. Qualidade das entradas de dados: este requisito est relacionado a bons
dispositivos de captao de voz (microfones) que no causem problemas de
interferncia sonora ou eltrica que promovam distores na fala.
13. Qualidade do sistema de udio: apesar do radiologista realizar a correo do laudo

imediatamente aps t-lo ditado, notoriamente importante que haja a gravao do
udio para que seja possvel realizar comparaes, em tempo oportuno, entre o que
foi transcrito e o udio inicial, a fim de sanar eventuais dvidas. Sendo assim, este
udio tem que ser inteligvel a quem necessite rever estas informaes.
14. Tempo para o laudo ficar pronto: o tempo para o laudo estar disponvel para
consulta atravs do uso de um sistema de transcrio automtica de laudo deve ser
menor do que atravs de outros mtodos: escrita mo, digitao pelo prprio
radiologista, uso do servio de transcrio humana.
15. Modalidade apropriada: este requisito est ligado ao uso de modalidades de

interao complementares VUI. Para um sistema de transcrio automtica de
laudo, o uso de monitor, teclado e mouse so no somente desejveis, como
fundamentais.
16. Diversidade e Percepo Humana: o uso de outras modalidades de interao, alm

da voz, deveriam tornar o sistema mais utilizvel para usurios experientes,
permitindo encurtar caminhos e agilizar a tarefa.
97
17. Satisfao do Cliente: este requisito est ligado ao prazer de se utilizar o sistema de
transcrio automtica de voz. um requisito totalmente subjetivo que geralmente
medido atravs da aplicao de questionrios, tais como o apresentado no
Apndice A.
Os requisitos que no sero analisados no contexto deste trabalho so:
1. Minimizao da sobrecarga de memria: apesar de ser um requisito bastante

importante quando se avalia a usabilidade de praticamente todas as aplicaes com
interfaces, considerado um requisito bastante difcil de ser medido.
2. Resoluo de ambiguidade para homnimos: um requisito bastante difcil de

se avaliar, com necessidade de certa inteligibilidade do sistema para detectar a semntica das
sentenas.
6.6 Mtodo de Avaliao para cada Requisito Selecionado
A fim de tentar diminuir os custos com os testes de usabilidade, ser utilizada a avaliao por
inspeo de usabilidade para as medidas objetivas baseada em heursticas. J para as
medidas subjetivas, sero utilizados e testes e questionrios.
O desenvolvimento de um questionrio vlido e confivel no uma tarefa trivial. A grande

maioria dos questionrios para avaliao de interfaces do usurio foi desenvolvida para
interfaces grficas do usurio, tendo que ser repensada para o uso em VUIs. Os questionrios
que sero utilizados nesta metodologia foram elaborados com base na pesquisa desenvolvida
por Hartikainen, Salonen e Turunen (2004), em que proposta a aplicao de dois
questionrios aos usurios: questionrio de expectativas aplicado antes do uso do sistema,
e questionrio de percepo aplicado depois do uso do sistema (Apndice A). A elaborao
do questionrio tambm est baseada na metodologia Questionnaire User Interface
Satisfaction (QUIS) proposta em (CHIN; DIEHL; NORMAN, 1988).
98
Por outro lado, as heursticas utilizadas foram baseadas num adaptao de Nielsen (1993), no
estudo de requisitos no funcionais para VUI e nas boas prticas de desenvolvimento de VUI
apontados por (DYBKJAER; BERSEN, 2001), (SALVADOR et al., 2008) e (KOMATANI et al.,
2003), de acordo com as peculiaridades dos sistemas de transcrio automtica de laudos.
Utilizando os requisitos para sistemas de transcrio de laudos utilizando VUI selecionados na
sesso anterior, foram pesquisadas mtricas na literatura (seo 4.5) e, tambm, propostas,
pela autora, novas mtricas para sua avaliao de acordo com as peculiaridades dos
sistemas de transcrio automtica de laudos. Um template baseado em Dybkjaer e Bernsen
(2001) proposto para melhor organizar as avaliaes (Quadro 9:).
REQUISITO
Tipo de Avaliao
Mtodos de Avaliao
Importncia
Dificuldade de Avaliao
Sintomas a procurar/ Mtricas a utilizar
Quadro 9: Template utilizado para realizar a avaliao dos requisitos. (Fonte: autor)
Assim, foram abordadas as mtricas de acordo com o carter objetivo ou subjetivo

(quantitativo ou qualitativo) dos requisitos selecionados, conforme possvel visualizar a
seguir.
6.6.1 Requisitos Subjetivos
Os seguintes requisitos medidos de maneira subjetiva compem a metodologia proposta

(Quadro 10: a 16).
99
SATISFAO DO CLIENTE
Tipo de Avaliao Subjetiva

Mtodos de Avaliao Questionrio
Importncia Alta
Dificuldade de Avaliao Grau 3
Sintomas a procurar/ Mtricas a utilizar Facilidade de uso, valor agregado, sucesso da tarefa.
Quadro 10: Avaliao da Satisfao do Cliente. (Fonte: autor)
MODALIDADE APROPRIADA

Mtodos de Avaliao Inspeo, Observao e questionrio
Importncia Alta
Sintomas a procurar/ Mtricas a utilizar Verificar se as modalidades complementares de
interao facilitam a eficincia do uso do sistema e
podem diminuir o tempo para o cumprimento dos
objetivos do usurio.
Quadro 11: Avaliao da Modalidade Apropriada. (Fonte: autor)
DIVERSIDADE E PERCEPO HUMANA

Mtodos de Avaliao Observao e questionrio
Importncia Alta
Sintomas a procurar/ Mtricas a utilizar Verificar se usurios com graus de experincia
diferentes conseguem realizar suas tarefas de
maneira apropriada. Para isto o sistema deve
fornecer formas diferentes de acesso s
funcionalidades.
Quadro 12: Avaliao da Diversidade e Percepo Humana. (Fonte: autor)
100
MINIMIZAO DA SOBRECARGA DE MEMRIA

Mtodos de Avaliao Observao
Importncia Alta
Dificuldade de Avaliao 1
Sintomas a procurar/ Mtricas a utilizar Verificar qual a diferena de desempenho entre o
usurio ditar o laudo enquanto olha para a tela e
quando no olha.
Quadro 13: Avaliao da Minimizao da Sobrecarga de Memria. (Fonte: autor)
ADEQUAO DO FEEDBACK

Mtodos de Avaliao Inspeo e Questionrio
Importncia Alta
Sintomas a procurar/ Mtricas a utilizar a) o sistema no deve fornecer feedbacks que
atrapalhem a capacidade de raciocnio do usurio; b)
deve estar presente, de maneira que o usurio, em
tempo oportuno, saiba de erros que tenham ocorrido no
sistema enquanto ele ditava o laudo (tal como uma
falha no reconhecimento de alguma palavra)
Quadro 14: Avaliao do Feedback do Sistema. (Fonte: autor)
ADEQUAO DO SISTEMA DE AJUDA

Importncia Mdia
Sintomas a procurar/ Mtricas a utilizar Verificar se o sistema de ajuda satisfaz as
necessidades do usurio, caso esteja com dvidas.
Quadro 15: Avaliao da Eficincia do Sistema de Ajuda. (Fonte: autor)
101
VISIBILIDADE DO SISTEMA

Importncia Alta
Sintomas a procurar/ Mtricas a utilizar Verificar se o sistema capaz de informar ao usurio o
que est acontecendo em determinado momento.
Quadro 16: Avaliao da Visibilidade do Sistema. (Fonte: autor)
6.6.2 Requisitos Objetivos
Os seguintes requisitos, medidos de maneira objetiva, compem a metodologia

proposta (Quadro 17: a Quadro 29).
PRECISO
Tipo de Avaliao Objetiva

Mtodos de Avaliao Inspeo de usabilidade
Importncia Alta
Sintomas a procurar/ Mtricas a utilizar Dentro da quantidade total de palavras que compe o
ditado, qual a porcentagem de erro de reconhecimento
da voz, utilizando a variao de trs questes:
a) Interferncia sonora no ambiente ou no
b) Treino da voz ou no
c) Frases do ditado geradas em tempo-real,
podendo haver vrios problemas da fala natural
ou leitura de um texto j escrito.
d) Tipo de equipamento utilizado para captura do
udio.
Quadro 17: Avaliao da Preciso. (Fonte: autor)
102
INTEGRAO COM SISTEMAS J EXISTENTES

Mtodos de Avaliao Inspeo
Importncia Mdia
Sintomas a procurar/ Mtricas a utilizar Verificar se o sistema tem integrao com o PACS e
com o HIS e qual este nvel de integrao
Quadro 18: Avaliao da Integrao com Sistemas j Existentes. (Fonte: autor)
RECUPERAO DE ERROS

Importncia Alta
Sintomas a procurar/ Mtricas a utilizar Verificar como o sistema age perante os seguintes
erros:
a) O usurio usa palavras que no esto no
dicionrio da aplicao
b) O sistema no consegue reconhecer o que o
usurio dita
c) O sistema no consegue acessar o dicionrio
d) O sistema no consegue integrao com os
demais sistemas
e) O usurio erra o laudo e deseja refaz-lo.
Quadro 19: Avaliao da Recuperao de Erros. (Fonte: autor)
103
NATURALIDADE DA FALA DO USURIO

Mtodos de Avaliao Inspeo e Observao
Importncia Alta
Sintomas a procurar/ Mtricas a utilizar 1. Escolhendo usurios de ambos os sexos:
a) Atravs da leitura de laudos, verificar a diferena de
preciso entre o usurio falar mais pausadamente ou
mais rapidamente;
b) Atravs da leitura de laudos, verificar a diferena de
preciso entre o usurio falar com tom baixo ou alto;
c) Usurio l um laudo e usurio fala um laudo sem ler;
2. Escolhendo usurios de ambos os sexos com
sotaque diferente da cidade de So Paulo:
a) Atravs da leitura de laudos, verificar a diferena de
preciso entre o usurio falar mais pausadamente ou
mais rapidamente;
b) Atravs da leitura de laudos, verificar a diferena de
preciso entre o usurio falar com tom baixo ou alto;
Quadro 20: Avaliao da Naturalidade da Fala do Usurio. (Fonte: autor)

104
TEMPO PARA O LAUDO FICAR PRONTO

Mtodos de Avaliao Inspeo e observao
Importncia Alta
Sintomas a procurar/ Mtricas a utilizar Verificar quanto tempo necessrio para o laudo
ficar pronto, ou seja, desde o ditado at a correo
por parte do radiologista, em detrimento aos
seguintes casos:
a) O radiologista rpido para datilografar o
laudo e fazer sua correo;
b) O radiologista lento para datilografar o
laudo e fazer sua correo;
c) O radiologista grava o udio, envia para o
servio de transcrio humana e espera o
laudo voltar para fazer sua correo;
Quadro 21: Avaliao do Tempo para o Laudo ficar Pronto. (Fonte: autor)
TAMANHO DO VOCABULRIO

Importncia Alta
Sintomas a procurar/ Mtricas a utilizar Verificar o nmero de palavras que pertencem ao
vocabulrio do sistema, inicialmente.
Verificar o nmero de palavras que foram inseridas ao
vocabulrio do sistema, pelo usurio ou grupo de TI.
Quadro 22: Avaliao do Tamanho do Vocabulrio. (Fonte: autor)
105
DICIONRIO ESPECFICO PARA RIS

Importncia Alta
Sintomas a procurar/ Mtricas a utilizar Atravs da insero de laudos falados, verificar qual a
porcentagem de termos tcnicos que no so
reconhecidos pelo sistema.
Quadro 23: Avaliao da Aderncia do Dicionrio. (Fonte: autor)
INTERFERNCIA SONORA

Importncia Alta
Sintomas a procurar/ Mtricas a utilizar Atravs de um decibelmetro, medir a interferncia
sonora e inserir um laudo, verificando a preciso do
reconhecimento; fazer isso para diferentes graus de
interferncia sonora.
Quadro 24: Avaliao da Interferncia Sonora do Ambiente. (Fonte: autor)
RESOLUO DE AMBIGUIDADE PARA HOMNIMOS

Importncia Baixa
Sintomas a procurar/ Mtricas a utilizar Atravs de uma lista de palavras homnimas, inserir
um laudo falado e verificar se o sistema capaz de
escolher a palavra correta, pelo contexto.
Quadro 25: Avaliao da Capacidade do Sistema de Resolver Homnimos. (Fonte: autor)
106
QUALIDADE DO SISTEMA DE UDIO

Mtodos de Avaliao Inspeo e Anlise de Dados
Importncia Alta
Sintomas a procurar/ Mtricas a utilizar Gravar a voz de cada usurio e verificar a interferncia
sonora encontrada no udio.
Quadro 26: Avaliao da Qualidade de udio do Sistema. (Fonte: autor)
QUALIDADE DAS ENTRADAS DE DADOS

Importncia Alta
Sintomas a procurar/ Mtricas a utilizar Inserir laudos falados utilizando dois tipos de
equipamentos diferentes: um microfone comum e um
SpeechMike da Philips aparelho utilizado em
hospitais. Medir a diferena de preciso.
Quadro 27: Avaliao da Qualidade das Entradas de udio. (Fonte: autor)
TEMPO DE FEEDBACK DO SISTEMA

Importncia Alta
Sintomas a procurar/ Mtricas a utilizar Verificar o tempo entre a pronncia de uma palavra ou
frase e a escrita na tela.
Quadro 28: Avaliao do Tempo de Feedback do Sistema. (Fonte: autor)
107
TRATAMENTO E RECUPERAO DE ERROS

Importncia Alta
Sintomas a procurar/ Mtricas a utilizar Verificar, atravs de simulao, erros que poderiam
acontecer durante o ditado do laudo e como seria
possvel corrigi-los pelo sistema.
Quadro 29: Avaliao do Tratamento e Preveno de Erros. (Fonte: autor)
Neste captulo foi proposta uma metodologia de avaliao de Sistemas de Transcrio

Automtica de Laudos em Radiologia, levando em considerao requisitos gerais de
interfaces e tambm requisitos especficos de aplicaes VUI e, mais diretamente,
requisitos que devem ser considerados para os sistemas de ditado em Sade.
O prximo captulo tem como foco todo o plano de avaliao, em detalhes, realizados para
a validao da metodologia aqui proposta.
108
7. APLICAO DA METODOLOGIA A SISTEMAS J IMPLANTADOS
Sero abordadas, neste Captulo, todas as fases de preparao dos testes e de inspeo de
usabilidade de sistemas j implantados em hospitais, utilizando a metodologia detalhada no
Captulo 6.
Este Captulo tem por objetivo verificar quo bem funciona um sistema de transcrio de
laudos de radiologia, utilizando-se a metodologia proposta no Captulo 6, no qual foram
propostos os requisitos e as mtricas para esse tipo de sistema.
Sabe-se que praticamente todos os sistemas de transcrio de laudos em radiologia que

esto implantados atualmente nos hospitais e clnicas do Brasil tm o mesmo motor de
reconhecimento de voz, fornecido pela Nuance (2010). Isso significa que, em termos de taxa
de reconhecimento da voz, os sistemas no devem diferir, numa verso inicial, muito entre si,
a no ser por verses diferentes. Porm, existem customizaes que so realizadas,
geralmente pela equipe de TI dos hospitais, que podem aumentar a eficincia ou alterar as
caractersticas desses sistemas.Outro ponto a considerar a capacidade de aprendizado do
sistema em relao aos erros de reconhecimento e palavras novas que so inseridas ao
vocabulrio inicial do sistema.
Sero utilizados aqui dois sistemas de transcrio automtica de laudos em radiologia, que
sero descritos a seguir. A fim de facilitar os testes, economizar tempo e custos, alm de
incomodar, o mnimo possvel, os mdicos radiologistas, optou-se por ser realizada a maioria
dos testes com usurios participantes interessados na rea tecnolgica. Outro ponto
importante para a reduo de tempo e de custos o uso de inspeo de usabilidade, por ser
realizado por especialistas em usabilidade, ao invs de usurios finais.
O corpus utilizado para a pesquisa corresponde a um conjunto de radiologia de trax.

Percebe-se que estes dados so bastante formatados e no correspondem a uma fala natural
de um Radiologista.
109
7.1 Descrio dos sistemas utilizados
A empresa Nuance (2010) , atualmente, a principal empresa fornecedora do motor de

reconhecimento de voz para o tipo de sistema em estudo. At o ano de 2005,
aproximadamente, existiam vrias outras empresas que forneciam motores de
reconhecimento de voz, tais como: IBM ViaVoice (IBM, 02/03/2009), Philips Speech Pearl
(Nuance, 2010), Dragon Systems (Nuance,2010) - que terminaram por serem adquiridas pela
Nuance.
Vrias empresas, tais como Philips Healthcare (Philips, 2010) e Agfa (Agfa, 2010), que
vendem sistemas radiolgicos, incorporam o motor de reconhecimento de voz da Nuance em
suas solues. O que torna um sistema mais atrativo que outro so, ento, as facilidades
customizaes - que podem ser incorporadas programadas - ao sistema radiolgico.
A seguir sero descritos dois sistemas testados neste trabalho. O primeiro utiliza a mquina
de reconhecimento de voz da Nuance, sem facilidades programadas nos sistemas de
radiologia. O segundo sistema, tambm da empresa Philips (2010), na verso 2.1, pertence a
um hospital de So Paulo em que poucos usurios costumam utiliz-lo.
7.1.1 Sistema Philips de Uso Local
A fim de baratear os custos com os testes nos hospitais, diminuir o tempo de testes e tambm
o incmodo para o setor de TI dos hospitais que teriam que disponibilizar o ambiente de
testes do reconhecedor de voz, optou-se pela instalao do sistema Speech MagicTM verso
6.1 (2010) em uma mquina fora do ambiente hospitalar.
Embora hajam alguns inconvenientes no uso desta abordagem, tais como o sistema no estar
instalado como cliente-servidor e no tendo condies, por isso, de um aprendizado mais
eficaz da mquina de reconhecimento de voz e, ainda, no permitir a entrada de novas
palavras -, para vrios tipos de testes, esta abordagem j suficiente. Foi possvel testar
vrios requisitos do sistema, como o delay do sistema em resposta s entradas do usurio
requisito tempo de feedback, alm de ser possvel entender o funcionamento do sistema.
110
O primeiro componente do sistema, treinamento da voz do usurio chamado de

SmInitialTraining -, leva entre 2 minutos - treinamento mnimo -, a 8 minutos para finalizar a
introduo. Porm, mais textos podem ser lidos a fim de melhorar o seu desempenho. um
sistema bastante intuitivo, mesmo para quem nunca o utilizou. A Figura 13 e a Figura 14
mostram a interface deste aplicativo.
Figura 13: Tela Inicial do Aplicativo SmInitialTraining

111
Figura 14: Tela de Treinamento do Aplicativo SmInitialTraining
possvel, neste aplicativo, selecionar a linguagem a ser utilizada, o tipo de usurio, sendo
Flvia a nica voz feminina presente nas opes, o tipo de canal de entrada e tambm a
linguagem para as telas (GUI Languages). Porm, a interface de telas, apresenta as
linguagens misturadas entre verses em ingls, portugus e espanhol, gerando certo
desconforto cognitivo.
O segundo componente do sistema, chamado Neoc Interactive 6.1, a interface que permite
a gravao dos laudos e visualizao dos textos. uma interface bastante intuitiva, estando
no idioma espanhol. A tela inicial deste componente apresentada na Figura 15.
112
Figura 15: Tela Principal do Neoc 6.1
Segundo a documentao cedida pela empresa MacSym (MacSym, 2010), o mdulo de

reconhecimento de voz do SpeechMagicTM (2010) possui caractersticas como:
O sistema capaz de reconhecer a fala natural do usurio. Isso significa que o

usurio no deva falar muito pausadamente nem muito rapidamente, tampouco
alterar o timbre de sua voz.
O sistema capaz de se adaptar a sotaques, mesmo de pessoas estrangeiras;
O sistema vai ignorar hesitaes e interjeies que o usurio tenha, quando est
pensando na prxima frase a dizer, assim como ignorar o som ambiente ou
seja, interferncias sonoras.
O sistema capaz de colocar pontuao ponto final e vrgula

automaticamente, caso o usurio no o faa.
O sistema capaz de tratar ambiguidades de nmeros e palavras, tais como

um e 1, segundo e 2.
113
O sistema no capaz, por si s, de uniformizar siglas e nomes, assim QSE se

ditado desta maneira, produzir a sigla QSE, enquanto que quadrante superior
externo produzir o texto completo e no a sigla.
As unidades de medida devem ser pronunciadas por extenso. Assim, g/cm 2

deve ser pronunciada por grama por centmetro quadrado e no g por cm
quadrado.
possvel utilizar o NEOC Interactive 6.1 sem ter realizado o treinamento inicial da voz do usurio,
porm, segundo a documentao, haver diferena de acertos no reconhecimento da voz.
7.1.2 Sistema Philips Speech Magic 2.1
O sistema Philips Speech Magic verso 2.1 o que est instalado no hospital foco do estudo.
Embora seja uma verso bastante antiga, visto que a ltima verso se encontra em 7.
Sua interface bastante parecida com a verso descrita no item anterior, como pode ser
visualizada na Figura 16.
Figura 16: Tela do Sistema Philips Speech Magic 2.1

114
Apesar de haverem 8 mdicos radiologistas e 4 licenas para o uso do sistema, apenas um

mdico entrevistado utiliza a ferramenta.
O sistema no est interligado ao PACS ou RIS, o que contribui para o aumento do tempo
para o laudo ficar pronto.
O ambiente fsico pode ser visualizado na Figura 17. possvel perceber que o mdico
necessita visualizar trs telas ao mesmo tempo, e em uma delas, podem estar concentradas
quatro imagens do exame em questo.
Figura 17: Ambiente no qual so realizados os laudos dos exames de Ressonncia Magntica atravs do
sistema de transcrio automtica. . (Fonte: autor)
7.1.3 Planejamento dos Testes e das Inspees de Usabilidade
A aplicao da avaliao de Usabilidade dos Sistemas de Transcrio Automtica de Laudos

em Radiologia ocorreu de duas maneiras:
Analisando todos os requisitos possveis com um sistema que est sendo

utilizado stand-alone e no est implantado num hospital. Estes requisitos foram
analisados utilizando as tcnicas de questionrios de satisfao, observao e
inspeo de usabilidade.
115
Analisando os demais requisitos que no poderiam ser analisados fora do

ambiente de produo ou seja, no hospital com usurios reais radiologistas
utilizando tcnica de observao e questionrios de satisfao.
J para a segunda fase da avaliao, foi selecionado um usurio que utiliza o sistema com
mais frequncia.
A metodologia utilizada foi adaptada de Nielsen (1993).
7.2 Planejamento da Inspeo do Sistema Stand-alone
A inspeo da usabilidade do sistema de transcrio automtica de laudos em radiologia foi

realizada de acordo com as seguintes etapas: criao das heursticas; escolha dos
especialistas; preparao das inspees; gerao das listas; e concatenao dos resultados.
Estas etapas sero detalhadas nas prximas subsees.
7.2.1 Criao das heursticas
Esta seo tem por objetivo propor as heursticas e mtricas para que os especialistas
verifiquem a conformidade do sistema com o que foi estabelecido. De todas as heursticas e
mtricas detalhadamente descritas no Captulo 6 deste trabalho, apenas as com metodologia
de avaliao por inspeo constaro desta parte da avaliao.
Nesta seo foi elaborado cada Caso de Teste, apoiado na Metodologia proposta no Captulo
6. Um caso de teste descrito na literatura de maneira bastante padronizada, tais como
abordado em (IEEE 829-2008; DELAMARO; MALDONADO; JINO, 2007; LEE, 2003). Porm,
para casos de teste de usabilidade no foi encontrado, na literatura, nenhum template. Assim,
a autora definiu um template que se adequasse a suas necessidades de padronizao dos
testes, conforme possvel verificar na Quadro 30.
116
Nome da Mtrica
Mtodo de Avaliao
Participantes
Material Necessrio
Roteiro
Resultados
Anlise
Quadro 30: Template para Casos de Testes. (Fonte: autor)
Estas heursticas e mtricas so detalhadas a seguir, utilizando o template proposto.
Nome da Mtrica Avaliao da Preciso

Mtodo de Avaliao Inspeo de Usabilidade
Participantes 1 especialista a autora - para o teste a e b e 2 especialistas para
o teste c.
Material Necessrio 10 laudos diferentes de radiologia, 1 decibelmetro, 1 equipamento
SpeechMike TM
Roteiro a) Atravs da leitura de laudos, verificar a diferena de preciso
com ou sem treinamento prvio do sistema;
b) Atravs da leitura de laudos, verificar a diferena de preciso
para ambiente com ou sem interferncia sonora;
c) Atravs da leitura de um nico laudo, verificar a mdia e o
desvio padro da taxa de reconhecimento de um especialista.
d) Atravs da leitura de laudos, j com treinamento da voz, verificar
a taxa de reconhecimento de especialistas.
Resultados
Anlise
Quadro 31: Caso de Teste para Avaliao da Preciso. (Fonte: autor)
117
Nome da Mtrica Recuperao de Erros

Mtodo de Avaliao Inspeo
Participantes 1 especialista
Material Necessrio 1 texto com 77 palavras, com vrias palavras fora do vocabulrio
especfico da rea de Radiologia, 1 equipamento SpeechMike TM
Roteiro Verificar, atravs de inspeo, como o sistema age perante os
seguintes erros:
a) O usurio usa palavras que no esto no dicionrio da
aplicao
b) O usurio erra o laudo e deseja refaz-lo.
Resultados
Anlise
Quadro 32: Caso de Teste para Avaliao da Recuperao de Erros do Sistema por Inspeo. (Fonte:
autor)
Nome da Mtrica Interferncia Sonora

Material Necessrio 10 laudos de radiologia, 1 decibelmetro, Headset Philips TM SHM
3300, 1 equipamento SpeechMike TM
para ambiente com ou sem interferncia sonora utilizando o
HeadSet;
SpeechMike;
c) Verificar a diferena entre os dois.
Resultados
Anlise
Quadro 33: Caso de Teste para Avaliao da Interferncia Sonora. (Fonte: autor)
118
Nome da Mtrica Resoluo de Ambiguidade para Homnimos

Material Necessrio 10 conjuntos de palavras com homnimos, 1 equipamento
SpeechMike TM
Roteiro Atravs da insero de palavras homnimas num texto, verificar
como o sistema reage.
As palavras e frases utilizadas foram (Recanto das Letras, 2010):
1. Acerca do paciente e Cerca de um milho
2. O paciente apresenta Arteriosclerose e O paciente apresenta
Aterosclerose
3. Cmara e Cmera
4. o Comprimento de 1 metro e o Cumprimento do exame
5. Emergir e Imergir
6. Acidente e Incidente
7. Ratificar e Retificar
8. Cerca de um laudo e Cerca de 1 metro
9. Ponto de referncia e baixo contraste .
10. Caracterstica afim e A fim de caracterizar.
Resultados
Anlise
Quadro 34: Caso de Teste para Avaliar a Resoluo de Ambiguidade para Homnimos. (Fonte: autor)
Nome da Mtrica Tempo de Feedback do sistema

Participantes 2 especialistas
Material Necessrio 10 laudos, 1 cronmetro, 1 equipamento SpeechMike TM
Roteiro Atravs da leitura de um laudo, verificar o delay do sistema para
mostrar a palavra ou frase no texto.
Resultados
Anlise
Quadro 35: Caso de Teste para Avaliar Tempo de Resposta do Sistema. (Fonte: autor)
119
Nome da Mtrica Qualidade das entradas de udio

Roteiro Atravs da leitura de laudos, verificar a diferena de preciso para
os dois equipamentos de entrada de udio, com baixa interferncia
sonora.
Resultados
Anlise
Quadro 36: Caso de Teste para Avaliar a Qualidade das Entradas de udio. (Fonte: autor)
Nome da Mtrica Qualidade dos sistemas de udio

TM
Material Necessrio 2 laudos, 1decibelmetro, Headset Philips SHM 3300, 1
equipamento SpeechMike TM
Roteiro Analisar o rudo do udio captado atravs de uma aplicao ou
atravs de investigao informal.
Resultados
Anlise
Quadro 37: Caso de Teste para Avaliar a Qualidade do Sistema de udio. (Fonte: autor)
120
Nome da Mtrica Visibilidade do Sistema e Adequao do Feedback

Material Necessrio 10 laudos, 1 equipamento SpeechMike TM
Roteiro Verificar:
A aplicao informa o que est acontecendo ao usurio; por
exemplo, se uma palavra no foi reconhecida durante o ditado, ou
se o sistema est apresentando dificuldade no reconhecimento
ou seja, baixo reconhecimento. Tambm, se h delay no sistema,
seria conveniente informar isso ao usurio.
Resultados
Anlise
Quadro 38: Caso de Teste para Avaliar a Visibilidade do Sistema por Inspeo. (Fonte: autor)
Nome da Mtrica Adequao do Sistema de Ajuda

Material Necessrio Sistema Neoc.
Roteiro Verificar se o sistema ajuda ao usurio a resolver suas dvidas.
Se possui adequao do vocabulrio em relao ao conhecido
pelo usurio.
Se possui um sistema de busca por palavras-chave que facilite que
o usurio encontre o desejado.
Resultados
Anlise
Quadro 39: Caso de Teste para Avaliar a Adequao do Sistema de Ajuda por Inspeo. (Fonte: autor)
121
Nome da Mtrica Modalidade Apropriada

Material Necessrio 1 laudo, Headset Philips TM SHM 3300, 1 equipamento SpeechMike
TM
Roteiro Analisar as facilidades de uso dos dois equipamentos.

Resultados
Anlise
Quadro 40: Caso de Teste para Avaliar Modalidade Apropriada. (Fonte: autor)
Nome da Mtrica Naturalidade da Fala do Usurio

TM
Material Necessrio 10 laudos de radiologia, 1 equipamento SpeechMike
Roteiro Atravs de ditado de laudos:
a) Verificar o que acontece se houver interjeies do
usurio, tais como eee, humm, aaaa;
b) Verificar o que acontece se o usurio no pontuar
explicitamente o texto.
Resultados
Anlise
Quadro 41: Caso de Teste para Avaliar a Naturalidade da Fala do Usurio por Inspeo. (Fonte: autor)
Nome da Mtrica Tamanho do Vocabulrio

Mtodo de Avaliao Investigao
Material Necessrio Questionrio ao representante
Roteiro No aplicvel
Resultados
Anlise
Quadro 42: Obteno do Tamanho do Vocabulrio. (Fonte: autor)
122
7.2.2. Escolha dos Especialistas
Embora Nielsen (1993) estabelea que uma inspeo deva ter entre 3 e 5 especialistas, foram
utilizadas duas especialistas em usabilidade para esta inspeo. As duas especialistas
encontram-se em fase de doutoramento na rea de Interfaces Homem-Computador, so do
sexo feminino, com experincia acadmica e em empresa, com mais de 30 anos de idade.
7.2.3. Preparao das inspees
Segundo Nielsen (1993), uma inspeo de usabilidade dura cerca de 2 horas e deve
ser realizada individualmente. Porm, possvel perceber, atravs dos resultados dos testes,
na prxima seo, que estas inspees demoraram bastante tempo, cerca de 20 horas. Esta
foi uma das principais razes do no uso da 2 especialistas em todas as inspees e tambm
da no utilizao de mais de dois especialistas.
Os materiais e softwares necessrios para esta inspeo foram:
Laptop Philips: Processador Core 2 Duo, Memria RAM de 4GB, HD de 320 GB.
SpeechMike Pro TM
Philips: utilizado para as entradas de udio, tal como apresentado
na Figura 18.
Headset Philips TM SHM 3300.
Decibelmetro: utilizado para medir a interferncia Sonora do ambiente de teste,

conforme mostrado na Figura 19.
Cronmetro: utilizado para medir o tempo dos testes e tempo de resposta do sistema.
10 Laudos de Radiologia do Trax. Os laudos utilizados constam do Anexo B.
Software SpeechMagicTM (2010)6 da empresa Nuance (2010).
Software SmInitialTraining: leva cerca de 2 minutos para ser completada a verso

suficiente para executar.
6
Esta licena foi gentilmente cedida pela empresa MacSym Tecnologia Mdica (Macsym, 2010) por um prazo de 60 dias
123
Software Neoc Interactive 6.1: pode ser utilizado sem a execuo prvia do
SmInitialTraining, porm apresentar uma preciso menor.
Casos de Testes descritos na seo anterior.
Figura 18: SpeechMike Pro - Dispositivo de Entrada de udio. (Fonte: autor)
Figura 19: Decibelmetro Utilizado nos Testes. (Fonte: autor)

124
7.2.4. Gerao das Listas e Concatenao dos Resultados
Esta subseo tem por objetivo gerar os resultados de cada caso de teste determinado para
inspeo, assim como a anlise dos resultados.
Os dez laudos utilizados nessa inspeo so padronizados; muitos termos aparecem de

maneira repetitiva nos textos, conforme pode ser visto no Anexo B.
A fim de que um teste de inspeo no influenciasse os demais, realizados na sequncia, os

especialistas no olhavam os problemas de reconhecimento de voz antes de finalizarem
aquela bateria de testes.
A porcentagem de erros de reconhecimento de voz foi calculada pela diferena de sentido

entre palavras entre o texto original - laudo escrito - e o texto gerado pelo sistema de
reconhecimento. Para tanto foi utilizada a funo de comparao do editor de texto Word TM e
tambm a inspeo manual da especialista.
Os textos tm uma mdia de 56.4 palavras por laudo, sendo que o menor laudo tem 52
palavras e o maior, 66.
Os testes foram realizados no mesmo ambiente, com interferncia sonora equivalente.
A seguir so apresentados os resultados dos testes de inspeo realizados.
Nome da Mtrica Avaliao da Preciso

Mtodo de Avaliao Inspeo de Usabilidade
Participantes 1 especialista a autora - para o teste a e b e 2 especialistas para o
teste c.
Material Necessrio 10 laudos diferentes de radiologia, 1 decibelmetro, 1 equipamento
SpeechMike TM
Roteiro a) Atravs da leitura de laudos, verificar a diferena de preciso com
ou sem treinamento prvio do sistema;
b) Atravs da leitura de laudos, verificar a diferena de preciso para
ambiente com ou sem interferncia sonora;
125
c) Atravs da leitura de um nico laudo, verificar a mdia e o desvio

padro da taxa de reconhecimento de um especialista.
d) Atravs da leitura de laudos, j com treinamento da voz, verificar a
taxa de reconhecimento de especialistas.
Resultados A fim de poder validar os testes aqui determinados, um teste anterior
para medir a diferena de preciso no reconhecimento de voz com um
especialista por 10 vezes com o mesmo laudo foi realizado.
a) O texto referente ao laudo utilizado neste teste tem 66 palavras. O

teste foi repetido 10 vezes. Este teste demorou cerca de 21 minutos.
Grfico 1: Porcentagem de Erro de Teste de um Laudo
b) Os resultados da preciso sem treinamento e com treinamento da

voz esto a seguir. Este teste demorou cerca de 40 minutos.
126
Grfico 2: Porcentagem de Erro do Sistema Com x Sem Treinamento Prvio
b) Os resultados dos testes com Interferncia sonora alta entre 75 e

81 db e baixa entre 40 e 45 db podem ser visualizados no grfico
abaixo. Estes testes levaram cerca de 30 minutos.
Grfico 3: Porcentagem de Erro do Sistema Com ou Sem Interferncia Sonora
d) Os resultados dos testes da preciso do reconhecimento de voz

com treinamento prvio da voz, realizadas por duas especialistas
esto a seguir. Estes testes levaram cerca de 50 minutos.
127
Grfico 4: Diferena da porcentagem de Erro do Sistema entre Dois

Especialistas
Anlise a) A mdia de erro entre todos os 10 testes foi de 4.54%, com desvio
padro de 1.237%, o que indica que houve uma certa homogeneidade
nos dados, analisados a partir do Grfico 1 Porcentagem de Erro.
b) No Grfico 2 representando a diferena da taxa de reconhecimento

da voz com ou sem treinamento prvio da voz possvel perceber
que no houve diferena significativa na taxa de reconhecimento sem
o treinamento e com o treinamento, como era pensado. No caso dos
testes sem treinamento prvio, verifica-se que a mdia foi de 7.3% de
erros por laudo, enquanto o desvio padro foi de 1.79%. J para os
testes com treinamento prvio da voz, a mdia de erros foi de 6.96%,
enquanto o desvio padro foi de 2.87%. O sistema j se mostrou
bastante eficiente sem treinamento, com taxa de reconhecimento de
92.7% em mdia.
c) No Grfico 3 referente Interferncia Sonora, possvel verificar

uma piora significativa na taxa de reconhecimento proporcionada pela
128
interferncia sonora do ambiente rudo. Com interferncia sonora

considerada baixa (vide Anexo A), entre 40 e 45 db, a mdia de erros
de reconhecimento do sistema ficou em 6.96%, com desvio padro de
2.87%. J para um ambiente considerado com alta interferncia
sonora, entre 75 e 81 db, a taxa de erro de reconhecimento foi, em
mdia, de 12.94%, com desvio padro de 3.4%. Isso significa que o
ambiente interfere significativamente na qualidade do reconhecimento
e deve ser levado em considerao quando for realizada a
implantao do sistema.
d) O grfico 4 da Preciso do Reconhecimento mostra que os erros

no reconhecimento foram, com uma exceo, sempre menores que
10%, com mdia de 6.96% de erros por laudo, com desvio padro de
2.87%. J os erros de reconhecimento de voz foram para a
Especialista 2 sempre menores do que 10%, sendo que a mdia foi
de 7.12% e o desvio padro de 1.95%.
De acordo com o fabricante do motor de reconhecimento (NUANCE,
2010), reconhecimento de voz fica em torno de 90% inicialmente,
podendo chegar a 98%. Assim, se utilizado um software de
reconhecimento de voz com aprendizado, estas taxas, j baixas,
podem ser decrementadas consideravelmente. Estes testes foram
realizados em software sem a possibilidade de insero de palavras
novas ao vocabulrio.
A palavra quilovoltagem no pertence ao vocabulrio inicial da
aplicao e por isso foi contabilizada como erro de reconhecimento de
voz nos 10 testes.
Quadro 43: Resultados e Anlise do Caso de Teste para Avaliao da Preciso. (Fonte: autor)
129

Material Necessrio 1 texto com 77 palavras, com vrias palavras fora do vocabulrio
especfico da rea de Radiologia, 1 equipamento SpeechMike TM
Roteiro Verificar, atravs de inspeo, como o sistema age perante os
seguintes erros:
a) O usurio usa palavras que no esto no dicionrio da
aplicao
b) O usurio erra o laudo e deseja refaz-lo.
Resultados a) O texto referente ao laudo utilizado neste teste tem 77 palavras.
O teste foi repetido 10 vezes. Este teste demorou cerca de 17
minutos.
Grfico 5: Resultado da Porcentagem de Erro em 10 Testes com o Mesmo

Laudo
Anlise
a) possvel, atravs de comparao entre o Grfico 1 e o Grfico
5, verificar que houve uma piora significativa na porcentagem de
erros quando se utiliza um texto com palavras fora do vocabulrio
130
especfico de Radiologia. Enquanto, no primeiro caso, a mdia era

de 4.54%, com desvio mdio de 1.237%, no segundo teste foi de
20%, com desvio mdio de 1.95%. Isso era esperado, visto que o
vocabulrio para o sistema especfico para a rea de Radiologia.
b) No h atalhos de voz para corrigir um erro, o que pode causar

muito incmodo ao usurio que, a princpio, pode se sentir perdido
em como desfazer um ditado errado. Segundo o fornecedor da
Neoc (NUNCE, 2010), o usurio deve terminar o ditado e depois
corrigir, no texto, as palavras que estiverem erradas.
Quadro 44: Resultados e Anlise do Caso de Teste para Avaliao da Recuperao de Erros do Sistema
por Inspeo. (Fonte: autor)
Nome da Mtrica Interferncia Sonora

HeadSet;
SpeechMike;
c) Verificar a diferena entre os dois.
Resultados Cada teste durou cerca de 18 minutos, totalizando 36 minutos.

a) Teste com baixa e alta interferncia com o equipamento Head
Set Philips.
131
Grfico 6: Porcentagem de Erro causado por Interferncia Sonora no

Ambiente Teste com o Equipamento Head Set Philips
b) Teste com baixa e alta interferncia com o equipamento

SpeechMike.

Ambiente Teste com o Equipamento SpeechMike Pro
c) Diferena entre os dois equipamentos, com baixa e alta

132

Ambiente Teste com o Equipamento SpeechMike Pro
Anlise a) No grfico referente Interferncia Sonora captada pelo

equipamento HeadSet, possvel verificar uma piora significativa
na taxa de reconhecimento proporcionada pela interferncia sonora
do ambiente rudo. Com interferncia sonora considerada baixa
(ABNT NBR 10152/1987, 2010) (vide Anexo A), entre 40 e 45 db,
a mdia de erros de reconhecimento do sistema ficou em 4.81%,
com desvio padro de 2.01%. J para um ambiente considerado
com alta interferncia sonora, entre 75 e 81 db, a taxa de erro de
reconhecimento foi, em mdia, de 16.48%, com desvio padro de
3.12%. Isso significa que o ambiente interferiu significativamente na
qualidade do reconhecimento e deve ser levado em considerao
quando for realizada a implantao do sistema.
b) No grfico referente Interferncia Sonora do equipamento

SpeechMike, possvel verificar uma piora significativa na taxa de
reconhecimento proporcionada pela interferncia sonora do
133
ambiente rudo. Com interferncia sonora entre 40 e 45 db, a

mdia de erros de reconhecimento do sistema ficou em 6.96%,
com desvio padro de 2.87%. J para um ambiente considerado
com alta interferncia sonora, entre 75 e 81 db, a taxa de erro de
reconhecimento foi, em mdia, de 12.94%, com desvio padro de
3.4%. Isso significa que o ambiente interfere significativamente na
qualidade do reconhecimento e deve ser levado em considerao
quando for realizada a implantao do sistema.
c) Comparando os dois equipamentos -

Grfico 8 - possvel verificar que o equipamento HeadSet se
comporta melhor do que o SpeechMike para ambientes com pouca
interferncia sonora, mas este quadro se inverte quando h muita
Quadro 45: Resultados e Anlise do Caso de Teste para Avaliar a Interferncia Sonora. (Fonte: autor)
Nome da Mtrica Resoluo de Ambiguidade para Homnimos

Material Necessrio 10 conjuntos de palavras com homnimos, 1 equipamento
SpeechMike TM
Roteiro Atravs da insero de palavras homnimas num texto, verificar
como o sistema reage.
As palavras e frases utilizadas foram (Recanto das Letras, 2010):
1. Acerca do paciente e Cerca de um milho
2. O paciente apresenta Arteriosclerose e O paciente apresenta
Aterosclerose
3. Cmara e Cmera
4. o Comprimento de 1 metro e o Cumprimento do exame
5. Emergir e Imergir
134
8. Cerca de um laudo e Cerca de 1 metro
Resultados Este teste demorou cerca de 5 minutos.
As respostas que o sistema deu s entradas mostradas acima
foram:
1. Acerca do paciente. e Cerca de 1 milho
2. o paciente apresenta arteriosclerose e A paciente apresenta a
aterosclerose
3. Cmara e Cmera
4. O comprimento de 1 m e o comprimento do exame
5. Emergir e Emergir
8. Cerca de o laudo e Cerca de 1m
Anlise O sistema foi capaz de distinguir entre os homnimos em 70% dos
casos estudados, falhando nos itens 4, 5 e 8.
Quadro 46: Resultados e Anlise do Caso de Teste para Avaliar a Resoluo de Ambiguidade para
Homnimos. (Fonte: autor)
Nome da Mtrica Tempo de Feedback do Sistema

TM
Material Necessrio 10 laudos, 1 cronmetro, 1 equipamento SpeechMike
Roteiro Atravs da leitura dos laudos, verificar o delay do sistema para
mostrar a palavra ou frase no texto.
Resultados Os testes foram realizados no mesmo ambiente, com interferncia
sonora equivalente.
135
Especialista 1: o delay chega a ser de 5 segundos, com mdia de

4.5 segundos.
Especialista 2: o delay chega a ser de 4.8 segundos, com mdia de
4.2 segundos.
Anlise Devido diferena da velocidade de fala de cada especialista,
possvel ter um delay maior um menor do sistema.
Quadro 47: Resultados e Anlise do Caso de Teste para Avaliar Tempo de Resposta do Sistema. (Fonte:
autor)
Nome da Mtrica Qualidade das entradas de udio

Roteiro Atravs da leitura de laudos, verificar a diferena de preciso para
os dois equipamentos de entrada de udio, com baixa interferncia
sonora.
Resultados Os testes foram realizados mesmo ambiente para os dois
equipamentos de entrada de udio, com interferncia sonora
variando entre 42 e 50 db.
Grfico 9: Diferena da Porcentagem de Erro entre os dois Equipamentos

136
Anlise Atravs do grfico possvel perceber que, ao contrrio do que

afirmado pelo revendedor do SpeechMike, o Headset teve um
comportamento melhor, isto , menor porcentagem de erro na
maioria dos casos, com exceo do teste nmero 4.
A mdia da porcentagem de erro para o HeadSet de 2.87%, com
desvio padro de 2.09%. J a mdia da porcentagem de erro para
o SpeechMike est em 6.96%, com desvio padro de 4.81%. Isso
mostra que, com o uso do SpeechMike, alm de apresentar menor
taxa de reconhecimento, ainda apresenta maior disperso dos
dados.
Quadro 48: Resultados e Anlise do Caso de Teste para Avaliar a Qualidade das Entradas de udio.
(Fonte: autor)

TM
Material Necessrio 2 laudos, Headset Philips SHM 3300, 1 equipamento
SpeechMike TM
Roteiro Analisar o rudo do udio captado atravs de uma aplicao ou
atravs de avaliao informal.
137
Resultados Os resultados foram retirados de avaliao informal com os

avaliadores do sistema, fazendo com que o udio gravado fosse
reproduzido. O carter de inteligibilidade na reproduo dos textos
gravados foi mantido.
Anlise Os resultados foram satisfatrios
Quadro 49: Resultados e Anlise do Caso de Teste para Avaliar a Qualidade do Sistema de udio. (Fonte:
autor)
Nome da Mtrica Visibilidade do Sistema e Adequao do Feedback

Material Necessrio 10 laudos, 1 equipamento SpeechMike TM
Roteiro Verificar:
A aplicao informa o que est acontecendo ao usurio; por
exemplo, se uma palavra no foi reconhecida durante o ditado, ou
se o sistema est apresentando dificuldade no reconhecimento
ou seja, baixo reconhecimento. Tambm, se h delay no sistema,
seria conveniente informar isso ao usurio.
Resultados Lista de problemas encontrados pelos dois especialistas:
- O sistema no informa quando o reconhecimento da fala baixo,
inserindo palavras que poderiam acontecer naquele contexto.
- O sistema no informa quando palavras novas so ditas,
inserindo palavras que poderiam acontecer naquele contexto.
- O sistema no informa que o sistema est delay alto. Fazendo
com que o usurio pense que realizou alguma entrada com
problema ou que o sistema no est funcionando.
138
Anlise Melhorias possveis:

- Quando o reconhecimento for abaixo de certo percentual, grifar
ou indicar de outra forma a palavra que foi inserida a fim de que o
usurio possa visualizar mais facilmente o possvel erro de
reconhecimento.
- Inserir um mecanismo de visualizao do delay tal como uma
ampulheta.
Quadro 50: Resultados e Anlise do Caso de Teste para Avaliar a Visibilidade do Sistema por Inspeo.
(Fonte: autor)
Nome da Mtrica Adequao do Sistema de Ajuda

Material Necessrio Sistema Neoc.
Roteiro Verificar se o sistema ajuda ao usurio a resolver suas dvidas.
Se possui adequao do vocabulrio em relao ao conhecido
pelo usurio.
Se possui um sistema de busca por palavras-chave que facilite que
o usurio encontre o desejado.
Resultados Os testes demoraram cerca de 15 minutos.
139
Anlise a) O sistema de ajuda est em espanhol, o que dificulta o

entendimento para usurios que no tenham proficincia na lngua;
b) O sistema de ajuda no possui sistema de busca remissiva ou
qualquer outra forma de busca do problema;
c) O sistema de ajuda composto apenas por trs partes: truques,
Web e Sobre o Neoc. Para ser um sistema de ajuda, estas trs
partes so insuficientes;
d) O componente truques bastante superficial;
e) O componente Web que chama a pgina
http://www.speechrecognition.philips.com/ no consegue fazer a
conexo;
f) O componente Neoc possui nveis superficiais e aprofundados
do uso do sistema, tai como abri um documento e integrar o
sistema com sistemas externos.
Quadro 51: Resultados e Anlise do Caso de Teste para Avaliar a Adequao do sistema de ajuda por
Inspeo. (Fonte: autor)
Nome da Mtrica Modalidade Apropriada

Material Necessrio 1 laudo, Headset Philips TM SHM 3300, 1 equipamento SpeechMike
TM
Roteiro Analisar as facilidades de uso dos dois equipamentos.

Resultados No aplicvel
140
Anlise O equipamento SpeechMike possui uma ergonomia mais favorvel

para a gravao de laudos: boto de Record acessvel desde a
mo. J para o HeadSet necessrio ativar e desativar a gravao
no prprio sistema de transcrio de laudos.
O boto Record no equipamento SpeechMike d uma maior
liberdade ao usurio para parar e iniciar uma gravao, evitando
interferncias no laudo quando o usurio precise sair da aplicao.
Alm disso, o equipamento SpeechMike possui mouse acoplado e
botes de volume, o que facilita tambm o acesso a outras
aplicaes do desktop ou mesmo o acesso a partes do texto
digitado e botes do menu, sem ocupar a outra mo do usurio.
Por outro lado, a diferena de custos entre os dois equipamentos
bastante importante. O equipamento SpeechMike custa cerca de
R$ 1.200,00 e o HeadSet Philips custa cerca de R$ 35,00.
Quadro 52: Resultados e Anlise do Caso de Teste para Avaliar Modalidade Apropriada. (Fonte: autor)

TM
Material Necessrio 10 laudos de radiologia, 1 equipamento SpeechMike
Roteiro Atravs de ditado de laudos:
a) Verificar o que acontece se houver interjeies do
usurio, tais como eee, humm, aaaa;
b) Verificar o que acontece se o usurio no pontuar
explicitamente o texto.
141
Resultados Os testes levaram cerca de 40 minutos, para cada especialista.

a) Os resultados da fala natural, em que bastante usual a
insero do usurio de interjeies, est a seguir (texto no lido).
Tcnica de exame realizada equipamento de alto potncia com tcnica

de alta quilovolt falange 21 l fornecem escala de contraste longa de
laudo de estruturas sseas da e tecidos moles da parede torcica sem
alteraes do vascularizao pulmonar normal meia, de configurao e
topografia e dimenses normais na aorta alongada e 0
Marco mede normal do parnquima pulmonar de transparncia normal
do
b) Os resultados dos testes realizados foram semelhantes ao

apresentado a seguir.
Texto Original:
Tcnica:
Exame realizado em equipamento de alta potncia, com tcnica de alta
kilovoltagem, que fornece escala de contraste longa (baixo contraste).
Laudo:
Estruturas sseas e tecidos moles da parede torcica, sem alteraes.
Seios e cpulas diafragmticas livres.
Vascularizao pulmonar normal.
Hilos de configurao, topografia e dimenses normais.
Imagem cardaca aumentada.
Aorta alongada.
Arco mdio normal.
Parnquima pulmonar de transparncia normal.
Texto Transcrito:
tcnica exame realizado em equipamento de alta potencia com tcnica
de alta quilovolt imagem de fornece escala de contraste longa mais de
contraste laudo estruturas sseas e tecidos moles da parede torcica
sem alteraes no vascularizao pulmonar normal, de configurao e
topografia e dimenses normais e imagem cardaca aumentada. Aorta
alongada e do arco mdio normal do parnquima pulmonar de
transparncia normal
142
Anlise
a) As interjeies comumente usadas quando se est ditando
frases criadas naquele momento foram transformadas em palavras
sem sentido dentro do texto grifadas em negrito. Ao contrrio do
que est especificado no manual, as interjeies no so
ignoradas pelo sistema.
b) Atravs desta inspeo, foi observado que o sistema, ao
contrrio do que indica o manual de utilizao, no capaz, quase
nunca, de inserir pontuao adequada, seguindo as pausas que o
usurio faz no texto. Portanto, se o usurio no fizer a pontuao
explcita do texto quando dita, ter que faz-lo depois no prprio
texto transcrito. Ter que inserir pontuao explcita no ditado torna
a naturalidade da fala menor.
Alm disso, o sistema inseriu algumas palavras que servem como
conexes entre as frases, tais como no, e, do, destacados no
texto, em resultados.
Quadro 53: Resultados e Anlise do Caso de Teste para Avaliar a Naturalidade da Fala do Usurio por
Inspeo
Nome da Mtrica Tamanho do Vocabulrio

Mtodo de Avaliao Investigao
Material Necessrio Questionrio ao representante do sistema
Roteiro No aplicvel
Resultados 21.500 palavras (fonte: MACSYM, 2010)
Anlise O tamanho do vocabulrio original no , geralmente,
suficientemente adequado s necessidades, sendo necessrio
incluir novas palavras. Em um dos hospitais visitados, a incluso foi
de, aproximadamente, 1000 outras palavras.
Quadro 54: Obteno do Tamanho do Vocabulrio. (Fonte: autor)
143
7.2.5. Planejamento do Teste de Usabilidade por Observao do Sistema Stand-alone
Utilizando uma metodologia para a elaborao dos testes por Observao adaptada de Diah
et al (2010), Nielsen (1993) e de Mitchell (2007), este planejamento composto pelas
seguintes atividades executadas de maneira consecutiva:
Planejar o teste de usabilidade;
preparar os materiais de teste;
criar as tarefas;
selecionar os participantes;
tratar questes ticas relativas aos testes;
conduzir os testes de usabilidade;
questionar o participante; e
analisar os dados do teste de usabilidade.
A seguir ser detalhada cada uma destas atividades:
7.2.5.1. Planejar o teste de usabilidade
Esta etapa tem por objetivo verificar quo bem funciona o sistema de transcrio automtica
de radiologia para um sistema stand-alone, desejando-se verificar o quanto o sistema est
adaptado s mtricas estabelecidas no Captulo 6 deste trabalho.
Os testes foram realizados em um ambiente no hospitalar, atravs de participantes no

pertencentes rea mdica. Isso aceitvel, visto que os requisitos aqui abordados se
referem a questes de usabilidade de um sistema de ditado, no especificamente de laudos.
144
Aqui sero validadas, atravs da aplicao de casos de testes de usabilidade, as mtricas

propostas no Captulo 6 - que versa sobre a metodologia.
Depois de preparado o material, definidas as tarefas, selecionados os participantes, entre as

outras tarefas que compe este tpico, foram realizados dois testes-piloto a fim de verificar
possveis incongruncias no teste - um realizado pela autora e outro por um participante
voluntrio. O detalhamento da aplicao do plano de teste encontra-se na seo 7.3.6.
Conduzir os testes de usabilidade.
7.2.5.2. Preparar os materiais de teste
Esta subseo detalha a configurao dos equipamentos utilizados durante os testes com o
software SpeechMagic (2010), assim como os materiais necessrios:
Laptop Philips: Processador Core 2 Duo, Memria RAM de 4GB, HD de 320 GB.
SpeechMike ProTM Philips.
Headset Philips TM SHM 3300.
Cmera Fotogrfica.
Decibelmetro: utilizado para medir a interferncia Sonora do ambiente de teste.
10 Laudos de Radiologia do Trax.
Questionrio de pr-teste: para verificar o perfil do usurio consta do Apndice A

deste trabalho.
Carta de Apresentao dos Testes de Usabilidade: conforme apresentado no Apndice B.
Questionrios de ps-teste tambm chamado de questionrio de percepo ou de

usabilidade: Conforme apresentados no Apndice A, baseado na metodologia
145
Questionnaire User Interface Satisfaction (QUIS) proposta em (CHIN; DIEHL;

NORMAN, 1988).
Formulrios de Observao do Usurio: baseado em Mitchel (2007).
Software SpeechMagicTM (2010)7 da empresa Nuance. Ele composto de duas partes:

treinamento da voz do usurio, chamado SmInitialTraining e o sistema de
reconhecimento de voz para radiologia propriamente dito Interactive Dictation.
Software SmInitialTraining: leva cerca de 2 minutos para ser completada a verso

suficiente para executar o reconhecimento de voz.
Software Neoc Interactive 6.1: pode ser utilizado sem a execuo prvia do
SmInitialTraining, porm apresentar uma preciso menor.
7.2.5.3. Criar as tarefas
As tarefas preparadas para os participantes executarem fazem parte do contexto de

atividades que o radiologista teria que executar no seu dia-a-dia. Sendo assim, foram
selecionados laudos escritos, sem identificao do paciente, para os participantes ditarem.
O template proposto pela autora no Quadro 30 foi utilizado para os testes de usabilidade que
esto detalhados nesta subseo.
A seguir sero destacados os casos de teste para testar a Naturalidade da Fala do Usurio,
Recuperao de Erros do Sistema, Carga Cognitiva e Adequao do Feedback do Sistema.

Mtodo de Avaliao Observao
Participantes 6 usurios, 3 do sexo masculino e 3 do sexo feminino para o teste
a e 2 usurios, um dos sexo feminino e um do sexo masculino,
com sotaque diferente da cidade de So Paulo para o teste b
TM
Material Necessrio 1 laudo de radiologia, 1 equipamento SpeechMike
7
Esta licena foi gentilmente cedida pela empresa MacSym Tecnologia Mdica (Macsym, 2010) por um prazo de 60 dias
146
Resultados
Anlise
Quadro 55: Caso de Teste para Avaliar a Naturalidade da Fala do Usurio por Observao. (Fonte: autor)

Mtodo de Avaliao Observao e Questionrio
Participantes 6 participantes
TM
Resultados
Anlise
Quadro 56: Caso de Teste para Avaliao da Recuperao de Erros do Sistema por Observao. (Fonte:
autor)
Nome da Mtrica Carga Cognitiva

TM
Roteiro
Resultados
Anlise
Quadro 57: Caso de Teste da Avaliao da Carga Cognitiva do Sistema. (Fonte: autor)
147
Nome da Mtrica Adequao do Feedback e Visibilidade do Sistema

TM
Resultados
Anlise
Quadro 58: Caso de Teste para Avaliar a Adequao do Feedback por Observao. (Fonte: autor)
Nome da Mtrica Tempo de Feedback do sistema

Mtodo de Avaliao Questionrio
TM
Material Necessrio 1 laudo, 1 cronmetro, 1 equipamento SpeechMike
Resultados
Anlise
Quadro 59: Caso de Teste para Avaliao do Tempo de Feedback do Sistema. (Fonte: autor)

Participantes 6 usurios
Material Necessrio 1 laudo, 1 equipamento SpeechMike TM
Resultados
Anlise
7.2.5.4. Selecionar os participantes
A escolha dos participantes se deu levando em considerao as seguintes questes:
Necessidade de se ter diferentes timbres de voz, tanto masculino quanto feminino.

Assim foram selecionados seis participantes, trs do sexo feminino, trs do sexo
masculino.
148
Necessidade de se ter voz de pessoa adulta, os participantes devem ter entre 20 e 50

anos.
Necessidade de se ter, ao menos, dois profissionais em inspeo de software. A autora

do trabalho e outra profissional de usabilidade participaram para a inspeo do
software.
Necessidade de se ter pessoas com sotaque diferente das pessoas da cidade de So

Paulo. Assim, foram utilizados dois usurios que tinham sotaque bastante acentuado:
uma pessoa nascida e criada em Joo Pessoa e outra pessoa nascida e criada em
Concepcin, no Chile.
Os participantes no so da rea de Radiologia, j acostumados a trabalhar no

software. Os participantes no so da rea mdica.
Para cada participante, foi realizado um primeiro contato pessoal e, posteriormente, enviada
uma carta de apresentao especificando o intuito do teste, como seria realizada a seo e o
tempo necessrio. Esta carta, na ntegra, consta do Apndice B deste trabalho.
Embora Nielsen (2000b) descreva, em seu estudo, que um grupo com 5 participantes seja
suficiente para encontrar 80% das caractersticas desejveis de serem descobertas em um
sistema e que quanto mais usurios forem adicionados, menos informaes adicionais so
encontradas em oposio ao custo para se fazer os testes, foi verificada a necessidade de se
trabalhar com 8 participantes, pois se desejava verificar caractersticas especficas da voz de
homens e mulheres e tambm de pessoas com sotaque. Assim, o trabalho englobou um
grupo de 6 participantes, sendo 3 homens e 3 mulheres, e um grupo de 2 participantes, um de
cada sexo, com sotaques diferentes das pessoas nativas na cidade de So Paulo.
149
A Tabela 1 mostra o perfil dos participantes deste teste de usabilidade.
Tabela 1: Perfil dos Participantes. (Fonte: autor)

Sexo Feminino Masculino
50% 50%
Experincia Sistema de Nunca Utilizei Funcionam regularmente
Transcrio Automtica
0.875 0.125
Sotaque Pronunciado Sim No
0.25 0.75
Nvel Escolaridade Graduao Mestrado Doutorado
0.125 0.625 0.25
Tambm participaram destes testes duas especialistas em usabilidade cuja funo foi a de
observarem os participantes em suas atividades, fazendo as coletas de dados necessrias:
preenchimento de formulrio e captao de imagens e sons.
A seguir so mostradas algumas fotos tiradas na fase de testes de usabilidade com alguns
voluntrios.
Figura 20: Testes de Usabilidade com Voluntrios. (Fonte: autor)

150
A interferncia sonora nestes testes de usabilidade foi medida, no incio de cada teste, e
consta da Tabela 2.
Tabela 2: Interferncia Sonora do Ambiente. (Fonte: autor)

Participante Interferncia Sonora Inicial
1 48 a 51
2 50 a 60
3 48 a 52
4 44 a 50
5 45 a 60
6 52 a 61
7 40 a 50
8 42 a 50
O tempo do teste total foi, em mdia, de 45 minutos. O tempo de cada teste consta da Tabela 3.
Tabela 3: Tempo de durao de cada teste de usabilidade. (Fonte: autor)

Participante Tempo Total (Minuto)
1 48
2 44
3 45
4 44
5 50
6 49
7 43
8 44
Mdia 45,875
151
7.2.5.5. Tratar as questes ticas
Em relao s questes ticas que devem ser tratadas num teste de usabilidade, foram
utilizadas aquelas indicadas por Pernice e Nielsen (2009) e Mitchell (2007), vindas do Human
Factors and Ergonomics Society Code of Ethics de 1993 (28/12/2010). Assim, foram
realizadas as seguintes aes:
O primeiro contato foi realizado pessoalmente, explicando as razes para a realizao

dos testes.
Envio, por correio eletrnico, de uma Carta de Apresentao dos Testes de Usabilidade,
conforme apresentada no Apndice B, e marcao de um horrio para a realizao do
teste.
Coleta de autorizao para o uso de imagem e voz dos participantes, conforme

apresentada no Apndice C desde trabalho.
7.2.5.6. Conduzir os testes de usabilidade
As sesses foram compostas por quatro partes, conforme descritas por Rubin e Chisnell
(2008) e tiveram durao mdia de 45 minutos:
Introduo sesso de testes: explica os motivos para a realizao dos testes e como
o usurio deve agir. Deve durar cerca de 5 minutos.
Questionrio de pr-teste: coleta informaes relevantes sobre o perfil do usurio que

possam interferir no resultado do teste. Hartikainen, Salonen e Turunen (2004) utilizam
a nomenclatura de questionrio de expectativas. Deve durar cerca de 2 minutos.
Tarefas: quais as tarefas que o usurio deve executar. Deve durar cerca de 30 minutos.
Os voluntrios fizeram um treinamento mnimo prvio necessrio de sua voz que de 8
frases, totalizando cerca de 2 minutos de treino, em mdia.
152
Questionrio de ps-teste: coleta as informaes referentes impresso do usurio

sobre as tarefas que ele executou. Hartikainen, Salonen e Turunen (2004) utilizam a
nomenclatura de questionrio de percepo. Deve durar cerca de 3 minutos.
A descrio de cada um destes passos encontrada na prxima subseo deste trabalho.
7.2.5.7. Questionar os participantes
Nessa fase foi passado um questionrio de ps-teste para cada um dos participantes a fim de
verificar a satisfao de utilizao do sistema e tambm verificar parte de questes de
usabilidade.
7.2.5.8. Analisar os dados
Nessa subseo possvel visualizar, em detalhe, todos os casos de teste realizados atravs
de observao dos participantes, assim como seus resultados dos testes e anlise dos dados
coletados. Os quadros e tabelas so apresentados a seguir.
Nome da Naturalidade da Fala do Usurio

Mtrica
Mtodo de Anlise dos dados e Observao
Avaliao
Participantes 6 usurios, 3 do sexo masculino e 3 do sexo feminino para o teste a e 2
usurios, um dos sexo feminino e um do sexo masculino, com sotaque
diferente da cidade de So Paulo
TM
Material 5 laudos de radiologia, 1 equipamento SpeechMike
Necessrio
Roteiro a) Atravs da leitura de laudos:
i) Verificar a diferena de preciso entre o usurio falar mais
pausadamente ou mais rapidamente;
ii) Verificar a diferena de preciso entre o usurio falar com tom baixo
153
ou alto;
iii) Usurio l um laudo e usurio fala um laudo sem ler;
b) Atravs da leitura de laudos:
ii) Verificar a diferena de preciso entre o usurio falar com tom
baixo ou alto;
Resultados
O laudo continha 54 palavras.
Os usurios 1, 3, 5 e 8 so mulheres.Os usurios 7 e 8 so, respectivamente,
um homem com sotaque e uma mulher com sotaque.
Os resultados podem ser visualizados no Grfico 10.
Grfico 10: Naturalidade da Fala de Oito Voluntrios
Anlise
a) Embora esteja na especificao do sistema, fornecido pelo fornecedor, que
o sistema faz a insero de pontos finais e vrgula, o sistema no foi capaz de
faz-lo, colocando conjunes tais como com, e, que, em muitas vezes
afetavam o sentido das frases.
154
b) A preciso de reconhecimento da voz, pela leitura do texto com pontuao

explcita foi maior entre as mulheres, mas mesmo entre todos os participantes,
exceto os que tinham um sotaque bastante pronunciado (usurio 7 e 8) foi
superior a 90%.
c) Ficou claro que o sotaque influencia enormemente a taxa de

reconhecimento, necessitando que estes usurios faam um treinamento mais
intensivo e que o sistema aprenda medida que o usurio utilize o sistema de
forma contnua.
d) O uso do sistema para uma fala natural do usurio sempre se mostra melhor
do que a insero dos dados atravs de um ditado mais pausado ou mais
rpido do que o habitual.
e) O uso do sistema para um tom de voz mais baixo ou mais alto tambm afeta
o reconhecimento, devendo o usurio sempre utilizar seu tom normal de voz.
Entre as mulheres, o uso de um tom mais baixo de voz impediu a entrada do
laudo, visto que o sistema foi incapaz de captar a entrada de udio.
f) O uso de pontuao explcita no texto influencia a taxa de reconhecimento da

voz.
Quadro 61: Caso de Teste para Avaliar a Naturalidade da Fala do Usurio por Observao
Nome da Recuperao de Erros

Mtrica
Mtodo de Observao e Questionrio
Avaliao
Material 1 laudo de radiologia, 1 equipamento SpeechMike TM
Necessrio
Roteiro Verificar, atravs de observao, como o sistema age perante os seguintes erros:
a) O usurio usa palavras que no esto no dicionrio da aplicao um laudo
155
ser modificado para atingir este objetivo.

b) O sistema no consegue reconhecer o que o usurio dita
c) O usurio erra o laudo e deseja refaz-lo.
Resultados O texto continha 77 palavras, com vrias palavras fora do vocabulrio especfico
da rea de Radiologia.
Os usurios 1, 3, 5 so mulheres.
Os resultados podem ser visualizados no Grfico 11.
Grfico 11: Porcentagem de Erro de Teste com Seis Usurios
Os usurios tambm responderam a perguntas do questionrio a respeito da

recuperao de erros (Apndice E) e esta questo apareceu at nas questes
abertas como crticas ou melhorias.
Tabela 4: Parte do Questionrio sobre Experincia de Uso do Sistema

Experincia de uso do sistema
Concordo Concordo Indeciso Discordo Discordo
Fortemente Fortemente
Quando erro no ditado, fcil fazer 2 4
o sistema reconhecer o que falo e se
adaptar.
Pontos Negativos da Aplicao: O sistema no possui mecanismo de reparo de

erros durante o ditado.
Sugestes ou reclamaes sobre a aplicao: Tratamento de erro algum
mecanismo para reparar algum erro, solicitado pelo usurio
156
Anlise a) Em todos os testes, para todos os participantes, quando o usurio errou o

laudo, ele se sentiu bastante desconfortvel em relao a como promover a
correo. Interjeies foram freqentes quando o usurio se conscientizou do erro.
Tambm perguntas ao observador de como promover a correo foram
freqentes.
b) Quando o usurio olhava a tela enquanto ditava e o sistema demorava em
apresentar o texto que acontecia com atraso de at 5 segundos o usurio
gaguejava ou tentava recomear a fala.
c) possvel verificar, atravs deste grfico, que houve uma considervel
diminuio de preciso com o uso de um texto com palavras fora do vocabulrio
especfico de radiologia. O que era esperado.
Quadro 62: Caso de Teste para Avaliao da Recuperao de Erros do Sistema por Observao. (Fonte:
autor)
Nome da Carga Cognitiva

Mtrica
Avaliao
Necessrio
Orientaes Se voc no fez o treinamento inicial da fala, faa-o agora;
aos a) Leia um laudo sem a pontuao.
Participantes b) Leia um laudo e faa a pontuao correta.
Roteiro Verificar, atravs de observao, como o usurio age:

a) H aumento de carga cognitiva significativa?
Resultados As trs ltimas perguntas do questionrio de satisfao (ps-teste) que constam do

Apndice A referiam-se a esta questo de aumenta da carga cognitiva. As
respostas esto a seguir:
157
Tabela 5: Parte do Questionrio sobre Experincia de Uso do Sistema Carga Cognitiva

As formataes, tais como ponto 3 1 2
final, vrgula, negrito, so de
fcil assimilao, no me fazendo
pensar muito para utiliz-las.
Quando fao hesitaes, tais como 1 2 1 2
"mmh", "Aaah", o sistema ignora,
captando somente palavras
pertencentes a meu vocabulrio
para o laudo.
fcil fazer a formatao do texto 3 1 2
enquanto dito um laudo, tal como
mudar de linha e pontuar.
Anlise a) Um tero dos participantes entendeu que ter que fazer a recordao da palavra-
chave para inserir a pontuao, tais como: nova linha, ponto e vrgula aumentava
a ateno que ele deveria ter no ditado, mas a maioria dos usurios concordou que
considera fazer a formatao do texto enquanto dita o laudo, uma tarefa bastante
fcil.
b) Metade dos participantes teve problemas de se lembrar da palavra-chave para a
pontuao, necessitando perguntar ao observador como fazer.
Quadro 63: Caso de Teste da Avaliao da Carga Cognitiva do Sistema. (Fonte: autor)
Nome da Adequao do Feedback

Mtrica
Avaliao
Necessrio
Roteiro a) o sistema no deve fornecer feedbacks que atrapalhem a capacidade de
raciocnio do usurio:
O sistema interrompe o ditado;
O sistema inicia processos de alertas;
158
b) deve estar presente, de maneira que o usurio, em tempo oportuno, saiba de

erros que tenham ocorrido no sistema enquanto ele ditava o laudo:
O sistema permite, de alguma forma, que ocorreu uma falha no
reconhecimento de alguma palavra;
Resultados Uma das perguntas do questionrio de satisfao (ps-teste) que consta do
Apndice A referia-se a esta questo de adequao do feedback. Tambm esta
questo apareceu em sugestes de melhoria do sistema, uma questo aberta. As
respostas esto a seguir:
Tabela 6: Parte do Questionrio sobre Experincia de Uso do Sistema Adequao do
Feedback
A aplicao informa o que est 1 5
acontecendo ao usurio (por
exemplo, se uma palavra no foi
reconhecida durante o ditado)
Sugestes ou reclamaes sobre a aplicao:

Tratamento de erros preveno: Marcar as palavras que foram escritas com certo grau
de indeciso aumentaria o grau de confiabilidade na aplicao.
Anlise a) De acordo com o questionrio, os usurios percebem o problema da no

identificao pelo sistema de palavras erradas.
b) O sistema no informa, de maneira nenhuma, falhas no reconhecimento da
voz.
Quadro 64: Caso de Teste para Avaliar a Adequao do Feedback por Observao. (Fonte: autor)
159

Participantes 6 usurios
Material Necessrio 1 laudo, 1 equipamento SpeechMike TM
Roteiro Analisar se o usurio capaz de reconhecer o que ele mesmo ditou.
Resultados
Tabela 7: Questo sobre a percepo do udio pelo prprio usurio
Fortemente Fortemen
Consigo entender perfeitamente o 6
som gravado do ditado que fiz.
Anlise Esta medida subjetiva foi altamente confirmada como verdadeira entre
todos os participantes do experimento, mostrando que o udio gravado
e usado para a transcrio altamente fiel, na percepo do usurio,
ao som original.
7.3 Planejamento das Observaes dos Usurios Finais em Ambiente de Produo
Este teste de usabilidade ser executado apenas analisando o usurio final radiologista
em seu ambiente de trabalho. Assim, observador apenas anotar questes observveis nas
tarefas sendo executadas, no fazendo intervenes com o usurio.
Utilizando uma metodologia para a elaborao dos testes por Observao adaptada de Diah
et al (2010), Nielsen (1993) e de Mitchell (2007), este planejamento composto pelas
seguintes atividades executadas de maneira consecutiva:
Planejar o teste de usabilidade;
preparar os materiais de teste;

160
criar as tarefas;
selecionar os participantes;
tratar questes ticas relativas aos testes;
conduzir os testes de usabilidade;
questionar o participante; e
analisar os dados do teste de usabilidade.
A seguir ser detalhada cada uma destas atividades:
7.3.1. Planejar o teste de usabilidade
Estes testes de usabilidade sero realizados em um hospital da cidade de So Paulo que

possui um sistema de transcrio automtica de laudos em radiologia.
O detalhamento da aplicao do plano de teste encontra-se na seo 7.2.3.6. Conduzir os

testes de usabilidade.
7.3.2. Preparar os materiais
Esta subseo detalha a configurao dos equipamentos utilizados durante os testes com o
software Speech Magic 2.1 (Philips, 2010), assim como os materiais necessrios:
PC Intel Core 2, CPU 6.300, 1.86 GHz, 1.97 GB de RAM, com Sistema Operacional XP
2002.
SpeechMike ProTM Philips, modelo 6274.
Cmera Fotogrfica.
Decibelmetro: utilizado para medir a interferncia Sonora do ambiente de teste.
Questionrio de pr-teste: para verificar o perfil do usurio consta do Apndice A

deste trabalho.
161
Questionrios de ps-teste tambm chamado de questionrio de percepo ou de

usabilidade: Conforme apresentados no Apndice A, baseado na metodologia
Questionnaire User Interface Satisfaction (QUIS) proposta em (CHIN; DIEHL;
NORMAN, 1988).
Formulrios de Observao do Usurio: baseado em Mitchel (2007), que constam do

Apndice F deste trabalho. Basicamente, sero observadas caractersticas como:
Tempo de Delay do sistema; naturalidade da fala (maneira de se falar, pontuao e
interjeies; tempo para o laudo ficar pronto; sobrecarga cognitiva; recuperao de
erros e interferncia sonora. Estes formulrios so apresentados a seguir.
Tabela 8: Formulrio de Observao do Delay do Sistema. (Fonte: autor)

DELAY DO SISTEMA
Medio 1 Medio 2 Medio 3 Medio 4 Medio 5 Mdia
(Segundos)
NATURALIDADE DA FALA
O usurio fala de maneira natural, ou seja, nem muito pausado nem muito ( ) Sim ( ) No
rpido
Observaes:
O usurio insere pontuao explicitamente ( ) Sim ( ) No
Observaes:
O sistema coloca pontuao automaticamente ( ) Sim ( ) No
Observaes:
O usurio fez interjeies durante a gravao do laudo ( ) Sim ( ) No
Observaes:
O sistema ignorou as interjeies do usurio ( ) Sim ( ) No
Observaes:
O usurio falou em tom normal ( ) Sim ( ) No
Observaes:
Quadro 66: Formulrio de Observao da Naturaliza da Fala do Usurio
162
Tabela 9: Formulrio de Observao da Interferncia Sonora do Ambiente. (Fonte: autor)

INTERFERNCIA SONORA
(db)
Tabela 10: Formulrio de Observao do Tempo para o Laudo ficar Pronto. (Fonte: autor)
Tempo de ditado:
Observaes:
Tempo para correes:
Observaes:
Tempo para impresso:
Observaes:
Tempo de verificao e assinatura:
Observaes:
Tempo Total
RECUPERAO DE ERROS
O usurio refez parte do texto depois do ditado ( ) Sim ( ) No
Observaes:
Quantas palavras foram editadas
Observaes:
O usurio inseriu palavras novas no sistema ( ) Sim ( ) No
Observaes:
O usurio formatou o texto ( ) Sim ( ) No
Observaes:
Quadro 67: Formulrio de Observao da Recuperao de Erros
163
SOBRECARGA COGNITIVA
O usurio olhou para a tela enquanto ditava o laudo ( ) Sim ( ) No
Observaes:
O usurio fez hesitaes quando o texto apresentava delay para aparecer ( ) Sim ( ) No
na tela
Observaes:
O usurio dita o laudo e j faz a formatao explcita (ditada) do laudo ( ) Sim ( ) No
Observaes:
Quadro 68: Formulrio de Observao da Sobrecarga Cognitiva do Usurio. (Fonte: autor)
7.3.3. Criar as tarefas

Neste teste no sero criadas tarefas para os participantes executarem, sero apenas
observadas as tarefas do cotidiano do radiologista e verificar como as tarefas esto sendo
executadas.
7.2.3.4. Selecionar os participantes
Conforme determinado pela banca de qualificao de doutorado deste trabalho, seriam

observados dois radiologistas em um hospital e um radiologista em outro hospital. Estes
usurios finais seriam selecionados quando forem realizadas as visitas aos dois hospitais, de
forma aleatria. Porm, houve enorme dificuldade em conseguir realizar os testes em um dos
hospitais, optando-se, ento, pelos testes em apenas um dos hospitais.
7.3.5. Tratar as questes ticas relativas aos testes
De maneira similar ao descrito para os usurios voluntrios, as questes ticas envolveram:
O primeiro contato foi realizado pessoalmente, explicando as razes para a realizao

dos testes.
164
Envio, por correio eletrnico, de uma Carta de Apresentao dos Testes de Usabilidade,
conforme apresentada no Apndice B, e marcao de um horrio para a realizao do
teste.
Coleta de autorizao para o uso de imagem e voz dos participantes, conforme

apresentada no Apndice C desde trabalho.
7.3.6. Conduzir o teste de usabilidade
Os testes de usabilidade por observao sero realizados em tempo mdio de 1 hora.
7.3.7. Questionar o participante
Nessa fase foi passado um questionrio de ps-teste para ao participantes fim de verificar a
satisfao de utilizao do sistema e tambm verificar parte de questes de usabilidade. Este
questionrio consta do Apndice A deste trabalho e o resultado apresentado a seguir.

Esta aplicao tem uma apresentao grfica X
agradvel e legvel
fcil entender o que eu preciso fazer na X
aplicao
A interface grfica bastante intuitiva X
A aplicao informa o que est acontecendo ao X
usurio (por exemplo, se uma palavra no foi
Foi fcil aprender a utilizar a aplicao X
Quanto velocidade de resposta (transcrio do X
ditado em texto) suficiente
Mesmo sem experincia no uso deste sistema, X
fcil utiliz-lo
Acredito que a aplicao funciona de maneira X
adequada quanto ao reconhecimento da minha
pronncia
H mecanismos no sistema, que acesso atravs X
de mouse ou teclado, que proporcionam um
melhor desempenho na transcrio (tais como
165
acessar frases j prontas atravs de um menu,

enquanto dito)
Quando erro no ditado, fcil fazer o sistema X
reconhecer o que falo e se adaptar.
O sistema possui atalhos para que eu possa X
realizar minha tarefa de maneira mais eficiente
As formataes, tais como ponto final, X
vrgula, negrito, so de fcil assimilao, no
me fazendo pensar muito para utiliz-las.
Quando fao hesitaes, tais como "mmh", X
"Aaah", o sistema ignora, captando somente
palavras pertencentes a meu vocabulrio para
o laudo.
fcil fazer a formatao do texto enquanto dito X
um laudo, tal como mudar de linha e pontuar.
O sistema de ajuda conseguiu esclarecer minhas X
dvidas sobre o programa.
Consigo entender perfeitamente o som gravado X
do ditado que fiz.
Consideraes sobre a aplicao
Pontos positivos da aplicao: eficiente e de fcil aprendizado
Pontos negativos da aplicao: muita interferncia de rudo da sala
Sugestes ou reclamaes sobre a aplicao: melhorar sistema de correo de texto
Quadro 69: Formulrio de Satisfao do Usurio. (Fonte: autor)
7.3.8. Analisar os dados do teste de Usabilidade
Nessa subseo possvel visualizar, em detalhe, todos os resultados das observaes

casos de teste realizados atravs de observao do participante, assim como seus resultados
dos testes e anlise dos dados coletados.
Tabela 11: Resultado da Observao do Delay do Sistema. (Fonte: autor)

DELAY DO SISTEMA
(Segundos) 3.2 1.5 4.5 3.3 4.5 3.4
Observao: estas medidas foram tomadas a cada 2 minutos, quando o sistema estava ativo.
166
O usurio fala de maneira natural, ou seja, nem muito pausado nem muito ( X ) Sim ( ) No
rpido
Observaes: Segundo o usurio, ele fala um pouco mais devagar que no sistema similar
utilizado em outro hospital
O usurio insere pontuao explicitamente ( X ) Sim ( ) No
Observaes: Percebe-se que esta j uma prtica comum para os radiologistas que
utilizam o sistema de transcrio manual de laudos, ou seja, o uso de
digitadoras.
O sistema coloca pontuao automaticamente ( ) Sim ( X ) No
Observaes:
O usurio fez interjeies durante a gravao do laudo ( ) Sim (X ) No
Observaes:
O sistema ignorou as interjeies do usurio (X ) Sim ( ) No
Observaes: Em todas as observaes, isso no interferiu na taxa de reconhecimento
O usurio falou em tom normal ( X ) Sim ( ) No
Observaes:
Quadro 70: Formulrio de Observao da Naturaliza da Fala do Usurio. (Fonte: autor)
Tabela 12: Formulrio de Observao da Interferncia Sonora do Ambiente. (Fonte: autor)

INTERFERNCIA SONORA
(db) 49.2 72 55.4 52.1 51 55.94
Observao: estas medidas foram tomadas a cada 2 minutos, independentes do sistema
estar ativo ou no. Havia uma interferncia sonora bastante pronunciada devido reformas
no prdio. Outro mdico estava ditando laudos na mesma sala, o que tambm contribua para
o aumento de interferncia sonora no ambiente.
167
Tabela 13: Resultado da Observao do Tempo para o Laudo ficar Pronto

Tempo de ditado: mdia
Observaes: Este tempo bastante diferente, dependendo do tamanho do laudo e do uso
ou no de macros8 e tambm se o usurio habituado a ditar o laudo todo ou
frases espaadas, intercaladas com correes.
Tempo para correes:
Observaes: Este tempo tambm bastante influenciado, sendo percebido menor, se o
mdico utiliza a abordagem de falar uma frase e j fazer a correo, ou
quando dita o laudo todo e depois faz a correo.
Observaes: Tempo equivalente impresso de um documento Word.
Observaes: A verificao realizada no tempo de correo.
Tempo Total (mdia) 5 min
RECUPERAO DE ERROS
O usurio refez parte do texto depois do ditado (X) Sim ( ) No
Observaes: Boa parte da interveno do usurio no texto se referia a problemas de

espaamento desta verso do software.
Quantas palavras foram editadas, em mdia
Observaes: Nos trs laudos observados, as taxas de erro foram: 9%,14% e 18%. A taxa
menor entendida porque foram utilizadas macros e pouco foi a parte de
ditado propriamente dito.
O usurio inseriu palavras novas no sistema ( ) Sim (X) No
Observaes: A amostra muito pequena para afirmar que no necessrio inserir palavras
novas no sistema, no seu uso dirio.
O usurio formatou o texto (X ) Sim ( ) No
Observaes: Ele formatou o texto depois de terminar de ditar o laudo

Quadro 71: Resultado da Observao da Recuperao de Erros. (Fonte: autor)
8
O termo macro utilizado aqui, se refere a textos pr-digitados que fazem parte, comumente, de um laudo. Podendo, assim,
serem inseridos no texto, economizando ditados.
168
O usurio olhou para a tela enquanto ditava o laudo ( ) Sim (X) No
Observaes: O mdico j orientado a no olhar a tela enquanto faz o laudo. Alm disso,
neste momento, o mdico j est olhando para duas outras telas, com quadro
imagens em uma delas.
O usurio fez hesitaes quando o texto apresentava delay para aparecer ( ) Sim ( X ) No
na tela
Observaes: O usurio no olhava na tela do sistema de reconhecimento enquanto falava.
O usurio dita o laudo e j faz a formatao explcita (ditada) do laudo (X) Sim ( ) No
Observaes: Os mdicos j esto acostumados a este padro de formatao explcita, pois

este o padro utilizado gravar os laudos que sero digitados por uma
terceira pessoa.
Quadro 72: Formulrio de Observao da Sobrecarga Cognitiva do Usurio. (Fonte: autor)
7.4 Discusses sobre os resultados dos testes
As discusses sobre os resultados dos testes de usabilidade aplicados neste trabalho foram
divididas em duas partes, conforme os sistemas utilizados: sistema stand-alone e o sistema
implantado no Hospital Edmundo Vasconcelos.
7.4.1 Sistema Stand-Alone
Atravs de todos os testes realizados, foi possvel concluir vrias questes sobre o sistema
utilizado em sua verso stand-alone, tanto referentes inspeo de usabilidade quanto aos
testes de usabilidade fora do ambiente hospitalar, que esto descritas a seguir.
O sistema de transcrio automtica de laudos se mostrou bastante eficiente em relao

preciso do reconhecimento de voz, ficando acima de 93%, em mdia, mesmo incluindo, no
grupo, pessoas com sotaque pronunciado.
169
A inspeo de usabilidade mostrou que a preciso da voz chegou a 95% de acerto, mesmo
com um treinamento da voz mnimo cerca de 2 minutos.
Isso prova que o sistema possui uma boa preciso do reconhecimento, podendo ainda ser
melhorado, se forem includas palavras novas ao vocabulrio inicial do sistema e tambm
havendo um treinamento mais aprofundado para os usurios, sobretudo aqueles com sotaque
pronunciado. Para se exemplificar o ganho que se teria, se a palavra quilovoltagem fosse
includa ao vocabulrio inicial do sistema, haveria uma diminuio do erro, em mdia, de
25.65%, pelos testes efetuados.
Em questes de velocidade da fala do usurio, os testes apontaram que o sistema sensvel

mudana da velocidade da fala. O usurio deve utilizar sua velocidade habitual de fala, nem
mais lento, nem mais rpido.
J os testes com um tom mais baixo que o habitual entre os usurios mostraram uma
caracterstica interessante: nenhuma das mulheres do grupo conseguiu inserir o laudo
utilizando um tom mais baixo da voz. J, entre os homens, todos conseguiram inserir o laudo,
tendo um no muito significativo decrscimo na taxa de reconhecimento da voz.
Provavelmente isso decorrente do timbre de voz mais grave.
Em relao ao treino prvio da voz, no houve diferena significativa na taxa de

reconhecimento sem o treinamento e com o treinamento, como era pensado. O sistema j se
mostrou bastante eficiente sem treinamento, com taxa de reconhecimento de quase 93% em
mdia. Isso leva a crer que o sistema poderia ser utilizado mesmo sem ser realizado um
treinamento mnimo da voz, com taxas aceitveis de reconhecimento da voz.
O delay do sistema em apresentar o texto referente ao que estava sendo ditado, em tempo
real, foi bastante alto, chegando a quase 5 segundos, em alguns momentos. Segundo o
fornecedor do sistema, muitos especialistas sugerem que os mdicos radiologistas no olhem
para a tela enquanto esto ditando seu laudo, pois o delay interfere na cognio do usurio,
inserindo sobrecarga tarefa. Em testes com os voluntrios, havia um sentimento de que o
sistema no estava funcionando quando este delay era alto.
170
Os testes com interferncia sonora mostraram que este um requisito que influencia
fundamentalmente a preciso do reconhecimento de voz, devendo, o ambiente, se necessrio,
ser modificado para estar de acordo com as normas de rudo estabelecidas pela ABNT NBR
10152/1987 (2010).
Em relao ao requisito Dicionrio especfico para RIS, foi analisado que, segundo os testes
realizados neste trabalho, a massa de dados insuficiente para se afirmar que o dicionrio
inicialmente inserido no sistema de reconhecimento seja considerado aprovado ou reprovado.
Para que este requisito pudesse ser caracterizado de maneira apropriada, uma anlise de
todos os laudos gerados por todos os radiologistas durante certo intervalo de tempo
conseguiria medi-lo de maneira mais eficaz. Levando em considerao esta limitao, para os
testes realizados, apenas uma palavra no estava contemplada no dicionrio - quilovoltagem.
Esta palavra apareceu em todos os laudos examinados e representou, em mdia, 1.78% das
palavras presentes nos laudos.
O requisito Resoluo de Homnimos foi testado de maneira superficial, pois no foi levado
em considerao todas as palavras homnimas que poderiam aparecer no dicionrio do
sistema.
Houve dificuldade no uso de mtodos automticos de comparao das verses dos textos
original e gerada pelo ditado -, pois houve a necessidade de desconsiderar pontos tais como:
Diferenas entre maisculas e minsculas.
Diferenas de acentuao.
Diferenas na ortografia de algumas palavras no laudo e no que o sistema gera, tal

como a palavra costo-frnicos e costofrnicos.
A incluso de uma ou mais palavras no texto eram tratadas apenas como 1 incluso.
171
Os dois equipamentos utilizados para a entrada dos laudos HeadSet Philips e SpeechMike
Philips se mostraram eficientes. Era esperada, segundo informao do fornecedor, uma
grande diferena de qualidade sonora, porm, pelos testes efetuados, a preciso no
reconhecimento se mostrou melhor com o HeadSet em condies de pouca interferncia
sonora. J com muita interferncia sonora, o SpeechMike foi melhor. A diferena expressiva
de custo e a ergonomia entre os dois equipamentos devem ser levadas em considerao na
aquisio de um ou outro equipamento.
O sistema de ajuda help foi considerado bastante superficial, entre os dois especialistas: o
help online no funcionou e no havia um sistema de buscas de palavras nem de contexto.
Os pontos considerados mais crticos, tanto entre os especialistas quanto entre os voluntrios
se referem aos requisitos de Falta de Visibilidade e Adequao do Feedback e
Recuperao de Erros.
Em relao falta de visibilidade e adequao do feedback, a criticidade se deu pelo sistema

nunca informar ao usurio palavras que, possivelmente, tenham sido reconhecidas com baixa
taxa. Uma sugesto proposta foi que estas palavras fossem marcadas tal como o uso de
negrito ou sublinhado - para que o usurio conseguisse visualiz-las mais facilmente.
J em relao recuperao de erros, os usurios se sentiram perdidos em no conseguirem

consertar erros de ditado de maneira mais automtica, ou seja, pela prpria voz como
interface, ou seja, os usurios no conseguiam retroagir no ditado. Uma sugesto seria utilizar
o mecanismo intrnseco no software DosVox (Projeto Dosvox, 2010), que permite ao usurio
voltar e apagar parte do texto j ditado.
7.4.2 Sistema Implantado no Hospital Edmundo Vasconcelos
Uma das razes apresentadas por um dos mdicos da equipe de Radiologistas do hospital
para o no uso da ferramenta refere-se ao fato dele digitar mais rapidamente do que o
sistema consegue transcrever. Este mdico tambm fala muito rapidamente, o que
ocasionaria uma queda de performance no sistema.
172
Atualmente este hospital gera, no departamento de Ressonncia Magntica, uma mdia de

120 laudos por dia, atravs de 8 mdicos radiologistas. Existem 2 digitadoras no
departamento, que, segundo o mdico entrevistado, possuem gargalo de atendimento, devido
escassez de pessoas.
Tambm, segundo informaes do mdico, quando o laudo precisa de urgncia, possvel

faz-lo em 20 minutos utilizando o servio de digitao, contra 5 minutos utilizando o sistema
de transcrio automtica em Radiologia.
O tempo normal para que um laudo seja liberado no hospital de 3 dias, sendo comum que
atrasem at 5 dias.
Outro ponto importante mencionado pelo mdico que, quando o servio de digitao
utilizado, o mdico precisa reaver as imagens mdicas para confirmar o laudo; j no uso do
sistema de transcrio automtica, isso se torna desnecessrio devido ao imediatismo com
que o laudo fica pronto para uso.
Entre os pontos fracos na observao do uso deste sistema, percebeu-se que a taxa de
reconhecimento de voz foi bastante inferior ao apresentado pelo sistema stand-alone,
conforme foi apresentado no Quadro 71. Como este mdico utiliza o sistema de transcrio
automtica de radiologia de outro hospital, em verso mais atualizada, pode-se concluir que
esta verso instalada no Edmundo Vasconcelos capta mais as interferncias sonoras
externas do que as verses mais recentes conforme foi explicitamente dito pelo mdico.
Tambm foi percebido e confirmado pelo mdico que, nesta verso, o sistema possui grande
dificuldade em reconhecer epnimos, tal como T2 que reconhecido como tendes.
Segundo o mdico entrevistado e observado, que trabalha em outro hospital com o mesmo
sistema, em verso diferente, as principais melhorias no uso do sistema, em verso superior so:
Maior taxa de reconhecimento da voz.
Menor interferncia sonora do ambiente.
Eliminou o problema da verso 2.1 de espaamento entre palavras.
integrado ao sistema PACS e RIS.
O sistema aprende mais rpido os epnimos.

173
8. CONCLUSES
Este trabalho apresentou uma metodologia para a avaliao de usabilidade de Sistemas de

Transcrio Automtica de Laudos em Radiologia, que contribui para as necessidades de
mercado na escolha de um sistema mais amigvel ao usurio final. Para tanto, esta
metodologia leva em considerao muitos aspectos que vo alm da taxa de reconhecimento
destes sistemas, tratando questes como tamanho do vocabulrio utilizado, ambiente utilizado
e satisfao do usurio.
Este captulo apresenta as consideraes finais obtidas com o desenvolvimento de trabalho.

O item 8.1 traz os aspectos gerais do trabalho versando sobre a metodologia para a avaliao
de usabilidade para Sistemas de Transcrio Automtica de Laudos em Radiologia, proposta
nesta Tese de Doutorado; o item 8.2 expe as contribuies significativas deste trabalho; e o
item 8.3 descreve os trabalhos futuros passveis de serem implementados.
8.1 Aspectos Gerais do Trabalho
Este trabalho apresentou uma reviso bastante extensa de temas relacionados pesquisa,
como Interface Homem-Computador, Interface do Usurio Baseada em Voz, Avaliao de
Interfaces, Requisitos de Usabilidade para VUI e Sistemas de Transcrio Automtica de
Laudos. De acordo com este amplo levantamento bibliogrfico, foi verificado que no h,
ainda, na literatura, trabalhos suficientes sobre como se avaliar, sob o ponto de vista da
usabilidade, tais aplicaes de maneira metodolgica.
Em entrevistas informais com responsveis pela rea de TI e tambm usurios finais

mdicos radiologistas - de dois hospitais-alvo da pesquisa, foi discutida a resistncia do
mdico para lidar com tais sistemas no comeo de sua implantao, mas a grande
aceitabilidade deste sistema com o passar do tempo. Assim, verifica-se que tais sistemas
tendem a ocupar, cada vez mais, o centro radiolgico de hospitais em todo o pas. Isto
permite dizer que a criao de um guideline que ajude na escolha de tais sistemas de suma
importncia. Atualmente, somente a taxa de reconhecimento de voz levada em
174
considerao quando os hospitais e clnicas escolhem um sistema de transcrio automtica

de laudos. Existem outros tantos requisitos que deveriam ser levados em considerao
quando se escolhe comprar um sistema desta classe, tal como a diminuio da carga
cognitiva do usurio, j preocupado com sua atividade de realizar um laudo radiolgico.
Como apontado no Captulo 3, mesmo para aplicaes de VUI de domnios no especficos,

tal metodologia ainda no est solidamente estabelecida. Os trabalhos apontados por
(WALKER et al, 1997; GIBBON; MOORE; WINSKI, 1997; DYBKJAER; BERNSEN, 2000)
advm de contribuies para se avaliar projetos especficos em domnios restritos.
Um estudo aprofundado sobre VUI foi realizado no Captulo 2, de onde surgiram vrios dos
artigos publicados (OLIVEIRA NETO; SALVADOR, 2007; SALVADOR; OLIVEIRA NETO;
KAWAMOTO, 2008; SALVADOR, OLIVEIRA NETO; GUIMARAES, 2009), alm de um
captulo de livro nacional (OLIVEIRA NETO; SALVADOR; KAWAMOTO; 2010) e dois
captulos de livros internacionais (SALVADOR; OLIVEIRA NETO; PAIVA, 2010; KAWAMOTO;
SALVADOR; OLIVEIRA NETO, 2010).
Houve uma preocupao de captar os requisitos especficos para aplicaes VUI, tratados no
item 4.3, assim como os requisitos estabelecidos para sistemas de transcrio automtica de
laudos no item 5.5, que deu origem aos requisitos estabelecidos na metodologia descrita no
Captulo 6 (SALVADOR; MOURA JR., 2010a; SALVADOR; MOURA JR., 2010b).
Atravs desta reviso bibliogrfica, visitas em hospitais e entrevistas com profissionais da

rea de TI na Sade e de trabalhos prticos realizados pela autora na sua vida profissional na
rea de VUI, foi possvel elencar, analisar, escolher e propor requisitos de usabilidade para a
gerao de uma metodologia de avaliao de Sistemas de Transcrio Automtica de Laudos.
Esta metodologia utiliza dois principais meios de se avaliar interfaces: avaliaes com
especialistas e avaliaes com o usurio final.
Esta metodologia foi composta das seguintes partes:
Identificao e escolha dos requisitos a serem utilizados.
Classificao destes requisitos quanto ao seu grupo apropriado e grau de

dificuldade.
175
Identificao de uma ou mais mtricas associadas a cada requisito, a fim de

gerar dados quantitativos.
Gerao de templates que facilitem e organizem a avaliao de cada requisito.
Reviso dos requisitos.
Esta metodologia consiste em se determinar como ser avaliado cada um dos requisitos
selecionados e classificados, segundo caractersticas como: tipo e mtodo de avaliao,
dificuldade e importncia da avaliao e mtricas que devem ser seguidas.
Com o intuito de validar a metodologia, foram realizadas as coletas dos dados das avaliaes
realizadas, junto a especialistas atravs do uso de avaliao por inspeo, sem interveno
do usurio. Tambm foram realizadas avaliaes junto a voluntrios no especialistas em
Radiologia, atravs de avaliao por testes de usabilidade. Outra avaliao por testes de
usabilidade se deu com um usurio final um mdico radiologista que trabalha em um
hospital-alvo da pesquisa que conta com o sistema j implantado.
Os dados foram, ento, analisados a fim de ser possvel estabelecer os pontos fortes e fracos
de tal metodologia e que melhorias pudessem ser apontadas. Esta fase de preparao para
os testes e anlise consta do Captulo 7 deste trabalho.
Entre os principais pontos fortes do sistema que foram percebidos e estudados possvel
destacar:
Todos os testes mostraram um alto nvel de reconhecimento do sistema, mesmo tento

havido uma fase de treinamento da voz do usurio bastante reduzido.
O usurio percebeu o sistema como fcil de ser utilizado.
O usurio apresentou-se bastante interessado no uso da tecnologia.
O sistema permite que os laudos sejam disponibilizados mais rapidamente.
Pode diminuir os custos com digitadoras.
Quando o servio de digitao utilizado, o mdico precisa reaver as imagens mdicas

para confirmar o laudo; j no uso do sistema de transcrio automtica, isso se torna
desnecessrio devido ao imediatismo com que o laudo fica pronto para uso.
176
Por outro lado, foram considerados os seguintes pontos crticos dos sistemas avaliados:
O delay do sistema um fator crtico para o sistema, pois causa aumento da carga
cognitiva.
A interferncia sonora do ambiente outro fator crtico para o sucesso do sistema e

deve ser modificado para estar de acordo com as normas de rudo estabelecidas pela
ABNT NBR 10152/1987 (2010).
Em relao falta de visibilidade e adequao do feedback, a criticidade se deu pelo

sistema nunca informar ao usurio palavras que, possivelmente, tenham sido
reconhecidas com baixa taxa. Uma sugesto proposta foi que estas palavras fossem
marcadas tal como o uso de negrito ou sublinhado - para que o usurio conseguisse
visualiz-las mais facilmente.
Sobre a recuperao de erros, os usurios se sentiram perdidos em no conseguirem

consertar erros de ditado de maneira mais automtica, ou seja, pela prpria voz como
interface, ou seja, os usurios no conseguiam retroagir no ditado.
8.2 Contribuies do Trabalho
Os Sistemas de Transcrio Automtica de Laudos em Radiologia tm sido cogitados como

soluo para diminuir o tempo para o laudo ficar pronto e tambm como redutor dos custos
globais do departamento de Radiologia. Porm, para se verificar a eficcia de se utilizar tais
sistemas, preciso avaliar se os requisitos gerais de VUI e tambm os requisitos especficos
da rea de Radiologia esto sendo tratados de maneira correta nos produtos disponveis no
mercado. Nesse intuito, este trabalho props uma metodologia para avaliao de tais
sistemas de uma maneira bastante aprofundada e completa.
O trabalho visou a reduo de custos com testes de usabilidade, por ser conhecido na
literatura de IHC, que este um custo que pode ser impeditivo da avaliao de muitos
sistemas. Assim, procurou-se utilizar, ao mximo possvel, as tcnicas de inspeo que no
utilizam usurios finais e que diminuem significativamente o tempo e os custos das avaliaes.
177
Tambm, para que os hospitais no necessitassem disponibilizar tempo e incmodos de seus

radiologistas, optou-se por utilizar a inspeo realizada por especialistas em usabilidade e, por
outro lado, usurios voluntrios foram selecionados para os testes de usabilidade, quando a
inspeo no fosse o mtodo mais apropriado. Somente a observao dos usurios finais
radiologistas e o preenchimento, por eles, de um questionrio de satisfao foram as
tcnicas utilizadas para se analisar a usabilidade, quando da necessidade de estar em
campo. Este questionrio no tomou mais que 3 minutos do tempo do radiologista.
O trabalho resultou num conjunto de trs componentes para avaliar sistemas de transcrio
automtica de laudos em Radiologia. Em cada um destes componentes, foi gerado um
guideline de como testar cada requisito.
Na parte que versa sobre a inspeo de usabilidade, foi criado um template que serve como
guia para cada requisito que deve ser testado. Este template contm: nome da mtrica,
mtodo de avaliao, participantes, material necessrio, roteiro, resultados e anlise.
Na parte que versa sobre os testes de usabilidade, foi levemente modificado o template
utilizado na fase anterior acrescido do item Orientaes aos Participantes. O conjunto destes
templates serve como guia para se testar a usabilidade junto a voluntrios.
J na terceira parte, que versa sobre testes de usabilidade por observao e questionrios
com usurios finais traz vrios formulrios que devem ser preenchidos pelo observador
quando fizer estes testes, trazendo um checklist do que observar.
Sendo assim, este trabalho serve de guia para a rea de TI de hospitais e clnicas
radiolgicas quando se deseja avaliar a compra de sistemas de transcrio automtica de
laudos, cada vez mais comuns no mercado interno. Tambm pode ser utilizado para se
verificar, quando se trabalhe com customizaes de tais sistemas, a usabilidade que se
deseja atingir e a que est atualmente vigente.
desejvel que a avaliao de usabilidade proposta atravs desta metodologia seja realizada,
ou comandada, por especialistas em usabilidade, pois necessria, mesmo para um
especialista, uma quantidade bastante grande de horas para, principalmente, a avaliao de
inspeo.
178
Alguns requisitos mostraram-se difceis de serem testados, pois envolviam um conhecimento

muito especfico mesmo para especialistas em usabilidade, como o caso do conhecimento
profundo sobre udio. Um destes requisitos aquele que se refere Qualidade do Sistema de
udio. Como no se deseja que o avaliador de um sistema como este tenha que adquirir
conhecimentos mais aprofundados sobre udio, optou-se por fazer uma avaliao informal
deste requisito, ou seja, o som gravado pelo sistema era reproduzido e o usurio verificava se
era inteligvel.
Outra medio de requisito que obteve uma resposta aqum do desejvel foi Dicionrio
especfico para RIS, pois a massa de dados utilizada para os testes insuficiente para se
afirmar que o dicionrio inicialmente inserido no sistema de reconhecimento de voz seja
considerado aprovado ou reprovado. Para que este requisito pudesse ser caracterizado de
maneira apropriada, uma anlise de todos os laudos gerados por todos os radiologistas
durante certo intervalo de tempo conseguiria medi-lo de maneira mais eficaz.
Tambm o requisito Resoluo de Homnimos foi testado, mas seria necessrio um teste
mais aprofundado: identificao, dentro do dicionrio do sistema, de todas as palavras
homnimas e ento testadas.
No era o intuito do trabalho descobrir maneiras de automatizar os testes, ento muitos

requisitos foram extremamente cansativos de serem testados, tais como Naturalidade da
Fala, necessitando de um tempo bastante grande e montono para serem efetivados.
Embora Nielsen (1987) tenha abordado que a maioria das inspees de usabilidade dure em
torno de duas horas por participante, estas inspees demoraram bem mais de vinte horas
para serem efetivadas. Esta foi uma questo bastante decisiva na escolha de quando utilizar
somente um avaliador e quando utilizar dois.
Algumas limitaes nestas avaliaes - nas inspees de usabilidade e tambm nos testes de
usabilidade com voluntrios foram decorrentes do uso de um sistema stand-alone, pois:
No utilizava a arquitetura cliente-servidor, ficava restrito ao aprendizado de

novas palavras.
No estava conectado a outros sistemas hospitalares e de consultas.

179
No continha facilidades de acesso, tais como teclas de atalho ou palavras-

chave para a ativao de mscaras frases prontas de Radiologia.
Outro ponto a ser considerado, a quantidade de usurios voluntrios e finais utilizada nos
testes. Mesmo utilizando uma quantidade maior de usurios que Nielsen (1987) verse para os
testes de usabilidade, foi percebido que, para a avaliao de VUI, devem-se levar em
considerao muitas caractersticas intrnsecas da voz, tais como: sotaque, idade do usurio,
timbre, velocidade da voz, alm de caractersticas do prprio ambiente fsico - interferncia
sonora do ambiente e caractersticas das pessoas - resistncia ao uso destes sistemas e
expertise com o uso de computadores.
Um ponto bastante frustrante para a autora neste trabalho foi a dificuldade em conseguir
permisso nos hospitais para se fazer a pesquisa de campo. Mesmo utilizando uma
metodologia de avaliao que previa pouca interao com os mdicos radiologistas, muitas
barreiras foram criadas pelos hospitais e no puderam ser ultrapassadas. Um exemplo desta
barreira foi conseguir contatos na rea de TI nos hospitais de So Paulo que possuam o
sistema instalado. Mesmo depois de realizados os contatos, havia, em alguns hospitais, uma
barreira, s vezes intransponvel, para conseguir a continuidade do contato com pessoas de
TI e tambm observar os usurios finais utilizando o sistema.
Conforme mencionado no Captulo 7, o corpus utilizado para a pesquisa corresponde a um

conjunto de radiologia de trax, sendo percebido que estes dados so bastante formatados e
no correspondem a uma fala natural de um Radiologista. Alm disso, este corpus
corresponde a uma faixa muito pequena de palavras utilizadas na rea Radiolgica. Os
sistemas atualmente desenvolvidos utilizam cerca de 21.000 palavras, enquanto este corpus
continha em torno de 60 palavras por texto. Alm disso, versavam somente sobre uma regio
do corpo. Isso, conforme foi explicitado nos resultados do Captulo 7, pode causar uma
impresso no exata de preciso das palavras reconhecidas.
O objetivo inicial deste trabalho era de que a metodologia pudesse ser aplicada a, pelo menos,
dois hospitais; porm teve que ser aplicada a apenas um hospital, por haver esta barreira
supracitada. Um amenizador para este problema foi que o mdico entrevistado no hospital
foco da pesquisa tambm trabalha no outro hospital que no foi possvel fazer a pesquisa de
180
campo; assim, este mdico pode dar uma contribuio significativa das diferenas entre os
dois sistemas, a partir do seu ponto-de-vista.
Embora tenham sido encontrados alguns pontos fracos supracitados nesta metodologia para
a avaliao de usabilidade de Sistemas de Transcrio Automtica de Laudos em Radiologia
e tambm as barreiras impeditivas para um melhor trabalho de campo, possvel dizer que
ela contribui significativamente para as necessidades de mercado na escolha de um sistema
mais amigvel ao usurio final, pois leva em considerao os requisitos gerais de VUI, mas
agora adaptados aos sistemas de ditado e tambm aspectos ligados a um sistema especfico
de Radiologia, focando sempre na satisfao do usurio final.
interessante lembrar que no existe, ainda, na literatura, uma metodologia similar que leve
em considerao requisitos gerais de VUI e de sistemas de ditado em Radiologia. Tambm
possvel destacar que esta metodologia no possui custos financeiros e nem de tempo
impeditivos, o que a torna factvel.
Obviamente, se o desejo de escolha na compra de um Sistema de Transcrio de Laudos em

Radiologia, ou mesmo na melhoria da usabilidade de um sistema j existente, parte da rea
gerencial ou estratgica do hospital ou clinica, os recursos das equipes de TI e de usurios
finais podero ser mais facilmente incorporados ao processo de avaliao, tornando a
metodologia de maior sucesso e sem as barreiras supracitadas.
Vale ainda a pena ressaltar que, sendo a autora da rea de IHC, existe um desejo sempre
presente que os sistemas disponveis no mercado, tenham sempre atendidos critrios de
usabilidade focados no usurio final. desejo da comunidade de IHC que os sistemas
interativos se adaptem s necessidades do usurio e, no o contrrio, como possvel
observar em tantos sistemas presentes no cotidiano das pessoas. Sendo a voz uma das
formas mais naturais de comunicao entre pessoas, a possibilidade de ser, tambm, a voz,
uma forma mais natural de comunicao entre o homem e a mquina, necessrio que esta
forma de interao seja bastante intuitiva e amigvel aos usurios finais. Sendo assim, a
preocupao de se avaliar se os Sistemas de Transcrio Automtica de Laudos em
Radiologia vem de encontro a esta preocupao da comunidade de IHC.
181
182
8.3 Trabalhos Futuros
A primeira contribuio como trabalho futuro sugerida para que se tenha mais
automatizao dos testes, tanto com especialistas em Usabilidade, quanto com usurios
voluntrios e finais, que no era o foco deste trabalho. O uso de agentes inteligentes que
possam captar os laudos, ditar os laudos atravs da sintetizao da voz e verificar os pontos
de no reconhecimento da voz permitiria que a base de testes fosse relativamente maior. Isso
diminuiria imensamente o tempo de avaliao por inspeo de software, considerada um dos
pontos problemticos para esta metodologia.
Alguns problemas encontrados em relao diferena de grafia entre os laudos utilizados e o

laudo gerado pelo sistema, poderiam ser padronizados, a fim de que a verificao das
diferenas entre os dois textos no contivesse pseudo-erros que tiveram que ser
desconsiderados pelos especialistas em avaliao de maneira manual.
A utilizao de um corpus mais variado, no formatado e amplo da rea Radiolgica poderia

contribuir significativamente para a confirmao ou reajustes de alguns valores coletados, tais
como a preciso do reconhecimento da voz.
Alm disso, a aplicao desta metodologia a uma quantidade maior de hospitais e clinicas
radiolgicas que tenha o Sistema de Transcrio Automtica em Radiologia poderia dar uma
viso mais real de como estes sistemas esto atendendo, atualmente, a critrios ligados
usabilidade. Seria, ento, possvel propor melhorias ligadas Usabilidade e gerao de
polticas de incentivo ao uso destes sistemas nos hospitais.
Esta viso mais real do quadro nacional no uso destes sistemas poderia proporcionar uma
melhoria destes sistemas por parte do fabricante, entendendo melhor as necessidades dos
usurios finais.
Por outro lado, a aplicao desta metodologia a outras classes de sistemas de

reconhecimento de voz poderia ser realizada fazendo alteraes nos requisitos especficos da
aplicao. Assim, com poucas modificaes insero e remoo de alguns requisitos
especficos -, esta metodologia poderia ser utilizada para se testar outros tipos de sistemas
183
VUI, tais como sistemas de consultas: sistemas de reservas de passagens areas, reserva de
hotis, consulta de horrios de vos e similares.
Pensando numa abordagem mais humana no uso de VUI para a rea de Radiologia, seria
desejvel verificar a existncia de - ou construir - um reconhecedor de voz brasileiro que
tenha um custo baixo ou inexistente para o seu uso. Assim, seria possvel construir um
Sistema de Transcrio Automtico de Laudos em Radiologia voltado a hospitais com poucos
recursos financeiros e que atendam comunidade de baixa renda. Isso desejvel a fim de
agilizar as consultas e os resultados dos exames de Radiologia, proporcionando um maior
bem-estar a estas pessoas.
O uso desta metodologia de avaliao, aqui utilizada para avaliar sistemas j disponveis no
mercado, poderia ser adaptada para ser incorporada ao processo de desenvolvimento do
software, a fim de melhorar os produtos que so vendidos no mercado, principalmente
atendendo os requisitos ligados satisfao do usurio. Isso seria possvel, inserindo os
usurios finais no processo de desenvolvimento do software. Este aspecto bastante
comentado pela comunidade de Engenharia de Software, porm, como de conhecimento da
rea, sempre so gastos recursos financeiros e de tempo insatisfatrios para melhorar os
aspectos ligados Usabilidade de sistemas.
184
REFERNCIAS BIBLIOGRFICAS
ABNT NBR 10152/1987. Disponvel em http://www.filecrop.com/NBR-10152.html. Acesso

em 26/12/2010.
AGFA. Disponvel em http://www.agfa.com/brazil/bu/healthcare.jsp. Acesso em 23/12/2010.
AMARAL, M.B.; SALVADOR, V.F.M. Gesto de Sistemas de Informao Hospitalar. In:

Administrao Hospitalar Instrumentos para a gesto profissional, So Paulo: Loyola, p.
455-475, 2005.
ALAPETITE, A.; BOJE, A.H.; MORTEN, H. Acceptance of speech recognition by physicians : a

survey of expectations, experiences, and social influence, In: International journal of
human-computer studies, ISSN 1071-5819, v. 67, n. 1, p. 36-49, 2009.
ALLEN, J., PERRAULT, C. Analysing intention in utterances. In: Artificial Intelligence 15, p.
143 - 178, 1980.
AVOURIS, N.M. An introduction to software usability. Workshop on Software Usability. In:

Proceedings of the 8th Panhellenic Conference on Informatics. v. 2, p. 514-522, 2001.
BERNSEN, N.O.; DYBKJAER, L. Usability evaluation in spoken language dialogue systems

and their components. In: Proceedings of the workshop on Evaluation for Language and
Dialogue Systems, v. 9, Toulouse, France, 2001.
BHAN, S.N.; COBLENTZ, C.; NORMAN, G.R.; ALI, A.H. Effect of voice recognition on
radiologist reporting time. In: CARJ, v. 59, n. 4, October 2008.
BOSCH, L.T., OOSTDIJK, N., RUITER, J.P.D. Durational Aspects of Turn-Taking in

Spontaneous Face-to-Face and Telephone Dialogues. In TSD(2004) 563-570
CHAMBERLAIN, J. ELLIOTT, G., KLEHR, M., BAUDE, J. Speech user interface guide,
redpaper, s. l.: IBM, 2006.
CHIN, J. P., DIEHL, V. A., NORMAN, K. L. Development of an instrument measuring user

satisfaction of the human-computer interface. In: ACM CHI'88 Proceedings, p. 213-218,
1988.
185
COHEN, M. H., GIANGOLA, J. P., BALOGH, J. Voice User Interface Design, Boston: Addison
Wesley, ISBN 0-321-18576-5, 368 pginas, 2004.
CURTIS, B. How to choose good metaphors. In: IEEE Software, Austin, v. 11, n. 3, p. 86-88,
1994.
DELAMARO, M. E., MALDONADO, J.C., JINO, M. Introduo ao teste de software, Rio de

Janeiro: Campus, 2007.
DENG, L., HUANG, X. 2004. Challenges in adopting speech recognition. In: Commun. ACM v.
47, n. 1, p. 69-75, 2004.
DESURVIRE, H. W. Faster, Cheaper!! Are usability Inspection Methods as Effective as

Empirical Testing?. In: J. Nielsen (ed.) Usability Inspection Methods, New York: John
Wiley, 1994.
DIAH, N.M.; ISMAILl, M.; AHMAD, S.; DAHARI, M.K.M. Usability testing for educational
computer game using observation method. In: CAMP10 is the first international conference
on Information Retrieval and Knowledge Management. Shah Alam, Malaysia, 2010.
DYBKJAER, L.; BERNSEN, N.O. Usability issues in spoken language dialogue systems. In:
Natural Language Engineering, Special Issue on Best Practice in Spoken Language
Dialogue System Engineering, v. 6 Parts 3 & 4, p. 243-272, 2000.
DYBKJAER, L.; BERNSEN, N.O. Usability evaluation in spoken language dialogue systems.
In: Proceedings of the ACL 2001 Workshop on Evaluation Methodologies for Language and
Dialogue Systems, 2001.
DYBKJAER, L.; BERNSEN, N.O.; MINKER, W. New challenges in usability evaluation -

beyond task-oriented spoken dialogue systems. In: INTERSPEECH-2004, p. 2261-2264,
2004a.
DYBKJAER, L.; BERNSEN, N.O.; MINKER, W. Usability evaluation of multimodal and domain-
oriented spoken language. In: Proceedings of the Fourth International Conference on
Language Resources and Evaluation (LREC), v. 5, Lisbon, Portugal, p. 1695-1698, 2004b.
DOSVOX. Disponvel em http://intervox.nce.ufrj.br/m/. Acesso em: 27/12/2010.

186
DURLING, S.; LUMSDEN, J. Speech Recognition Use in Healthcare Applications. In:

Proceedings of MoMM2008, MoCoHe, ACM 978-1-60558-269-6/08/0011, 2008.
FENELON, S. Aspectos tico-legais em imaginologia. Radiol Bras v.36 n.1 So Paulo Jan,
Feb, 2003.
FISCHER, G. Comunication requirements for cooperative problem solving systems. In:

Information Systems, New York, v. 15, n. 1, p. 21-36. Jan, 1990.
FOLEY, J. D., VAN DAN, A. Computer graphics: principle and practice. Reading: Addison
Wesley, 1990.
GIBBON, D., MOORE, R., WINSKI, R. (eds.): Handbook of standards and resources for
spoken language systems. Mouton de Gruyter, Berlin, New York, 1997.
GOPAKUMAR, B. el al. Reengineering radiology transcription process through voice

recognition. In: IEEE 2008 International Conference on Industrial Engineering and
Engineering Management, Singapore, December 8-11, 2008.
GOLD, J. D., LEWIS, C. Designing for usability: key principles and what designers think. In:
Communications of the ACM, v.28, n. 3, p.300-311, 1985.
GUTIERREZ, A. J., MULLINS, M. E., NOVELLINE, R. A. Impact of PACS and voice-

recognition reporting on the education of radiology residents. In: Journal of Digital Imaging,
v. 18, n. 2, June, 2005.
HARTIKAINEN, M.; SALONEN, E.; TURUNEN, M. Subjective evaluation of spoken dialogue

systems using SER VQUAL method. In: INTERSPEECH-2004, p.2273-2276, 2004.
HUANG, X.; ACERO, A.; HON, H.W. Spoken language processing. New Jersey: Prentice Hall.
ISBN 0-13-022616-5, 2001.
HUMAN FACTORS AND ERGONOMICS SOCIETY CODE OF ETHICS. Disponvel em

http://www.hfes.org/web/AboutHFES/ethics.html. Acesso em 28/12/2010.
HUNDT, W. et al. Speech processing in radiology. In: Eur Radiol n.9, p. 1451-1456, 1999.
HUNT, A., WALKER, W. A fine grained component architecture for speech application
development, Sun Microsystems, Inc., Technical Report: TR-2000-86, Mountain View, CA,
USA, 2000.
187
IBM Research. Disponvel em: http://www.ibm.com/us/en/. Acesso em 02/03/2009.
ICHIKAWA,T. et al. Radiological Reporting That Combine Continuous Speech Recognition

with Error Correction by Transcriptionists. In: Tokai J Exp Clin Med., v. 32, n. 4, p. 144-147,
2007.
IEEE 829-2008. Disponvel em

http://ieeexplore.ieee.org/xpl/freeabs_all.jsp?arnumber=4578383. Acesso em: 19/122010.
ISO 9241-11. Ergonomic requirements for office work with visual display terminals (VDTs) Part
11: Guidance on usability. ISO 1997.
KAMM, C., WALKER, M., RABINER, L. The role of speech processing in human computer
intelligent commu-nication. In: Speech Communication n.23, p. 263 - 278, 1997.
KANAL, K.M. et al Initial evaluation of a continuous speech recognition program for radiology.
In: Journal of Digital Imaging, v. 14, n. 1, p 30-37, 2001.
KAWAMOTO, A.L.; SALVADOR, V.F.M.; OLIVEIRA NETO, J.S. Requirements and guidelines
for the evaluation of voice user interfaces. In: Aleksandar Lazinica. (Org.). User Interfaces. :
InTechweb, 2010, v.1, p. 32-55.
KIMBERLY, D. V., A methodology of error detection: Improving speech recognition in

radiology. PhD thesis, Simon Fraser University, Burnaby, Canada, 2006.
KOMATANI, K.; UENO S.; KAWAHARA, T; OKUNO, H. G. Flexible guidance generation using
user model in spoken dialogue systems. In: Proceedings of the 4lst Annual Meeting of the
Association for Computational Linguistics, p. 256-263, July, 2003.
LAI, J. Conversational Interfaces. In: Communications of the ACM, v. 43, n. 9, p. 24 - 27,

September, 2000.
LAMEL, L.; MINKER, W.; PAROUBEK, P. Towards best practice in the development and
evaluation of speech recognition components of a spoken language dialog system. In:
Natural Language Engineering, v. 6, n. 3-4, United Kingdom Cambridge University Press,
p. 305 - 322, 2000.
188
LARSEN, L.B. Issues in the evaluation of spoken dialogue systems using objective and
subjective measures. In: Proceedings of IEEE Workshop on Automatic Speech Recognition
and Understanding (ASRU'03), St. Thomas, U.S. Virgin Islands, USA, p. 209-214, 2003.
LAUESEN, S. User Interface Design: A software engineering perspective, Pearson Education,

Great Britain, ISBN 0 321 18143 3, 2005.
LEE, C. A practitioners guide to software test design. Artech House, 2003.
LEVIN, E., LEVIN, A. Evaluation of spoken dialogue technology for real-time health data
collection. In: Journal of Medical Internet Research, v.8, n. 4, 2006.
LIANG, T. User interface design for decision support systems: a self-adaptive apporach. In:
Information & Management, New York, v. 12, n. 4, p. 181-193, April, 1987.
MACSYM disponvel em www.macsym.com.br/medical. Acesso: 10/12/2010
MARCONI, M.A.; LAKATOS, E.V. Metodologia cientfica. So Paulo: Atlas, 2007.
McGURK, S.; BRAUER, K.; MACFARLANE, T.V.; DUNCAN, K. A.: The effect of voice
recognition software on comparative error rates in radiology reports. In The British Journal
of Radiology, n. 81, p. 767770, 2008.
MCTEAR, M.F. Spoken dialogue technology: enabling the conversational user interface. In:
ACM Computing Surveys, v. 34, n. 1, p. 90169, March, 2002.
MICROSOFT Reconhecimento de Voz. Disponvel em:

http://www.microsoft.com/portugal/windowsvista/features/foreveryone/speech.mspx.
Acesso em 10/04/2010.
MITCHELL, P.P., A step-by-step guide to usability testing, Lincoln, NE: iUniverse , 2007.
MOHR, D.N. et al. Speech recognition as a transcription AID: A randomized comparison with
standard transcription. In: Journal of Medical Informatics, v. 10, n. 1, p. 85-93, 2003.
MLLER, S. A new taxonomy for the quality of telephone services based on spoken dialogue
systems. In: Proc. 3rd SIGdial Worksh. on Discourse and Dialogue, US-Philadelphia, p.
142-153, 2002.
189
MLLER, S. Quality of telephone-based spoken dialogue systems, New York, NY: Springer,
2005.
MYERS, B.A. User interface software tools. In: ACM Transactions on Computer-Human
Interaction, v. 2, n. 1, p. 64-103, March, 1995.
NIELSEN, J. Usability engineering at a discount. In: G. Salvendy et al (eds.). Designing and

using human-computer interfaces and knowledge based systems. Amsterdam: Elsevier,
1989.
NIELSEN, J. Usability Engineering. Academic Press, Cambridge, MA, 1993.
NIELSEN, J. Heuristic Evaluation. In: J. Nielsen (ed.) Usability Inspection Methods. John
Wiley, New York, 1994.
NIELSEN, J. Designing web usability. Indianapolis: News Riders, 2000.
NIELSEN, J. (2000, March 19). Why You Only Need to Test with 5 Users. Disponvel em:
http://www.useit.com/alertbox/20000319.html. Acesso em 12/12/2010.
NUANCE, Disponvel em: http://nuance.com/naturallyspeaking/. Acesso em 20/12/2010.
OLIVEIRA NETO, J. S. de ; SALVADOR, V. F. M. ; KAWAMOTO, A. L. . Aplicaes interativas

baseadas em voz na Educao: oportunidades e estudo de caso. In: Anita Maria da Rocha
Fernandes; Michelle Silva Wangham. (Org.). Livro de Minicursos. Florianpolis, v.1, p. 1-
26, 2010.
OLIVEIRA NETO, J. S.; SALVADOR, V. F. M. Projeto de interfaces baseadas em comandos

de voz: conceitos, ferramentas de desenvolvimento e aplicaes. ERI-RJ, 2007.
ORTH, A. I. Interface Homem-Mquina. Porto Alegre: AIO, 2005.
PARASURAMAN, A., ZEITHAML, V.A.; BERRY, L.L., SERVQUAL: A multiple-item scale for
measuring consumer perceptions of service quality. In: Journal of Retailing, v.64, n. 1,
1988.
PAULETT, J.M., LANGLOTZ, C.P. Improving language models for radiology speech
recognition. In: Journal of Biomedical Informatics, 42, p. 53-58, 2009.
190
PERNICE, K., NIELSEN, J. Eyetracking methodology: how to conduct and evaluate usability
studies using eyetracking, NIELSEN NORMAN GROUP, 2009. Disponvel em:
http://www.useit.com/eyetracking/methodology. Acesso em 20/12/2010.
PHILIPS HEALTHCARE. Disponvel em http://www.healthcare.philips.com/br/. Acesso em

23/12/2010.
PRESSMAN, R.S. Software Engineering. 7th ed., New York: Addison-Wesley, 2004.
PRICE, P. Evaluation of spoken language systems: the ATIS domain. In: Proceedings of the
Third DARPA Speech and Natural Language Workshop, Morgan Kaufmann, 1990.
RECANTO DAS LETRAS. Disponvel em http://recantodasletras.uol.com.br/gramatica/152254.

Acesso em: 20/12/2010.
ROBBINS, A.H. et al. Speech-controlled generation of radiology reports. In: Radiology n. 164,
p. 569-573, 1987.
ROCHA, H. V., BARANAUSKAS, M. C. C. Design e avaliao de interfaces humano-

computador, NIED, Instituto de Computao, Unicamp, Campinas, 2003.
RODRIGUES, R. Manual de pautas para el establecimiento de sistemas locales de

informacion. In: OPAS Organizao Panamericana de Sade, 1996.
RODGER, J. A., PENDHARKAR, P. C., A field study of database communication issues

peculiar to users of a voice activated medical tracking application. In: Decision Support
Systems, v. 43, n. 1, p. 168-180, 2007.
RUBIN, J.; CHISNELL, D. Handbook of usability testing: how to plan, design and conduct
effective tests. 2nd ed., New York: John Wiley & Sons, 2008.
SALVADOR, V.F.M.; OLIVEIRA NETO, J.S.; PAIVA, M. G. Evaluating voice user interfaces in
ubiquitous applications. In: Milton Mendes; Pedro Fernandes. (org.). Designing Solutions-
Based Ubiquitous and Pervasive Computing: New Issues and Trends. Natal, RN: IGI
Global, 2010.
SALVADOR, V.F.M.; MOURA JR, L.A. Heuristic evaluation for automatic radiology reporting
transcription systems. In: 10th International Conference on Information Science, Signal
Processing and their applications - ISSPA 2010, Kuala Lumpur. Proceedings of 10th
191
International Conference on Information Science, Signal Processing and their applications,

2010.
SALVADOR, V.F.M.; MOURA JR, L.A. Evaluation methodology for automatic radiology
reporting transcription systems. In: 13th World Congress on Medical and Health Informatics
- MedInfo 2010, Cape Town. Proceedings of 13th World Congress on Medical and Health
Informatics - MedInfo 2010.
SALVADOR, V.F.M.; BRITTO, M.; MOURA JR, L.A.; ALMEIDA JR, J.R. Qualidade de dados
para gesto de conhecimento na rea de sade. In: XI Congresso Brasileiro de Informtica
em Sade, Florianpolis, 2006.
SALVADOR, V.F.M., ALMEIDA FILHO, F.G.V., A rea de Informtica em Sade sob aspectos
ticos. In: Revista Cadernos Centro Universitrio So Camilo, v. 12, n. 2, abril; junho
2006, ISSN 0104-5865.
SALVADOR, V. F. M.; OLIVEIRA NETO, J. S. ; KAWAMOTO, A. L. . Requirement engineering

contributions to voice user interface. In: First International Conference on Advances in
Computer-Human Interaction, Sainte Luce, p. 309-314, 2008.
SALVADOR, V. F. M.; OLIVEIRA NETO, J. S., GUIMARAES, M. P. Levantamento de

heursticas para avaliao de interfaces do usurio baseadas em voz. In: Interaction South
America, So Paulo, 2009.
SAN-SEGUNDO, R. et al. Knowledge-combining methodology for dialogue design in spoken

language systems. In: International Journal of Speech Technology n. 8, p. 45-66, Springer
Science + Business Media, 2005.
SEBASTIAN, D., Development of a field-deployable voice-controlled ultrasound scanner

system, MS Thesis, Worchester Polytechnic Institute, Worchester, Mass., USA, 2004.
SELIGMAN, M., DILINGER, M., Usability issues in an interactive speech-to-speech translation

system for healthcare. In: Proceedings of the First International Workshop on Medical
Speech Translation, New York, NY, USA, June 4-9, 2006.
SHNEIDERMAN, B. The limits of speech recognition. In: Communications of the ACM, v. 43,
n. 9, p. 24 27, September, 2000.
192
SHORTLIFFE, E. Medical informatics Computer applications in medical care. Reading, MA

Addison-Wesley, 1990.
SKOV, M. B.; STAGE, J. Supporting problem identification in usability evaluations. In:

Proceedings of the 17th Australia conference on Computer-Human Interaction: Citizens
Online: Considerations for Today and the Future, Canberra, Australia, 2005.
SNOMED. Disponvel em: http://www.ihtsdo.org/snomed-ct/. Acesso em 07/03/2009.
SOMMERVILLE, I. Software Engineering, 6th ed., Addison Wesley, ISBN 0-201-39815-X,

2001.
SONNENBERG FA, BECK JR. Markov models in medical decision making: a practical guide.
Med Decis Making, v. 13, n. 4, pp. 322-38, 1993.
SPEECH MAGICTM. Disponvel em http://www.myspeech.com/. Acesso em 20/12/2010.
SUHM, B., MYERS, B., WAIBEL, A. Multimodal error correction for speech user interfaces. In:
ACM Transactions on Computer-Human Interaction, v. 8, n. 1, p. 60-98, 2001.
SUTCLIFFE, A., GAULT, B. Heuristic evaluation of virtual reality applications. In: Interacting
with Computers 16, New York: Elsevier, 2004.
VAVASSORI, F.B., LOH, S. Mtodo heurstico para avaliao e projeto de interfaces homem-
software. Trabalho de Concluso, Pelotas: Universidade Catlica de Pelotas, 1995.
VOLL, K., ATKINS, S., FORSTER, B. Improving the utility of speech recognition through error
detection. In: Journal of Digital Imaging, v. 21, n 4, p. 371-377, 2008.
VORBECK, F., BA-SSALAMAH, A., KETTENBACH, J., HUEBSCH, P. Report Generation

using digital speech recognition in radiology. In: Eur. Radiol. 10, Springer-Verlag, p. 1976-
1982, 2000.
WALKER, M. PARADISE: A framework for evaluating spoken dialogue agents. In: Proc. of the
Association of Computational Linguistics (ACL), p. 271 - 280, 1997.
WALKER, M. A., PASSNNEAU, R., BOLAND J. E. Quantitative and qualitative evaluation of

Darpa communicator spoken dialogue systems. In: Proceedings of the 39rd Annual
Meeting on Association for Computational Linguistics, Toulouse, France, 2001.
193
WHITE, K. S., Speech recognition implementation in radiology, New York: Springer-Verlag,

10.1007/s00247-005-1511-x, 2005.
ZUKERMAN, I.; LITMAN, D. Natural language processing and user modeling: synergies and
limitations. In: User Modeling and User-Adapted Interaction n. 11, p.129-158, Khuwer
Academic Publishers, Netherlands, 2001.
194
APNDICES E ANEXOS
195
APNDICE A - QUESTIONRIO DE SATISFAO DE USURIOS DE
SISTEMAS DE TRANSCRIO DE LAUDOS EM RADIOLOGIA

196
QUESTIONRIO DE SATISFAO DE USURIOS DE SISTEMAS DE TRANSCRIO DE

LAUDOS EM RADIOLOGIA
Este servio tem como objetivo principal melhorar permanentemente a qualidade de

Sistemas de transcrio automtica de laudos.
Seo 1: Perfil do Usurio

1: Informaes pessoais
1.1 Sexo: ( ) M ( ) F
1.2 Idade: ___________
1.3 Nvel de escolaridade: ( ) Graduao ( ) Ps-Graduao ( ) Mestrado ( ) Doutorado
1.4 Cidade Natal: ________________________
2: Experincia do usurio com computadores
2.1 Quantas horas por semana, em mdia, voc utiliza o computador?
( ) menos de 2 horas
( ) entre 2 e 5 horas
( ) entre 5 e 10 horas
( ) mais de 10 horas
3: Sua experincia com Sistemas de Trascrio de Laudos em Radiologia
3.1 Como voc classifica o uso do sistema de transcrio automtica de laudos, quando o utiliza
( ) funciona de maneira incrivelmente boa
( ) funciona bem
( ) funciona regularmente
( ) funciona de maneira deplorvel
( ) nunca utilizei
197
Seo 2: Avaliao da usabilidade atravs de Questionrio

Avalie o uso do sistema com os critrios descritos abaixo marcando com um X.
Esta aplicao tem uma apresentao grfica agradvel
e legvel
fcil entender o que eu preciso fazer na aplicao
A interface grfica bastante intuitiva
A aplicao informa o que est acontecendo ao usurio
(por exemplo, se uma palavra no foi reconhecida
durante o ditado)
Foi fcil aprender a utilizar a aplicao
Quanto velocidade de resposta (transcrio do ditado
em texto) suficiente
Mesmo sem experincia no uso deste sistema, fcil
utiliz-lo
Acredito que a aplicao funciona de maneira
pronncia
H mecanismos no sistema, que acesso atravs de
mouse ou teclado, que proporcionam um melhor
desempenho na transcrio (tais como acessar frases j
prontas atravs de um menu, enquanto dito)
Quando erro no ditado, fcil fazer o sistema
O sistema possui atalhos para que eu possa realizar
minha tarefa de maneira mais eficiente
As formataes, tais como ponto final, vrgula,
negrito, so de fcil assimilao, no me fazendo
pensar muito para utiliz-las.
Quando fao hesitaes, tais como "mmh", "Aaah", o
sistema ignora, captando somente palavras
pertencentes a meu vocabulrio para o laudo.
fcil fazer a formatao do texto enquanto dito um
laudo, tal como mudar de linha e pontuar.
O sistema de ajuda conseguiu esclarecer minhas
Consigo entender perfeitamente o som gravado do
ditado que fiz.
Pontos positivos da aplicao:
Pontos negativos da aplicao:

198
APNDICE B - CARTA DE APRESENTAO PARA OS
PARTICIPANTES DO TESTE
199
CARTA DE APRESENTAO PARA OS PARTICIPANTES DO TESTE
Prezado(a) Senhor(a),
Esta uma carta de apresentao sobre os testes de usabilidade a respeito de um

sistema. Sou aluna de doutorado da Escola Politcnica da Universidade de So Paulo (USP)
sob orientao do prof. Dr. Lincoln de Assis Moura Jr. Estou em fase de testes de um sistema
e necessito da colaborao de voluntrios para auxiliar nesta etapa de testes.
Venho, atravs desta, pedir, gentilmente, sua participao como voluntrio para o teste
do sistema.
Trata-se de um sistema de ditado ou seja, tudo o que disser utilizando um aparelho
com microfone, aparecer na tela do computador. Este aparelho semelhante a um
microfone para a captao do udio, e tambm possui funes de mouse.
Sero disponibilizados alguns laudos radiolgicos para os testes sem a identificao do
paciente.
Todos os testes sero explicados previamente a cada sesso, depois de explicados, o
observador somente coletar os dados com base em suas aes, sem responder a qualquer
pergunta.
Sero 4 sesses de testes. Os testes duraro cerca de 45 minutos e contero:
questionrio pr-teste, explicao, sesso de testes e questionrio ps-teste.
Todos os dados coletados nestes testes sero mantidos em sigilo absoluto. Nenhum
experimento colocar o usurio em risco. As imagens sero divulgadas apenas em veculos
impressos em artigos cientficos.
Atenciosamente,
Valria Farinazzo Martins

200
APNDICE C AUTORIZAO PARA O USO DE IMAGEM E SOM

201
AUTORIZAO DE USO DE IMAGEM E VOZ
Pelo presente instrumento, __________________________________________________________________,

(nome completo)
__________________, _________________, __________________, portador(a) da Cdula de
(nacionalidade) (estado civil) (profisso)
Identidade RG n________________________, inscrito(a) no CPF/MF sob n _________________________,
com endereo Rua ____________________________________, n ________, complemento ________,
Bairro _______________, _____________/____ autoriza a autora deste trabalho, Valria Farinazzo Martins,
RG 22.543019-8,
a usar, reproduzir e exibir, no Brasil ou no exterior :

sua imagem e sua voz,
captadas em fotografia ou outros meios aptos reproduo, autorizando-a tambm a edit-las, alter-las ou
adapt-las, a seu exclusivo critrio, bem como, sincroniz-las com msicas ou outros sons. A pesquisadora
tambm autorizada a utilizar, reproduzir e exibir a imagem mencionadas, isoladamente ou em conjunto com
outras imagens, nos seguintes materiais: folhetos em geral (encartes) , anncios para revistas e jornais,
reportagens, filmes, cartazes, mdia eletrnica, programas televisivos, materiais didticos (para aulas,
palestras, conferncias, congressos etc.), e outros suportes materiais que podem ser reproduzidos por
terceiros, tais como, DVD, CD-Rom, DVD-Audio, CD etc., todos destinados divulgao das campanhas e das
atividades desenvolvidas pela pesquisadora bem como, dos servios por ela prestados, que poder ser feita
ao pblico em geral. A presente autorizao concedida por prazo indeterminado e a ttulo gratuito, definitivo,
irrevogvel e irretratvel, abrangendo o uso, a reproduo e exibio da imagem e da voz acima mencionadas
em todos os veculos de comunicao existentes, nada podendo ser reclamado a ttulo de pagamento ou de
indenizao, obrigando a todos por si e por seus herdeiros.
So Paulo, de de 2010 .
___________________________________________________
(Assinatura)
Testemunhas:
1- _________________________________ 2 - ______________________________
RG n RG n
202
APNDICE D PLANO DO OBSERVADOR

203
PLANO DO OBSERVADOR

Participante
TM
Roteiro a) Atravs da leitura de laudos:
ii) Verificar a diferena de preciso entre o usurio falar com tom baixo ou
alto;
iii) Usurio l um laudo e usurio fala um laudo sem ler;
b) Atravs da leitura de laudos:
i) Verificar a diferena de preciso entre o usurio falar mais pausadamente
ou mais rapidamente;
ii) Verificar a diferena de preciso entre o usurio falar com tom baixo ou
alto;
Resultados
Anlise

Participante
TM
Roteiro Verificar, atravs de observao, como o sistema age perante os seguintes erros:
a) O usurio usa palavras que no esto no dicionrio da aplicao um
laudo ser modificado para atingir este objetivo.
b) O sistema no consegue reconhecer o que o usurio dita
c) O usurio erra o laudo e deseja refaz-lo.
Resultados
Anlise
Nome da Mtrica Carga Cognitiva

Participante
TM
204
Orientaes aos Se voc no fez o treinamento inicial da fala, faa-o agora;

Participantes a) Leia um laudo sem a pontuao.
b) Leia um laudo e faa a pontuao correta.
Roteiro
Resultados
Anlise
Nome da Mtrica Adequao do Feedback e Visibilidade do Sistema

Participante
TM
Roteiro a) o sistema no deve fornecer feedbacks que atrapalhem a capacidade de
raciocnio do usurio:
O sistema interrompe o ditado;
O sistema inicia processos de alertas;
b) deve estar presente, de maneira que o usurio, em tempo oportuno, saiba de
erros que tenham ocorrido no sistema enquanto ele ditava o laudo:
O sistema permite, de alguma forma, que ocorreu uma falha no
reconhecimento de alguma palavra;
Resultados
Anlise
205
APNDICE E - RESULTADOS DA APLICAO DO QUESTIONRIO

PARA 6 VOLUNTRIOS
206
RESULTADOS DA APLICAO DO QUESTIONRIO PARA 6 VOLUNTRIOS
Seo 2: Avaliao da usabilidade atravs de Questionrio

Avalie o uso do sistema com os critrios descritos abaixo marcando com um X.

Esta aplicao tem uma apresentao grfica 2 3 1
agradvel e legvel
fcil entender o que eu preciso fazer na 4 1 1
aplicao
A interface grfica bastante intuitiva 1 4 1
A aplicao informa o que est acontecendo ao 1 5
usurio (por exemplo, se uma palavra no foi
Foi fcil aprender a utilizar a aplicao 4 2
Quanto velocidade de resposta (transcrio do 3 1 2
ditado em texto) suficiente
Mesmo sem experincia no uso deste sistema, 2 3
fcil utiliz-lo
Acredito que a aplicao funciona de maneira 4 2
pronncia
H mecanismos no sistema, que acesso atravs 1 5
de mouse ou teclado, que proporcionam um
melhor desempenho na transcrio (tais como
acessar frases j prontas atravs de um menu,
enquanto dito)
Quando erro no ditado, fcil fazer o sistema 2 4
O sistema possui atalhos para que eu possa 1 2 3
realizar minha tarefa de maneira mais eficiente
As formataes, tais como ponto final, 3 1 2
vrgula, negrito, so de fcil assimilao, no
me fazendo pensar muito para utiliz-las.
Quando fao hesitaes, tais como "mmh", 1 2 1 2
"Aaah", o sistema ignora, captando somente
palavras pertencentes a meu vocabulrio para
o laudo.
fcil fazer a formatao do texto enquanto dito 3 1 2
um laudo, tal como mudar de linha e pontuar.
O sistema de ajuda conseguiu esclarecer minhas 4 2
Consigo entender perfeitamente o som gravado 6
do ditado que fiz.
207

Pontos positivos da aplicao:
fcil de ser utilizada
-----------------------------------
fcil de ser utilizada e amigvel
-----------------------------------
Reconhece a maioria das palavras ditadas na minha velocidade normal de fala.
Interface simples e intuitiva no necessita de muitos passos para iniciar
Fcil assimilao e memorizao
Reconhece bem a voz, mesmo com rudo
--------------------------------------
Fcil reconhecimento de palavras do vocabulrio tcnico e do cotidiano
Interface simples e intuitiva
Reconhece bem a voz mesmo pronunciada em tom mais alto e mais baixo, mais rpido e mais
lento.
Pontos negativos da aplicao:

A aplicao no reconhece minha voz quando falo baixo;
A aplicao se confunde quando falo rpido;
A aplicao no apresenta uma maneira de corrigir um erro;
________________________________________________
No considerei nenhum ponto negativo
---------------------------------------------
Velocidade de transcrio
No reconhece nada se o volume da voz estiver baixo
---------------------------------
Apenas melhorar os pontos negativos
--------------------------------
No reconhece bem palavras fora do vocabulrio mdico (Radiologia)
Atraso grande
-------------------------------
Homnimas so reconhecidas errado, por ex, ponto e .
O sistema no possui mecanismo de reparo de erros durante o ditado

Tratamento de erros preveno: Marcar as palavras que foram escritas com certo grau de
indeciso aumentaria o grau de confiabilidade na aplicao.
_______________________________________________
Pode ser utilizado em muitas aplicaes
--------------------------------------------------
Falta de atalhos vocais
Tratamento de erro algum mecanismo para reparar algum erro, solicitado pelo usurio
208
APNDICE F - PLANO DE OBSERVAO PARA O USO DO SISTEMA DE

TRANSCRIO AUTOMTICA DE LAUDOS EM RADIOLOGIA
209
PLANO DE OBSERVAO PARA O USO DO SISTEMA DE TRANSCRIO AUTOMTICA DE

LAUDOS EM RADIOLOGIA
DELAY DO SISTEMA
(Segundos)
O usurio fala de maneira natural, ou seja, nem muito pausado nem muito rpido ( ) Sim ( ) No
Observaes:
O usurio insere pontuao explicitamente ( ) Sim ( ) No
Observaes:
O sistema coloca pontuao automaticamente ( ) Sim ( ) No
Observaes:
O usurio fez interjeies durante a gravao do laudo ( ) Sim ( ) No
Observaes:
O sistema ignorou as interjeies do usurio ( ) Sim ( ) No
Observaes:
O usurio falou em tom normal ( ) Sim ( ) No
Observaes:
INTERFERNCIA SONORA
(db)

Tempo de ditado:
Observaes:
Tempo para correes:
Observaes:
Observaes:
Observaes:
Tempo Total
RECUPERAO DE ERROS
O usurio refez parte do texto depois do ditado ( ) Sim ( ) No
Observaes:
Quantas palavras foram editadas
Observaes:
O usurio inseriu palavras novas no sistema ( ) Sim ( ) No
210
Observaes:
O usurio formatou o texto ( ) Sim ( ) No
Observaes:
O usurio olhou para a tela enquanto ditava o laudo ( ) Sim ( ) No
Observaes:
O usurio fez hesitaes quando o texto apresentava delay para aparecer na tela ( ) Sim ( ) No
Observaes:
O usurio dita o laudo e j faz a formatao explcita (ditada) do laudo ( ) Sim ( ) No
Observaes:
211
ANEXO A - TABELA DE REFERNCIA DE INTERFERNCIA SONORA
DESEJVEL PARA AMBIENTES

212
TABELA DE REFERNCIA DE INTERFERNCIA SONORA DESEJVEL PARA AMBIENTES
So seguidas as disposies da ABNT - NBR 10152 e as normas brasileiras correspondentes (ABNT - NBR
10152, 2010)..
Quadro 73: Medio de Rudo

NB-95 NBR 10152/1987 - Tabela 1 dB(A) NC
HOSPITAIS 35 - 45 30 - 40
Apartamentos, Enfermarias, Berrios, C.Cirrgicos 40 - 50 35 - 45
Laboratrios, reas para uso do pblico 40 - 50 35 - 45
Servios 45 - 55 40 - 50
ESCOLAS
Bibliotecas, Salas de msica, Salas de desenho 35 - 45 30 - 40
Salas de aula, Laboratrios 40 - 50 35 - 45
Circulao 45 - 55 40 - 50
HOTIS
Apartamentos 35 - 45 30 - 40
Restaurantes, Salas de Estar 40 - 50 35 - 45
Portaria, recepo, Circulao 45 - 55 40 - 50
RESIDNCIAS
Dormitrios 35 - 45 30 - 40
Salas de Estar 40 - 50 35 - 45
AUDITRIOS
Salas de Concerto, Teatros 30 - 40 25 - 30
Salas de Conferncias, Cinemas, Salas de Mltiplo Uso 35 - 45 30 - 35
RESTAURANTES
Restaurantes 40 - 50 35 - 45
ESCRITRIOS
Salas de Reunies 30 - 40 25 - 35
Salas de Gerncia, Projetos e Administrao 35 - 45 30 - 40
Salas de Computadores 45 - 65 40 - 60
Salas de Mecanografia 50 - 60 45 - 55
IGREJAS E TEMPLOS
Cultos Meditativos 40 - 50 35 - 45
LOCAIS PARA ESPORTE
Pavilhes fechados para espetculos e Atividades Esportivas 45 - 60 40 - 55
213
ANEXO B - LAUDOS UTILIZADOS NOS TESTES E INSPEES
DE USABILIDADE
214
LAUDOS UTILIZADOS NOS TESTES E INSPEES DE USABILIDADE
Quadro 74: Laudos utilizados nos testes

Laudo Texto
1 Tcnica:
Exame realizado em equipamento de alta potncia, com tcnica de alta kilovoltagem, que fornece
escala de contraste longa (baixo contraste).
Laudo:
Osteofitose dorsal.
Seios e cupulas diafragmaticas livres.
Vascularizacao pulmonar normal.
Imagem cardaca normal.
Aorta alongada.
Arco mdio normal.
2 Tcnica:
Laudo:
Osteofitose dorsal.
Esternorrafia.
Obliterao dos seios costo-frnicos.
Aorta alongada.
Arco mdio normal.
Estria densa no pice do hemitorax direito.
3 Tcnica:
Laudo:
Costela cervical bilateral.
Osteofitose dorsal.
Obliterao do seio costo frnico posterior esquerdo.
Aorta alongada com calcificao na crossa.
Arco mdio normal.
4 Tcnica:
Laudo:
Esternorrafia.
Prtese de valva mitral.
215

Aumento do hilo direito e da vascularizao pulmonar.
Aorta normal.
Arco mdio retificado.
5 Tcnica:
Laudo:
Osteofitose dorsal.
Obliterao dos seios costo-frnicos posteriores.
Aorta alongada.
Arco mdio normal.
6 Tcnica:
Laudo:
Aorta normal.
Arco mdio normal.
mediastino sem alteraes.
concluso:
trax normal.
7 Tcnica:
Laudo:
Osteofitose dorsal.
Aorta normal.
Arco mdio normal.
8 Tcnica:
escala de contraste
216
longa (baixo contraste).

Laudo:
Costela cervical direita.
Aorta alongada.
Arco mdio normal.
9 Tcnica:
Laudo:
Aorta normal.
Arco mdio retificado.
10 Tcnica:
Laudo:
Aorta alongada.
Arco mdio normal.

Val Tese

Uploaded by

Document Information

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Val Tese

Uploaded by

Copyright:

Available Formats

VALRIA FARINAZZO MARTINS

AVALIAO DE USABILIDADE PARA SISTEMAS DE TRANSCRIO

AUTOMTICA DE LAUDOS EM RADIOLOGIA

AVALIAO DE USABILIDADE PARA SISTEMAS DE TRANSCRIO

AUTOMTICA DE LAUDOS EM RADIOLOGIA

Tese apresentada Escola Politcnica da

AVALIAO DE USABILIDADE PARA SISTEMAS DE TRANSCRIO

AUTOMTICA DE LAUDOS EM RADIOLOGIA

Tese apresentada Escola Politcnica da

rea de Concentrao: Sistemas Eletrnicos

Orientador: Prof. Dr. Lincoln de Assis Moura Jr.

Aos meus pais Maria Izolete Farinazzo Martins e

Universidade Presbiteriana Mackenzie, por ter me fornecido subsdios para a

empresa MacSym Tecnologia Mdica, em especial ao Sr. Carlos Kavai, pela

Aos meus amigos e colegas da Universidade Presbiteriana Mackenzie pela

Palavras-chaves: Avaliao de Usabilidade, Voice User Interface, Sistema de

Keywords: Usability Evaluation, Voice User Interface, Automatic Transcription System of

Figura 1: Componentes de um Sistema Interativo ......................................................... 34

Tabela 1: Perfil dos Participantes. ................................................................................ 149

Grfico 1: Porcentagem de Erro de Teste de um Laudo .............................................. 125

Quadro 1: Diferenas entre GUI e VUI. (Fonte: autor) ................................................... 38

GUI Graphical User Interface

HIS Hospital Information System

IHC Interface Homem-Computador

IVR Interactive Voice Response

NVA Nonverbal Audio

PACS Picture Archiving and Communication System

RIS Radiology Information System

SUI Speech User Interface

TAT Turnaround Time

TTS Text to Speech

VUI Voice User Interface

WER Word Error Rate

WIMP Windows, Icons, Mouse and Pointers

WYSIWYG What you see is what you get

Sero apresentados, neste captulo, as consideraes iniciais deste trabalho, os objetivos,

1.1 Consideraes iniciais

Interface Homem-Computador (IHC) pode ser definida como a parte de um sistema

No incio da computao, em que apenas os especialistas utilizavam sistemas computacionais,

Os sistemas de dilogo de voz surgiram de pesquisas em Inteligncia Artificial dos anos 50

Interfaces do usurio baseadas em voz usam tecnologia de reconhecimento e sntese de voz

Apesar deste avano, pouco se tem falado a respeito do processo de desenvolvimento de

Outro ponto-chave so os processos de avaliao destas interfaces do ponto de vista de

Analisando, especialmente, a rea da Sade, a utilizao de reconhecimento de voz em

Sendo assim, torna-se necessrio o desenvolvimento de uma metodologia para analisar a

1.2 Objetivos da Pesquisa

O objetivo deste trabalho de pesquisa propor uma metodologia de avaliao da usabilidade

1. Estudar o estado da arte das tecnologias envolvidas na construo de interfaces de

2. Conhecer todo o processo de criao de interfaces do usurio baseadas em voz:

3. Estudar os requisitos prprios de VUI, em contraposio aos requisitos de GUI.

4. Entender as particularidades da rea da Sade, principalmente em Radiologia, no que

5. Estudar aplicaes de VUI de um modo geral, VUI na rea da Sade e mais

6. Buscar, na literatura, os requisitos mencionados para a avaliao de VUIs e VUI em

8. Classificar os requisitos propostos, assim como sua importncia no processo de

9. Escolher e justificar o uso dos requisitos classificados dentro da metodologia.

10. Estudar os mtodos de inspeo de usabilidade e os mtodos de testes de usabilidade

12. Estabelecer mtricas a fim de que se possam analisar os requisitos de maneira

13. Aplicar a metodologia proposta a um conjunto de sistemas de VUI em Radiologia.

14. Planificar todos os testes necessrios para a validao da metodologia.

15. Analisar os resultados encontrados a partir da aplicao da metodologia.

16. Apresentar pontos fortes e fracos do uso da metodologia.

18. Estabelecer consideraes finais sobre o trabalho, incluindo a discusso sobre as

1.3 Motivaes e Justificativas