1

Balanced Scorecard, Modelo de Excelncia EFQM e Common Assessment Framework, como

instrumentos integrados de Gesto de Qualidade nos Servios Pblicos

Ana Isabel Carmona Pereira Louro
E-mail: annelouro@gmail.com
Universidade da Beira Interior | Departamento de Gesto e Economia
Doutoramento em Gesto - Junho de 2009

RESUMO
Vrios autores tm-se debruado sobre o conceito de qualidade nos servios, como um instrumento
que visa promulgar a eficcia e eficincia desses mesmos servios. A aplicao de instrumentos de
gesto privada no seio da Administrao Pblica preconiza a introduo de uma nova gesto pblica,
atenta qualidade, auto-avaliao e por conseguinte promoo da mudana nos servios. Neste
mbito, a aplicao coordenada do Balanced Scorecard (BSC), do modelo de Excelncia da European
Foundation for Quality Managemen (EFQM) e da Common Assessement Framework (CAF),que poder
ser uma estratgia a que os organismos pblicos podem recorrer para promoverem a melhoria
contnua.
Com base no enquadramento terico elaborado na reviso de literatura, o objectivo deste estudo
pressupe a definio e anlise de uma estrutura integrada, BSC-CAF, que permite efectuar uma
aplicao conjunta destas ferramentas. Constatou-se que o emprego em simultneo das ferramentas
enunciadas, permite fomentar a criatividade e a gesto dos recursos de que as organizaes dispem,
de modo a melhorar o seu desempenho organizacional.
Palavras-chave: Qualidade, Balanced Scorecard, modelo de Excelncia EFQM e Moldura Comum de
Avaliao.

ABSTRACT
Several authors have been working on the concept of quality in services as a tool that aims to bring the
efficiency and effectiveness of those services. The application of management tools within the private
government advocates the introduction of a new public management, given the quality, the self-
assessment and therefore the promotion of change in those services. In this context, the coordinated
implementation of the Balanced Scorecard (BSC), the Excellence Model of the European Foundation for
Quality Managemen (EFQM) and the Common Assessment Framework (CAF), may be a strategy that
the public can use continuous improvement.
2

Based on the theoretical framework developed in the literature review, this study requires the definition
and analysis of an integrated structure, BSC-CAF, which allows a joint application of these tools. It was
found that the use of the tools listed at the same time, allows foster creativity and management of
resources that organizations have to improve organizational performance.
Key-Words: Quality, Balanced Scorecard, Excelence Model European Foundations for Quality
Management and Common Assessement Framework

1. INTRODUO
A Administrao Pblica tem vindo a sofrer a influncia de vrios modelos de gesto, surgindo assim,
no decorrer do tempo, os modelos de administrao legal ou burocrtica, administrao profissional,
administrao poltica, o modelo gestionrio com a teoria da public choise, e a governao como nova
abordagem (Ribeiro, 2000). Contudo, esta evoluo dos modelos de gesto leva a uma perda de
competitividade das instituies pblicas face s privadas, facto que promove o aparecimento de um
novo paradigma de gesto pblica, o new public management, o qual pressupe a aplicao de
determinadas nuances da gesto empresarial s instituies pblicas. (Rocha, 2006)
Deste modo, a modernizao da Administrao Pblica tem vindo a empreender programas de reforma
e modernizao administrativa, como sejam a implementao de novos sistemas de gesto, que
coadunem o controlo do cumprimento da legalidade, a avaliao do desempenho, a qualidade e a
melhoria nos servios pblicos. Neste mbito, surgem as ferramentas de gesto e auto-avaliao nas
organizaes, neste caso concreto, o BSC, o modelo EFQM e a CAF, as quais esto interligadas, uma
vez que em determinado ponto da sua essncia preconizam influncia umas para as outras.
Este artigo pressupe um estudo exploratrio, que pretende investigar a utilizao conjunta de duas
ferramentas de gesto da qualidade: o BSC e a CAF, atravs do mtodo de anlise de contedo e
proposta de uma estrutura que integre os elementos comuns e que relacione os demais, atravs da
definio de um modelo de Equaes Estruturais para justificar teoricamente as especificaes dos
relacionamentos causa-efeito que possam ser delineados. Segundo Weber (1990), a anlise de
contedo um mtodo de pesquisa, que utiliza uma determinada quantidade de procedimentos, de
modo a tornar vlidas as inferncias de um determinado texto, onde o tratamento dos contedos
assume especial importncia (Bardin, 1985), neste caso concreto, a anlise da envolvncia do BSC e
da CAF. Por seu lado, a construo de um modelo passvel de explicar as relaes teoricamente
estabelecidas entre as variveis, atravs da mistura da anlise factorial, regresso mltipla e anlise de
trajectrias (Ullman, 2007), permitindo estabelecer relaes causais entre as variveis em estudo
(Shadish et al., 2002), neste caso especfico o BSC e a CAF.
3


As caractersticas do estudo exploratrio permitem ao investigador aumentar a prpria experincia em
torno de determinado problema, partindo da formulao de uma hiptese, que permite aprofundar o
estudo nos limites de uma realidade especfica, analisando os antecedentes e as caractersticas, de
forma a consolidar os conhecimentos, com o intuito de promover uma pesquisa descritiva ou de tipo
experimental (Trivins, 1987).
O presente estudo inicia com uma reviso da literatura, que expe uma evoluo da qualidade
qualidade nos servios pblicos, assim como as principais consideraes acerca de cada uma das
ferramentas em anlise: BSC, EFQM e CAF. Com base na reviso literria, possvel abstrair
consideraes da importncia da aplicao simultnea das vrias ferramentas e por conseguinte
elaborar uma estrutura que as permita utilizar de modo integrado. Teoricamente sero abordadas as
trs ferramentas, mas ser somente feito o modelo de integrao BSC-CAF, na medida em que a CAF
uma ferramenta de auto-avaliao desenvolvida expressamente para aplicao aos servios
pblicos, a qual deriva do modelo de excelncia EFQM, sendo no fundo, uma adaptao do mesmo,
tendo em conta a realidade do sector pblico.
2. REVISO DE LITERATURA
2. 1. Da Qualidade Qualidade nos Servios Pblicos
O conceito de qualidade tem vindo a ser introduzido desde os anos cinquenta, mas somente na dcada
de oitenta aplicado s Administraes Pblicas, sendo a via para a orientao dos servios para o
cidado. A qualidade assim entendida como uma das mais recentes preocupaes ticas da
Administrao Pblica. A gesto da qualidade surge como resposta interrogao da Administrao
como instituio eficaz, como organizao prestadores de servios a cidados que esperam do
conjunto das organizaes pblicas respostas para as suas necessidades (Villoria, 1996: pp.98).
Vrios autores tm-se debruado acerca da qualidade nos servios pblicos e dos vrios instrumentos
da qualidade, da relao entre os mesmos, assim como das possibilidades e dos constrangimentos
inerentes qualidade nos servios (Domingues, 2004).
A investigao da gesto da qualidade nas organizaes pressupe em ltima instncia, a anlise dos
efeitos directos e indirectos nos nveis de desempenho (Saraph, et. al., 1989; Choi, 1995; Goster e
Squines, 2003), apresentando instrumentos capazes de medir o impacte das prticas, e no caso do
presente estudo, iremos abordar a relao entre duas ferramentas de qualidade integradas.
O conceito de qualidade tem vrias acepes, desde os primeiros gurus. Crosby (1979), estreita-a
como a conformidade com os requisitos, Deming (1986), define-a qualidade como a melhoria contnua,
4

Juran (1988), afere-a como sendo algo inerente ao uso, mas todos eles se baseiam na premissa
comum de que a qualidade dominada pelo cliente.
A qualidade o processo de comprovao e no comprovao de expectativas do cliente, levando a
que os servios tenham a necessidade de aprender com a experincia do cliente e que sejam capazes
de garantir essa aprendizagem como propulsor da sua melhoria organizacional, constituindo um
parmetro definido pelo cliente que ultrapassa os parmetros dos produtos, contemplando aspectos
relacionados com o ambiente ou com as relaes humanas. Deste modo, a funo qualidade e o termo
cliente devem ser entendidos de forma abrangente.(Groonroos, 1996)
Por sua vez, a qualidade dos servios pode ser entendida pelos clientes atravs da sua tangibilidade,
ou seja o servio aquilo que o cliente v e sente, nomeadamente a aparncia fsica do local de
trabalho, assim como atravs da sua intangibilidade, como seja a amabilidade e cordialidade dos
elementos que esto a efectuar o atendimento ao pblico (Ansu et al., 2005), uma vez quer os servios
preconizam determinadas especificidades, sejam eles de cariz pblico (a misso deste servio de
interesse geral, seja escala supra nacional, nacional ou regional, cujo intuito no o lucro) ou privado
(a misso servir o pblico, embora o intuito seja em ltima instncia, o lucro).
Assim, necessrio que exista uma percepo da necessidade de fornecer servios com excelente
qualidade, monitorizando continuamente as percepes dos clientes sobre a qualidade do servio, de
modo a identificar as causas de eventuais fossos que sejam encontrados, de modo a alcanar a
melhoria contnua. (Zeithaml, et al., 1990)
Com a evoluo das expectativas do cliente em relao qualidade, para alm dos produtos,
importante que se tenha ateno qualidade dos servios, caracterizado por servios de atendimento,
transporte, turismo, de foro privado e pblico. Um servio pblico um servio de interesse para toda a
comunidade, na procura do bem comum. A qualidade pode assim ser entendida a vrios nveis,
nomeadamente ao nvel dos sector dos servios, e por conseguinte dos servios pblicos, pelo que
importa reflectir um pouco sobre esta temtica. A qualidade dos servios pblicos pode ser entendida
como uma filosofia de gesto que permite alcanar uma maior eficcia e eficincia dos servios, a
desburocratizao e simplificao de processos e procedimentos e a satisfao das necessidades
explcitas e implcitas dos cidados (Decreto-Lei n 166/99, art. 2).
Esta satisfao das necessidades implcitas e explcitas dos cidados s possvel se existirem
mecanismos que possibilitem s organizaes efectuar uma gesto rigorosa dos seus recursos, mediante a
definio da sua misso, viso, valores, no sentido de atingir os objectivos delineados no sentido da
estratgia definida. Nesse sentido importante que as organizaes apliquem instrumentos de gesto que
5

lhes permita aferir isso, mas tambm possibilitar uma auto-avaliao, no sentido de fomentar os pontos fortes e
melhorar as situaes menos desejveis.
Em suma, a procura pela excelncia nos servios e a mensurao da qualidade dos mesmos, tem sido uma
estratgia utilizada de modo a obter uma vantagem competitiva, neste contexto, e ao longo dos anos, diversos
modelos foram desenvolvidos com o intuito de avaliar a qualidade dos servios, de entre os quais se destacam o
modelo dos 5 Gaps (Parasuraman et al., 1985), o modelo Servqual (Parasuraman et al, 1988) e o modelo
Servperf (Cronin e Taylor, 1992), assim como a utilizao do BSC e do modelo EFQM, e mais recentemente
aplicado ao sector pblico, a CAF.
2.2. O Balanced Scorecard
O BSC uma metodologia que se apoia em conceitos da gesto da qualidade total, como por exemplo,
a orientao para os clientes, a gesto por processos, a melhoria continua ou a gesto de
desempenho, tendo tido um desenvolvimento ao longo dos anos, aplicado numa primeira vertente ao
sector privado, e posteriormente adaptado ao sector pblico. Apresentado como um modelo de
avaliao e performance empresarial, desenvolvido pelos professores da Harvard Business School,
Robert Kaplan e David Norton, em 1992, de forma a reflectir o equilbrio entre os objectivos de curto e
longo prazo, e entre medidas financeiras e no-financeiras, entre indicadores de tendncias e
ocorrncias e, ainda, entre as perspectivas interna e externa de desempenho, permitindo que as
organizaes acompanhem o desempenho financeiro, monitorizando, ao mesmo tempo, o progresso
na construo de capacidades e na aquisio dos activos intangveis necessrios para o crescimento
futuro. No entanto, a sua aplicao prtica propiciou o seu desenvolvimento, passando de uma
metodologia de avaliao da performance organizacional, para uma metodologia de gesto estratgica.
Esta metodologia pressupe a definio da misso, viso
1
, valores e estratgia da organizao,
atravs da definio de indicadores do desempenho (financeiros e no financeiros), de forma a
possibilitar a execuo da estratgia, com o intuito ltimo de gerir a organizao de forma eficiente e
eficaz, mediante a elaborao de mapas estratgicos. (Kaplan e Norton, 2001; Young e OByrne,
2001).
Do mesmo modo, Olve et al. (2000), inferem que o BSC constitui um mtodo que permite
organizao definir o caminho a seguir, de forma concertada. Como referem Negre e Vivas Urieta
(2003), Protti (2002), Rocha e Selig (2001), Camaleo Simn (2000), Aparisi Caudeli e Ripoll Feliu
(2000), Kaplan e Norton (1997), o BSC reflecte o equilbrio entre objectivos de curto e longo prazo,

1
A viso deve ser entendida como a situao futura desejada, de modo a orientar, controlar e estimular a organizao no alcance desse fim, atendendo a
quatro perspectivas distintas: financeira, dos clientes, dos processos internos e da aprendizagem e crescimento (Olve et al., 2000).
6

medidas financeiras e no financeiras, entre indicadores histricos e previsionais e entre perspectivas
de actuao externas e internas.
No BCS, existe uma componente deveras importante, as relaes causa-efeito que advm da
estratgia da organizao. Neste sentido, o sistema de medio deve estabelecer de forma explcita
as relaes (hipteses), entre os objectivos (e medidas) nas diversas perspectivas, com o intuito de
poderem ser geridas e validadas. (Kaplan e Norton, 1997: 44).
Em suma, o BSC um modelo integrado de quantificao do desempenho organizacional, cujo
principal objectivo proporcionar aos gestores uma viso global e integrada do desempenho
organizacional, atravs de indicadores do desempenho adstrito a um conjunto de perspectivas
(Tangen, 2004), que os auxiliem essa mesma gesto a alcanar os objectivos organizacionais.
Figura 1 Perspectivas do Balanced Scorecard

Fonte: Adaptado de Kaplan e Norton, 1996

considerado de entre todos os modelos, o mais adequado, uma vez que possibilita transformar a
estratgia da organizao num conjunto de medidas que permitem gesto a avaliao do sistema.
Vrios so os autores que suportam esta afirmao, indicando por isso mesmo um conjunto de
vantagens de aplicao do modelo: uma ferramenta que permite rapidamente o atingir da excelncia
(Olve et al., 2000) transforma a viso e a estratgia em aces (Banker et al., 2001) permite o
alinhamento dos colaboradores com a viso (Bourne, 2000).
CLIENTES
De que forma que os nossos
clientes nos vem ?
PROCESSOS INTERNOS
Em que que podemos ser
excelentes?
FINANCEIRA
De que forma devemos ser
vistos pelos nossos
accionistas?
MISSO
VISO
ESTRATGIA
APRENDIZAGEM E
CRECIMENTO
Conseguiremos inovar e criar
valor?
7

Em suma, o BSC preconiza um instrumento de gesto que permite a construo de um conjunto de
indicadores quantitativos, de forma a avaliar a capacidade da organizao, no sentido do cumprimento
da sua misso e dos objectivos estratgicos a alcanar, permitindo de certo modo obter respostas para
o presente e para as necessidades futuras atravs da utilizao das vantagens do potencial humano
(Tejedor et al., 2008), tendo em linha de conta determinadas componentes:
Anlise Estratgica
Anlise Stakeholders
Anlise Swot
Formulao Estratgica
Misso
Viso
Valores
Vectores
Perspectivas e Objectivos Estratgicos
Indicadores, Iniciativas e Metas
Mapa Estratgico (envolve os objectivos distribudos pelas perspectivas, atendendo aos
vectores estratgicos)
2.4. O modelo de Excelncia EFQM
O Modelo de Excelncia da EFQM
2
uma ferramenta de gesto que permite estimular as organizaes
a desenvolverem-se, recorrendo auto-avaliao como um processo de aprendizagem, de modo a
levar a cabo a implementao das opes estratgicas. Este modelo assenta em vrios pressupostos
entre os quais a necessidade de ter em conta as diferentes partes interessadas na organizao:
clientes, colaboradores, fornecedores, accionistas e a prpria sociedade; a necessidade de ter em
conta a rede de processos da organizao: processos de liderana, de estratgia e planeamento, de
gesto das pessoas, de gesto dos recursos, de produo e prestao de servios, de melhoria; a
necessidade de ter em conta que a gesto dos processos deve estar orientada para os resultados; a
necessidade de ter em conta que a inovao e a aprendizagem so as molas do progresso da
organizao, devendo por isso ser continuamente alimentadas.
O Modelo encontra-se dividido em nove critrios, classificados em duas vertentes distintas: "Meios",
que tem em linha de conta a forma como os resultados so alcanados, e "Resultados", que tem a ver

2
EFQM, a Fundao Europeia para a Gesto da Qualidade, sendo uma organizao sem fins lucrativos.
8

com o que a organizao alcanou. Pode-se sintetizar que a satisfao dos clientes, colaboradores e o
impacto na sociedade s so possveis atravs de uma liderana que conduza a poltica e a estratgia,
assim como gesto das pessoas, os recursos e os processos, de fora a alcanar a os resultados.
Figura 2 Caracterizao do Modelo EFQM

Fonte: DGAEP (2007)

importante que se defina o que que cada critrio pressupe, na medida em que a posteriori sero
analisados um a um, de modo a compor o modelo proposto. Importa ressalvar que cada critrio
composto por um determinado nmero de subcritrios.
MEIOS
Liderana: aspectos envolvidos com a misso, a viso, os valores e a tica, que esto subjacentes
cultura e desempenho organizacional, composto por 5 subcritrios;
Pessoas: aspectos relacionados com os recursos humanos, a forma como so geridos, os seus
conhecimentos e competncias, assim como o seu envolvimento e responsabilizao, atendendo
a 5 subcritrios distintos;
Poltica e Estratgia: aspectos que focam os stakeholders, as suas necessidades e expectativas,
atendendo ao desempenho das actividades e sua mensurao, verificados atravs 4 subcritrios
diferentes;
Parcerias e Recursos: aspectos que se relacionam com a gesto de parcerias e de recursos,
sejam eles no financeiros ou financeiros, recolhidos atravs de 5 subcritrios;
Processos: os processos so sistematicamente concebidos e geridos; melhorados, atravs da
inovao, satisfazendo e gerando valor para os stakeholders; os produtos e servios so

Pessoas


Resultados
Pessoas


Poltica
e Estratgia


Resultados
Clientes


Liderana


Parcerias
e Recursos

Processos


Resultados na
Sociedade


Resultados
do
Desempenho
Chave



MEIOS
RESULTADOS

9

concebidos e desenvolvidos a partir das necessidades e expectativas dos clientes, com a
adequada produo, entrega e assistncia; as relaes com os clientes so geridas e valorizadas,
passveis de serem recolhidas as observaes atravs de 5 subcritrios.
RESULTADOS
Resultados para as pessoas: so medidas da percepo das pessoas; e funcionam como
indicadores de desempenho da organizao, evidenciados mediante a aplicao de 2 subcritrios;
Resultados para os clientes: so medidas da percepo dos clientes; e funcionam como
indicadores de desempenho da organizao, recolhidos atravs de 2 subcritrios;
Resultados para a sociedade: so medidas da percepo da sociedade; e funcionam como
indicadores de desempenho da organizao, atendendo a 2 subcritrios;
Resultados-chave do desempenho: reflectem e medem a poltica e a estratgia da organizao; e
funcionam como indicadores-chave do desempenho da organizao, sendo passveis de serem
observados atravs da utilizao de 2 subcritrios.
O Modelo est suportado num sistema de pontuao, que permite avaliar o score, estando essa
pontuao dividida 50% para os "meios" e 50% para os "resultados", cada critrio tendo uma
pontuao especfica de acordo com o grau de importncia que lhe foi atribuda.
Este um modelo que, de acordo com Tejedor et al. (2008), obtm uma maior satisfao por parte de
quem implementa, permitindo uma auto-avaliao baseada num conjunto de critrios que facilitam a
avaliao externa e por conseguinte efectivar praticas de benchmarking. Por outro lado possui
determinadas deficincias, uma vez que se baseia na qualidade e na melhoria dos processos locais e
no ao nvel das melhorias operacionais; utiliza um conjunto muito vasto de indicadores, o que dificulta
o controlo dos mesmos; no preconiza as relaes causa-efeito entre os indicadores; e analisa a
qualidade de um ponto de vista generalista.
Em suma, o modelo da EFQM um modelo de auto-avaliao organizacional, que visa alcanar a
excelncia organizacional, baseando-se em critrios: orientao para resultados, focalizao no cliente,
liderana e consistncia de objectivos, envolvimento das pessoas, abordagem por processos, melhoria
contnua e inovao, abordagem tomada de deciso baseada em factos, parcerias mutuamente
benficas e responsabilidade pblica, de forma a auxiliar as organizaes a compreender as lacunas
existentes no seu funcionamento, estimulando a identificao de solues no sentido da melhoria
contnua.
10


2.5. A Common Assessment Framework
Se traduzirmos letra o significado de Common Assessment Framework, como Estrutura Comum de
Avaliao, o termo Estrutura pressupe um conjunto de princpios agrupados de forma lgica e
coerente, abarcando todas as caractersticas de funcionamento dessa mesma organizao, de forma a
efectuar um diagnstico da organizao. Comum subentende que as mesmas estruturas so
empregues nas vrias organizaes, independentemente da sua cultura ou extracto socioeconmico; A
avaliao engloba as necessidades de melhoria nos stios onde sejam necessrias. (DGAEP, 2005)
Preconiza um modelo de auto-avaliao criado no espao da Unio Europeia, especificamente para
aplicao aos organismos da Administrao Pblica, para que estes promovam a gesto da qualidade
atravs da aplicao de tcnicas de Gesto da Qualidade Total, mediante a realizao de diagnsticos,
baseados num referencial de boas prticas e indicadores promulgados pelos prprios servios,
baseada nos propsitos do modelo EFQM, e no modelo da Speyer.
Similarmente ao modelo EFQM, tambm a CAF se encontra estruturada em nove critrios: cinco
Critrios Meio (Liderana, Planeamento e Estratgia, Gesto de Pessoas, Parcerias e Recursos,
Gesto dos Processos e da Mudana) que pressupem o modo como a organizao opera ou executa,
e quatro Critrios Resultado (Resultados relativos s pessoas, Resultados orientados para os
cidados/clientes, Impacto na Sociedade e Resultados de Desempenho-Chave), que pressupe o que
a organizao fez ou atingiu, permitindo organizao proceder a um diagnstico do seu
funcionamento e dos resultados atingidos, baseado em evidncias.
Figura 3 - Caracterizao da CAF

Fonte: DGAP (2007)

MEIOS

RESULTADOS



Planeamento e
Estratgia


Parcerias e
Recursos





Liderana

Gesto das

Pessoas

Resultados

orientados

para os
cidados/cliente
s

Impacto

na

Sociedade

APRENDIZAGEM E INOVAO

Resultados

relativos

s Pessoas





Liderana



Pessoas






Processos






Resultados

do

desempenho -
chave

11


Segundo testemunhos de investigadores do European Institute of Public Administration (EIPA), a CAF
um instrumento que permite aos gestores pblicos melhorar as suas competncias de gesto e
aplicar uma ferramenta de qualidade nas suas organizaes, atravs da realizao de uma auto-
avaliao, de forma a ganhar sensibilidade para a utilizao deste tipo de instrumento, permitindo
desenvolver uma cultura de qualidade orientada para o cidado/cliente. Esta moldura de auto-avaliao
poder servir de elo entre os vrios modelos e metodologias de gesto da qualidade utilizadas na
Administrao Pblica da Unio Europeia. Poder ainda constituir um mecanismo de comparao de
meios e resultados com instituies afins, atravs do desenvolvimento de prticas de benchmarking e
de benchlearning.
Para que seja possvel observar o modelo conceptual a ser proposto importante efectuar a
elencagem dos subcritrios.
Tabela 1 Subcritrios CAF
CRITRIOS SUBCRITRIOS
1. LIDERANA 1.1. Dar uma orientao organizao desenvolvendo a viso, misso e valores;
1.2. Desenvolver e implementar um sistema de gesto da organizao, do
desempenho e da mudana;
1.3. Motivar e apoiar as pessoas da organizao e servir de modelo;
1.4. Gerir as relaes com os polticos e com as outras partes interessadas de
forma a assegurar uma responsabilidade partilhada;
2. PLANEAMENTO E
ESTRATGIA
2.1. Obter informao relacionada com as necessidades presentes e futuras das
partes interessadas;
2.2. Desenvolver, rever e actualizar o planeamento e a estratgia tendo em conta as
necessidades das partes interessadas e os recursos disponveis;
2.3. Implementar o planeamento e a estratgia em toda a organizao;
2.4. Planear, implementar e rever a modernizao e a inovao.
3. PESSOAS 3.1. Planear, gerir e melhorar os recursos humanos de forma transparente em
sintonia com o planeamento e a estratgia;
3.2. Identificar, desenvolver e usar as competncias das pessoas, articulando os
objectivos individuais e organizacionais;
3.3. Envolver as pessoas atravs do dilogo e da delegao de responsabilidades.
4. PARCERIAS E RECURSOS 4.1. Desenvolver e implementar relaes de parceria relevantes;
4.2. Desenvolver e implementar parcerias com os cidados/clientes;
4.3. Gerir os recursos financeiros;
4.4. Gerir o conhecimento e a informao;
4.5. Gerir os recursos tecnolgicos;
4.6. Gerir os recursos materiais.
5. PROCESSOS 5.1. Identificar, conceber, gerir e melhorar os processos de forma sistemtica;
5.2. Desenvolver e fornecer produtos e servios orientados para os
cidados/clientes;
5.3. Inovar os processos envolvendo os cidados/clientes.
6. RESULTADOS PARA O
CIDADO/CLIENTE
6.1. Resultados de avaliaes da satisfao dos cidados /clientes;
6.2. Indicadores das medidas orientadas para os cidados/clientes.
7. RESULTADOS RELATIVOS
S PESSOAS
7.1. Resultados das medies da satisfao e motivao das pessoas;
7.2. Indicadores de resultados relativos s pessoas.
8. IMPACTO NA SOCIEDADE 8.1. Percepes das partes interessadas relativamente aos impactos sociais;
8.2. Indicadores de desempenho social estabelecidos pela organizao.
12

CRITRIOS SUBCRITRIOS
9. RESULTADOS DO
DESEMPENHO-CHAVE
9.1. Resultados externos;
9.2. Resultados internos.

Fonte: Adaptado de DGAEP (2007)

Em suma, a CAF uma ferramenta que tenta operacionalizar uma abordagem sistmica da gesto,
uma vez que prope quatro grupos de meios e quatro de resultados, os quais tm de interagir, de
modo a que seja possvel optimizar a auto-avaliao organizacional que a mesma preconiza, podendo
ser entendida como uma ponte volta de outros modelos de qualidade, podendo de certo modo, ser uma
alternativa entre a administrao pblica tradicional e a nova administrao pblica. (Spacek, 2007)
2.6. Exemplos de aplicao conjunta de modelos
Nos ltimos anos tem-se assistido a uma recorrncia por parte das instituies, sejam elas de cariz
pblico ou privado, a ferramentas de avaliao e auto-avaliao, de modo a efectivar uma melhoria nos
servios que prestam. Os modelos de excelncia so tipicamente vistos como instrumentos de auto-
avaliao, de forma a atingir os prmios de qualidade, e desde que esses modelos so considerados
de aplicao genrica, possvel efectuar comparaes entre as organizaes do sector pblico e
privado. (Bovaird e Lffler, 2002)
Cada vez mais, as organizaes tendem a munir-se de ferramentas de forma a alcanarem a sua
estratgia, utilizando para isso, e muitas vezes mais do que uma. Nesse sentido, e aps uma pesquisa
aprofundada, ser interessante partilhar duas experincias distintas, de investigaes levadas a cabo e
que culminaram na criao de modelos que intercalam duas ferramentas, aplicados ao sector pblico.
Rosa et al. (2003), no artigo Excelence in Portuguese higher education institutions, procuraram
atravs de um estudo emprico, cujo objectivo era atingir um melhor entendimento acerca da estratgia,
da gesto da qualidade e das prticas inovadoras nas instituies de ensino superior, assim como das
ferramentas desenvolvidas por essas instituies, tendo para isso desenvolvido um modelo de
excelncia, que pressupunha uma compilao de um conjunto de ferramentas de avaliao, desde a
avaliao da qualidade do ensino preconizada pelos professores qualidade organizacional (CNAVES,
2000; CNE, 2001; CRE, 2000, EFQM, 1999). Preconizava um conjunto de 9 conjuntos de questes,
num total de 66, que cobriam as prticas e os factores considerados fundamentais na melhoria da
qualidade e na auto-avaliao. Foi feito desenvolvido atravs de um modelo de equaes estruturais,
que permitiu estabelecer as ligaes entre os critrios. Contudo aps a estimao do modelo a maioria
dos critrios no era estatisticamente significativo, resultando a verso final em 15 relaes
estatisticamente significativas (regulamentao externa, a liderana, estratgia, cultura e poltica
13

organizacional, parcerias, actores, estrutura e organizao, resultados e processos). Para alm da
realidade sob a qual surgiu o presente estudo, possvel reduplicar o estudo a outros sectores.
Tejedor et al. (2008), levaram a cabo um estudo de implementao de uma rede neural, baseada no
EFQM e no BSC, cuja estratgia era utilizar a base da EFQM e do BSC para explicar a influncia da
temporalidade no mapa de indicadores. Foram elencadas hipteses, as quais foram testadas atravs
de simulao de interaces entre todas as variveis, atravs do programa Matlab Neural Network.
Com base nos elementos de um e de outro mtodo foi construda uma nova ferramenta, que permitiu
ao nvel do sector da sade espanhol resolver a diversidade de metodologias que se utilizava, assim
como eliminar dvidas acerca das relaes lineares descritas atravs do uso da regresso linear,
observando que as relaes entre os indicadores do BSC no so obtidas atravs da mesma moldura.
Tambm demonstra que as decises especficas no so produzidas a partir de um nico indicador,
mas atravs de vrios. Em suma, a utilizao conjunta do EFQM e do BSC para medir a avaliao e o
alinhamento da estratgia de gesto da qualidade nas instituies de sade espanholas pode
efectivamente ser feita atravs de uma Neural Networking.
3. A UTILIZAO CONJUNTA DO BSC-CAF
De forma a atingir a Qualidade Total, existem diversos modelos e instrumentos da gesto da qualidade
total que podem ser aplicados em conjunto ou separadamente, sendo utilizados com muita frequncia,
o modelo de Reconhecimento de Excelncia da EFQM, as Normas ISO 9000, o BSC e a CAF, servindo
os mesmos para renovar a confiana dos cidados no servio pblico (Bovaird e Loefler, 2002), e para
promover as organizaes pblicas rumo excelncia, centrando-se em procedimentos e processos
diferenciados, cuja aplicao conjunta potencia a melhoria contnua e a qualidade de produtos e
servios nas organizaes pblicas, maximizando o seu valor para os vrios stakeholders.
Para levar avante a implementao, seja do BSC, EFQM ou CAF, importante que se tenha em mente
o desempenho organizacional. Contudo, este um conceito ambguo, uma vez que est dependente
dos recursos e da combinao dos mesmos (Alchian e Demsetz, 1972), assim como dos indicadores
de desempenho (Lebas e Euske, 2002), que pressupem a criao de valor em dada actividade, num
determinado perodo de tempo, estreitamente relacionado com o alcance dos objectivos empresariais
(Lorino, 1997), podendo considerar os pontos de vista das vrias partes interessadas (Atkinson et al.,
1997).
Com base na literatura e nos exemplos enunciados no ponto 2.6, o objectivo iniciar a elaborao de
um modelo que permita criar uma ferramenta que agrupe BSC e CAF num nico modelo, de forma a
permitir s instituies uma gesto eficiente, eficaz e econmica de todos os seus recursos.
14

A relevncia da utilizao conjunta de ferramentas e conceitos da Gesto da Qualidade Total j era
defendida por Kaplan e Norton (2001) que destacam o papel das iniciativas da Gesto da Qualidade
Total e sua relao com o BSC, inferindo que as melhorias na qualidade correspondem a melhorias na
perspectiva dos processos internos, na perspectiva dos clientes e na perspectiva financeira do BSC,
com a reduo de custos.
O BSC uma medida de desempenho que permite aos gestores olhar para o seu desempenho em
torno de 4 perspectivas e verificar o seu posicionamento, sendo que cada organizao pode desenhar
o BSC mais adequado sua realidade, atendendo viso e estratgia que preconiza para si mesma
(Yuan e Chiu, 2009), podendo esse Scorecard estar intrinsecamente ligado CAF ou constituir um
novo semblante que rena as caractersticas de ambos.
Deste modo, importante que se faa uma comparao entre as duas ferramentas, no sentido de aferir
se os objectivos definidos e os resultados atingidos so semelhantes ou no.
Tabela 2 Complementaridade do BSC - CAF
BSC
O que queremos ser no futuro
CAF
O que queremos ser hoje
ORIGENS Monitoriza e mede o desempenho e cria valor
acrescentado.
Gesto da Qualidade Total e Cultura de
excelncia.
OBJECTIVOS Melhorar o desempenho estratgico e financeiro;
Traduzir a estratgia da organizao em
objectivos e estes em aces;
Comunicao e monitorizao das actividades.
Incentivo introduo de boas prticas;
Identificao dos pontos fortes e das
reas de melhoria de forma a elaborar
um plano de aco.
CARACTERSTICAS Definio misso, viso e valores;
Avaliao dos Stakeholders;
Anlise Swot;
Definio da estratgia e dos seus vectores;
Objectivos, indicadores e metas;
Plano de Aces.
Noo da misso, viso e valores;
Orientao para os stakeholderes;
Baseado em evidncias;
Auto-avaliao detalhada ao nvel de
toda a organizao;

FACTORES
CRITICOS DE
SUCESSO
Apoio e Comprometimento da Gesto;
Envolvimento de toda a organizao;
Processos Contnuos;

Fonte: Elaborao Prpria
Com base na anlise das nuances mais semblantes das duas ferramentas, importante definir um
circuito entre as ferramentas, mediante a concepo de um modelo de equaes estruturais, segundo
os pressupostos de Hair et al. (2005), que permita aferir resultados ao longo do ciclo (P-D-C-A), de
15


modo a alcanar a melhoria contnua. Segundo Ullman (2007), a utilizao das equaes estruturais
pretende a confirmao das relaes existentes entre as variveis de um dado modelo.
Ainda segundo Hair et al. (2005), para o desenvolvimento de um modelo de equaes estruturais
dever-se-o seguir os seguintes passos:
1. Definio do modelo terico a ser testado;
2. Construo do Diagrama das relaes causais;
3. Converso do diagrama num conjunto de equaes estruturais e especificaes do modelo;
4. Seleco do tipo de matriz e programa de computador a ser utilizado;
5. Avaliao da identificao do modelo de equaes estruturais;
6. Avaliao dos critrios de ajuste;
7. Interpretao e modificao do modelo de equaes estruturais.
No presente estudo, ir proceder-se somente definio do modelo terico a ser testado.

Figura 4 Patch Diagram para as relaes causais do modelo BSC-CAF





















* Engloba os resultados para o cidado/cliente, relativos s pessoas, impacto na sociedade e do desempenho-chave.

Fonte: Elaborao Prpria
Misso, Viso, Valores e
Vectores
Liderana
BSC CAF
Perspectivas, Objectivos
Indicadores, Metas e
Iniciativas
Planeamento e
Estratgica
Pessoas
Anlise de Stakeholders
Parcerias e Recursos
Processos

Redefinio do BSC

Resultados
*

16



A figura 4 preconiza uma perspectiva de relao entre as duas ferramentas em anlise, pretendendo-
se deste modo conformar a possibilidade de existncias de um conjunto de relaes causais
simultneas entre as perspectivas apuradas, aps a reviso bibliogrfica efectuada anteriormente.
Assim, as hipteses tericas que suportam o modelo de equaes estruturais podem distribuir-se em
quatro conjuntos especficos:
Conjunto 1 Planeamento Estratgico
H1 - A definio da misso, viso, valores e vectores est relacionado com o desempenho da funo
de liderana pela gesto.
H2 - A definio da misso, viso, valores e vectores est relacionado com o planeamento e estratgia
desenvolvido.
H3 - A definio da misso, viso, valores e vectores est relacionado com a gesto de recursos
humanos desenvolvida.
H4 - A definio da misso, viso, valores e vectores est relacionado com a rede de parcerias e
recursos existentes.
H5 - A definio da misso, viso, valores e vectores est relacionado com os processos
organizacionais.
H6 - A definio da misso, viso, valores e vectores est relacionado com os resultados a atingir.
(Este conjunto de hipteses, poder ser ainda desdobrado, se considerarmos misso, viso, valores e
vectores separadamente, o que totalizaria um conjunto de 24 hipteses)
Conjunto 2 Mapa Estratgico
H1 A definio das perspectivas, objectivos, indicadores, metas e iniciativas est relacionada com o
desempenho da funo de liderana pela gesto.
H2 - A definio das perspectivas, objectivos, indicadores, metas e iniciativas est relacionada com o
planeamento e estratgia desenvolvido.
H3 - A definio das perspectivas, objectivos, indicadores, metas e iniciativas est relacionada com a
gesto de recursos humanos desenvolvida.
H4 - A definio das perspectivas, objectivos, indicadores, metas e iniciativas est relacionada com a
rede de parcerias e recursos existentes.
H5 - A definio das perspectivas, objectivos, indicadores, metas e iniciativas est relacionada com os
processos organizacionais.
H6 - A definio das perspectivas, objectivos, indicadores, metas e iniciativas est relacionada com os
resultados a atingir.
(Este conjunto poderia semelhana do que aconteceu no primeiro ser dividido, se atendermos s
perspectivas, objectivos, indicadores, metas e iniciativas em separado, o que totalizaria 30 hipteses)
17

Conjunto 3 Anlise Estratgica
H1 A anlise dos stakeholders est relacionada com o desempenho da funo de liderana pela
gesto.
H2 A anlise dos stakeholders est relacionada com o planeamento e estratgia desenvolvido.
H3 A anlise dos stakeholders est relacionada com a gesto de recursos humanos desenvolvida.
H4 A anlise dos stakeholders est relacionada com a rede de parcerias e recursos existentes.
H5 A anlise dos stakeholders est relacionada com os processos organizacionais.
H6 A anlise dos stakeholders est relacionada com os resultados a atingir.
Conjunto 4 Resultados
H1 Os resultados para o cidado/cliente esto relacionados com a redefinio do BSC.
H2 Os resultados relativos s pessoas esto relacionados com a redefinio do BSC.
H3 Os resultados do impacto da sociedade esto relacionados com a redefinio do BSC.
H4 Os resultados do desempenho-chave esto relacionados com a redefinio do BSC.
Deste modo, agora possvel passar fase de formulao matemtica do patch diagram, recorrendo
ao modelo de notao matricial, o qual no vai ser objecto no presente estudo.

4. CONSIDERAES FINAIS
As Administraes Pblicas esto cada vez mais a ser desafiadas pelas reestruturaes que a nvel
internacional tm vindo a ocorrer, existindo por isso uma crescente preocupao com a satisfao das
necessidades explcitas e implcitas dos cidados, o que promove o surgimento de ferramentas que
possam medir o desempenho organizacional, no sentido da melhoria contnua e da prestao de um
melhor servio pblico.
A necessidade de planear e implementar processos de monitorizao, medio, anlise e melhoria,
leva a que as organizaes se socorram de ferramentas que lhes permita fazer uma auto-avaliao, a
mais completa possvel. Quer o BSC, quer a CAF possuem um formato simples e acessvel, permitindo
de certo modo, a compreenso e utilizao de tcnicas de gesto da qualidade, numa perspectiva
contnua.
O BSC prope uma relao de causa-efeito entre as reas estratgicas da organizao, enquanto a
CAF permite uma auto-avaliao dessas mesmas reas estratgicas, e prope uma vinculao entre o
cumprimento de objectivos estratgicos e os sistemas de incentivos dos colaboradores, permitindo a
CAF aferir a satisfao em relao a essa mesma relao.


18


Em suma, e analisando conjuntamente as duas ferramentes, CAF e BSC, pode-se inferir que a CAF
auxilia os gestores a:
Compreender os principios de excelncia que tm de estar subjacentes na sua organizao, de
modo a alcanar as expectativas dos clientes;
Compreender os principios que sustentam o BSC, seja ele ao nvel sectorial ou corporativo;
Identificar as reas em que pode fomentar o crescimento e aquelas em que encessita de
efectuar melhoramentos.
Por sua vez, o BSC auxilia os gestores a :
Estarem atentos execuo dos objectivos que delineam e s relaes que so necessrio
estabelecer para conseguir alcanar esses mesmos objectivos;
Darem prioridade aos planos de aces sugeridos pela CAF.
Poder-se- constatar que a utilizao conjunta de vrios instrumentos ligado Gesto pela Qualidade
Total, permite s organizaes, sejam elas pblicas ou privadas alcanar a melhoria do seu
desempenho organizacional. Se olharmos para as componentes do BSC e da CAF, podemos ver, que
em determinados patamares, a informao que sustenta as vertentes (BSC) e os critrios (CAF) a
mesma, ou possui uma estreita relao.
Nesse sentido, a elaborao de um modelo que incorpore as nuances de ambos, permite ligar de certo
modo a parte financeira e social da organizao, atravs de um alinhamento com a misso, viso e
valores e estratgia, atendendo a uma auto-avaliao que desperta os pontos fortes e permite efectivar
aces de melhoria em situaes menos producentes da organizao.
O presente estudo possui como principal limitao, o facto de no apresentar a concluso do modelo
de equaes estruturais, tendo ficado pela formulao das hipteses, facto que poder ser suprido em
investigaes futuras, atravs da operacionalizao do modelo de equaes estruturais, assim como
a sua aplicao a uma realidade concreta.
5. BIBLIOGRAFIA
ALCHIAN, A., DEMSETZ H. (1972), Production, Information Costs, and Economic Organization.
American Economic Review, 62 (5): 777-795.
APARISI CAUDELI, J. e RIPOLL FELIU, V. (2000), El Cuadro del Mando Integral: Una herramienta
para el controlo de gestin. Partida Doble, N. 114, septiembre, pp. 54-63.
ATKINSON, A., WATERHOUSE, J. e WELLS, R. (1997), A Stakeholder Approach to Strategic
Performance Measurement. Sloan Management Review, 38 (3): 25-37.
19

BANKER, R. JANAKIRAMAN, S. e KONSTANS, C. (2001), Balanced Scorecard: Linking Strategy to
Performance. Financial Executive Research Foundation.
BARDIN, L.(1995), Anlise de Contedo. Traduo: Lus Antero Reto e Augusto Pinheiro. Lisboa:
Edies 70 Lda.
BOURNE, M. (2000), Understanding the Balanced Scorecard in a Week. Hodder e Stoughton.
CHOI, T. (1995), Conceptualizaing continuous improvement: Implications for organizational change.
mega, (23), pp. 607-624.
CNAVES, Conselho Nacional de Avaliao do Ensino Superior (2000), Processo de Avaliao do
Ensino Universitrio, Guio de Auto-Avaliaco.
CNAVES, Conselho Nacional de Avaliaco do Ensino Superior (2000), Processo de Avaliao do
Ensino Politcnico, Guio de Auto-Avaliao.
CNE, Comit National Dvaluation (2001), Guide de Lvaluation des Universits. Paris, Autorit
Administrative Indpendante.
CRE, Association of European Universities (2000), CRE Institutional Review Program: Guidelines for
Self-Evaluation and Preparation for Review Visits.
CRONIN, J. e TAYLOR S. (1992), Measuring Service Quality: A Reexamination and Extension.
Journal of marketing, Jul.
CROSBY, P. (1979), Quality is free: the art of making quality certain. New American Library, New
York.
DEMING, E. (1986), Out of the crisis. Cambridge university press.
DGAP Direco Geral da Administrao Pblica (2007), Estrutura Comum de Avaliao: melhorar as
organizaes pblicas atravs da auto-avaliao. Lisboa: DGAP.
DGAP Direco Geral da Administrao Pblica (2005), Seminrio CAF: Metodologia de auto-
avaliao para a melhoria dos servios pblicos. Porto: Universidade do Porto.
DOMINGUES, M. (2004), Sistema de Gesto da Qualidade do Arsenal do Alfeite a logstica da
prpria organizao.
EFQM - European Foundation for Quality Management (1999), The EFQM Excellence Model, Public
and Voluntary Sector.
GOSTER, L. e SQUINES, A. (2003), Providing quality in the public sector: a practical approach to
improving public services. Philadelphia: Open University Press.
GROONROOS, C. (1996), Relationship marketing: the strategy continuum. Journal of the Academy of
Marketing Science, 23, (4), pp. 252-254.
HAIR, J., ANDERSON, R., TATHAM, R. e BLACK, W. (2005), Anlise multivariada de dados. Porto
Alegre: Artmed.
JURAN, J. (1988), Juran`s Quality Control Handbook. 4th., McGraw-Hill, New York.
20

KAPLAN, R e NORTON, D. (2001), Transforming the Balanced Scorecard from Performance
Measurement to Strategic Management: part II. Accounting Horizons: June 15, ( 2), pp. 147-160.
KAPLAN, R. e NORTON, D. (1997), Cuadro de Mando Integral The Balanced Scorecard. Ediciones
Gestin 2000, SA, Barcelona.
KAPLAN, R. e NORTON, D. (1996) , Linking the Balanced Scorecard to strategy. Harvard Business Review,
53-79.
LEBAS, M. e EUSKE, K. (2002), A Conceptual and Operational Delineation of Performance", in
LORINO, P. (1997), Mthodes et pratiques de la performance - le guide du pilotage. Les ditions
d'Organisation, Paris.
NEELY, A. (Ed.) (2002). Business Performance Measurement Theory and Practice, Cambridge
University Press, 65-79.
NEGRE, J. e VIVAS URIETA, C. (2003), El cuadro de mando integral en la administracin Pblica: el
caso del Ayuntamiento de Sant Cugat del Valls.VIII Congreso Internacional del CLAD sobre la
Reforma del Estado y de la Administracin Pblica, 28-31 Oct., Panam.
OLVE, N., ROY, J. e WETTER, M. (2000), Implementando y Gestionando el Cuadro de Mando Integral
:Gua prtica del Balanced Scorecard. Ediciones Gestin 2000, SA, Barcelona.
PARASURAMAN, A., ZEITHAML, V. e BERRY, L. (1998), SERVQUAL: a multiple-item scale for
measuring consumer perceptions of service quality, Journal of Retailing, Vol. 64, n 1, pp 12-40.
PARASURAMAN, A., ZEITHAML, V. e BERRY, L. (1985), A conceptual model of service quality and its
implications for future research, Journal of Marketing, Vol. 4, n 4, pp 41-50.
PROTTI, D. (2002), A proposal to use a balanced scorecard to evaluate Information for Health: an
information strategy for the modern NHS (1998-2005). Computers in Biology and Medicine, n. 32, pp.
221-236.
RIBEIRO, M. (2000), O servio pblico na Unio Europeia: Reforma do Estado e Administrao
Pblica Gestionria. Frum 2000. Lisboa: ISCSP.
ROCHA, J. (2006), Gesto da Qualidade aplicada aos servios pblicos.Lisboa: Escolar Editora.
ROCHA, J. e SELIG, P. (2001), O sistema de gesto Balanced Scorecard e os seus impactos sobre a
teoria de custos. VII Congreso del Instituto International de Costos, 4-6 Julio, Len, Espaa.
ROSA, M., SARAIVA, P. e DIZ, H. (2003), Excellence in Portuguese higher education institutions.,
Total Quality Management, Vol. 14, N.2, 180-197.
SARAPH, J.; BENSON, G. e SCHROEDER,R. (1989), An instrument for measuring the critical factors
of quality management. Decision sciences, (20), pp.810-829.
SHADISH, W., COOK, T. e CAMPHELL,D. (2002), Experimental and quasi-experimental design for
generalized causal inference. Boston: Houghton Mifflin Company.
SPACEK, D. (2007), Common Assessment Framework: potencial and factual issues in the Czech
administrative practice. Organizaciju Vadyba: Sisteminiai Tyrimai, 43.
21

TANGEN, S. (2004), Performance measurement: from philosophy to practice. International Journal of
Productivity and Performance Management, 53 (8): 726-737.
TEJEDOR, J., ELOLA, L. e TEJEDOR, A. (2008), The application of neural networks in the study of the
influence of temporality on stategy map indiators in a Spanish hospital. Total Quality Management &
Business Excelence,19(6), pp. 643-659.
TRIVIOS, A.(1987), Introduo Pesquisa em Cincias Sociais: a pesquisa qualitativa em
educao. So Paulo: Atlas, pp. 175.
ULLMAN, J. (2007), Structural Equation Modeling. Em Tabachnick, B. e S. Fidell, L. (Orgs.), Using
multivariate statistics (5 ed.). Boston: Pearson Education.
VILLORIA, M. (1996), Modernizacin Administrativa y Gobierno Burocrtico. La Nueva Administracion
Pblica, pp. 98.
WEBER, R. (1990), Basic content analysis. Newbury Park : Sage.
YOUNG, S. e OBYRNE, S. (2001), EVA and Value-Based Management: a practical guide to
implementation. New York, McGraw-Hill.
YUAN, F-C. e CHIU, C. (2009), A hierarchical design of case-based reasoning in the balanced
scorecard application., Exzelpert Systems with Applications 36 (333-342).
ZEITHANL, V., PARASURAMAN, A. e BERRY, L. (1990), Deliering Quality Service: balancing
customer perceptions and expectations.New work: The free press.