1

Avaliao da qualidade do ensino de ps-graduao: elementos para a construo e validao de um instrumento de pesquisa
Autores: Mariana Lima Bandeira, Carlos Alberto Gonalves, Ricardo Teixeira Veiga e Melby Karina Ziga Huertas

Resumo
O objetivo principal deste trabalho consiste em propor um instrumento de avaliao da qualidade de cursos de ps-graduao, resultante de um estudo exploratrio em trs instituies de ensino superior em Belo Horizonte, e sugerir um procedimento para aprofundar os estudos de validao da escala proposta. A escala baseia-se no conceito de qualidade de servio e no conhecimento de profissionais envolvidos com o ensino de ps-graduao. No trabalho tambm procurou-se discutir sumariamente a trajetria do ensino superior no Brasil, evidenciando as principais fragilidades do sistema. Entretanto, mais do que avaliar os cursos de ps-graduao e diagnosticar seus problemas, o que se pretende instrumentalizar a coordenao desses cursos com um questionrio que seja til para identificar pontos fracos e fortes e selecionar prioridades de melhorias, contribuindo para o alcance da excelncia na educao superior de ps-graduao.

1. Introduo
Ao contrrio da qualidade de bens, que pode ser medida objetivamente atravs de indicadores como durabilidade e nmero de defeitos (Garvin, 1983), a qualidade de servio tem natureza mais abstrata e esquiva devido intangibilidade e demais singularidades dos servios (Parasuraman, Zeithaml e Berry, 1988). Os primeiros modelos de qualidade de servios (Grnroos, 1984; Parasuraman, Zeithaml e Berry, 1985;) surgiram nos anos 80, baseando-se na comparao do servio experimentado com as expectativas do consumidor e visam explicar sua percepo de qualidade. Parasuraman, Zeithaml e Berry (1988) desenvolveram ainda uma escala multifatorial que pode ser aplicada e adaptada para a mensurao da qualidade em outros ramos de servios no investigados pelos autores, embora haja uma controvrsia se essa escala seja mesmo universal (Cronin e Taylor, 1994; Urdan, 1995). O ensino superior uma forma de prestao de servios. Com o aumento do desemprego, a exigncia de qualidade no ensino superior de graduao e ps-graduao tende a se intensificar, pois uma melhor formao profissional, embora no seja em si mesma garantia de emprego, pelo menos deve resultar em maior empregabilidade dos alunos formados. Conseqentemente, medir a qualidade do ensino de ps-graduao, atravs de um conjunto confivel de indicadores (Schwartzman,1997), imperativo nos tempos atuais, como atesta, por exemplo, o projeto de Reforma Universitria, em tramitao no Congresso Nacional. Em virtude da intangibilidade do servio-educao o cliente precisa experiment-lo para verificar mais seguramente sua qualidade ou ento basear-se em indicadores de qualidade indiretos, como o sucesso de ex-alunos em exames oficiais, do tipo do provo, ministrado pelo MEC, ou o exame da OAB para advogados. O objetivo principal deste trabalho consiste, ento, em propor um instrumento de avaliao de qualidade de cursos de ps-graduao, resultante de um estudo exploratrio em trs instituies de ensino superior da cidade Belo Horizonte no Brasil, e sugerir um procedimento para aprofundar os estudos de validao da escala proposta. No trabalho

tambm procurou-se discutir sumariamente a trajetria do ensino superior no Brasil, evidenciando as principais fragilidades do sistema. Entretanto, mais do que avaliar os cursos de ps-graduao e diagnosticar seus problemas, o que se pretende instrumentalizar a coordenao desses cursos com um questionrio til para identificar pontos fracos e fortes e selecionar diretrizes de atuao para o alcance da excelncia na educao da ps-graduao.

2. Reviso Terica
Qualidade de Servios O termo servios tem sido basicamente usado com dois significados. Primeiro, pela identificao de um dos trs setores econmicos bsicos - o setor tercirio -, distinto do setor agropecurio e da indstria, respectivamente identificados como os setores primrio e secundrio. Na maior parte do mundo, em especial nos pases de Primeiro Mundo, o setor de servios tem-se tornado o mais importante da economia, tanto no faturamento quanto no emprego de mo-de-obra. Nos pases desenvolvidos, mais de 2/3 da fora de trabalho est empregada no setor de servios ou naqueles que exigem conhecimento intensivo (Exame, 1992). Tambm no Brasil, em 1993, segundo dados do IBGE, o setor de servios era responsvel por 59,4% do PIB brasileiro, e empregava aproximadamente 55% da populao ocupada (Dieese, 1994). Baseando-se na dicotomia tangvel-intangvel, podemos considerar servios como produtos especiais. Servios, como o ensino, por exemplo, distinguem-se de bens por terem um componente intangvel mais relevante do que o componente tangvel. Podem estar agregados oferta de bens fsicos (treinamento de clientes no uso de equipamentos vendidos) ou no (aconselhamento psicolgico). possvel classific-los de diversas formas, quais sejam: conforme o agente principal de execuo do servio - pessoa ou equipamento (Thomas, 1986); baseando-se na extenso do contato com o cliente na prestao deste - de alto a baixo (Chase, 1989); de acordo com as caractersticas da demanda, contedo e benefcios dos servios (Lovelock, 1980). Se torna mais difcil ainda conceituar e medir sua qualidade, porque servios se constituem em atividades ou processos. A qualidade percebida pelo cliente, ou seja, um conceito de qualidade de servio baseado no usurio (Garvin, 1988) leva denominao de qualidade de servio. Assim, a qualidade (percebida) do servio consiste no grau e direo da discrepncia entre as percepes do consumidor e suas expectativas sobre o desempenho do fornecedor do servio (Parasuraman, Zeithaml e Berry, 1988). O SERVQUAL, modelo de qualidade de servio mais popular atualmente, foi criado por Parasuraman, Zeithaml e Berry (1985; 1988; 1991) e se baseia no princpio da desconfirmao das expectativas, segundo o qual os consumidores comparam o que desejam e esperam que o fornecedor deveria prover com suas percepes do desempenho real na prestao de servios (Parasuraman, Zeithaml e Berry, 1985). Segundo o SERVQUAL, as cinco dimenses da qualidade do servio podem ser assim definidas (Berry e Parasuraman, 1992): (1) Tangibilidade - aparncia fsica das instalaes, equipamentos, pessoal e material de comunicao; (2) Confiabilidade - capacidade de desempenhar o servio prometido de modo confivel e com preciso; (3) Presteza - disposio de ajudar os clientes e de fornecer o servio com presteza;

(4) Segurana - conhecimento, cortesia dos funcionrios e sua capacidade de transmitir confiana e confiabilidade; e (5) Empatia - ateno individualizada e cuidadosa que as empresas proporcionam aos clientes. Associada ao seu modelo de qualidade de servio, Parasuraman, Zeithaml e Berry (1988) elaboraram uma escala Likert de 22 itens composta por baterias distintas para medir expectativas e percepes de qualidade, com questes referentes a cada uma das cinco dimenses de qualidade de servio - a SERVQUAL. Embora desenvolvida numa pesquisa multissetorial com empresas de servios (banco, empresa de carto de crdito, empresa de manuteno e companhia telefnica), trata-se de uma escala padro, que pode ser aplicada em outras organizaes de servio ou varejo, se necessrio com algumas adaptaes. Em trabalho posterior (Parasuraman, Zeithaml e Berry 1991), os autores refinaram a Servqual, melhorando a redao de alguns itens e substituindo outros, de modo a melhorar suas propriedades psicomtricas, i.e., tornando a escala mais fidedigna e vlida. Segundo diversas pesquisas com aplicao da escala SERVQUAL, a dimenso confiabilidade - a capacidade de realizar o servio prometido de forma confivel e precisa - o atributo mais importante de qualidade do servio, enquanto o menos importante so os aspectos tangveis (Berry e Parasuraman, 1992; Rust, Zahorik e Keiningham, 1994;). Crticas recentes escala SERVQUAL, alegando falta de comprovao emprica (Cronin e Taylor, 1994), ambigidades e fraquezas conceituais (Teas, 1993 e 1994) tm apoiado sugestes de adaptaes do modelo de qualidade SERVQUAL (Teas, 1993) e a proposio de modelos de qualidade de servios e escalas alternativos, como o SERVPERF, que na mensurao da qualidade utilizam uma abordagem diferente: no consideram as expectativas dos clientes, mas somente suas percepes de qualidade (Teas, 1993; Brown, Churchill e Peter, 1993; Cronin e Taylor, 1994). Parasuraman e colaboradores reagiram a essas crticas, argumentando que a suposta superioridade de escalas no-diferenciais em relao ao SERVQUAL aparente, porque as escalas alternativas so praticamente equivalentes ao seu modelo, em termos de validade e confiabilidade (Parasuraman, Zeithaml e Berry, 1993). Ademais, segundo os autores, uma escala baseada apenas nas percepes mais econmica, porm mais ambgua, porque no inclui informaes precisas sobre causas de eventuais mudanas no juzo de qualidade, por parte do consumidor. O Ensino Superior A Universidade de Bolonha comemorou seus mil anos em 1986 e outras esto com mais de 700 anos de existncia, reiterando o quo antiga e slida a instituio de ensino (Cassimiro, 1996). Criadas no sculo XI, as universidades j sofreram mudanas radicais, mas sempre houve um consenso de que deveriam ser um local onde se produz o conhecimento. Encerram a misso de preparar geraes para atuao na sociedade e no mercado de trabalho, formando mentes ativas e criativas para todos os setores sociais. Schwartzman (1997:152) analisa a educao superior como um processo produtivo, onde aspectos como insumos, processos e produtos fazem parte dessa discusso. So classificados como produto das Universidades "a produo de pesquisas, a formao de mode-obra qualificada em nvel de graduao e ps-graduao e a satisfao de necessidades culturais do usurio do sistema educacional...". Neste trabalho, interpretou-se o conceito do ensino de ps-graduao como um composto que envolve um servio essencial - o ensino (aulas, palestras, atividades de monitoria etc.) - e servios de apoio (biblioteca, secretaria,

fotocpias, etc.), que atuam como facilitadores do processo de ensino. Na sua multifuncionalidade, o ensino superior abrange o desenvolvimento da pessoa, do homem como ser complexo que , integrando o saber em todas as suas nuances e contribuindo para a formao total do ser humano (Oliveira, 1995). Cassimiro (1996) observa que, apesar de sua nobre funo, a Educao e o Ensino no Brasil tm passado por problemas graves, at hoje no resolvidos satisfatoriamente. Silva Jnior e Sguissardi (1997) tm viso mais otimista, acreditando que os problemas no ensino superior no Brasil comeam a ter solues mais concretas, orientadas pela busca de excelncia em sua estrutura. Cassimiro (1996:120) argumenta que s uma conscientizao da importncia do papel desempenhado pelas universidades contribuir efetivamente para o "saneamento dos desnveis e das injustias", promovendo a plena integrao do povo brasileiro. Cavalcanti (1985) expe contrastes relativos ao ensino e pesquisa em ps-graduao, observados na repartio de recursos financeiros para financiamento dos mesmos, e tambm na poltica adotada para as diversas universidades pblicas, em termos de ofertas de cursos de ps-graduao lato sensu e stricto sensu, e com reflexos na quantidade de docentes e em sua qualificao. O autor questiona a forma como os rgos responsveis pelo financiamento do ensino no Brasil selecionam a quem auxiliar e direcionam suas verbas, concluindo que as regies Norte e Nordeste so as mais negligenciadas em relao alocao de recursos, considerando a distribuio da populao e renda. Nesse sentido, evidencia o carter desigual com que o Brasil trata suas universidades, e conduz a "exacerbao dos desnveis inter-regionais brasileiros" (Cavalcanti, 1985: 413). Falta muito para corrigirem-se os desnveis e distores do sistema universitrio brasileiro, pois um requisito fundamental o tratamento igualitrio na concesso de apoio financeiro s escolas de todas as regies do pas. A proposta da Reforma Educacional brasileira est centrada, exclusivamente, na promoo de melhor qualificao do ensino superior. No entanto outras necessidades acadmicas fundamentais, como a pesquisa, a qualificao dos docentes e as atividades de extenso tm sido negligenciadas, como resultado de cortes no oramento, verbas e bolsas. Apesar disso, o Governo Federal parece empenhado em mudar esse quadro, buscando a formulao de novos critrios para o funcionamento da universidade brasileira. Alguns autores observam que o sistema educacional tem ficado defasado com relao realidade, no sendo capaz de suprir as necessidades de conhecimento e tecnologias da sociedade, bem como as demandas de qualificao profissional do mercado de trabalho. Nascimento e Ferreira (1996) afirmam que as escolas no acompanharam as transformaes sociais e no se prepararam para as exigncias atuais, o que resulta numa necessidade imediata de busca de maior qualidade. Sem a formao de profissionais suficientemente qualificados, no se atendem s demandas resultantes da modernizao, gerando mais desemprego. Nesse sentido, Oliveira (1996:7) argumenta que o papel da ps-graduao fundamental num contexto de transformaes e que sua importncia deve crescer ainda mais. Por isso, desde a dcada de 60, cursos de ps-graduao tm sido cada vez mais procurados por profissionais e exigidos pelas organizaes como critrio de seleo (Oliveira, 1995). A ps-graduao pode ser dividida em dois tipos de cursos, institudos pelo Parecer no 977/65 do Conselho Federal de Educao: o stricto sensu (mestrado e doutorado) e o lato sensu. Estes ltimos, normalmente identificados como cursos de ps-graduao, consistem de cursos de especializao e aperfeioamento, voltados mais para o aperfeioamento tcnico,

prtico e profissional. J os cursos de ps-graduao stricto sensu tm maior contedo acadmico, sendo voltados formao de professores universitrios e pesquisadores. Segundo Oliveira (1995), esse parecer limitou-se a conceituar os cursos de lato sensu, no estabelecendo qualquer orientao para seu funcionamento, ao contrrio dos cursos stricto sensu. Esse cuidado com os cursos de de mestrado e doutorado explica-se pela necessidade de controle da propagao dos mesmos, que motivou legislao especfica. A Lei da Reforma Universitria no 5540/68 ampliou os horizontes para a psgraduao, possibilitanto uma maior explorao desses cursos pelas instituies de ensino superior. O exemplo do MBA da EAESP/FGV demonstra que possvel encontrar criatividade no ensino superior, quando o objetivo implantar e manter um padro de qualidade, estabelecendo inovaes quando menos se espera. De acordo com Oliveira (1996), o conservadorismo que impede e desestimula as mudanas no ensino pblico. O corpo docente da EAESP/FGV percebeu a necessidade de se segmentar o pblico dos cursos de psgraduao (mestrado) e desenvolveu um programa alternativo, voltado para as necessidades do aluno que trabalha em empresas. Esse perfil mais dinmico desencadeou mudanas na estrutura, sendo os programas substancialmente diferentes, com enfoque no desenvolvimento de habilidades gerenciais. O curso, sendo mais compacto, enseja um ritmo mais intenso, e no desobriga o aluno defender a dissertao para aquisio do ttulo. Entretanto, no se exige erudio na reviso bibliogrfica, mas sim a demonstrao de proficincia na aplicao prtica de conhecimentos. Esse panorama sugere que universidades pblicas e privadas se intensificam na busca pela qualidade e pela conquista de clientes e financiadores. Assim, pode-se afirmar a forte tendncia de se conferir maior flexibilidade e qualidade ps-graduao (Oliveira, 1996). A Avaliao como Ferramenta da Reforma Universitria Com a necessidade de melhor ajuste das instituies de ensino superior s demandas da sociedade moderna, o desenvolvimento de mecanismos de avaliao do ensino superior emerge como tema importante e oportuno. A avaliao do ensino superior constitui ferramenta utilizada no meio acadmico h algum tempo, haja vista as experincias relatadas por Paul, Ribeiro e Pilatti (apud Sguissardi, 1997). Entretanto, essa avaliao tem sofrido influncia marcante do iderio da Qualidade Total o que, segundo a viso do autor, pode distorcer o real significado do instrumento, levando-a aspectos secundrios do processo educacional. Por isso, fundamental definir o propsito, ou seja, o objetivo real da avaliao, antes de elabor-la. Por exemplo, um instrumento de avaliao adequado do ensino superior pode estar direcionado identificao de deficincias da metodologia de ensino, falhas de concepo ou estruturao do curso, satisfao dos alunos e adequao s suas necessidades reais. Sguissardi (1997) salienta que o processo de avaliao interna e externa da universidade deve ser democrtico, legtimo e transparente, proporcionando oportunidades de crticas construtivas, socialmente contextualizadas. Alm disso, deve tambm contemplar aspectos especficos da universidade enquanto instituio, cursos oferecidos, programas, necessidades da comunidade universitria etc. Deve incluir o exame da atuao do docente, para estimular o aprimoramento de sua didtica, atividades de pesquisa e desenvolver sua integrao com a instituio a qual pertence. Finalmente, argumenta o autor, como a proposta de avaliao traz em seu cerne o desejo de implantar ou fortalecer um dado padro de poltica educacional, sua implementao contribui para o desenvolvimento, como um todo, da universidade.

3. Metodologia
O objetivo geral da pesquisa a elaborao de um instrumento de coleta de dados que seja til na avaliao da qualidade global do ensino de ps graduao, sob o ponto de vista dos alunos, considerados como seus principais clientes. Como prtica comum observa-se que as escolas tm-se limitado a avaliar apenas as disciplinas isoladamente, ao seu trmino, bem como seus seus respectivos professores. O sistema carece, portanto, de um instrumento de avaliao global dos cursos, que demonstre o desempenho do curso como um todo, aps sua concluso. Na elaborao de tal escala sero apresentadas as etapas necessrias sua validao, baseando-se no princpio de que a qualidade do servio a diferena entre as expectativas dos clientes e a qualidade percebida pelos mesmos. Para o desenvolvimento da escala, o trabalho baseou-se na metodologia proposta por Churchill (1979) (Fig. 1). Nenhuma escala deve ser utilizada regularmente sem antes ter sido validada. O processo de validao pode ser entendido como um conjunto de procedimentos cujo objetivo fundamental produzir escores observados o mais prximo possvel dos escores reais de satisfao. Os erros, aleatrios ou sistemticos, ocasionam um vis na interpretao das medidas, da a necessidade de elimin-los ou pelo menos minimiz-los. Segundo o autor, o processo de validao de uma escala deve basear-se na especificao do domnio do construto. Esta etapa consiste no estabelecimento dos aspectos do marco terico que o pesquisador deseja avaliar, ou seja, suas expectativas e conseqncias acerca do objeto em foco. O autor categrico ao afirmar que essa definio deve englobar com exatido as especificaes conceituais contidas no construto e as que no sero includas. Prope-se uma reviso bibliogrfica profunda e sria para atender a essa meta e, feito isso, Churchill (1979) recomenda a utilizao da tcnica estatstica Anlise Fatorial para testar empiricamente as dimenses tericas do construto. Spector (1992) assevera ainda que, quanto mais claro este estiver definido, bem como sua abrangncia, mais facilmente ser a tarefa de construir os itens que iro mensur-lo. Assim, uma boa especificao do construto a ser medido passo vital no desenvolvimento da escala. A segunda fase chamada de gerao de amostra de itens, a ser fundamentada em pesquisas bibliogrficas, estudos exploratrios, grupos de foco, incidentes crticos e estimuladores de insights para auxiliar a elaborao das questes ou temas a serem avaliados pelo instrumento. Os estudos exploratrios, como Churchill (1979) ensina, consiste no julgamento de uma amostra de pessoas que podem oferecer algumas idias sobre aspectos do objeto analisado. Os estimuladores de insights constam da comparao com a oferta da concorrncia ou exame detalhado de alguma reclamao sem resposta. A tcnica de incidentes crticos, bem como grupos de foco, so tambm procedimentos bastante utilizados e que produzem efeitos produtivos na determinao das questes da escala. importante ressaltar que cada afirmao (ou questo) deve ser revista de modo que seja o mais clara e precisa possvel a sua redao. Uma outra possibilidade seria adaptar um questionrio padro, caso exista, realidade do estudo em foco. No caso desse trabalho, poderamos tomar como modelo a escala SERVQUAL, procurando adapt-la s peculiaridades do servioeducao. O estgio seguinte a purificao da escala, que depende do modelo abordado. Este exame de fidedignidade (primeiro passo cumprido no processo em questo) pode ser abordado pelo teste-reteste, de formulrios alternativos ou, ainda, por meio da avaliao de sua consistncia interna. Seguindo a recomendao de diversos autores (Churchill,1979, Spector,

1992 e Urdan, 1995), neste trabalho optou-se pelo exame de consistncia interna da escala, atravs do clculo do coeficiente Alfa de Cronbach, que determina o quanto os itens da escala esto inter-relacionados. Segundo Spector (1992), esse coeficiente varia de 0 a 1, onde 1 significa o mximo de consistncia interna. O valor do Alfa no pode ser menor que 0,7, correspondente ao mnimo aceitvel de consistncia interna para que uma escala seja considerada fidedigna.
FIGURA 1 Procedimento Sugerido para o Desenvolvimento de Melhores Medidas
Coeficientes ou Tcnicas Recomendadas
(1) Especificar o domnio do constructo

Pesquisa Bibliogrfica

(2) Gerar Amostra de Itens

Pesquisa Bibliogrfica Estudo Exploratrio Exemplos Estimuladores de Insights Incidentes Crticos Grupos de Foco

(3) Coletar Dados

(4) Purificar Medida

Coeficiente Alfa Anlise Fatorial

(5) Coletar Dados

(6) Avaliar Confiabilidade

Coeficiente Alfa Confiabilidade baseada em duas metades

(7) Avaliar Validade

Matriz de Multimtodos-multitraos Validao baseada em critrios

(8) Desenvolver Normas Fonte: Churchill Jr. (1979, p. 66).

Mdia e outras estatsticas sintetizando distribuio de escores

A validao do construto, ou seja, a demonstrao de que a escala mede realmente o que deseja medir, pode ser feita por tcnicas estatsticas sofisticadas, como a matriz de mutimtodos-multitraos. Outra possibilidade o exame da associao do escore da escala com indicadores vlidos do construto que a escala visa medir. Nesta pesquisa, por exemplo, elaborou-se uma equao de regresso mltipla em que a nota geral da qualidade do curso era a varivel dependente e as notas parciais, referentes s diversas dimenses, as variveis independentes. Assim, quanto mais prximo de 1 o coeficiente de determinao do modelo 2 (R ), maior a indicao de validade da escala. A Pesquisa Inicialmente, definiu-se como qualidade do curso de ps-graduao a qualidade dos recursos e servios oferecidos para os alunos durante o curso. A elaborao das questes baseou-se num estudo exploratrio a partir de duas fontes: (1) entrevistas com amostras de clientes (alunos de cursos de Ps-Graduao), acerca de aspectos que eles consideravam importantes e influentes na qualidade do curso em questo; (2) anlise dos questionrios de avaliao de disciplinas utilizados por algumas instituies de ensino superior, que focalizam a avaliao da capacidade do professor e de caractersticas das disciplinas. Nesse sentido, a presente pesquisa procurou classificar com maior clareza aspectos relevantes na avaliao geral do cursos de ps-graduao, de modo a dar uma viso mais precisa do que est sendo analisado. A primeira etapa do presente trabalho conduziu a seis aspectos relevantes para a qualidade de um curso de Ps Graduao: Professores, Disciplinas, Aspectos Tangveis, Turma, Valor do Curso e Secretaria. Para cada um, foi elaborada uma srie de questes (anexo 1), onde o respondente pde avaliar tanto suas expectativas quanto suas percepes a respeito do curso que estava concluindo, numa escala variando de 1 (qualidade muito baixa) a 5 (qualidade muito alta). O instrumento consta de duas partes, onde a primeira procura avaliar de per si os aspectos mencionados no pargrafo anterior, e a segunda tenta avaliar o curso de forma geral, aferindo o grau de satisfao do respondente com seu curso e a importncia que atribui aos tpicos analisados na primeira parte do questionrio. Assim, o questionrio possui uma estrutura semelhante SERVQUAL (Parasuraman, Zeithaml e Berry, 1988), pois se baseia na comparao entre expectativas e percepes do respondente. Entretanto, no se tentou medir as 5 dimenses da escala original, por terem sido julgadas inadequadas e insuficientes para o estudo em questo. Seguindo o procedimento sugerido por Churchill (1979), buscou-se examinar a fidedignidade e validade da escala proposta. Os formulrios foram submetidos a alunos de cursos de ps-graduao lato sensu de uma universidade pblica e duas instituies de ensino superior privadas, que identificaremos doravante com as letras A, B e C. As escola foram escolhidas em funo da autorizao de seus dirigente para que realizssemos a pesquisa, bem como pelo fato de oferecerem cursos de ps-graduao em Administrao, objeto de nosso interesse especfico. O universo pesquisado constou de apenas 250 alunos, sendo 159 da escola A, 51 da B e 40 da C. A amostra foi intencional devido ao estgio preliminar do estudo e pelo fato de a pesquisa ter sido realizada ao final do ano letivo de 1997, poca em que a maioria dos alunos j havia terminado seus trabalhos e no mais regressaria s instituies. Na escola C, por exemplo, dentre os 167 alunos que cursaram a ps-graduao em 1997, somente puderam ser aplicados questionrios em duas turmas (40 alunos).

Apesar de no aparecerem na anlise dos dados, certas falhas na redao de algumas questes no foram identificadas no pr-teste, mas somente aps a aplicao do instrumento, implicando na necessidade de uma reformulao do mesmo. Ilustrando o fato nota-se ambigidade no item Valor. Ficou obscuro para o respondente interpretar valor como relao entre tempo investido e benefcios obtidos. Seria interessante que houvesse uma especificao mais clara do termo utilizado (quais benefcios?), para compreenso total do significado das questes. E ainda h a questo da localizao, que poderia ser melhor entendida se fosse utilizado o termo fcil acesso. Tal fato pode explicar os 57,15 % dos respondentes que deixaram respostas em branco, percentual elevado para alunos de psgraduao. As limitaes apresentadas visam alertar o leitor para o carter provisrio dos resultados e a necessidade de prosseguimento dos estudos.

4. Resultados e Anlise
Os dados obtidos foram processados no software estatstico SPSS / Windows verso 6.0. A tabela 1 indica que houve um ndice mdio de retorno de 61,6% dos questionrios.
Tabela 1
ESCOLA A B C
Fonte: Dados da Pesquisa

QUESTIONRIOS ENTREGUES 159 51 40

QUESTIONRIOS RECEBIDOS 92 26 36

ndice (%) 57,86 50,98 90,00

Inicialmente, foi realizado o teste de fidedignidade da escala, atravs da anlise do Alfa de Cronbach, considerando as sub-escalas (Spector, 1992). No geral, o questionrio desta pesquisa, elaborado com o intuito de mensurar a qualidade do ensino em universidades que oferecem cursos de ps-graduao, apresentou um coeficiente alfa relativamente elevado, resultando numa forte interrelao dos itens, como se v na tabela 2. Nos clculos, trabalhou-se com a diferena entre expectativas e percepes dos respondentes, identificadas com a letra Q e os nmeros das questes (v. anexo), Q01, Q02 ... e assim por diante. Na tabela 2, observa-se que raramente aumenta o caso o item seja excludo do questionrio. Verificamos que se a questo 30 fosse retirada, o seria elevado de 0,7974 para 0,8093. Assim, decidiu-se retirar essa questo, com objetivo de elevar a consistncia da sub-escala Aspectos Tangveis. Ainda na tabela 2 verifica-se o coeficiente de correlao (R), que indica como as variveis esto relacionadas. Quanto maior a disperso - se os itens no estiverem muito relacionados entre si - mais prximo de zero estar o R. Caso contrrio, ou seja, se os itens estiverem relacionados entre si fortemente, mais prximo de 1 estar o R. Em alguns casos, tais como Q30 e Q31, observa-se um valor abaixo de 0,5. Talvez esse fato evidencie ainda mais a fragilidade dessas questes face ao Aspecto Tangvel. Elas so relacionadas localizao da instituio, o que talvez tenha pouca relevncia frente qualidade de ensino, na opinio dos alunos.

10

Tabela 2
Construtos da Qualidade Coeficiente Alfa da Sub-escala Item da escala (Expectativas percepo) Q01 Q02 Q03 Q04 Q05 Q06 Q07 Q08 Q09 Q10 Q11 Q12 Q13 Q14 Q15 Q17 Q18 Q19 Q20 Q21 Q22 Q23 Q24 Q25 Q26 Q27 Q29 Q30 Q31 Q32 Q33 Q34 Q36 Q37 Q38 Q39 Q41 Q42 Q44 Q45 Q46 Q47 Correlao Corrigida Itemtotal 0, 6718 0,7321 0,7213 0,6949 0,6916 0,7030 0,4767 0,7684 0,6196 0,5794 0,5444 0,5918 0,6108 0,6077 0,6429 0,7381 0,7289 0,6753 0,7012 0,7126 0,6758 0,5596 0,5212 0,6952 0,4377 0,5122 0,6636 0,3393 0,4915 0,6721 0,6126 0,5776 0,5831 0,7110 0,5922 0,5259 0,7106 0,7106 0,7733 0,8275 0,7322 0,7814 Correlao Mltipla ao quadrado 0,5495 0,6185 0,6076 0,5404 0,5304 0,5856 0,4023 0,6978 0,5293 0,4256 0,4596 0,5282 0,4854 0,4760 0,5368 0,6163 0,6538 0,6177 0,5615 0,6237 0,5745 0,5499 0, 5544 0,5478 0,2229 0,2935 0,4836 0,1505 0,3244 0,5497 0,4870 0,3559 0,5423 0,5991 0,4270 0,3999 0,5049 0,5049 0,6045 0,7215 0,5393 0,6702 Alfa de Cronbach, sendo o item deletado 0,9183 0,9163 0,9166 0,9174 0,9177 0,9171 0,9238 0,9153 0,9197 0,9212 0,9218 0,9207 0,9200 0,9201 0,9190 0,8831 0,8834 0,8868 0,8859 0,8845 0,8872 0,8935 0,8952 0,8856 0,8997 0,8974 0,7426 0,8093 0,7851 0,7411 0,7592 0,7638 0,7514 0,6811 0,7439 0,7741 0,0000 0,0000 0,8697 0,8513 0,8844 0,8663

Qualidade do PROFESSOR

0,9246

Qualidade das DISCIPLINAS

0 ,8990

ASPECTOS TANGVEIS

0,7974

Perfil da TURMA

0,7924

Anlise de VALOR Qualidade da SECRETARIA

0,8308 0,9021

Fonte: Dados da pesquisa

Para o exame de validade, utilizou-se um modelo de regresso mltipla, baseando-se num nvel de confiana de 95% para anlise dos resultados, considerado adequado em estudos exploratrios. Para a anlise de Regresso Linear Mltipla adotaram-se como variveis dependentes da pesquisa as notas gerais dadas pelos respondentes s sub-escalas, correspondente aos aspectos professores, disciplinas, secretaria etc., denominadas como A16, A28, A35, A40, A43 e A48 (vide anexo 1). Para relacionar com essas variveis, tomaram-se como variveis independentes as respostas correspondentes a essas dimenses sobre percepo (B01, B02 ...) dos alunos sobre a qualidade desses aspectos. Optou-se por utilizar as questes relativas percepo, e no diferena entre percepo e expectativa (Q), porque na verdade obteve-se assim um valor R2 mais elevado, relativamente, como se v na tabela 3. Talvez isso sugira que analisar a percepo do cliente, no levando em conta suas expectativas, seja mais relevante ao estudo da qualidade do servio em si.

11

O coeficiente de determinao (R ) consiste na relao entre a varincia explicada e a varincia total, ou seja, a proporo da variao total da varivel dependente que pode ser explicada pelo conjunto de regressores (variveis independentes) na Regresso Mltipla. 2 Quanto mais prximo ao valor 1, melhor. Assim, tem-se que, embora o R da maioria das questes no seja to elevado - o valor mnimo de 0,55746, e em alguns grupos, esse valor assume uma proporo maior (0,87298), indicando que o questionrio pode ser considerado vlido, medindo de fato o que se deseja, isto , a qualidade global do curso de ps-graduao. Uma possvel explicao para a obteno de valores de R relativamente distantes de 1 que os itens propostos no capturam todos os aspectos importantes da qualidade percebida (Urdan, 1995). Logo, necessrio realizar mais pesquisas qualitativas para identificar as questes relevantes a serem adicionadas na escala.
Tabela 3
Varivel Dependente A16 - Qualidade do Professor A28 - Qualidade das Disciplinas A35 - Aspectos Tangveis A40 - Perfil da Turma A43 - Anlise de Valor A48 - Qualidade da Secretaria
Fonte: da dos da pesquisa

Variveis Independentes B01 a B15 Q01 a Q15 B17 a B27 Q17 a Q27 B29 a B34 Q29 a Q34 B36 a B39 Q36 a Q39 B41 e B42 Q41 e Q42 B44 a B47 Q44 a Q47

R2 0,63882 0,35438 0,59609 0,31857 0,64069 0,20406 0,64794 0,31341 0,72837 0,45534 0,87649 0,24130

R2 ajustado 0,58119 0,24557 0,55746 0,25339 0,62273 0,16427 0,63685 0,29179 0,72409 0,44676 0,87298 0,21962

As notas gerais atribudas pelos respondentes aos aspectos professores, disciplinas, tangveis, turma, valor e secretaria denominadas respectivamente como A16, A28, A35, A40, A43 e A48 (vide anexo 1) foram tambm relacionadas nota geral do curso dada pelos alunos (A49) num modelo de regresso mltipla, onde buscou-se explicar a varincia dessa varivel. Utilizando o SPSS, obtivemos o seguinte resultado:
Tabela 4 Varivel
A16 A28 A35 A40 A43 A48 Const.

B
0,230974 0,207241 0,045414 0,150204 0,245269 -0,059091 0,724757

Erro Padro B
0,081820 0,069505 0,045616 0,051259 0,057393 0,054701 0,272825

Intervalo de Conf. 95%

0,068666 0,069361 -0,045077 0,048520 0,131417 -0,167603 0183546 a a a a a a a 0,393283 0,345121 0,135904 0,251888 0,359121 0,049421 1,265967

Beta
0,238802 0,238050 0,068207 0,200859 0,332781 -0,071236

T
2,823 2,982 0,996 2,930 4,274 -1,080 2,656

Sig. T
0,0057 0,0036 0,3218 0,0042 0,0000 0,2826 0,0092

Fonte: da dos da pesquisa

Varivel Dependente: A49 - Qualidade Geral do Curso R2: 0,66989 Erro Padro: 0,34810 R2 Ajustado: 0,65028 Anlise de Varincia: para 6 graus de liberdade, F = 34,15916 com significncia = 0,0000

Com exceo das variveis aspectos tangveis e secretaria, cujos coeficientes no so significativos (valor absoluto de T abaixo de 2), as demais variveis - professores,

12

disciplinas, turma e valor - parecem explicar a maior parte da varincia da nota geral atribuda ao curso pelos alunos (R2 ajustado igual a 0,65028). Comparando os coeficientes padronizados - beta observa-se que o Valor do curso (varivel A43) vista como mais relevante para explicar a nota geral do curso, do que as variveis Professores (A16) e Disciplinas (A28). Apesar das limitaes, j especificadas, julgamos cumprida a primeira etapa necessria elaborao da escala desejada, entendendo que o instrumento proposto vlido para os seus propsitos. No entanto, existe ainda um longo caminho a ser trilhado para que se obtenha um instrumento perfeitamente confivel de avaliao da qualidade global de um curso de psgraduao.

5. Concluso
Ao apresentar um questionrio de avaliao global da qualidade de cursos de psgraduao e um guia para sua validao (Churchill, 1979), pretende-se contribuir para o desenvolvimento das pesquisas desse tema. O trabalho tem limitaes evidentes. A amostragem por convenincia, o tamanho da amostra e o tratamento dos dados como uma amostra nica podem acarretar algum vis na interpretao dos resultados e tambm desconfiana quanto sua validade. Os modelos de regresso usados para validar o questionrio podem ser tambm questionados a respeito de multicolinearidade e outros aspectos. Apesar dessas limitaes e devido ao carter exploratrio do estudo, julgamos a metodologia aceitvel. Os resultados do trabalho, apesar de suas restries, so promissores, embora provisrios. A escala proposta um instrumento alternativo para a mensurao da qualidade de cursos de ps-graduao. Dada a rpida expanso de cursos dessa natureza, julga-se urgente dotar seus coordenadores de uma ferramenta gerencial como essa. A dificuldade em obter bibliografia sobre ensino de ps-graduao no Brasil, talvez seja devido natureza polmica do tema ou ao descaso com o ensino superior em nosso pas. Nesse cenrio, as informaes obtidas atravs da atuao como professores de cursos de ps-graduao sugerem que uma limitao importante do uso de instrumentos como esse pode ser a metodologia de aplicao do questionrio, processamento e uso gerencial das informaes obtidas com a pesquisa de qualidade. fundamental garantir o anonimato dos respondentes, bem como estimul-los a responder os questionrios com seriedade e empenho. Alm disso, primordial rapidamente as providncias necessrias para realizar as mudanas de forma a superar os pontos fracos identificados. Alm disso, precisamos nos conscientizar de que educao um investimento, cujo retorno mais importante se d atravs da realizao profissional plena dos indivduos que esto sendo capacitados e formados nas instituies de ensino superior. Promover incentivos para que um ensino de qualidade se estabelea e se fortalea, de forma a se adequar s necessidades atuais da economia e do mercado, imprescindvel para reverter o quadro negativo da educao superior no pas. A avaliao de cursos de ps-graduao pode ser um passo relevante nesse sentido, pois, como destaca Oliveira (1995: 31), programas de nvel superior, bem como cursos de ps-graduao lato sensu, "configuram-se como um novo nicho de mercado, possibilitando a sobrevivncia de vrios estabelecimentos de ensino". Devemos ento sugerir aes para a avaliao e melhoria da qualidade do ensino de ps-graduao. Finalizando, apresentam-se algumas sugestes para prosseguimento desse estudo:

13

Reformular o instrumento, refinando-o com base nos resultados deste trabalho e no uso de entrevistas a grupos de foco, coletando opinies de alunos e professores; Utilizar amostragem aleatria e amostras maiores, envolvendo mais alunos, cursos e instituies de ensino, para justificar o tratamento estatstico proposto; Utilizar tambm anlise de componentes principais ou outra tcnica para reduzir a quantidade de perguntas; Evitar o uso de perguntas distintas sobre expectativas e percepes de qualidade, procurando ancorar as respostas em expresses como abaixo do esperado, prximo ao esperado e acima do esperado, como sugerem Rust, Zahorik e Keininghan (1994); Apresentar sugestes mais abrangentes para a melhoria da qualidade do ensino.

6. Bibliografia
BERRY, L. L. e PARASURAMAN, A. Servios de marketing: competindo atravs da qualidade. So Paulo: Maltese-Norma, 1992. BROWN, T. J., CHURCHILL, Jr. G. A. e PETER, J. P. Research note: improving the measurement of service quality. Journal of Retailing, v. 69, n. 1, p. 127-139, spring 1993. CARMAN, J. M. Customer perceptions of Service Quality: an assessment of the SERVQUAL dimensions. Journal of Retailing, v. 66, p. 33-55, spring 1990. CARVALHO, J. de; BALTHAZAR, R. Dispora de crebros. Revista Veja. Ano 30. So Paulo: Editora Abril, p.112-119, 10 de dezembro de 1997. CASSIMIRO, M. do R. Uma universidade para o Tocantins. Goinia: Kelps, 1996. CAVALCANTI, C. Brasis do Brasil: desigualdades regionais no ensino e pesquisa em psgraduao das cincias sociais. Revista Econmica do Nordeste, v. 16, n.3, (p.407-427), Jul/Set 1985. CHURCHILL Jr., G. A. A paradigm for developing better measures of marketing constructs. Journal of Marketing Research, v. XVI, p. 64-73, February, 1979. CRONIN, J. J. e TAYLOR, S. A. SERVPERF versus SERVQUAL: reconciling performancebased and perceptions-minus-expectations measurement of Service Quality. Journal of Marketing, v. 58, p. 125-131, January, 1994. CRUZ, A. S.; MANSO, B. P. O sbio joga a toalha. Revista Veja. So Paulo: Editora Abril, p. 86-87, 27 de agosto de 1997. GARVIN, D. A. Managing quality. New York: The Free Press, 1988. GRNROOS, C. A Service Quality Model and Its Marketing Implications. European Journal of Marketing, n. 4, p. 36-44, 1984. KOTLER, P. Marketing: edio compacta. So Paulo: Atlas, 1990. LOVELOCK, C. H. Classifying Services to Gain Strategic Marketing Insights. Journal of Marketing, v. 47 , p. 9-20, summer,1983. NASCIMENTO, A.; FERREIRA, R. O funil estreitou. Revista Veja. n 49, Ano 29. So Paulo: Editora Abril, p.116-122, 04 de dezembro de 1996. OLIVEIRA, F. B. de Inovando na ps-graduao: a experincia do MBA da EAESP/FGV. Revista de Administrao de Empresas, vol. 36, n. 1. Jan/Mar 1996.

14

OLIVEIRA, F. B. de Origem e evoluo dos cursos de ps-graduao lato sensu no Brasil. Revista de Administrao de Empresas, v. 29, n. 1, p. 19-33, Jan/Mar 1995. PARASURAMAN, A., BERRY, L.L. e ZEITHAML, V. A. Refinement and reassessment of the SERVQUAL Scale. Journal of Retailing, v. 67, n. 4, winter, 1991. _________________, ZEITHAML, V. A. e BERRY, L. L. A conceptual model of Service Quality and its implications for future research. Journal of Marketing, v. 49, p. 41-50, fall, 1985. __________, _________ e _________. SERVQUAL: a multiple-item scale for measuring consumer peceptions of Service Quality. Journal of Marketing, v. 64, p.12-40, spring, 1988. __________, _________ e _________.Research note: more on improving Service Quality measurement. Journal of Retailing, v. 69, n.1, p. 140-147, spring 1993. __________, _________ e _________. Alternatives scales for measuring Service Quality: a comparative assessment basead on psychometric and diagnostic criteria. Journal of Retailing, v. 70, n. 3), p. 201-230, 1994. RUST, R. T., ZAHORIK, A. J. e KEININGHAM, T. L. O retorno da qualidade: ROQ. Rio de Janeiro: Qualitymark, 1994. SCHWARTZMAN, J. Um sistema de indicadores para as universidades brasileiras in: SGUISSARDI, V. (org) Avaliao universitria em questo: reformas do estado e da educao superior. Campinas, SP: Autores Associados, 1997. SGUISSARDI, V. Para avaliar propostas de avaliao do ensino superior in: SGUISSARDI, V. (org) Avaliao universitria em questo: reformas do estado e da educao superior. Campinas, SP: Autores Associados, 1997. SILVA JNIOR, J. dos R.; SGUISSARDI, V. Reforma do Estado e Reforma da Educao Superior no Brasil in: SGUISSARDI, V. (org) Avaliao universitria em questo: reformas do estado e da educao superior. Campinas, SP: Autores Associados, 1997. SPECTOR, P. E. Summated rating scale construction: an introduction. Age Series: Quantitative Applications in the Social Sciences, v. 82. Los Angeles: Sage, 1992. TEAS, R. K. Expectations, performance, evaluation and consumers perception of quality. Journal of Marketing, v. 57, p. 132-139, october, 1993. __________. Expectations as a comparison standard in measuring Service Quality: an assessment of a reassessment. Journal of Marketing, v. 58 , p. 132-139, january,1994. URDAN, A. T. Avaliao emprica da escala SERVQUAL em servios hospitalares: uma crtica e rplica ao estudo de Vincius Sittoni Brasil. Anais do 19o. ENANPAD, p. 294314, 1995.

15

Anexo 1 - Estrutura do Questionrio

Qualidade dos Professores N Questes / Itens 01 Domnio dos assuntos tratados. 02 03 04 05 Clareza na exposio. Objetividade na abordagem dos temas. Coerncia na distribuio do tempo. Capacidade para esclarecer dvidas. N 09 10 11 12 13 14 15 A16 23 24 25 26 27 A28 33 34 A35 Questes / Itens Uso adequado dos recursos audio-visuais e instrumentos de apoio didtico Disponibilidade para atender alunos fora do horrio de aulas. Tratamento cordial e respeitoso. Aceitao de pontos-de-vista contrrios. Feedback regular aos alunos sobre seu aproveitamento. Justia na avaliao do desempenho dos alunos. Cumprimento do cronograma das aulas. Nota geral para os professores Qualidade da bibliografia utilizada Atualidade da bibliografia utilizada Equilbrio entre teoria e prtica Horrios de aulas convenientes. Volume adequado de atividades extra-classe. Nota geral para as disciplinas Equipamentos em perfeito estado de funcionamento. Qualidade do material impresso Nota geral para aspectos tangveis

06 Habilidade para criar interesse pelo assunto. 07 Pontualidade 08 Preparo adequado das aulas. Qualidade das Disciplinas 17 Utilidade das disciplinas para a capacitao profissional. 18 Distribuio equilibrada das disciplinas durante o curso. 19 Coerncia entre carga horria destinada a cada disciplina e o contedo da mesma. 20 Adequao das disciplinas aos objetivos do curso. 21 Contedo das disciplinas. 22 Atualidade dos temas abordados Aspectos Tangveis 29 Instalaes fsicas adequadas (confortveis, arejadas, iluminadas) 30 Localizao de fcil acesso 31 Ambiente externo com pouco rudo. 32 Equipamentos didticos modernos Perfil da Turma 36 Nvel de preparao dos colegas da turma. 37 Participao dos colegas nas discusses em sala. Anlise de Valor 41 Relao entre tempo investido e benefcios obtidos Qualidade da Secretaria 44 Qualidade das informaes recebidas 45 Atendimento prestado pelos funcionrios
Fonte: Questionrio da Pesquisa

38 39 A40 42 A43 46 47 A48

Relacionamento entre colegas. Relacionamento com professores. Nota geral para a turma Relao entre custo monetrio e benefcios obtidos Nota geral para Valor Entrega dos documentos no prazo Competncia dos funcionrios Nota geral para Secretaria