Escala de satisfao com o treinamento -eEsast/Telebrs/UnB Organizao, Recursos Humanos Planejamento

ESCALA DE
SATISFAO COM O TREINAMENTO ESAST/TELEBRS/UNB
Amlia Regina Alves Mestre em Psicologia pela Universidade de Braslia. Luiz Pasquali Doutor em Psicologia pela Universit de Louvain (Blgica). Maria Auxiliadora de Mello Pereira Pedagoga pelo Centro de Ensino Unificado de Braslia.

RESUMO Esta pesquisa teve por objetivo construir um instrumento para aferir satisfao com o treinamento a partir de uma teoria previamente elaborada. O instrumento,foi aplicado a uma amostra de 1.200 treinandos com 507 retornos. A anlise dos componentes principais mostrou a presena de seis fatores, cinco dos quais com alta consistncia interna (alfa de .80). Os fatores so: utilidade do treinamento para a empresa, apoio do gerente versus resistncia do gerente ao treinamento, qualidade do curso atualizao do material e competncia do instrutor , aplicao do curso no trabalho, componentes do curso programa, planejamento e avaliao e utilidade do treinamento para o empregado versus importncia para a empresa. Ficou a recomendao de trabalhar melhor o fator seis para obter maior consistncia.

ABSTRACT The purpose of this research was to build an instrument to assess trainees satisfaction with training, based on a previously established theory. The instrument is composed of 78 items and was applied to 1200 trainees with 507 responses (Telebrs employees). A PC analysis showed the presence of six factors, five of them with high internal consistency (alpha equal .80). The factors are the following: usefulness of training for the firm, support versus resistance of the manager to training, quality of training, applicability of training, elements of the training course, and personal versus firm utility of the course. It is recommended that the factor six be better worked out.

PALAVRAS-CHAVE Avaliao de treinamento, treinamento e desempenho, retroalimentao do processo de treinamento, instrumentos para avaliao de treinamento, satisfao com treinamento. KEY WORDS Training evaluation, training and performance, feedback on the training process, instruments for training evaluation, satisfaction with training.

RAE Paulo, v. 39n. 1n. 1 Jan./Mar. 1999 So v. 39 p. 25-30

RAE - Revista de Administrao de Empresas Jan./Mar. 1999

25

Organizao, Recursos Humanos e Planejamento

INTRODUO Nos ltimos anos, analistas de treinamento tm sido levados a reconhecer a variedade de fatores que influenciam os nveis motivacionais e cognitivos do ser humano. Questes como a durao do treinamento, a sua importncia para o empregado, o nvel de conhecimento exigido, a livre disposio ou no em participar do evento, a validade do treinamento etc. foram avaliadas por Ryman e Biersner (1975). A idia desses autores era verificar o nvel de motivao dos empregados antes do curso. Os escores nos fatores por eles estudados poderiam predizer um eventual resultado do programa instrucional e, conseqentemente, poder-se-ia prever qual seria o desempenho dos treinandos no curso. Em outra pesquisa, mais recente, Sanders e Yanouzas (1983) desenvolveram estudos em relao s habilidades de socializao de treinandos expostos ao ambiente de aprendizagem. Eles notaram que os treinandos com atitudes e expectativas positivas esto mais predispostos ao treinamento. Muitos so os atributos e as crenas que podem afetar a efetividade dos programas instrucionais. Noe (1986) descreveu um modelo especificando como muitos desses fatores devem ter implicaes na definio do ambiente de trabalho, a saber: 1. Os empregados ingressam no programa de treinamento porque algum determina que seus desempenhos so adequados ou no. 2. O locus de controle do sujeito poder afetar a motivao individual e a habilidade para aprender. Noe (1986) postula que os indivduos internos (locus de controle interno) tendero a ter excelentes resultados de aprendizagem, uma vez que aceitam o feedback e tomam medidas para corrigir a performance. 3. A motivao para a aprendizagem poder ser maior medida que os treinandos sentem que podem aprender. Esse conceito se baseia na auto-eficcia e na crena do indivduo de ser capaz de desempenhar uma tarefa especfica. A auto-eficcia um conceito crtico na teoria de aprendizagem social (Bandura, 1986). 4. Os empregados devem perceber que o ambiente de treinamento planejado para responder aos seus esforos. 5. Os resultados do treinamento devem ser julgados
26

pelos treinandos como relevantes ou como um instrumento de melhora da performance. 6. Mais do que a melhora na performance, o treinamento deve ter algum valor para os treinandos. Nossa inteno neste artigo apresentar a construo de uma escala que verifica a reao dos empregados a uma srie de atributos que, futuramente, podero ser relacionados s medidas de aprendizagem e aos resultados de treinamento.

Os empregados devem perceber que o

ambiente de treinamento planejado para responder aos seus esforos.

ASPECTOS METODOLGICOS O treinamento um sistema que tem sido utilizado pela Telebrs e suas concessionrias como um dos meios para a manuteno e atualizao do seu capital humano. A abertura de mercado e outras contingncias sociais e econmicas levaram os empregados do Centro Nacional de Treinamento (CNTr) que planejam e executam a capacitao a adotar um Sistema de Avaliao do Treinamento (SAT) como um indicador das atividades de treinamento (Alves e Tamayo, 1993). Elaborao da escala Muitas so as variveis enfocadas pelo modelo SAT. No entanto, surgiu o interesse de se verificarem alguns dos fatores que podem interferir e que aparecem como relevantes para o planejamento da funo de treinamento como um todo. Segundo Noe e Schmitt (1986), treinandos que acreditam na importncia da formao de suas habilidades ficam satisfeitos com o treinamento usual, so engajados em suas carreiras, envolvidos com o trabalho e se beneficiam com os resultados do treinamento. Considerando esses dados e com base nas seis propostas do modelo de Noe (1986), desejou-se construir uma escala e verificar, ento, a reao dos treinandos em relao aos seguintes aspectos: importncia da funo de treinamento; importncia dos cursos; conscientizao da gerncia;

1999, RAE - Revista de Administrao de Empresas / EAESP / FGV, So Paulo, Brasil. RAE v. 39 n. 1 Jan./Mar. 1999

Escala de satisfao com o treinamento - Esast/Telebrs/UnB

importncia do treinamento para a empresa; aplicabilidade do treinamento; divulgao dos cursos; marketing dos cursos; clientela.

O ponto de partida para a construo das escalas de reao foi a concepo de que os prprios treinandos poderiam levantar o contedo dos atributos a serem avaliados. Levantamento das dimenses Para a identificao das dimenses, foram encaminhadas correspondncias aos empregados que passaram pelo treinamento no CNTr em 1994. Nestas, ressaltava-se que o sucesso do treinamento poderia estar intrinsecamente ligado percepo que o treinando tem para com o curso executado e para com sua aplicabilidade. Solicitou-se aos treinandos que escrevessem adjetivos ou frases que caracterizassem os fatores em questo.

Sistema Telebrs. Estes compreendem o universo de sujeitos treinados em cursos desenvolvidos pela prpria empresa. A maioria dos empregados era do sexo masculino, com nvel superior completo e oriundos da rea tcnico-operacional (empregados que trabalham na rea fim do Sistema de Telefonia, tais como rede, comutao, transmisso etc.). Os questionrios foram encaminhados ao local de trabalho dessas pessoas com uma correspondncia na qual se explicava o objetivo da pesquisa. Tratava ainda de como poderia auxiliar na tomada de deciso, otimizando os resultados de aprendizagem, e do efeito do treinamento em geral. As instrues de preenchimento

Mais do que a melhora na performance,

o treinamento deve ter algum valor para os treinandos.

estavam no prprio questionrio. Os itens eram respondidos numa escala de cinco pontos, variando de 1 (discordo inteiramente) a 5 (concordo inteiramente). O encaminhamento desses questionrios ao CNTr ficou sob responsabilidade dos rgos de Recursos Humanos das empresas do Sistema Telebrs. O retorno foi de 507 casos, isto , 42,25%. Anlise estatstica Alm da anlise de distribuio da freqncia dos itens, foi realizada a anlise de validade de construto por meio da anlise dos componentes principais com rotao oblqua (Direct Oblimin) que exigiu 48 interaes para sua convergncia. A anlise de preciso foi realizada pela consistncia interna dos itens no fator, utilizando-se o alfa de Cronbach. RESULTADOS Os fatores e seus parmetros A anlise dos componentes principais (ver Tab e l a 1 ) mostrou a presena de dez fatores com Eigenvalue > 1,5, que explicaram 50% da varincia total, sendo alguns deles bastante correlacionados, como mostra a Tabela 2. Entretanto apenas os cinco primeiros fatores apresentaram uma preciso satisfatria, isto , de .80 ou mais, caindo os demais para
27

Construo dos itens Com base nas dimenses levantadas, redigiram-se 130 itens do instrumento, exatamente como propostos pelos treinandos. Anlise semntica Os itens foram submetidos a anlise semntica com o objetivo de verificar sua compreenso, clareza das instrues e suficincia, reaes aplicao em geral. Esse procedimento foi realizado com 62 empregados selecionados randomicamente. Eles foram instrudos para que, aps a resposta individual ao questionrio, discutissem em grupos, de no mximo seis sujeitos, as observaes e sugestes. A tarefa nessa fase consistiu em apontar os itens de formulao duvidosa e produzir uma reformulao mais adequada ou elimin-los quando no diziam nada de importante. Desse procedimento resultou um instrumento piloto composto por 78 itens. Validao do instrumento Amostra e procedimentos A escala de reao composta pelos 78 itens foi aplicada a uma amostra de 1.200 empregados do
RAE v. 39 n. 1 Jan./Mar. 1999

Organizao, Recursos Humanos e Planejamento

(continuao)

abaixo de .70. Alm disso, apenas seis fatores reproduziram ou estavam de acordo com a teoria que fundamenta a construo do instrumental e permitiram, conseqentemente, sua interpretao psicolgica, razo pela qual o sexto fator, apesar de apresentar consistncia interna ainda insuficiente, foi mantido no instrumento. Os seis fatores em questo so detalhados e interpretados a seguir:
Tabela 1 - Matriz fatorial (pattern) da Escala de Satisfao com o Treinamento Fatores Itens 76 67 36 73 63 35 27 29 31 28 59 64 12 54 65 50 46 53 33 34 74 39 70 06 66 17 45 18 15 37 1 .76 .71 .69 .67 .66 .65 .65 .64 .60 .60 .55 .50 .40 .33 .84 .83 .79 .78 -.73 -.71 .71 .70 .70 .68 .63 .56 .44 -.39 .38 .31 .33 .34 -.32 2 3 4 5 6 h
2

Fatores Itens 42 75 32 49 68 07 61 55 62 10 11 1 2 3 .86 .82 -.79 .76 .48 .43 .41 .35 .33 -.80 -.78 -.75 -.74 -.64 -.55 -.53 -.53 -.41 -.33 -.33 -.33 .42 .51 .50 .45 .39 .36 .53 .49 .47 -.40 .35 -.35 .32 7.43 9.5 4.02 5.1 2.53 3.2 2.16 2.8 2.04 2.6 .32 .34 .38 .40 4 5 6 h2 .69 .68 .59 .65 .64 .43 .64 .53 .44 .62 .58 .64 .57 .58 .52 .52 .37 .37 .38 .41 .52 .41 .25 .38 .26 .24 .42 .42 .45 .55 .19 .41 .35

.61 .54 .44 .46 .55 .48 .43 .48 .52 .46 .44 .28 .23 .42 .71 .73 .65 .60 .62 .60 .62 .53 .58 .47 .46 .48 .41 .28 .45 .28
(continua)

52 51 26 14 43 38 21 19 45 22 47 78 08 72 56 01 13 02 48 30 40 24 Eigenvalue 14.22 % de varincia total % de varincia comum Alfa N. de itens .89 14 .91 16 .88 9 43.9 22.9 12.3 18.2

7.7

6.7

6.3

.89 12

.80 11

.55 8

28

RAE v. 39 n. 1 Jan./Mar. 1999

Escala de satisfao com o treinamento - Esast/Telebrs/UnB

Fator 1: esse fator composto de 14 itens. Com exceo de apenas um, que possui carga de 0.33, todos os demais apresentam uma carga igual ou superior a 0.40. A consistncia desse fator muito alta (alfa = 0.89). Ele representa 18,2% da varincia total do instrumento original e quase 44% da varincia comum aos seis fatores. A anlise semntica do contedo dos itens permitiu identificar esse fator como

De um modo geral, os empregados esto satisfeitos e concordam que o treinamento til para a empresa.
aquele que foi construdo para representar o construto utilidade do treinamento. Fator 2: composto de 16 itens, com uma consistncia interna de alfa = 0.91, explicando 9,5% da varincia total e quase 23% da varincia comum. um fator bipolar e representa o construto inicialmente introduzido de apoio versus resistncia ao treinamento por parte do gerente. Fator 3: novamente um fator bipolar composto de nove itens, com preciso de alfa = .88, explicando 5,1% da varincia total e 12,3% da varincia comum. O contedo semntico dos itens identifica-os com o construto introduzido no questionrio de qualidade de treinamento. Fator 4: fator composto de 12 itens e com uma preciso de alfa = .89, explicando 3,2% da varincia total e 7,7% da varincia comum. A anlise semntica do contedo dos itens identifica esse fator como o representante do construto inicialmente introduzido no questionrio de aplicao do treinamento no trabalho (utilidade). Fator 5: composto de 11 itens com alfa = .80, explica 2,8% da varincia total e 6,7% da varincia comum. Esse fator no foi previsto claramente na formulao do instrumento, mas representa um contedo facilmente interpretvel e que poderia ser denominado de componentes do treinamento, compreendendo reaes com referncia ao programa, seu planejamento e avaliao.
RAE v. 39 n. 1 Jan./Mar. 1999

Fator 6: um fator bipolar composto de oito itens, explicando 2,6% da varincia total e 6,3% da varincia comum. Esse fator deixa ainda muito a desejar quanto sua preciso, dado que alfa = .55. Entretanto ele se manifesta promissor, uma vez que sua interpretao parece fcil de se obter, a saber, o fator confronta o treinamento de utilidade pessoal com o interesse da empresa. Embora no tenha sido previsto na etapa de construo, o fator parece relevante, pois deixa entrever que os empregados diferenciam o ganho como benefcio pessoal versus o interesse da empresa no treinamento. Parece que os empregados esto interessados em que se distingam claramente esses dois tipos de ganho com o treinamento. Essa questo poderia ser resolvida reelaborando e estruturando ambos os plos do fator, confrontando, por exemplo, os dois plos com itens do tipo treinamento mais til para mim do que para a empresa. Relao entre os fatores A Tabela 2 mostra que os fatores so bastante independentes, com exceo do fator 4, que se mostra negativamente relacionado com os fatores 1 e 3. Na verdade, essa relao se encontra entre os fatores 1, 3 e 4. A relao entre eles semanticamente positiva. O fato de o fator 4 apresentar sinal negativo na correlao entre 1 e 3 deve-se simplesmente ao fato de que estes esto no quadrante positivo e aquele, no negativo. A correlao entre os trs fatores fcil de ser compreendida pelo fato de que estes se referem ao mesmo construto utilidade do treinamento. Reaes dos empregados ao treinamento A Tabela 3 e a Figura 1 mostram os resultados nos seis fatores, representando a mdia de reao dos empregados ao treinamento. Observa-se que, em todos os

Tabela 2 - Correlao entre os seis fatores Fator 1 .12 .22 -.38 -.11 .10 .10 -.16 .07 -.07 -.26 .18 .06 -.14 -.09 .07 2 3 4 5

1 2 3 4 5 6

29

Organizao, Recursos Humanos e Planejamento

fatores, existe uma atitude positiva (veja teste t entre a mdia e o ponto neutro da escala todos significativos a p < 0,001). Ela especialmente positiva nos fatores 1 e 4, que representam, respectivamente, a utilidade do treinamento para a empresa e o carter de aplicabilidade do curso no trabalho profissional. A menor concordncia entre os empregados, embora ainda que positiva, diz respeito utilidade que o treinamento tem em benefcio prprio (fator 6).
Tabela 3 - Reao dos empregados nos seis fatores da Escala de Satisfao com o Treinamento Fator Estatstica Mdia DP t* 1 4,35 0,41 74,07 2 3,55 0,59 20,97 3 3,65 0,64 22,85 4 4,03 0,48 48,27 5 3,53 0,50 23,85 6 3,27 0,40 15,18

De um modo geral, os empregados esto satisfeitos e concordam que o treinamento til para a empresa (utilidade profissional fatores 1 e 4). Consideram tambm que o treinamento bem elaborado e executado (fator 3). A utilidade para os empregados no lhes parece to evidente (utilidade para o autodesenvolvimento fator 6). Nesse caso especfico, seria interessante verificar se, segundo as teorias da auto-eficcia de Bandura e do locus de controle de Rotter, de fato os empregados com locus interno e alta auto-eficcia, em contraste com os de locus externo e baixa auto-eficcia, conseguem perceber tambm o treinamento como benefcio pessoal. Em caso verdadeiro, o que possvel, a empresa deveria investir na mudana de atitude dos empregados, que teria como resultado o melhor aproveitamento dos cursos. Essas hipteses podero ser verificadas com instrumentos do tipo de Gibson (Gibson e Dembo, 1984; Barros, Barros e Neto, 1993) e Levenson (1973).1 CONCLUSO

* da mdia em relao ao ponto neutro.

Figura 1 - Ilustrao das mdias nos seis fatores

5 4 3 2 1

Esta pesquisa permitiu apresentar um instrumento multifatorial com validade e fidedignidade comprovadas que avalia a satisfao do empregado com o treinamento. A teoria baseada em Noe e Schmitt (1986), na qual se fundamentou a construo do presente instrumento (conforme mencionado anteriormente), foi comprovada quase na sua totalidade. Conseqentemente, com isso, as equipes de Avaliao do Centro Nacional de Treinamento da Telebrs e do Laboratrio de Pesquisa, Avaliao e Medida (LabPAM) da UnB colocam disposio dos profissionais de treinamento e desenvolvimento um instrumento vlido e preciso de diagnstico da Satisfao com o Treinamento, o Esast. 2

REFERNCIAS BIBLIOGRFICAS ALVES, A. R., TAMAYO, A. Sistema de avaliao do treinamento da Telebrs. Revista de Administrao - USP, v.28, n.4, p.7380, out./dez. 1993. BANDURA, A. Social foundations of thought and action: a social cognitive theory. Englewood Cliffs, N.J.: Prentice Hall, 1986. BARROS, J. H., BARROS, A. M., NETO, F. Psicologia do controlo pessoal: aplicaes educacionais, clnicas e sociais. Braga: Universidade do Minho, Instituto de Educao, 1993. NOTAS 1. Estudo com locus de controle no prelo (Psicologia: Reflexo e Crtica, Porto Alegre, UFRGS, 1998). 2. O Esast est disponvel no LabPAM, UnB Campus Darcy Ribeiro Asa Norte 70910-900 Braslia DF. GIBSON, S., DEMBO, M. Teacher efficacy: a construct validation. Journal of Educational Psychology, v.76, p.569-82, 1984. LEVENSON, H. Multidimensional locus of control in psychiatric patients. Journal of Consulting and Clinical Psychology, v.41, p.397-404, 1973. NOE, R. A. Trainee attributes and attitudes: neglected influences in training effectiveness. Academy of Management Review, v.4, p.736-49, 1986. NOE, R. A., SCHMITT, N. The influence of trainee attitudes on training effectiveness: test of a model. Personnel Psychology, v.39, p.497-523, 1986. RYMAN, D. H., BIERSNER, R. J. Attitudes predictive of diving training success. Personnel Psychology, v.28, p.181-8, 1975. SANDERS, P., YANOUZAS, J. N. Socialization to learning. Training and Development Journal, v.37, p.14-21, 1983.

30

RAE v. 39 n. 1 Jan./Mar. 1999