Psicologia: Teoria e Pesquisa Jan-Abr 2005. "1,1.21 n. 1.1'1'.

043-051

Anlise Fatorial Confirmatria da Escala de Impacto do Treinamento no Trabalho'

Ronaldo Pilati2 Instituto de Cincias do Trabalho -fCI)Gardnia Abbad Universidade de Braslia RESUMO - Impacto do treinamento no trabalho o principal indicador da efetividade de aes de treinamento no nvel individual. Nos modelos de avaliao de treinamento impacto um indicador de mudana do comportamento no cargo. A delimitao de conceitos similares, como transferncia de aprendizagem, e o teste desses construtos tornam-se relevantes para a pesquisa na rea. Estc estudo tem como objetivo testar a estrutura emprica de um instrumento de impacto do treinamento no trabalho por meio de modelagem por equaes estruturais. Participaram do estudo 2.966 funcionrios de sete organizaes, divididos em trs sub-amostras. Os resultados das anlises sugeriram r-especificaes do modelo hipottico, e a anlise cruzada da estrutura foi corroborada nas trs sub-amostras. Desta forma, conclui-se que existe a necessidade de aprimoramento da medida. Entretanto, a proposta conceitual de impacto do treinamento no trabalho fo corroborada. Palavras-chave: impacto do treinamento no trabalho; transferncia de aprendizagem; anlise fatorial confirmatria.

Confirmatory Factor Analysis of a Scale for Impact of Training at Work

ABSTRACT - Training impact at work s the main indcator 01' tranng elfectiveness at the individual Ievel, In thc training cvaluation modcls, impact is a mcasure of behavior change on the job, Thc conceptual delimitation 01' similar constructs, as transler of learning, s importam to research. The main objective of ths study were to test the ernpirical structure of the training impaci ai work 's scale with a couirmarory factor analysis and the adequacy 01' the construct. In this study, participated 2.966 workcrs of scvcn organlzatons, dividcd in thrcc sub-sarnplcs. Thc rcsults indicatcd modcl rnodifications, and the analysis was corroborated on the three sub-samples, Thus, the measurement should be improved. However, the conceptual proposition 01' trainng impacr at work was corroborated. Key words: training impact at work; transfer 01' learnng; confirmatory factor analysis, Treinamento possui vrias definies. Borges-Andrade ampla, no necessariamente ligada profissionalizao. Os limites entre esses conceitos esto cada vez mais tnues. uma vez que a necessidade de formao e atual i zao profissional, na atualidade, tornou esses conceitos muito sobrepostos. Observa-se convergncia dos autores acerca de alguns pontos da definio de treinamento, possibilitando que uma definio abrangente descreva treinamento como uma ao tecnolgica controlada pela organizao, composta de partes coordenadas entre si, inseridas no contexto organizacional, calcada em conhecimentos advindos de diversas reas, com a finalidade de (a) promover a melhoria de desempenho, (h) capacitar o profissional para o uso de novas tecnologias e (e) prepar-lo para novas funes. Essas finalidades so atingidas por meio da aquisio sistemtica intencional de competncias c aplicao dessas no trabalho. Um dos temas que mais chama a ateno dos pesquisadores na rea diz respeito ao efeito do treinamento no trabalho do treinado (Abbad, 1999; Holton Ill, Bates, Seylcr & Carvalho, 1997; Roullier & Goldstein, 1993; Salas & Cannon-Bowers, 2001; Sallorenzo, 2(00). Essa ateno se deve ao gnu;('re interesse que profissionais c pesquisadores tm em compreender de que modo o treinamento produz mudanas no comportamento subseqente do treinado, quando esse est em sua atividade laboral diria. A preocupao

(2002), por exemplo, o define como uma ao organizacional

planejada de modo sistemtico, que possibilita a aquisio de habilidades motoras, atitudinais ou intelectuais, assim como o desenvolvimento de estratgias cognitivas que podem tomar o indivduo mais apto a desempenhar suas funes atuais ou futuras. Goldstein (1993), na mesma direo de BorgesAndrade, dcf ne treinamento como a aquisio sistemtica de conhecimentos, habilidades, atitudes, regras e conceitos que resultam em um aumento do desempenho no trabalho, Para Bastos (1991), a diferenciao entre treinamento e outras aes, como educao e desenvolvimento, passaria pela intencionalidade de cada uma. A funo de um treinamento seria a de desenvolver um conjunto de conhecimentos, habilidades e atitudes para a melhoria de desempenho atual. Enquanto educao, segundo N adler (1984), visaria formao profissional mais abrangente, relacionada geralmente preparao do profissional para ocupaes e trabalhos futuros e, finalmente, desenvolvimento seria uma formao mais

l.

:2

Apoio CAPES e PRONEX Treinamento e Comportamento no Trabalho. Endereo: lnstiruto de Cincias do Trabalho, SEPS 714/914, Bloco E, Ed. Talento, sala 107, Braslia, DF, Brasil 70390-145. E-mail: rpilmits'ictr.com.hr

43

R. Pilali e G. Abbad

em mensurar esse nvel de efeito ps-treinamento tem suas origens nos modelos clssicos de avaliao de treinamento (Hamblin, 1978; Kirkpatrick, 1976). Esses tericos pressupunham que um cios objetivos cio treinamento seria provocar lima modificao no comportamento do treinado na execuo das atividades atinentes s suas atribuies dentro da organizao. Esses conceitos tm sido relacionados e/ou renomeados de formas distintas por diferentes autores. Por tanto, so fundamentais a anlise e a comparao, sobre limites e abrangncias de tais conceitos. Com esse objetivo apresenta-se, a seguir, uma discusso terico-conceitual sobre esses construtos, A seguir so apresentadas definies de alguns conceitos relacionados que so utilizados para descrever processos de mudana de estados comportamentais em decorrncia de treinamentos. A Figura 1 procura esquematizar um conjunto de construtos interdependentes, organizados de forma hierrquica. Estes so assim arranjados devido ao estreito relacionamento conceitual que mantm entre si.

Impacto do Treinamento Trabalho

no

Figura 1. Modelo conceitual de Impacto do treinamento no trabalho e construtos correlatos.

o primeiro conceito, aquisio, descreve o resultado centrai e imediato do treinamento no indivduo e que condio para a ocorrncia dos outros processos descritos pelos demais conceitos da Figura I. Aquisio pode ser definida corno o processo bsico de apreenso de conhecimentos, habilidades e atitudes, desenvolvidos na ao instrucionaL Ele substitui a noo terica de aprendizagem porque segundo Howard (1999) no existe consenso entre os pesquisadores sobre a definio de aprendizagem. Exatamente por esta ausncia de consenso que este autor defende que o conceito no uma categoria natural de anlise, devido s vastas diferenas entre as abordagens que estudam o fenmeno. Para Howard (1999) a forma clssica de definio de aprendizagem passa pela noo de aquisio de conhecimento a partir da experincia, que resultaria em uma mudana duradoura de comportamento. Na rea dc psicologia instrucional (Gagn, 1985), aprendizagem a demonstrao, por parte do treinando, da
44

capacidade de executar ao final do evento instrucional as aes identificadas como objetivos da capacitao. Nesse sentido, a idia de aquisio de conhecimento seria coerente com essa noo, porque essa aquisio seria induzida pelas situaes de aprendizagem criadas pela instruo. As teorias cognitivas de processamento de informao indicam que a aquisio de novos conhecimentos apenas uma das etapas do processo de aprendizagem, que depende, para se concretizar, de memorizao do que foi adquirido. Nesse contexto de concretizao que entra o segundo conceito da Figura 1, reteno, que procura descrever o processo imediatamente posterior aquisio, Segundo modelos da psicologia cognitiva (Eysenck & Keane, 2000), esse processo de reteno passaria pelo armazenamento de informaes na memria de trabalho ou de curto prazo, logo aps a assimilao da informao c, posteriormente, essas informaes seriam transferidas para a memria de longo prazo. Assim, reteno diz respeito ao armazenamento dos conhecimentos na memria de longo prazo. A reteno um dos indicadores de que os conhecimentos so armazenados na memria do indivduo c que estes podem ser recuperados a qualquer momento em que exista estimulao propcia para tal. O prximo conceito da Figura I denominado generalizao c largamente estudado em psicologia experimental, na qual vrios autores j trataram de sua definio e delimitao conceitual (Hamilton, 1943; Postrnan, 1972). Em treinamento, desenvolvimento c educao (TD&E), Ford e Kraiger (1995) definem generalizao como o grau com que os comportamentos obtidos por meio de treinamentos so exibidos pelo egresso no trabalho eaplicados a situaes e condies diferentes daquelas de treinamento. Abbad (1999), ao realizar uma anlise destes conceitos, encontrou que reteno e generalizao so consideradas condies necessrias ao uso eficaz no trabalho dos desempenhos aprendidos no treinamento. Os ambientes para onde retornam as pessoas treinadas, na maior parte das vezes, so muito distintos do amhiente instrucional, Esse fato torna o conceito de generalizao inadequado para descrever os efeitos provocados pelo treinamento no trabalho do egresso, uma vez que este vem sendo destinado a caracterizar o efeito de pequenas mudanas nas condies (estmulos) de treino ou nas tarefas (respostas). O uso do conceito de generalizao, comumente adotado nas pesquisas experimentais, no , portanto, um conceito central nas pesquisas de avaliao de treinamento. Entretanto. no contexto de TD&E esse conceito est relacionado idia de que o treinado pode identificar situaes nas quais os conhecimentos adquiridos no ambiente instrucional podem ser aplicados no trabalho. Assim, a generalizao essencial para que possa existir a aplicao do aprendido no trabalho, pois o contexto de treinamento, na grande maioria das vezes. diferente do contexto de trabalho. O quarto conceito apresentado na Figura 1 nomeado transferncia de aprendizagem, Ele descreve um processo j situado no ambiente de trabalho do egresso, pois um resultado mediato do treinamento que envolve reteno e generalizao, tal como propuseram Baldwin e Ford (1988). Transferncia de aJ;).endizagem pode ser definida como a aplicao eficaz no trabalho dos conhecimentos, habilidades e atitudes adquiridos em treinamento. Esse conceito descreve um dos processos centrais de interesse dos modelos de

Psic.: Teor. e Pesq., Braslia, Jan-Abr 2005, Vol. 21 n. 1, pp. 043-051

Impacto do treinamento no trabalho

avaliao de treinamento, no nvel de comportamento no cargo. Ele foi nomeado por Hamblin (1978) de impacto do treinamento em profundidade. De forma extensa na pesquisa em TD&E a transferncia de aprendizagem o indieador mais freqentemente utilizado, mas sqmente a aplicao da nova habilidade no trabalho no garante efeitos visveis sobre o desempenho global, atitudes e motivao do participante. Uma evidncia de que o treinamento produziu efeitos benficos, sobre o trabalho, requer que o participante demonstre melhorias relevantes nos produtos e/ou nos processos de trabalho, bem corno em suas atitudes c motivao. Isso significa que o conceito de transferncia de aprendizagem no descreve o processo de resultado do treinamento no desempenho global do egresso, nem em suas atitudes e motivao. Buscando uma melhor compreenso dos conceitos que descrevem mudana de comportamento no cargo Abbad (1999) empreendeu urna anlise conceitual de transferncia de aprendizagem, baseada em tcnicas da filosofia da linguagem (Peters, 1958; Ryle, 1949). Para a autora a expresso transferncia de aprendizagem vem sendo usada no sentido metafrico de transporte, movimentao, deslocamento de habilidades. capacidades e atitudes da situao de treinamento para a situao de trabalho. Falar de transferncia de aprendizagem, nesse contexto dizer algo semelhante a: " como se habilidades, capacidades, atitudes e/ou conhecimentos fossem transportados ou carregados do treinamento para o ambiente dc trabalho". Uma caractenstica importante do uso tcnico do conceito de transferncia de aprendizagem, a ser destacada, a natureza disposicional daquilo que transferido do treinamento para o local de trabalho. Os treinamentos ensinam ou deveriam ensinar novas habilidades, capacidades e/ou atitudes, novas formas de desempenhar antigas tarefas, aes inteligentes e/ou a aplicao oportuna e eficaz dos comportamentos aprendidos, em outras situaes e/ou tarefas. Habilidades, atitudes e capacidades so disposies, conjuntos de comportamentos, padres de desempenho e situaes. Nas pesquisas da rea de TD&E, o que mais interessa examinar o efeito do treinamento em longo prazo sobre os n vcis de desempenho, identificar fatores restritivos e faeilitadores do uso daquelas habilidades, capacidades e atitudes e as condies necessrias para que tais nveis melhorem. Por exemplo, algum que aprende a utilizar um processador de texto de forma eficaz aplicar a nova habilidade a contento, se algumas condies estiverem presentes e se houver motivao para utilizar essa nova habilidade nas suas tarefas do cotidiano. Em um sentido ideal. um treinamento deve ter efeito duradouro e tambm melhorar o nvel de desempenho da pessoa treinada em atividades similares e em outras que requeiram o uso da nova habilidade, capacidade e/ou atitude. Alm de produzir efeitos favorveis e permanentes, os treinamentos, muitas vezes, fazem parte de programas de valorizao de recursos humanos e so planejados para aumentar a motivao e/ou o comprometimento organizacional, reduzir tenses e/ou conflitos internos e/ou facilitar a aceitao de mudanas organizacionais. Nesses casos, o efeito desejado no pode ser observado apenas nos nveis de desempenho do funcionrio egresso de treinamento, devendo compreender tambm efeitos sobre atitudes e motivaes.

Assim esse fenmeno de resultado do treinamento no trabalho no pode mais ser descrito como transferncia de aprendizagem, mas sim como impacto do treinamento no trabalho, pois fazem parte desse conceito indicadores de mudanas no desempenho global do treinado, bem como, em sua motivao e atitudes em relao ao seu trabalho. Assim, o quinto conceito apresentado na Figura I denominado impacto do treinamento no trabalho e definido como a influncia que o evento instrucional exerce sobre o desempenho global subseqente do participante do treinamento, bem como, em suas atitudes e motivao. Hamblin (1978) nomeia esse' mesmo fenmeno de impacto em amplitude, no nvel de comportamento no cargo. Por essas caractersticas, o impacto do treinamento no trabalho nem sempre se reduz transjerncia de aprendizagem. A dificuldade da pesquisa em TD&E se centra no fato de que h uma confuso conceitual na descrio desses processos, pois o fenmeno de resultado do treinamento no desempenho vem sendo nomeado e descrito como transferncia de treinamento ou transferncia de aprendizagem, apesar da notria diferena entre os fenmenos (Abbad, 1999). Cada elo da corrente de eventos descritos na Figura 1 (Aquisio ~ Reteno-e Generalizao-e Transferncia ~ Impacto no Trabalho) depende de conjuntos diferentes de variveis para OCOlTerde acordo com os padres desejveis. Uma das suposies de Kirkpatriek (1976) e de Hamblin (1978) a de que, havendo aprendizagem, haveria mudana de comportamento no cargo. Isso no foi confirmado pelos dados de muitas pesquisas relatadas na literatura especializada (Abbad, Pilati & Pantoja,,'2,003; Alliger & Janak, 1989). Por esse motivo fundamental esclarecer ao leitor que, como esquematizado na Figura 1, condio necessria ocorrncia dos diferentes fenmenos encadeados para que exista o impacto do treinamento no trabalho, mas no h uma pressuposio causal entre os eventos que cada um dos conceitos descreve, pois h evidncias de que a ocorrncia de cada um desses multi determinada. As diferenciaes conceituais, apresentadas na Figura 1 e discutidas at aqui, requerem mais testes empricos. H algumas evidncias, relatadas por Abbad (1999), Abbad c cols, (2003) e Pilati e Borges-Andrade (2004) de que medidas de transferncia de aprendizagem c impacto do treinamento no trabalho so correlatas, mas no coincidentes c que, as variveis que predizem a primeira so distintas daquelas que explicam a variabilidade de impacto do treinamento no trabalho. Notoriamente, a literatura aponta que os indicadores de resultado do treinamento no trabalho dos indivduos so descritos pelos conceitos de transferncia de aprendizagem c impacto do treinamento no trabalho (Abbad, 1999; Goldstein, 1993). Com o intuito de submeter esses conceitos a testes empricos, se fazem necessrias pesquisas para identificao e descrio dos distintos preditores de cada uma dessas variveis. Alguns resultados, como referido anteriormente, j indicam a existncia de explicaes distintas para esses fenmenos (PiJati & Borges-Andrade, 2004). Um outro. tipo de esforo importante para o teste emprico dos indieado~s de resultado de treinamento no trabalho a anlise fatorial confirmatria de medidas padronizadas em amostras diversificadas, Abbad (1999) apresentou um instrumento de aferio de impacto do treinamento no trabalho.

Psie.: Teor. c Pcsq., Braslia, Jan-Abr 2005, VaI. 21 n. 1, pp. 043-051

45

R. Pila e G. Abbad

Esse instrumento obteve uma grande profuso nos estudos nacionais sobre avaliao do treinamento, pois mais de uma dezena de pesquisas foram desenvolvidas com a utilizao dessa medida para avaliar impacto do treinamento no trabalho, mantendo a mesma estrutura emprica Ulbbad & cols., 20(3). Alm disso, corroboraes sucessivas foram feitas com os preditores desse instrumento, que sempre foram os mesmos, independentemente de contextos instrucionais c organizacionais. Com base nesse tipo de achado sucessivo que a tcnica dc anlise fatorial confirmatria (AFC)

extremamente amplo, variando de menos de 1 ano de trabalho na organizao at mais de 20 anos de vinculao. O nvel instrucional dos participantes variou de ensino mdio incompleto at ps-graduados. Como forma de realizar uma validao cruzada, esse grande arquivo de dados foi dividido, aleatoriamente, em trs sub-bancos com aproximadamente 1.000 casos cada. Com este nmero de componentes em cada um foi possvel a manuteno de uma variabilidade aceitvel para a aplicao da tcnica de AFC em cada uma das sub-amostras.

recomendvel, Abbad (1999) construiu

a medida com base nessa definio do conceito, na reviso conceitual de transferncia de aprendizagem e nos elementos tericos descritos em modelos de clssicos de avaliao de treinamento (Harnblin, ] 978; Kirkpatrick, 1976) c em estudos que avaliaram o impacto do treinamento no trabalho (Leito, ] 994; Lima, BorgesAndrade & Vieira. 1989; Paula, 1(92). Esse instrumento possui indicadores de melhora do desempenho no trabalho ti.e, diminuio do nmero de erros, aumento da qualidade e velocidade do trabalho), motivao para realizao das atividades ocupacionais (i. e. aumento da motivao) e atitude favorvel modificao da forma de se realizar o trabalho ti,e, receptividade s mudanas da lgica de trabalho). A autora redigiu 12 itens que cobriram os indicadores do conceito. Realizou um processo de validao semntica do instrumente para testar a compreensibilidade dos itens redigidos e os submeteu a uma anlise psicomtrica, encontrando uma estrutura emprica unifatorial com cargas variando entre 0,43 a 0,90, com elevado ndice de consistncia interna (ver mais informaes sobre o instrumento na seo de instrumentos do mtodo do presente artigo). Seguindo a linha de investigao de aperfeioamento das medidas e dos conceitos que descrevem os efeitos do treinamento no trabalho dos egressos, o presente artigo tem como objetivo realizar uma anlise fatorial confirmatria do instrumento de impacto do treinamento no trabalho desenvolvido e validado por Abbad (1999). Como nos trabalhos de validao dessa escala Abbad (1999) encontrou uma estrutura uni fatorial e estudos posteriores com amostras diversificadas (Abbad & cols., 20(3) tambm corroboraram tal estrutura, hipotetiza-se que a estrutura fatorial do instrumento na AFC ser unidimensional com coeficientes de regresso do trao latente sobre os itens do instrumento signi ficativos e de magnitude mdia e elevada.

Instrumento
O instrumento apresentado por Abbad (I (99) composto por 12 itens, associados a lima escala de concordncia do tipo Likert de cinco pontos. Essa escala foi inspirada no trabalho de Lima e cols, (1989), que definiram alguns indicadores de impacto do treinamento no trabalho. Com base em reviso de literatura e em uma anlise lgica do uso do conceito de impacto do treinamento no trabalho, Abbad (I999) identificou vrios outros indicadores do construto (motivao para o desempenho das atividades, abertura mudana dos processos de trabalho e uma atitude positiva em relao capacidade de executar as atividades) e redigiu outros itens para mensur-lo. A anlise fatorial exploratria feita pela autora apresentou uma estrutura unifatoria! do instrumento. As cargas fatoriais dos itens variaram de 0,43 at valores superiores a 0,90. A soluo fatorial escolhida explicou aproximadamente 4()fYc, da variao total cio instrumento. OAndice de consistncia interna (alpha de Cronbach) foi superior a 0,90. Os 12 itens que compem o instrumento so apresentados abaixo no Quadro 1.
Quadro L Itens do instrumento de Abbad (I l)l)l)) Itens
I. 2.

de impacto do treinamento em amplitude

Utilizo, com freqncia. em meu trabalho atual. o que foi ensinado no treinamento. Aproveito as oportunidades
me foi ensinado

que tenho para colocar em prtica o que

no treinamento,

3.

As hahilidades que aprendi no treinamento fizennn com que eu cometesse menos erros. em meu trabalho. em atividades relacionadas ao contedo do treinamento. Recordo-me bem dos contedos ensinados no treinamento. Quando aplico (J que aprendi no treinamento. executo meu trabalho com maior rapidez.
A qualidade do meu trabalho melhorou nas atividades diretamente relacionadas ao contedo do treinamento. A qualidade: do meu trabalho melhorou mesmo naquelas atividades que no pareciam estar relacionadas ao contedo do treinamento.

4. 5.
6. 7.

Mtodo
Amostra
Para a realizao da AFC foi utilizado um amplo arquivo de dados, desenvol vi do ao longo de mais de cinco aIlOS de pesquisa brasileira sobre impacto do treinamento no trabalho. Ao total foram pesquisadas sete organizaes. Dois tribunais, um hospital pblico, uma empresa de pesquisa, uma empresa de televiso por assinatura, um banco estatal e uma instituio pblica de ensino superior. A amostra total foi composta por 2.966 sujeitos. Esses trabalhadores eram provenientes de mais de lima dezena de diferentes categorias funcionais. O tempo de servio dos participantes da pesquisa tambm

S. 9.

Minha participao no treinamento motivao para o trabalho.

serviu para aumentar minha

Minha participao nesse treinamento aumentou minha autoconfiana. (Agora tenho mais confiana na minha capacidade de executar meu trabalho com sucesso).

10. Aps minha participao no treinamento. tenho sugerido, com mais freqncia. n1lJdan~ nas rotinas de trabalho.
] 1. Esse treinamento que'
Z t0J110U-me

mais receptivo

a mudanas

no

trabalho.

12. O treinamento que fiz beneficiou meus colegas de trabalho, que aprenderam comigo algumas novas habilidades.

46

Psic.: Teor. e Pcsq .. Braslia, Jan-Abr 2005, VoL 21 n. I. pp. 043-051

Impacto do treinamento

no trabalho

Os indicadores da anlise fatorial exploratria da amostra de validao e os resultados constantes das sucessivas pesquisas encorajam a realizao de uma AFC nesse instrumento (Borges-Andrade, Morandini & Machado, 1999; Pilati & Borges-Andrade, 2000; Rodrigues, 2000; Sallorenzo, 2000). Procedimentos A medida de impacto em amplitude foi aplicada, no local de trabalho do treinado. entre dois e trs meses aps o trmino do treinamento. Como esse arquivo de dados composto por mltiplos projetos de pesquisa, a medida de impacto do treinamento no trabalho foi aplicada em conjunto com diferentes medidas de variveis de interesse na pesquisa em TD&E. Na maioria dos casos o instrumento de impacto do treinamento foi enviado por meio de malote, com indicao para o respondente reenviar o instrumento respondido diretamente para o grupo de pesquisa. Em alguns casos a coleta foi feita por meio eletrnico, na qual um instrumento era enviado em arquivo de editor de texto anexado a uma mensagem personalizada para o treinando. Esse era instrudo para preencher o instrumento no arquivo e reenvi-lo, anexado a uma mensagem de correio eletrnico, diretamente para o grupo de pesquisa. O instrumento era auto-aplicvel e suas instrues enfatizavam o carter acadmico da pesquisa, reforando o anonimato das respostas. Os participantes eram informados de que os resultados seriam repassados para a organizao, mas apenas de forma agrupada, sem identificao pessoal, Esse repasse era parte da parceria firmada com as organizaes, que abriam o espao para pesquisa e recebiam um relatrio executivo com dados descritivos sobre 0(05) t.reinamento(s). Anlise de Dados Antes de submeter o arquivo de dados AFC foram realizadas anlises exploratrias, visando adequar os dados ao modelo linear geral, como apontado por Tabachnick e Fidell (2001). Os dados omissos no chegaram a 5'!{, do total do arquivo. Mesmo assim, [oi feita uma estimao e a substituio desses dados por meio do algoritmo EM iExpectation Maximimtioni. No foram observados problemas relativos multicolinearidade e singularidade no arquivo de dados. Tampouco foram observados casos extremos multivariados influentes, detectados por meio da distncia de mahalanobis. Foi observado que todos os itens do instrumento possuem um padro assimtrico. Todos os valores de assimetria tskewnessi foram negativos e significativos, variando de -0,319 at -I, 195. Os valores de achatamento ikurtosisv foram reduzidos c significativos, variando de -0,594 at 1,675. O coeficiente de normalidade multi variada (Mardia, 1971) tambm aponta para o carter moderadamente anormal da distribuio dos itens, em todos os arquivos de dados em anlise. Em virtude dessa caracterstica de anormalidade das distribuies dos itens no ser to elevada optou-se, ainda, pela utilizao do algoritmo da mxima verossimilhana (ML) para estimao dos parmetros, como indicado por Arbuckle e Worthke (1(99). Para a realizao da AFC foi utilizado o pacote estatstico AMOS (v. 4.0).

ll2 ., 101 a 112 Itens do instrumento de impacto (ver Quadro I) Figura 2. Modelo hipottico testado na AFC do instrumento de i mpacto do treinamento.

Para o teste de ajuste do modelo proposto foram analisados os seguintes ndices: X", CFl (Comparative Fit Indexy; RMSEA (Root Mean Square Error (If Aproximationi; NFI (Normed Fi! index) c GFI tGoodness-of-fu Index), como debatido na literatura especializada (Bentler, 1990; Boornsma, 2000; Byrne, 20m; MaeCallum, Roznowski & Necowitz, 1992; MeDonald & Ho, 2002; Ullman, 2001). Adotaram-se, como critrios de ajuste satisfatrio de modelo aos dados, os seguintes valores dos ndices: CFI superior a 0,90; RMSEA prximo ali inferior a 0,08; GFI superior a 0,90; e NFI superior a 0,90. Buscou-se comparar os ndices observados nas diferentes sub-amostras do estudo, visando ao teste cruzado do modelo hipottico. Desta forma pode-se aferir o grau de validade que esse modelo possui em trs amostras independentes. Nas trs amostras o modelo foi superidentificado. A estrutura testada nas amostras unifatorial, como pode ser observado na Figura 2.

Resultados
Os ndices de adequao do modelo hipottico inicial para a sub-amostra I foram prximos de satisfatrio, como pode ser observado na Tabela I. Os parmetros estimados no modelo testado so todos significativos c podem ser observados na Figura 3. Nesta figura so apresentados os coeficientes de regresso estimados para todos os componentes do modelo, bem como, as varincias dos erros e da varivel latente. Os principais ndices de adequao (Tabela 1) aproximam-se de 0,90 e () RMSEA um pouco superior a O, I O. Esses indicadores, devido aos seus valores abaixo do aceitvel, sugerem' te-especificaes que ainda deveriam ser feitas no modelo. Analisando os resultados das anlises post hoc, observaram-se duas covarincias significativas entre

Psic.: Teor. c Pesq., Braslia, Jan-Abr 2005, VaI. 21n. L pp. 043-051

47

R. Pilau e G. Abbad
Tabela 1. ndices de adequao dos modelos testados na sub-amostra ndice Modelo inicial 541 Modelo re-especfcado
417,633 (GL I

Tabela 2. ndices de adequao dos modelos testados na sub-amostra 2 ndice '\lodclo inicial Modelo re-especficado

x'*
G.FI

= 52)
CFI 0.890 0.881 0.102 X' = 288,39 0,945 0,936 0,073

NFI RMSEA

0.922 0.086

NFl RJ'vISEA '" "'(diferena)

"'(diferena)

X' = 231,195

GFI - Goodness-oj-Fit tndex; CFI - Comparative Fit Index; NFI - Normed Fir tndcx; RrvlSEA - Root Mean Square Error ojAl'l'roximarion

GFI - Goodncss-ot-Fit Indcx; CFI Comporativc Fi! lndex; NFI - Normed Fit Index; RMSEA Root Mean Square Error ofApproximation

Os valores dos coeficientes de determinao do modelo variaram de 0,573 at 0,977 como pode ser observado na Figura 3. Isso indica que a varivel latente prediz adequadamente a variao das variveis observadas. Esses coeficientes de regresso estimados alm de elevados tambm so altamente significativos. Todas as varincias estimadas, tanto aquelas associadas aos erros da medida quanto aquela referente varivel latente, possuem alta significncia estatstica. Apesar da melhora dos ndices, uma inspeo visual na matriz de resduos padronizados indica que ainda existem valores altos. Esse tipo de resultado indica que o modelo ainda necessita de ajustes para melhor explicar os dados. Talvez por esse motivo que os indicadores de adequao do modelo estejam acima de 0,90, mas no to prximos de I quanto seria desejado. Estes resultados apontam para a necessidade de um trabalho futuro sobre esse instrumento, seja na sua estrutura bsica (representaes dos tens), seja na sua elaborao terica. A exemplo do que ocorreu com a primeira sub-amostra, os resultados apresentaram-se extremamente similares com
" 10 I a I I 2 - Itens elo instrumento ele impacto (ver Quadro 1) Fignra 3. Resultado da anlise confirmatria para o modelo inicialmente hipoteiizado.

erros, no previstas no modelo iniciai. Essas covarincias so entre os itens 8 e 9 de um lado c 10 c 11 de outro. Devido a essas covarincias no previstas, decidiu-se realizar a re-especificao do modelo. A Figura 4 apresenta o novo modelo testado, j com os coeficientes estimados pela an l ise co n firm atri a. A Tabela I apresenta os ndices de adequao do novo modelo testado (na coluna modelo re-especificado). Observase nessa tabela que houve uma melhora sensvel nos ndices dc ajustc do modelo, em relao aos dados obtidos no primeiro modelo testado. A diferena dos valores do 'X2 foi de 231,195 pontos, o que altamente significativo (dado GL = 2). Alm disso, todos os outros ndices melhoraram. Essa modificao oeOlTeudevido a real existncia da correlao entre os erros dos itens (motivo da r-especificao do modelo), e que no foi prevista inicialmente. Essas correlaes tm uma justificativa terica, pois os itens que possuem covarincia entre si so relativos aos efeitos atitudinais provocados pelo treinamento. Desta forma, a re-espeeificao do modelo respeitou recomendaes de justificativa terica para sua adoo (Boomsma. 2000; McDonald & Ho, 2002).

101 a I 12- Itens do instrumento de impacto (ver Quadro I) Figura 4, Modelo re-especiticado do instrumento de impacto do treinamento com coeficientes.

"-

48

Psic.: Teor. e Pesq., Braslia, Jan-Abr 2005, VoI. 21 n. I, pp. 043-051

Impacto do treinamento no trabalho

o segundo grupo de sujeitos. A Tabela 2 apresenta os valores dos ndices de adequao dos dois modelos testados na segunda sub-amostra. importante ressaltar que a mudana no modelo foi exatamente a mesma realizada para a subamostra 1 (ver Figura 4). Da mesma forma como OCOlTeucom os ndices da subamostra I, observou-se uma modificao substantiva nesses aps a te-especificao. A inspeo visual das matrizes residuais tambm indica que alguns resduos ainda so elevados, a exemplo do que ocorreu na sub-amostra I. Quanto s estimaes dos coeficientes de regresso e das varincias, todos foram significativos. O nico tpico relevante c distinto entre os dois modelos um conjunto de indicadores ligeiramente melhores nessa sub-amostra em relao a anterior. Mas o padro de melhora, graas te-especificao, mantm-se rigorosamente o mesmo. Dessa forma, pode-se defender a idia de que existe validade cruzada do modelo nas duas amostras. A exemplo da lgica dos resultados das outras subamostras, a Tabela 3 apresenta os ndices de adequao do modelo inicial e do modelo modificado, respectivamente, para a sub-amostra 3.
Tabela 3. ndices de adequao dos modelos testados na sub-amostra .J ndice Modelo inicial 720,192 (GL = 54) 0.864 Modelo re-especficado 492,319 (GL = 52) 0,913

x'*
CFI Cl'l
NFl

RMSEA
GFI- Goodners-of-Fit Fi! Index;RMSEA

0,111

0,092

* "'(diferena) X' = 227,87.J

lndex; CFl- Compurative Fit tndex; NFI- Normed Square Error orAppl'Uxiflll1lion <Roo! Mean

Como pode ser observado na Tabela 3, ocorre o mesmo padro de melhora dos ndices, observado nas outras subamostras. Assim pode-se dizer, definitivamente, que existe corroborao do teste cruzado do modelo. Um ponto que deve ser ressaltado diz respeito aos ndices piores dessa ltima sub-amostra, se comparada s outras duas. Essa peculiaridade no invalida a estabilidade da estrutura latente em diferentes amostras, mas salienta a hiptese de que ainda existem aprimoramentos que devem ser feitos no instrumento, para que ele represente mais adequadamente o fenmeno de impacto do treinamento no trabalho. A exemplo das outras duas, essa terceira sub-amostra tambm apresenta alguns resduos elevados, bem como coeficientes de regresso e varincia dos parmetros estimados altamente significativos.

Discusso
Como apresentado at aqui o objetivo do presente relato foi alcanado, ou seja, foi realizada uma AFC do instrumento de impacto do treinamento no trabalho de Abbad (1999) em uma ampla amostra. Esse resultado permitiu a indicao de elementos para o aprimoramento da escala e tambm a confirmao, por meio de uma tcnica confirmatria de anlise de dados, da estrutura emprica unidimensional do mesmo,

corroborando com sua estrutura terica proposta por Abbad (1999). Esses resultados auxiliam na descrio dos fenmenos relacionados mudana individual provocada pelo treinamento, proporcionando aprimoramento dos modelos explicativos do fenmeno. Alm desse resultado emprico, a reflexo terica sobre os diferentes eventos de resultados de treinamento auxilia na melhor descrio desse fenmeno, possibilitando que pesquisadores e profissionais nas organizaes possam desenvolver treinamentos e compreender melhor seus diferentes efeitos nos egressos. A hiptese principal, ou seja, na AFC a estrutura emprica do instrumento ser unifatorial com coeficientes significativos e de magnitude mdia e elevada, foi corroborada, haja vista os dados comparativos das trs amostras testadas. Isso pode ser afirmado, ainda que houve a indicao de re-especificao do modelo devido s covarincias no inicialmente identificadas. A covarincia entre os erros dos itens 8 e 9 e 10 e 11 pode ocorrer devido a semelhana de contedo entre esses pares. Como pode ser observado na Tabela I o contedo dos itens 8 c 9 so similares, pois tratam de conceitos atitudinais. Provavelmente, a noo de motivao c autoconfiana, para os respondentes, altamente similar ou, ento, faz parte da mesma categoria. Talvez essa categoria especfica seja um indicador perifrico do conceito de impacto do treinamento no trabalho e, ainda, essa categoria parece possuir uma composio conceitual atrelada a outras noes tericas em psicologia, como os fenmenos auto-referentes (auto-eficcia, autoconceito, atitudes). Talvez essa covarincia seja devida a essa sobreposio conceitual. Sem dvida a conceituao terica de impacto do treinamento proposta por Abbad (1999) proeura englobar diferentes aspectos do papel ocupacional dos treinandos, quais sejam. desempenho global, motivao e atitudes em relao ao trabalho. Essa amplitude fundamental, porque pressupe que o treinamento surte efeito em diferentes facetas do trabalho das pessoas. Uma sada para essa situao seria a substituio dos dois itens superpostos por apenas um item genrico, que buscasse aferir os indicadores motivacionais do trabalho do indivduo. Uma segunda opo seria a mensurao desta faceta do trabalho por meio de instrumentos especficos, o que ganharia em qualidade da medida. Com relao aos itens 10 e 11 pode-se observar o mesmo tipo de ocorrncia. O contedo dos dois itens diz respeito a mudanas no trabalho. O primeiro no sentido de proposio de mudana na forma de realizar as tarefas e o segundo relativo abertura do treinado para aceitar mudanas no trabalho. Claramente, o conceito subjacente a esses dois itens relativo a mudanas no trabalho. Assim a covarincia entre eles devida a percepo dos respondentes indicar que uma categoria latente especfica influencia a resposta desses itens. A forma mais direta de solucionar essa situao seria a supresso de um dos itens, pois a evidncia de que os treinandos interpretam a proposio de mudanas e a receptividade a mudanas corno o mesmo fenmeno bastante forte. Poderiase dizer at que o treinamento ter feito o indivduo propor mais mudans ,no processo de trabalho o levaria, tambm, a aceitar propostas de mudana no trabalho. Como anlise geral do teste do modelo, deve-se salientar que em todas as trs amostras o comportamento dos ndices

Psic.: Teor." Pesq., Braslia, Jan-Abr 2005, VaI. 21 n. 1, pp. 04.J-051

49

R. Pilal e G. Abbad

de adequao foi extremamente similar. Isso d indcios de que existe um padro latente corroborado em diferentes amostras. Isso encoraja a continuao do uso do instrumento, bem como, o aprofundamento da discusso terica sobre o conceito. Os indicadores de adequao do modelo re-especificado so bastante satisfatrios. Ainda possvel aprimorar essa escala c, conseqentemente, melhorar os ndices de adequao. Os itens que apresentaram covarincia podem ser suprimidos e novos indicadores dos eventos mensurados por esses itens, formulados. Dessa forma, pode-se acabar com a redundncia observada nos mesmos, possibilitando a melhora da adequao do modelo. Tambm importante uma anlise cautelosa da matriz de resduos para identificar entre que variveis so observados resduos grandes. Esses valores altos podem tambm trazer indicaes de re-especificao do modelo, alm de elucidar padres de covariao que prejudicam o ajuste do modelo. Ainda importante salientar que o padro ligeiramente anormal de distribuio dos itens possa ter afetado o teste de adequao, uma vez que o modelo utilizado para estimao dos parmetros tem como pressuposto a normalidade dos dados. Talvez os resduos elevados possam ser devidos a isso. De forma geral pode-se dizer que a estrutura latente do construio roi confirmada e que os resultados so encorajadores para o aprimoramento da medida, por meio da correo das deficincias indicadas pela anlise fatorial confirmatria. Assim, a melhor depurao dos indicadores afetivos da medida de impacto do treinamento no trabalho essencial para urna medida mais precisa e livre de sobreposio conceitual. Uma outra questo que deve ser salientada a corroborao do ltimo nvel (impacto do treinamento no trabalho) da estrutura conceitual proposta na Figura I. Esse fenmeno identificado pelos rcspondentes, pois todos os indicadores da literatura, com base em sucessivas anlises fatoriai s exploratrias, e tambm os achados desse relato de pesquisa apontam para a confirmao emprica da proposta conceitual. Esse tipo de achado encoraja o aprimoramento conceitual dos fenmenos relacionados ao resultado do treinamento no trabalho, seguindo a diferenciao proposta na Figura 1. Sem dvida urna melhor definio e delimitao dos conceitos relacionados ao fenmeno uma estratgia salutar para a produo de conhecimento em treinamento e desenvolvimento de pessoal. Seguindo essa estratgia de aprimoramento terico no campo de treinamento e desenvolvimento seria produtivo a realizao de estudos que procurassem relacionar o grau e predio que essa medida de impacto do treinamento no trabalho possui sobre diferentes indicadores de desempenho produtivo no trabalho. Dessa forma, torna-se possvel o relacionamento entre o resultado do treinamento no trabalho e questes substantivas do desempenho humano, auxiliando na compreenso do comportamento humano no trabalho e a funo exercida pelos sistemas organizacionais. Medidas de avaliao de impacto em amplitude so bastante teis na comparao de efeitos de treinamentos diversos sobre o comportamento dos seus participantes, uma vez que padroniza os indicadores de avaliao, tornando-os genricos e objetivos.

Referncias
Abbad, G. (1999). Um modelo integrado de avaliao de impacto de treinamento no trabalho. Tese de Doutorado, Universidade eleBraslia, Braslia. Abbad, G., Pilati, R. & Pantoja, M. J. (2003). Avaliao de treinamento: Anlise da literatura e agenda de pesquisa. Revista de Administrao, 38(3),205-218. Alligcr, G. M. & Janak, E. A. (1989). Kirkpatrick's leveis of training criteria: Thirty years later. Personnel Psychology, 42, 331-342. Arbuckle, .T. L. & Worthke, W. (1999). AlvlOS 4.0 usas guide. Sl'SS: EUA. Baldwin, T. T. & Ford, J. K. (1988). Transfer of training: A review aneldircctions for futurc rcscarch. Personnel Psychology, 4 I (1), 63-105. Bastos, A. V. B. (1991). O suporte oferecido pela pesquisa na rea de treinamento. Revista de Administrao, 26(4), 87-102. Bentler. P. M. (1990). Comparati ve ih indexes in structural models. Psychological Bulletin, /07(2). 238-246. Boomsma, A. (2000). Reporting analyses of covariance structures. Structural Equation Modeling, 7(3),461-483. Borges-Andrade .. I. E. (2002). Desenvolvimento de medidas em avaliao ele treinamento. Estudos de Psicologia, 7 (nmero especial),31-43. Borges-Andrade, J. E., Morandini, D. C. & Machado, M. S. (I 999). Impacto ele treinamento gerencial e efetividade de equipes em ambientes de inovao tecnolgica [Resumo]. Em Sociedade Brasileira elePsicologia (Org.), Resumos XXIX Reunio Anual de Psicologia (pp. 53b-53c). Ribeir Preto: SEl'. Byrne, B. (2001). St.ructural equaiion modeling with Amos: Basic concepts, applications and programming, New Jersey: Lawrence Erlbaum Associares. Eysenck, M. W. & Kcane, M.T. (20()O). Cognitive psychology: A students handbook. East Sussex: Psychology Press. Ford, J. K. & Kraiger, K. (1995). The application of cognitive constructs and principies to the instructional systcms model of training: Implications for needs assessment, design, aneltransfer. Em C. L. Cooper & I. T. Robcrtson (Orgs.). lnternational Review (!{ Industrial and Organizational Psyehology (pp. 1-48). New York: Wiley. Gagn, R. M. (19:'\5). The conditions oflearning and theorv o] instruction. New York: Holt, Rinchardt and Winston. Goldstein, 1. L. (1993). Training in organizutions. Califrnia: Pacific Grovc. Hamblin, A. C. (1978). Avaliao e controle do treinamento. So Paulo: McGraw-HiU do Brasil. Hamilton, R. J. (1943). Retroactive facilitaton as a function of degree of generalization between tasks. Journal ofExperimenta! Psychology, 32(5), 363-376. Holtonll!, E. F.. Bates, R. A., Seyler, D. L. & Carvalho, M. B. (1997). Toward construct validation of a transfer climate instrument. Human Resource Development Quartelv, 8(2),95-113. Howard, R. W. (1999). Reconceptualizing learning. Review (1' General Psvcholog, 3(4), 251-263. Kirkpatrick, D. L. (1976). Evaluation of training. Em R. L. Craig (Org.) Training wl'cf.development handbook. (pp. 18.1-18.27) New York: McGraw-HilL

50

Psic.: Teor. e Pesq., Braslia, Jan-Abr 2005, VoI. 21 n. 1, pp. 043-051

Impacto do treinamento no trabalho

Leito,

J. S S. (1994). Relaes entre clima organizacional e transferncia de treinamento. Dissertao de Mestrado,

Universidade de Braslia, durao Braslia. J. E. & Vieira, S. B. A. (1989). e desempenho M. c Necowitz, structure em instituies de

Postrnan,

L. (1972).

Transfer,

interferance

W. Kling & L. A. Riggs (Orgs.). Rinehart Rodrigues, and Winston.

and forgetng. Em J. woodworth and scholosberg New York: Holt,

experimental psychologv (pp. 1.019-1.132).

Lima, S. M. Cursos pesquisa MacCallum,;R.

v.. Borges-Andrade,
de curta agrcola.

Revista de Administraco, 24(2), 36-46.

L. B. (1992). Modcl The problem 111(3), on some in the linear and practice in analysis:

A. G. (2000). A. natureza da participao e suas implicaes no impacto do treinamento no trabalho. Dissertao Universidade de Braslia, Braslia. between J. Z. & Goldstein, 1. L. (1993). The relatonship

c., Roznowski,
in covariance

de Mestrado, Rouiller, organizational

modification 490-504. Mardia,

of capitalization

on chance. The

Psvchological Bulletin,
oi nonnormalty to nonnormality Principles

transfer climate and positive transfer oftraning.

Human Resource Development effect tcsts and robustncss Salas, E. & Cannon-Bowers, Sallorenzo,

Quarteiy, 4(4),377-390.
Hutchinson.

K. V. (1971).

Ryle, G. (1949). Tire concept ojmind. London:

multivariate McDonald,

J. A. (2001). The science of training.

mo deI. Biometrika, Illl(l), lO5-l21. R. P. & Ho, M. R. (2002). cquation analyses. rcporting structural 7( I), 64-82. Nadlcr, L. (1984). The handbook of human resources development. New York: W1ey. Paula,

Psychological Mcthods,

Annual Review ojPsvchology, 52, 471-499. L. H. (2000). Avaliao de impacto de treinamento no trabalho: Analisando e comparando modelos de predio,
Dissertao de Mestrado, Universidade de Braslia, Braslia. B. & Fidell, L. S. (200 1). Using multivariaie statistics. Allyn & Bacon. Structural Equation Modeling. Em B. Using Multivariaie

Tabachnick, Ul lman,

San Francisco: Tabachnick

Variveis preditoras de impacto de treinamento no trabalho: Anlise da percepo dos treinandos de duas organizaes. Dissertao de Mestrado, Universidade
S. M. A. (1992). de Braslia, Braslia.

J. B. (2001).

& L. S. Fidell (Orgs.), San Francisco:

Staustics

(pp. 653-771).

Allyn & Bacon.

Peters, R. S. (1958). The conccpt of motivation. London: Routlcdge & Kegan Paul. Pilati, R. & Borges-Andrade, antecedentes J. E. (2004). Estudo emprico dos de medidas de impacto do treinamento no trabalho.

Psicologia: Teoria e Pesquisa, 20(1), 31-38.

Recebido Primeira deciso editorial Versclofinal Aceito

em em em em

14.06.2004 3/.01.2005 23,{)2.2005 28.02.2005

Psic.: Teor. e Pesq., Braslia, Jan-Abr 2005, Vol. 21 n. 1, pp. 043-051

51