XXVIII ENCONTRO NACIONAL DE ENGENHARIA DE PRODUO

A integrao de cadeias produtivas com a abordagem da manufatura sustentvel.

Rio de Janeiro, RJ, Brasil, 13 a 16 de outubro de 2008

O USO DO DESIGN DE PESQUISA PARA ESTABELECIMENTO DE REFERENCIAL TERICO - O CASO DOS MODELOS DE MATURIDADE EM GERENCIAMENTO DE PROJETOS
William Barbosa Vianna (UFSC) wpwilliam@hotmail.com Edilson Giffhorn (UFSC) edilson.giffhorn@gmail.com Leonardo Ensslin (UFSC) ensslin@deps.ufsc.br

O objetivo desse artigo analisar as potencialidades e os limites do uso da bibliometria para o estabelecimento de referencial terico para pesquisa na rea da engenharia de produo. O caso explorado relativo aos Modelos de Maturidadee em Metodologias de Gerenciamento de Projetos. Parte-se de uma analise exploratria dos conceitos associados noo de anlise bibliomtrica pra identificar a necessidade de modelagem qualitativa na busca bibliogrfica. Os resultados que foram encontrados utilizando-se termos relevantes para o estudo da temtica em questo, por meio da modelagem acurada e qualitativa de critrios de busca e de mtodos de anlise, ajudou o no-descarte de produes viveis de serem utilizadas, o que no seria possvel apenas por meio de critrios matemticos de busca.

Palavras-chaves: Pequisa em Engenharia de Produo, Referencial Terico

XXVIII ENCONTRO NACIONAL DE ENGENHARIA DE PRODUO

A integrao de cadeias produtivas com a abordagem da manufatura sustentvel.
Rio de Janeiro, RJ, Brasil, 13 a 16 de outubro de 2008

1. Introduo O objetivo desse artigo analisar as potencialidades e os limites do uso da bibliometria para o estabelecimento de referencial terico para pesquisa em rea da engenharia de produo e temtica relativa ao Gerenciamento de Projetos. Parte-se de uma anlise exploratria dos conceitos associados noo de anlise bibliomtrica, identificando-se a necessidade de modelagem qualitativa no levantamento de dados e no evidenciamento fundamentado do referencial terico, tendo em vista superar o lugar comum de justificar resultados e no caracterizar adequadamente o contexto de estudo. Os resultados da modelagem para o estabelecimento de referencial terico ao se utilizar termos correlatos e de interesse para o tema (desempenho, gesto, deciso, projetos), entre outros, na tentativa de encontrar o estado da arte para a avaliao dos Modelos de Maturidade em Gerenciamento de Projetos, proporcionou um universo de publicaes tal que veio a revelar a necessidade de uma mais acurada anlise qualitativa do pesquisador quanto ao seu contedo, ao invs de um sumrio descarte baseado apenas em critrios matemticos. 2. O referencial terico para a avaliao dos Modelos de Maturidade em Gerenciamento de Projetos A necessidade de adequada contextualizaao do referencial terico da pesquisa cientfica decorre do nmero crescente de publicaes produzidas, aliada ao encurtamento do ciclo tecnolgico e de vida das inovaes, e rapidez nos processos de gerao e difuso do conhecimento cientfico, cujos ciclos de vida diminuem medida que aumentam os meios disponveis e a democratizao do acesso digital ao conhecimento. H mais de uma dcada, Kostoff (1996) j identificava, de maneira geral, a cifra de cinco mil artigos sendo produzidos por dia de trabalho no mundo todo, alm de mais mil documentos de patentes. Esse crescente volume de produes no tem sido diferente em relao ao Gerenciamento de Projetos. Devido rpida difuso e adoo de diferentes metodologias, surgiram,tambm variados para anlise e avaliaao para os Modelos de Maturidade em Gerenciamento de Projetos. Dessa forma, as contribuies para o desenvolvimento desse tema exige categorizao e classificao das propostas tericas segundo critrios pr-definidos e evidenciados. 3. Limitaes de estudos sobre estado da arte baseados em anlises bibliomtricas Os estudos sobre o estado da arte podem identificar teoria e mtodos; tendncias para novas pesquisas; necessidades de superao de concepes anteriores; avaliar as continuidades, descontinuidades e lacunas de conhecimento; mapear e de discutir certa produo acadmica em diferentes campos do conhecimento atravs de sries temporais, destacando formas e condies de produo; entre outras vantagens. A importncia dos balanos peridicos do estado de coisas vigente numa rea de pesquisa mltipla e vem ganhando relevncia na rea de Engenharia de Produo. Eles podem detectar teoria e mtodo dominantes; pr em relevo aspectos do objeto de estudo que se esboam nas entrelinhas das novas pesquisas; revelar em que medida a pesquisa recente relaciona-se com anteriores e permite um aumento de entendimento que faz avanar na compreenso do objeto

XXVIII ENCONTRO NACIONAL DE ENGENHARIA DE PRODUO

A integrao de cadeias produtivas com a abordagem da manufatura sustentvel.
Rio de Janeiro, RJ, Brasil, 13 a 16 de outubro de 2008

de estudo pelo real acrscimo, melhoria ou avano do que j se conhece ou superao de concepes anteriores. Eco (1989: 21-23) define alguns requisitos bsicos de uma pesquisa: a) o estudo debrua-se sobre um objeto reconhecvel e definido de tal maneira que seja igualmente identificado e reconhecvel pelos outros; b) o estudo deve dizer do objeto algo que ainda no foi dito ou rever sob uma tica diferente o que j se disse; c) o estudo deve ser til aos demais; d) o estudo deve fornecer elementos para a verificao e a contestao das hipteses apresentadas e, portanto, para uma continuidade pblica. Segundo Spinak (1996), a bibliometria possibilita realizar estudos da organizao dos setores cientficos e tecnolgicos a partir de fontes bibliogrficas para identificar os autores, suas relaes e tendncias. Considerando a cincia e tecnologia como sistema gerador de informao, conhecimento e inovao que requer insumos para funcionar e produz resultados, podem-se construir indicadores de cincia e tecnologia a partir da medio dos insumos aplicados e dos resultados obtidos. A forma de avaliao de desempenho cientfico mais conhecida, aceita e utilizada denominase bibliometria. No Brasil a bibliometria foi intensificada na dcada de 1970 impulsionada pelos estudos realizados no Instituto Brasileiro de Bibliografia e Documentao IBBD, atual Instituto Brasileiro de Informao Cientfica e Tecnolgica IBICT. Os estudos sobre o estado da arte se valem ainda de diversas outras formas de medio de desempenho cientifico tais como a bibliometria, cienciometria, informetria e webometria. No entanto, para Faria (2001), as fronteiras entre essas formas de avaliao no so bem definidas. Spinak (1998, p.142), define bibliometria como disciplina com alcance multidisciplinar que analisa os aspectos mais relevantes e objetivos da comunidade impressa; estudo das organizaes e de seus setores cientficos e tecnolgicos a partir das fontes bibliogrficas e patentes para identificar os autores, suas relaes, suas tendncias; estudo quantitativo das unidades fsicas publicadas, ou das unidades bibliogrficas ou de seus substitutos. Rostaing (1997) tambm define a bibliometria como a aplicao dos mtodos estatsticos ou matemticos sobre o conjunto de referncias bibliogrficas. Tarapanoff (1995) define a bibliometria como o estudo de aspectos quantitativos da produo, distribuio e uso da informao registrada, a partir de modelos matemticos, para o processo de tomada de deciso. Para Macias-Chapula (1997), a bibliometria pode ser definida como o estudo dos aspectos quantitativos da produo, disseminao e uso da informao registrada. A bibliometria desenvolve padres e modelos matemticos para medir esses processos usando seus resultados para elaborar previses e apoiar tomadas de decises. De acordo com Tague-Sutcliffe (1992), pode-se definir a bibliometria como o estudo dos aspectos quantitativos da produo, disseminao e uso da informao registrada. A bibliometria desenvolve padres e modelos matemticos para medir esses processos, usando seus resultados para elaborar previses e apoiar tomadas de decises. Os pressupostos da bibliometria se baseiam em anlises estatsticas para estudar as caractersticas de produo e uso de registros catalogrficos ou bibliografias de determinada rea do conhecimento; as da informetria, que extrapola o uso da anlise quantitativa para diversas fontes de informao, formal ou informal; e mais recentemente as da webometria que aplica tcnicas de anlise quantitativa Internet e abre a possibilidade de aplicar as tcnicas bibliomtricas a links. (Sancho, 1990; Spinak, 1996; Tague-Sutcliffe, 1992). Embora na teoria, situar a pesquisa cientifica em relao ao estgio do referencial terico seja um consenso, na prtica, poucos estudos situam-se claramente em relao ao estado da arte de seu referencial terico, demonstram qual processo e etapas foram utilziadas, limitando-se a

XXVIII ENCONTRO NACIONAL DE ENGENHARIA DE PRODUO

A integrao de cadeias produtivas com a abordagem da manufatura sustentvel.
Rio de Janeiro, RJ, Brasil, 13 a 16 de outubro de 2008

eleger os autores ou publicaes que justificam seus resultados, sem contextualizar ou evidenciar claramente os critrios de suas escolhas. Principalmente por essa razo, o uso da bibliometria no acontece sem problemas que, muitas vezes so omitidos, ou melhor, no adequadamente evidenciados ou fundamentados, se limitando os autores a apresentarem o referencial terico adotado, sem maiores contextualizaes, acentuando a tendncia de que esses referenciais sejam utilizados meramente como base de sustentao e justificativa das aplicaes realizadas, tornando limitada a contribuio para evoluo do conhecimento. Ou seja, elaboram-se trabalhos teoricamente coerentes, porm com pouca possibilidade de desenvolvimento porque mal situados em relao ao denominado estado da arte do objeto em questo. Outras limitaes das possibilidades de desenvolvimento do-se, pelo uso indiscriminado de indicadores, principalmente na utilizao de softwares especficos para a aplicao da bibliometria, por fatores limitantes que podem fundamentar indevidamente escolhas tericas ou do mtodo de escolha do referencial terico e criar um efeito domin de referenciais, tais como: a) citaes consideradas de igual valor quando podem ser ao mesmo tempo positivas ou crticas ou indiferenciar autoria e co-autoria; b) qualidade pode no ser sinnimo de quantidade ou freqncia de citaes; c) resumos que no atendem ao estilo literrio adequado no garantem a falta de qualidade de um trabalho que pode ser descartado na busca; d) citao por atendimento de polticas editoriais; e) escolha de autores consagrados por prestgio acadmico; f) recorrncia excessiva aos chamados gurus, autores de Best Sellers; g) apuds contados como autoria e h) predominncia de instrumentos de busca que acessam apenas resumos e palavras-chave, o que pode ser insuficiente para identificar a qualidade de um texto, entre outros. 4. A importncia da modelagem qualitativa para o estabelecimento do referencial terico O uso indiscriminado de indicadores evidenciado por Lpez-Piero & Terrada (1992, p.67) ao alertar que sem um conhecimento da estrutura e dinmica da comunidade cientfica, dos processos de comunicao e informao que se desenvolvem em seu seio e da integrao da atividade cientfica, o emprego de dados bibliomtricos semelhante ao uso da contagem de clulas sangneas ou de carter bioqumico ou imunolgico no organismo, sem idias ou parmetros precisos acerca de sua estrutura e funcionamento no estado de sade ou doena. Pode-se ainda comparar o uso indiscriminado de indicadores ao que na rea de avaliao de desempenho denominado fascnio pelo paradigma do timo. O que se faz, nesses casos, nada mais que aplicar o mtodo cientfico clssico, utilizando modelos matemticos, apoiados em dados, fatos e restries, simulando e avaliando o resultado hipottico da escolha de alternativas. Para Clmaco (2004) h todavia que se combater a atrao fatal pelo timo, uma vez que essa viso positivista, subjacente ao paradigma da otimalidade predomina, mas no , obviamente, a mais adequada em muitas circunstncias. Embora tais modelagens matemticas sejam importantes, podem no ser suficientes, ou melhor, podem inviabilizar uma boa pesquisa se no houver uma adequada modelagem qualitativa que a justifique. Muitas vezes encontram-se solues timas baseadas em modelos matemticos ausentes de clareza quanto ao problema, sua natureza, os objetivos da pesquisa ou a seleo de critrios sob os quais o problema ser avaliado, ou seja, solues para problemas que no se sabe exatamente quais so; solues para problemas engessadamente dados em contextos mutantes ou ainda solues descontextualizadas. (ENSSLIN; DUTRA; ENSSLIN, 2000). Tendo em vista que a bsuca de resultados numa busca acadmica nao deixa de ser uma forma

XXVIII ENCONTRO NACIONAL DE ENGENHARIA DE PRODUO

A integrao de cadeias produtivas com a abordagem da manufatura sustentvel.
Rio de Janeiro, RJ, Brasil, 13 a 16 de outubro de 2008

de avalaiao de desemepnho, preciso considerar os principais equvocos identificados para a avaliao de desempenho predominantemente quantitativa ou centrada em indicadores matemticos, sendo til considerar a advertncia de Ackoff (1981, p.5) contra um dos pressupostos dominantes que pode prejudicar fortemente a qualidade de uma Avaliao de Desempenho: a filosofia da satisfao, na qual o planejador satisfatrio opera com base no princpio de que se no se pode medir o que se queira, deve-se ento querer o que se possa medir, ou ento o que no se queira medir ou seja, os meios determinam os fins, ao invs de os fins implicarem no desenvolvimento de novos meios, de se alcanar o desempenho superior. Para Sink e Tutle (1993), h trs equvocos na medio de desempenho que necessitam ser considerados e que costumam desviar a ateno quando se trata de desenvolver um sistema de medio do desempenho. So eles: a) medir o que mais fcil esperando encontrar evidncias de qualidade b) medir pensando apenas em controlar, estimulando a cultura do controle, do atendimento de metas, inadvertidamente comprometendo a busca de melhorias e, finalmente, c) medir com a inteno de encontrar desvios e apontar culpados, transformando a medio em um processo que antecede a punio, se distanciando da busca de melhorias. Nessa segunda opo, o pesquisador passa a enfrentar dificuldade de diferentes ordens. A organizao do material que tem diante de si pressupe antes de tudo uma leitura que ele deve fazer no s das indicaes bibliogrficas e dos ttulos dos trabalhos, mas principalmente dos resumos, o que ainda pode nao ser suficiente. Megid (1999), por exemplo, em sua tese de doutorado, que trata de educao questiona as pesquisas identificadas como do estado da arte. Sua consideraes podem ser extrapoladas para a rea de que se trata nesse artigo. O autor afirma que, baseando-se na leitura e anlise dos resumos publicados em catlogos das instituies h uma discusso necessria que tem por objetivo expressar algumas limitaes dos catlogos ou bancos de dados sobre a produo acadmica, no que se refere a uma divulgao adequada: a) Os dados bibliogrficos dos trabalhos permitem uma primeira divulgao da produo, embora bastante precria; b) os resumos ampliam um pouco mais as informaes disponveis, porm, por serem muito sucintos e, em muitos casos, mal elaborados ou equivocados, no so suficientes para a divulgao dos resultados e das possveis contribuies dessa produo para a melhoria e c) somente com a leitura completa ou parcial do texto final da tese ou dissertao desses aspectos (resultados, subsdios, sugestes metodolgicas) podem ser percebidos, sendo que para estudos sobre o estado da arte da pesquisa acadmica, no caso dos programas de psgraduao em Educao, todas essas formas de veiculao das pesquisas so insuficientes. preciso ter o texto original da tese ou dissertao disponvel para leitura e consulta. Esse tipo de mapeamento pode ser insuficiente principalmente por no enfocar questes relativas a critrios de qualidade considerados nos trabalhos, pelo prprio aspecto escolhido para avaliar quantidade. A freqncia de citaes no garante a qualidade de um trabalho cientfico, podendo significar, como afirma Spinak (1996), identificar apenas que o trabalho em questo poderia ser apenas mais acessvel que outros. Dessa forma, h necessidade de, antes de se lanar ao mapeamento bibliomtrico por meio do uso de instrumentos matemticos de busca, eleger e evidenciar cuidadosamente a natureza, os critrios de busca e o contexto do estudo, de forma coerente com os objetivos do pesquisador e o objeto estudado. Ou seja, o que ser considerado na avaliao da qualidade daquilo que ser selecionado e daquilo que ser descartado. 5. A utilidade do design de pesquisa para o estabelecimento do referencial terico

XXVIII ENCONTRO NACIONAL DE ENGENHARIA DE PRODUO

A integrao de cadeias produtivas com a abordagem da manufatura sustentvel.
Rio de Janeiro, RJ, Brasil, 13 a 16 de outubro de 2008

Para Ensslin e Vianna (2008) as escolhas metodolgicas em pesquisa implicam, em certa medida, em risco necessrio que necessita ser assumido e que inerente ao desenvolvimento cientifico. O evidenciamento dos valores e interesses e a justificativa de determinadas escolhas metodolgicas permitem maior alcance de cientificidade quando favorece os questionamentos acerca das condies e limites de sua validade. Ao tratar especificamente da cientificidade da pesquisa na rea de engenharia de produo, Ensslin e Vianna (2008) consideram que os novos e emergentes papis da Engenharia de Produo nas economias globalizadas aparecem carregados de necessidades que no podem mais prescindir de incorporar a perspectiva da personalizao dos contextos de trabalho e de produo. Isso impe limites viso generalista dos problemas e passa a previlegiar a dimenso subjetiva (inerente ao sujeito, logo, personalizada) no processo de delimitar e explicitar o que importante (objetivos, critrios, atributos) e o que no importante no problema. (ROY, 1994; ENSSLIN; DUTRA; ENSSLIN, 2000). preciso considerar ainda que, a natureza dos problemas em engenharia de produo em sua origem, qualitativa. O modelo de design de pesquisa proposto por Ensslin e Vianna (2008) til modelagem qualitativa dos critrios de escolha para busca bibliomtrica do referencial terico a ser utilizado em determinada pesquisa, pois serve com vantagens anlise da realidade cada vez mais complexa do desenvolvimento cientfico e da pesquisa em si, com seus novos cenrios e o desafio de levar em considerao cada vez mais o olhar das pessoas envolvidas no processo. Os inputs do design da pesquisa favorecem a discusso e escolha dos elementos, antes de lanar-se na representao matemtica, caracterizados por contextos sociais (situaes onde pessoa(s) deve(m) avaliar e decidir) investir na compreenso do que esta(s) pessoa(s) julga(m) relevante neste contexto neste momento(KEENEY, 1992). Dessa forma, espera-se que o evidenciamento de um Design de pesquisa como mapa de navegao e roteiro metodolgico possibilite reduzir certas dicotomias e indisciplinas intelectuais, uma vez que quanto menos evidentes forem os pressupostos da teoria implcita e do mtodo utilizado em determinada prtica de pesquisa, maiores as possibilidades de ineficcia nos resultados. O desenvolvimento do Design de pesquisa faz parte, dessa forma, de uma proposta da operacionalizao metodolgica na Pesquisa Cientfica quali-quantitativa em Engenharia de Produo. Por outro lado, assim como a significncia e relativa originalidade do tema, o bom trabalho cientfico deve relatar farta e claramente os procedimentos e passos utilizados para se chegar s concluses. Os critrios de qualidade variam conforme as reas de conhecimento, as instituies e at a banca examinadora em si mesma. Somente alguns critrios so de reconhecimento geral: tema interessante, clareza do discurso e procedimentos confiveis. Dessa maneira, o uso do design ajuda a evidenciar os elementos que esto delimitando determinada pesquisa. Como uma forma de evidenciar os critrios que embasaram o design da pesquisa para a fundamentao terica da avaliao dos Modelos de Maturidade em Gerenciamento de Projetos utilizou-se o quadro proposto em Ensslin e Vianna (2008), Quadro 1, no qual ficam explicitados os critrios de entrada e resultados buscados. Para sua operacionalizao foi construdo um roteiro estruturado para a realizao da pesquisa bibliogrfica a compor a fundamentao terica da pesquisa.

XXVIII ENCONTRO NACIONAL DE ENGENHARIA DE PRODUO

A integrao de cadeias produtivas com a abordagem da manufatura sustentvel.
Rio de Janeiro, RJ, Brasil, 13 a 16 de outubro de 2008

Quadro 1 Design de Pesquisa Fonte: Autores. Baseado em Ensslin e Vianna (2008)

A necessidade do desenvolvimento de um processo especfico para a busca e seleo dos peridicos se fez necessria devido s ferramentas de busca disponveis na internet no serem integradas e exaustivas. O roteiro desenvolvido foi dividido em quatro etapas. A primeira consistiu na seleo de peridicos alinhados ao contexto da pesquisa. Na segunda, cada peridico selecionado na etapa anterior foi pesquisado para se encontrar artigos com potencial contribuio fundamentao terica da pesquisa. A terceira etapa consistiu na leitura dos resumos selecionados com vista a identificar os artigos cujo contedo pudesse vir a ser relevante pesquisa. Com a lista resultante passou-se etapa seguinte, que consistiu na leitura do texto completo. Com a leitura dos textos foi possvel identificar os artigos que no se enquadravam ao tema da pesquisa, e portanto foram descartados. Ao fim deste processo, chega-se listagem de textos que iro compor a fundamentao terica da pesquisa desenvolvida. Como entradas do processo foram utilizadas palavras-chave previamente selecionadas referentes ao tema da pesquisa. Como sadas tm-se os artigos que iro contribuir fundamentao terica selecionados de uma forma estruturada e fundamentada. A Figura 1 ilustra o processo desenvolvido.

XXVIII ENCONTRO NACIONAL DE ENGENHARIA DE PRODUO

A integrao de cadeias produtivas com a abordagem da manufatura sustentvel.
Rio de Janeiro, RJ, Brasil, 13 a 16 de outubro de 2008

Figura 2 Roteiro para a seleo de artigos Fonte: Autores

Segue-se a operacionalizao do processo utilizado. A) Etapa 1: seleo dos peridicos Inicialmente selecionou-se um conjunto de palavras chave representativas do tema pesquisado, ilustrado no Quadro 2
Administrao Administration Avaliao Decision Desempenho Epistemology Evaluation Gesto Gestion Harvard Innovation Management Operation Performance Project Projeto Telecommunication

Quadro 2 Primeiro grupo de palavras-chave Fonte: Autores

XXVIII ENCONTRO NACIONAL DE ENGENHARIA DE PRODUO

A integrao de cadeias produtivas com a abordagem da manufatura sustentvel.
Rio de Janeiro, RJ, Brasil, 13 a 16 de outubro de 2008

Devido preocupao de no ser restritivo a busca no ficou vinculada a grupos de peridicos previamente qualificados por centros de pesquisa ou seleo de bancos de dados especficos rea da pesquisa. Com isso foram 427 peridicos identificados, que aps a eliminao de redundncia ocorrida devido sobreposio de resultados obtidos com as palavras-chave, resultou em 383 peridicos pr-selecionados. Ao ser feita a correlao da lista obtida com a conceituao da Qualis (classificao e circulao) percebeu-se que somente 109 peridicos eram reconhecidos na Qualis, ou seja, 28,4% dos peridicos selecionados. Na lista geral obtida, fez-se uma avaliao do ttulo de cada peridico com o objetivo de descartar aqueles que se dirigem a reas cientficas dspares ao do contexto pesquisado. Com isto 208 peridicos foram descartados, resultando em 113 candidatos a contribuir com artigos. Para os peridicos no qualificados, ou classificados como C pela Qualis, acessou-se a base de dados a qual o peridico est vinculado e foram inseridas trs palavras-chave cuja presena obrigatria ao contexto pesquisado, a fim de saber se apresentavam algum alinhamento em relao ao tema da pesquisa. Caso positivo, o peridico permanecia na listagem de potencial contribuio. Caso contrrio seria excludo. Este procedimento eliminou 29 peridicos da lista. Com isso, chegou-se a relao de 86 peridicos com potenciais contribuies de artigos fundamentao terica da pesquisa. Desta relao fez-se a correlao com a que rea esto classificadas na Qualis, Quadro 3 a seguir.
re a A d m in is tra o , C i n c ia s C o n t b e is e T u r is m o A rq u ite tu r a e U r b a n is m o C i n c ia d a C o m p u ta o C i n c ia d e A lim e n to s C i n c ia P o ltic a e R e la e s In te rn a c io n a is E c o n o m ia E d u c a o F s ic a E n g e n h a r ia I E n g e n h a r ia III n o q u a lific a d o T o ta l g e r a l T o ta l 23 1 4 1 2 4 1 3 11 36 86

Quadro 3 Peridicos selecionados por rea Fonte: Autores

Dentre os qualificados, a distribuio por classificao quanto a sua relevncia segundo os critrios da Qualis est representada no Quadro 4 .
rea Administrao, Cincias Contbeis e Turismo Arquitetura e Urbanismo Cincia da Computao Cincia de Alimentos Cincia Poltica e Relaes Internacionais Economia Educao Fsica Engenharia I Engenharia III Total geral A 13 2 1 1 1 1 9 28 B 9 2 1 1 2 2 1 17 1 C 1 1 Total geral 23 1 4 1 2 4 1 3 11 50

1 5

Quadro 4 Peridicos selecionados por relevncia segundo critrios da Qualis Fonte: Autores

XXVIII ENCONTRO NACIONAL DE ENGENHARIA DE PRODUO

A integrao de cadeias produtivas com a abordagem da manufatura sustentvel.
Rio de Janeiro, RJ, Brasil, 13 a 16 de outubro de 2008

A abrangncia da circulao, segundo a mesma Qualis pode ser vista no Quadro 5.

rea Administrao, Cincias Contbeis e Turismo Arquitetura e Urbanismo Cincia da Computao Cincia de Alimentos Cincia Poltica e Relaes Internacionais Economia Educao Fsica Engenharia I Engenharia III Total geral I 15 1 4 2 4 1 2 9 38 L N 8 Total geral 23 1 4 1 2 4 1 3 11 50

1 1

1 1 11

Quadro 5 Peridicos selecionados por abrangncia de circulao segundo critrios da Qualis Fonte: Autores

O passo seguinte foi identificar os artigos alinhados com o objeto da pesquisa. B) Segunda etapa: seleo dos artigos Para esta etapa, selecionou-se um novo conjunto de palavras chave ilustrado no Quadro 6
assessment decision making project management maturity model performance evaluation multicriteria multi criteria decision aid decision theory constructivist constructivism outsourcing mcda tomada de deciso apoio deciso avaliao de desempenho gerenciamento de projeto escala de mensurao teoria da deciso modelo de maturidade construtivista construtivismo multi-critrio multicritrio terceirizao mcda

Quadro 6 Segundo grupo de palavras-chave Fonte: Autores

Em posse do novo grupo de palavras chave, acessou-seado o banco de dados de cada peridicos selecionado e analisou-se os resultados que surgiram com a busca. A lista resultante foi percorrida para avaliar se o texto demonstrava algum possvel alinhamento com o contexto do tema pesquisado. Caso no demonstrasse alinhamento, o artigo era ignorado. Em caso afirmativo sua citao, juntamente com o resumo, era exportado para um arquivo gerenciador de citaes. Como ferramenta de auxlio na exportao das informaes foi utilizado uma verso demo do gerenciador EndNote. 6. Resultados Os resultados demonstram que dos 86 peridicos pr-selecionados, 36 no constam da relao da Qualis, ou seja, 41,86%. Dentre os que esto qualificados, a rea que mais

10

XXVIII ENCONTRO NACIONAL DE ENGENHARIA DE PRODUO

A integrao de cadeias produtivas com a abordagem da manufatura sustentvel.
Rio de Janeiro, RJ, Brasil, 13 a 16 de outubro de 2008

contribuiu foi a Administrao, Cincias Contbeis e Turismo (23 peridicos), seguida pela Engenharias III (11 peridicos). Tem-se, assim, um dado elucidativo do risco que se corre com a ausncia de um processo estruturado para a busca dos referenciais tericos de uma pesquisa bibliogrfica que represente o estado da arte do tema. A vinculao acadmica do tema abordado est enquadrada com a Engenharia de Produo, ou seja, Engenharias III, segundo classificao da Qualis. No entanto, v-se que se no for feita a extrapolao para outras reas h um enorme risco de perda de contedo relevante ao tema em questo. Do mesmo modo, ater-se exclusivamente a peridicos classificados como A torna-se um fator restritivo para a fundamentao terica. Dos 86 peridicos pr-selecionados, 50 j foram analisados por este processo, o que resultou em 693 artigos com potencial contribuio ao referencial terico, sejam identificados quais artigos viro a efetivamente contribuir para a pesquisa dos Modelos de Maturidade em Gerenciamento de Projetos. artigos com potencial contribuio fundamentao terica da pesquisa. A busca ainda no foi concluda, uma vez que faltam 36 peridicos para analisar. No entanto, j se pode ter uma noo do potencial que pode ser obtido por meio do uso deste processo para a busca dos referenciais para a identificao do estado da arte para o tema pesquisado ao se levantarem as restries na busca bibliogrfica. Numa nova etapa, os critrios do design sero alterados, uma vez que os inputs sero os artigos at ento no-descartados. Os artigos que restarem dessa nova etapa, devero ser integralmente lidos e analisados, conforme estabelecido no roteiro construdo e ilustrado neste artigo, antes do seu possvel descarte. Pensa-se que, dessa forma, seja possvel reduzir o vis de descarte sumrio a que uma bibliometria de base meramente quantitativa poderia conduzir. Referncias
ACKOFF, Russell L. Creating de Corporate Future. John Willey & Sons, 1981. CLMACO, Joo C.N., European Journal of Operational Research. vol. 153, 2004. ECO, . Como se faz uma tese. So Paulo: Perspectiva, 1989. ENSSLIN, L.; Dutra, A.; Ensslin, S. MCDA: a constructivist approach to the management of human resources at a governmental agency. International Transactions in Operational Research, n. 7, p. 79-100, 2000. ENSSLIN L., VIANNA, W. O Design na Pesquisa Quali-quantitativa em Engenharia de Produo Questes Epistemolgicas. Revista Produo Online, Vol. 8, Num. 1, 2008. FARIA. L. I. L. Prospeco tecnolgica em Materiais: aumento da eficincia do tratamento bibliomtrico. So Carlos: UFSCar, 2001 (Tese). KEENEY, R.L. Value-Focused Thinking: A Path to Creative Decisionmaking, Harvard University Press, 1992. KOSTOFF, R. N. Performance measures for government-sponsored research: overview and background. Scientometrics, 36(3), 281-292, 1996. LPEZ- PIERO, J. M.. Terrada, M. L. Los indicadores bibliomtricos y la bibliometra. Medicina Clnica, vol. 98, n. 2, p. 64-68, 1992. MACIAS-CHAPULA, C.A. O papel da informetria e da cienciometria e sua Marseille: Centre de Recherche Rtrospective de Marseille, 1997. MEGID, Jorge Neto. Tendncias da pesquisa acadmica sobre o ensino de cincias no nvel fundamental.Tese de doutorado, Faculdade de Educao da Unicamp. Campinas, 1999. perspectiva nacional e internacional. Cincia da Informao, 27 (2), 134-140, 1998. ROSTAING, H. La bibliomtrie et es techniques. Tolouse: Sciences de la Socit, 1997. ROY, B. On Operational Research and Decision Aid ; EJOR 73, p. 23-26, 1994. SANCHO, R. Indicadores bibliometricos utilizados en la evaluacion de la ciencia y la tecnologia: revision bibliografica. Revista Espaola de Documentacin Cientifica, v. 13, n. 3/4, p. 842-865, 1990.

11

XXVIII ENCONTRO NACIONAL DE ENGENHARIA DE PRODUO

A integrao de cadeias produtivas com a abordagem da manufatura sustentvel.
Rio de Janeiro, RJ, Brasil, 13 a 16 de outubro de 2008

SINK, D. Scott; TUTLE, Thomas C. Planejamento e Medio para a Performance. Traduo de Elenice Mazzilli e Lcia Faria Silva. Rio de Janeiro: QualityMark Ed., 1993. SPINAK, E. Diccionario enciclopdico de bibliometra, cienciometra e informetra.Montevideo, 1996. 245 p. SPINAK, E. Los anlisis cuantitativos de Ia literatura cientfica y su validez para juzgar Ia produccin latinoamericana. Boletn de Ia Oficina Sanitaria Panamericana, 120(2), 139-146, 1996. TARAPANOFF, K. Tcnicas paratomada de deciso nos sistemas de informao. Braslia : Thesaurus, 1995. TAGUE-SUTCLIFFE J. An introduction to informetrics. Information Processing & Management, v. 28, n. 1,p. 1-3, 1992.

12