APLICAO DOS BLOCOS INCOMPLETOS BALANCEADOS NA TEORIA DE RESPOSTA AO ITEM

Roberto M. Bekman
Eng Eletricista pela Universidade de So Paulo - USP Mestrando em Estatstica pela Universidade de So Paulo - USP Analista de Desenvolvimento na Fundao Carlos Chagas, So Paulo, SP

Resumo O artigo apresenta os Blocos Incompletos Balanceados (BIB) como uma possvel soluo para o problema de como se distribuir um grande nmero de questes (adequado para se obter informaes amplas sobre o ensino) em cadernos de prova com poucas questes (adequados aos alunos). A forma de se distribuir as questes em Blocos Incompletos Balanceados especialmente til no uso conjunto com anlises luz da Teoria de Resposta ao Item (TRI) como forma de uniformizar a exposio das questes, visando a obteno de resultados mais precisos. Neste sentido so apresentados vrios exemplos de Blocos Incompletos Balanceados que atendem a diferentes relaes entre o nmero de questes nos cadernos de prova dos alunos face ao total de questes do estudo. Palavras-chave: Teoria da Resposta ao Item; blocos incompletos balanceados; construo de provas Resumen El artculo presenta los Bloques Incompletos Balanceados (BIB) como una posible solucin para el problema de cmo distribuir un gran nmero de cuestiones (adecuados para que se obtengan informaciones amplias referentes a la enseanza) en cuadernos de examenes con pocas cuestiones (adecuados para los alumnos). La forma de distribuir las cuestiones en Bloques Incompletos Balanceados es especialmente til se usados en conjunto con el anlisis a la luz de la Teora de Respuesta al Iten (TRI), como forma de uniformizar la exposicin de las cuestiones, de modo a obtener resultados ms exactos. En este sentido, se presentan varios ejemplos de Bloques Incompletos Balanceados que atienden a diferentes relaciones entre el nmero de cuestiones en los cuadernos de examenes de los alumnos y el total de cuestiones del estudio. Palabras-llave: Teora de la respuesta al iten; bloques incompletos balanceados; elaboracin de examenes.
119 Estudos em Avaliao Educacional, n 24, jul-dez/2001

Abstract The article presents the Balanced Incomplete Blocks (BIB) as a possible solution to the problem of how to distribute a great number of questions (appropriate to get broad information on education) in test booklets with few questions (appropriate to the students). The way of distributing the questions among Balanced Incomplete Blocks is especially useful when used together with analyses considering the Item Response Theory (IRT) as a way to make the display of the questions uniform so as to obtain more accurate results. In this sense several examples of Balanced Incomplete Blocks are presented that of different relations between the number of questions in the students' test booklets and the total questions of the study. Keywords: Item Response Theory; balanced incomplete blocks (BIB); test construction

120 Estudos em Avaliao Educacional, n 24, jul-dez/2001

1.

Introduo

O modelo BIB (Blocos Incompletos Balanceados) foi idealizado h mais de 50 anos sem correlao direta com a montagem de cadernos de prova. A grosso modo, o BIB um esquema otimizado para o rodzio de blocos com aplicaes em diversas reas, inclusive educao e agricultura. A necessidade do rodzio se justifica se pressupusermos que possumos b blocos e s podemos utilizar k deles em cada conjunto. Isto especialmente til nos sistemas de avaliao quando desejamos obter informaes amplas sobre o ensino, utilizando um grande nmero de itens, ao passo que precisamos limitar a quantidade de itens submetido a cada aluno num valor aceitvel e adequado ao tempo de prova. A transposio do modelo BIB para a montagem de cadernos de prova pode ser resumida como abaixo: a) distribuir um certo nmero b de blocos de itens em diversos cadernos c de forma que cada caderno no contenha a totalidade dos blocos. Estes cadernos incompletos so submetidos aos alunos que recebem, individualmente, um subconjunto do total de blocos de itens que est sendo aplicado na sala de aula, ou seja, cada aluno recebe apenas uma frao fu do total de blocos submetidos sala de aula; b) distribuir estes blocos de forma balanceada, onde cada caderno contm o mesmo nmero de blocos k; cada bloco utilizado o mesmo nmero de vezes r dentro do conjunto total dos cadernos; cada par de blocos utilizado o mesmo nmero de vezes dentro do conjunto total dos cadernos. 2. Solues BIB

As solues BIB s existem para determinadas combinaes do nmero de cadernos c, nmero de blocos b e nmero de blocos em cada caderno k. Para desenvolver as solues BIB utilizaremos as seguintes convenes:
121 Estudos em Avaliao Educacional, n 24, jul-dez/2001

c = Nmero de cadernos; b = Nmero de blocos; k = Nmero de blocos em cada caderno; r = Nmero de repeties de cada bloco no conjunto total dos cadernos; = Nmero de repeties de cada par de blocos no conjunto total dos cadernos; fu = Fator de utilizao. Assim, para que haja um esquema soluo BIB, necessrio que as relaes abaixo sejam satisfeitas Uma combinao de c, b, r, k, que satisfaa as relaes no garante, entretanto, a existncia de um esquema soluo BIB. FEDERER (1955) e VAJDA (1967) abordam o problema de existncia ou no de soluo para os esquemas BIB. Para o restante do artigo vamos nos ater aos casos que admitem soluo. (i) (ii)
r b ; k r (k 1) = , c, b, r, k, N. (b 1) c=

Adicionalmente, um esquema soluo poder ou no ser classificado como BIB-Espiral. Para ser classificado como tal as seguintes propriedades devem ser satisfeitas, alm de (i) e (ii): (iii) c = n b , n N; (iv) os blocos devem estar distribudos em espiral no conjunto dos cadernos de prova. Para ns importante estabelecer a razo entre o nmero de (blocos de) itens nos cadernos de prova dos alunos face ao total de (blocos de) itens do estudo, denominado por fator de utilizao. De (i) conclumos que: (v) f u =
122 Estudos em Avaliao Educacional, n 24, jul-dez/2001

k r = = Fator de utilizao b c

De (v) verificamos que o fator de utilizao tambm pode ser entendido como a proporo dos alunos que so submetidos a determinado bloco dentre o total de alunos. 3. Exemplos

A seguir sero apresentadas vrias solues para os esquemas BIB e, preferencialmente, BIB-Espiral. Os exemplos selecionados abrangem uma grande gama para o fator de utilizao permitindo selecionar o esquema mais adequado amplitude do estudo. 3.1. Exemplo 1 Caderno 1 2 3 c b k Bloco1 1 2 3 Bloco2 2 3 1

= 3 r = 2 = 3 = 1 = 2 fu = 2/3

0,67

Neste exemplo: Esquema BIB-Espiral. Foram elaborados 3 blocos (provas) diferentes. Foram compostos 3 conjuntos (cadernos de prova) com 2 dos 3 blocos. Cada bloco tem uma tiragem de 2/3 do nmero total de conjuntos a serem impressos. Cada bloco submetido a 2/3 do nmero total de alunos. Cada aluno submetido a 2/3 dos blocos em sala de aula. 3.2. Exemplo 2 Caderno Bloco1 Bloco2 Bloco3
123 Estudos em Avaliao Educacional, n 24, jul-dez/2001

1 2 3 4 5 6 7 c b k

1 2 3 4 5 6 7 = 7 r = 3 = 7 = 1 = 3 fu = 3/7

2 3 4 5 6 7 1

4 5 6 7 1 2 3

0,43

Neste exemplo: Esquema BIB-Espiral. Foram elaborados 7 blocos (provas) diferentes. Foram compostos 7 conjuntos (cadernos de prova) com 3 dos 7 blocos. Cada bloco tem uma tiragem de 3/7 do nmero total de conjuntos a serem impressos. Cada bloco submetido a 3/7 do nmero total de alunos. Cada aluno submetido a 3/7 dos blocos em sala de aula. 3.3. Exemplo 3
Caderno 1 2 3 4 5 6 7 8
124 Estudos em Avaliao Educacional, n 24, jul-dez/2001

Bloco1 1 2 3 4 5 1 2 3

Bloco2 2 3 4 5 1 3 4 5

9 10

4 5

1 2

c b k

= 10 r = 4 = 5 = 1 = 2 fu = 2/5

0,40

Neste exemplo: Esquema BIB-Espiral. Foram elaborados 5 blocos (provas) diferentes. Foram compostos 10 conjuntos (cadernos de prova) com 2 dos 5 blocos. Cada bloco tem uma tiragem de 2/5 do nmero total de conjuntos a serem impressos. Cada bloco submetido a 2/5 do nmero total de alunos. Cada aluno submetido a 2/5 dos blocos em sala de aula. 3.4. Exemplo 4
Caderno Bloco1 1 2 3 4 5 6 7 8 9 10 11 12 13 1 2 3 4 5 6 7 8 9 10 11 12 13 Bloco2 2 3 4 5 6 7 8 9 10 11 12 13 1 Bloco3 4 5 6 7 8 9 10 11 12 13 1 2 3 Bloco4 10 11 12 13 1 2 3 4 5 6 7 8 9
125 Estudos em Avaliao Educacional, n 24, jul-dez/2001

c b k

= 13 r = 4 = 13 = 1 = 4 fu = 4/13

0,31

Neste exemplo: Esquema BIB-Espiral. Foram elaborados 13 blocos (provas) diferentes. Foram compostos 13 conjuntos (cadernos de prova) com 4 dos 13 blocos. Cada bloco tem uma tiragem de 4/13 do nmero total de conjuntos a serem impressos. Cada bloco submetido a 4/13 do nmero total de alunos. Cada aluno submetido a 4/13 dos blocos em sala de aula.

126 Estudos em Avaliao Educacional, n 24, jul-dez/2001

3.5

Exemplo 5
Caderno 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 Bloco1 1 1 1 1 1 2 2 2 2 3 3 3 3 4 4 4 4 5 9 13 Bloco2 2 5 6 7 8 5 6 7 8 5 6 8 7 5 6 7 8 6 10 14 Bloco3 3 9 11 12 10 12 10 9 11 10 12 9 11 11 9 10 12 7 11 15 Bloco4 4 13 16 14 15 15 14 16 13 16 13 14 15 14 15 13 16 8 12 16

c b k

= 20 r = 5 = 16 = 1 = 4 fu = 1/4

0,25

Neste exemplo: Esquema BIB no Espiral. Foram elaborados 16 blocos (provas) diferentes. Foram compostos 20 conjuntos (cadernos de prova) com 4 dos 16 blocos. Cada bloco tem uma tiragem de 1/4 do nmero total de conjuntos a serem impressos.
127 Estudos em Avaliao Educacional, n 24, jul-dez/2001

Cada bloco submetido a 1/4 do nmero total de alunos. Cada aluno submetido a 1/4 dos blocos em sala de aula. 3.6 Exemplo 6
Caderno 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 Bloco1 1 2 3 4 5 6 7 1 2 3 4 5 6 7 1 2 3 4 5 6 7 Bloco2 2 3 4 5 6 7 1 3 4 5 6 7 1 2 4 5 6 7 1 2 3

= 21 r = 6 = 7 = 1 = 2 fu = 2/7 Neste exemplo: Esquema BIB-Espiral.

128

c b k

0,29

Estudos em Avaliao Educacional, n 24, jul-dez/2001

Foram elaborados 7 blocos (provas) diferentes. Foram compostos 21 conjuntos (cadernos de prova) com 2 dos 7 blocos. Cada bloco tem uma tiragem de 2/7 do nmero total de conjuntos a serem impressos. Cada bloco submetido a 2/7 do nmero total de alunos. Cada aluno submetido a 2/7 dos blocos em sala de aula. 3.7
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21

Exemplo 7
Bloco2 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 1 Bloco3 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 1 2 3 4 Bloco4 15 16 17 18 19 20 21 1 2 3 4 5 6 7 8 9 10 11 12 13 14 Bloco5 17 18 19 20 21 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16
129 Estudos em Avaliao Educacional, n 24, jul-dez/2001

Caderno Bloco1 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21

= 21 r = 5 = 21 = 1 = 5 fu = 5/21 0,24 Neste exemplo: Esquema BIB-Espiral. Foram elaborados 21 blocos (provas) diferentes. Foram compostos 21 conjuntos (cadernos de prova) com 5 dos 21 blocos. Cada bloco tem uma tiragem de 5/21 do nmero total de conjuntos a serem impressos. Cada bloco submetido a 5/21 do nmero total de alunos. Cada aluno submetido a 5/21 dos blocos em sala de aula. 3.8 Exemplo 8
Caderno 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17
130 Estudos em Avaliao Educacional, n 24, jul-dez/2001

c b k

Bloco1 1 2 3 4 5 6 7 8 9 10 11 12 13 1 2 3 4

Bloco2 2 3 4 5 6 7 8 9 10 11 12 13 1 6 7 8 9

Bloco3 5 6 7 8 9 10 11 12 13 1 2 3 4 8 9 10 11

18 19 20 21 22 23 24 25 26

5 6 7 8 9 10 11 12 13

10 11 12 13 1 2 3 4 5

12 13 1 2 3 4 5 6 7

= 26 r = 6 = 13 = 1 = 3 fu = 3/13 Neste exemplo: Esquema BIB-Espiral.

c b k

0,23

Foram elaborados 13 blocos (provas) diferentes. Foram compostos 26 conjuntos (cadernos de prova) com 3 dos 13 blocos. Cada bloco tem uma tiragem de 3/13 do nmero total de conjuntos a serem impressos. Cada bloco submetido a 3/13 do nmero total de alunos. Cada aluno submetido a 3/13 dos blocos em sala de aula. 4. P1) R1) Perguntas e Respostas Freqentes Quando utilizar os esquemas BIB? Basicamente quando for desejvel ou necessrio distribuir uma grande quantidade de itens em vrios cadernos de prova com poucos itens cada. Por que utilizar os esquemas BIB?

P2)

131 Estudos em Avaliao Educacional, n 24, jul-dez/2001

R2)

Porque a combinao dos esquemas BIB com uma logstica adequada na distribuio dos cadernos de prova proporcionar os melhores resultados dentro do contexto da pergunta R1: Os itens sero respondidos aproximadamente pelo mesmo nmero de alunos, os alunos recebero cadernos com o mesmo nmero de blocos, os cadernos no contero blocos repetidos e cada par de blocos ser submetido ao mesmo nmero de alunos. As conseqncias imediatas desta metodologia sero melhores estimativas dos parmetros dos itens e da habilidade dos alunos. possvel utilizar um determinado item em mais de um bloco BIB? No. Sabemos pelas propriedades do modelo BIB que cada par de blocos se repete vezes dentro do conjunto dos cadernos de prova. Assumindo que no podemos repetir nenhum item num mesmo caderno de prova conclumos que precisa ser igual a 1 e que cada item no pode ser utilizado em mais de um bloco. Como escolher o esquema BIB mais adequado? Idealmente gostaramos de colocar o maior nmero de itens em sala de aula mantendo-se uma quantidade aceitvel de itens nos cadernos de prova (menor fator de utilizao possvel). Na prtica devemos conciliar o ideal com as seguintes limitaes: para estimar os parmetros dos itens necessrio que cada um deles seja respondido por um nmero mnimo de alunos. Se desejamos realizar anlises segundo a Teoria de Resposta ao Item usual impor que cada item seja respondido por pelo menos 200 alunos, assim fu > 200 / estimativa do nmero de alunos presentes; no queremos que cada caderno contenha muitos blocos k;

P3) R3)

P4) R4)

132 Estudos em Avaliao Educacional, n 24, jul-dez/2001

no queremos montar muitos blocos b; no queremos colecionar muitos cadernos c. Selecionamos ento o esquema mais enxuto que tenha um fator de utilizao (fu) apropriado. P5) R5) Entre um Esquema BIB e um Esquema BIB-Espiral, equivalentes entre si, qual devemos escolher? A princpio no haveria distino entre os dois pois ambos atendem aos mesmos princpios. Na prtica devemos dar preferncia aos esquemas BIB-Espiral. Um esquema BIB-Espiral garante que cada bloco aparece o mesmo nmero de vezes em cada uma das posies no caderno. Observe que no Exemplo 5 (no Espiral) os blocos 1, 2, 3 e 4 se concentram no incio dos cadernos e os blocos 13, 14, 15 e 16 no final dos cadernos. Se pressupusermos que o desempenho do aluno varie de uma forma determinstica entre o incio e o fim da prova, concluiremos que devemos utilizar os esquemas BIBEspiral afim de evitar distores nas estimativas dos parmetros dos itens. Adicionalmente os esquemas BIB permitem uma racionalizao no processo de coleo dos cadernos de prova que pode ser importante para tiragens elevadas. Qual a tiragem de cada bloco Tb se a tiragem total Tt ? A tiragem de cada bloco Tb = f u Tt . Quantos itens It so necessrios no total para que os alunos recebam cadernos de prova com Ic itens cada? R7) Da forma que foi definido o fator de utilizao sai diretamente que I t = I c / f u , com o nmero de itens no bloco I b = I c / k sendo um nmero inteiro. Para tornar os resultados mais claros tomemos como exemplo o SAEB (Sistema de Avaliao do Ensino Bsico - MEC/INEP/DAEB). No SAEB foi utilizado o
133 Estudos em Avaliao Educacional, n 24, jul-dez/2001

P6) R6) P7)

esquema BIB-Espiral de 26 cadernos equivalente ao exemplo 8. Cada bloco foi composto com 13 itens para que os cadernos ficassem com I c = I b k = 13 = 13 x 3 = 39 itens ( 40), um nmero razovel para ser respondido pelos alunos. Por conseguinte o nmero total de itens (em cada srie e disciplina) foi I t = I c / f u ou I t = I b k / f u = I c b = 13 x 13 = 169 itens. Se outro esquema fosse utilizado, como o do exemplo 6, cada caderno poderia ser montado com 20 itens (40 itens no caderno) e I t = 40 2 / 7 = 140 itens no total. Ou seja, no temos liberdade total para definir cada um dos parmetros mas, na maioria dos casos, conseguimos caminhar para uma soluo que compatibilize nossas necessidades. 5. Concluso

Os Blocos Incompletos Balanceados so muito teis nos processos de avaliao pois permitem que conciliemos o grande nmero de itens necessrios ao estudo da performance da sala de aula com o pequeno nmero de itens que podemos submeter aos alunos individualmente. Os Blocos Incompletos Balanceados tm a propriedade de distribuir os itens de forma uniforme entre o conjunto dos alunos desde que observados alguns cuidados durante a aplicao dos testes. A combinao da Teoria de Resposta ao Item com os Blocos Incompletos Balanceados nos permite obter informaes precisas sobre a performance do aluno e da sala de aula simultaneamente. O uso conjunto destas mesmas tcnicas tambm pode ser utilizado para que um banco de itens testados e calibrados cresa num ritmo muito maior e consistente do que seria possvel com outras metodologias.

134 Estudos em Avaliao Educacional, n 24, jul-dez/2001

Apndice A Tabela com as combinaes de cadernos c (at 200), blocos b (at 200) e nmero de blocos por caderno k (at 50) passveis de admitir soluo para os esquemas de Blocos Incompletos Balanceados (BIB), considerando = 1:
Nmero de Cadernos (c) 3 6 7 8 10 12 13 14 15 15 20 21 21 23 24 26 28 30 31 33 34 35 35 36 Nmero de Blocos (b) 3 4 7 16 5 9 13 21 6 45 16 7 21 46 96 13 8 25 31 55 85 15 175 9 Nmero de Blocos por Caderno (k) 2 2 3 6 2 3 4 6 2 12 4 2 5 10 20 3 2 5 6 10 15 3 30 2 Nmero de Repeties de cada Bloco (r) 2 3 3 3 4 4 4 4 5 4 5 6 5 5 5 6 7 6 6 6 6 7 6 8 Fator de utilizao (fu)

0.67 0.50 0.43 0.38 0.40 0.33 0.31 0.29 0.33 0.27 0.25 0.29 0.24 0.22 0.21 0.23 0.25 0.20 0.19 0.18 0.18 0.20 0.17 0.22
135

Estudos em Avaliao Educacional, n 24, jul-dez/2001

42 43 45 46

36 43 10 92

6 7 2 14

7 7 9 7

0.17 0.16 0.20 0.15

Nmero de Cadernos (c) 47 50 55 56 57 57 60 63 66 69 70 72 73 75 77 78 82 85 90 91 91 94 95 99 100

136

Nmero de Blocos (b) 141 25 11 49 19 57 105 28 12 46 21 64 73 100 154 13 41 51 81 14 91 141 171 45 25

Nmero de Blocos por Caderno (k) 21 4 2 7 3 8 14 4 2 6 3 8 9 12 18 2 5 6 9 2 10 15 18 5 3

Nmero de Repeties de cada Bloco (r) 7 8 10 8 9 8 8 9 11 9 10 9 9 9 9 12 10 10 10 13 10 10 10 11 12

Fator de utilizao (fu)

0.15 0.16 0.18 0.14 0.16 0.14 0.13 0.14 0.17 0.13 0.14 0.12 0.12 0.12 0.12 0.15 0.12 0.12 0.11 0.14 0.11 0.11 0.11 0.11 0.12

Estudos em Avaliao Educacional, n 24, jul-dez/2001

105 110 111 111 117 120 122 130 132

15 100 37 111 27 16 61 40 121

2 10 4 11 3 2 6 4 11

14 11 12 11 13 15 12 13 12

0.13 0.10 0.11 0.10 0.11 0.12 0.10 0.10 0.09

Nmero de Cadernos (c) 133 136 143 153 155 156 157 170 171 176 182 183 183 190 190 195 196

Nmero de Blocos (b) 133 17 66 18 31 144 157 85 19 33 169 61 183 20 76 91 49

Nmero de Blocos por Caderno (k) 12 2 6 2 3 12 13 7 2 3 13 5 14 2 6 7 4

Nmero de Repeties de cada Bloco (r) 12 16 13 17 15 13 13 14 18 16 14 15 14 19 15 15 16

Fator de utilizao (fu)

0.09 0.12 0.09 0.11 0.10 0.08 0.08 0.08 0.11 0.09 0.08 0.08 0.08 0.10 0.08 0.08 0.08

137 Estudos em Avaliao Educacional, n 24, jul-dez/2001

Referncias Bibliogrficas COCHRAN, William G., COX, Gertrude M. Experimental Design. New York: John Wiley, 1957. FEDERER, Walter Theodore. Experimental Design, Theory and Application. New York: Macmillan, 1955. KEMPTHORNE, Oscar. Design and Analysis of Experiments. New York: Wiley & Sons, 1975. VAJDA, S. The Mathematics of Experimental Design: Incomplete Block Designs and Latin Squares. London: Griffin, 1967. WINER, B. J. Statistical Principles in experimental Design. New York: McGraw-Hill, 1962. YATES, Frank S. Experimental Design: Selected Papers of Frank Yates. London: Griffin, 1970.

138 Estudos em Avaliao Educacional, n 24, jul-dez/2001