Banco Mundial - Análise de Dados de Avaliação Educacional

Gerry Shiel I Fernando Cartwright
ANLISE DE DADOS DE UMA

AVALIAO NACIONAL DE
DESEMPENHO EDUCACIONAL
Anlise de Dados
de uma Avaliao
Nacional de
Desempenho
Educacional
Pesquisas do Banco Mundial sobre Avaliaes de

Desempenho Educacional
VOLUME 4
Anlise de Dados de
uma Avaliao Nacional
de Desempenho
Educacional
Gerry Shiel
Fernando Cartwright
Vincent Greaney e
Thomas Kellaghan, Editores da Srie
GRUPO BANCO MUNDIAL
@2015 Banco Internacional para Reconstn.tio e DesenvolvimentolBanco Mundial

1818 H Street Nw, WosIungton D.e. 20433
Telefone: 202-473-1000j Internet: www.worldbank.Ol'g
Alguns cUrcitos rese"",""

1 2 34 18 17 1615
Este trabalho foi publicado originalmente em ingles pelo Banco Mundial como..~Datafrom
Na1ional As=mmt oi Educational Ach_.. l-l 4 oi Na1ional As............ oi Educational
Achievemmt, em 2015, Em caso de disprepancias, predomina o idioma original,
Este trabalho foi produzido pelo pessoal do Banco Mundial com contribuies externas. As
apuraes, interpretaes e concluses expressas neste trabalho no refletem necesariamente a opinio do Banco Mundial, de sua Diretoria Executiva nem dos governos dos paises que representam,
O Banco Mundial no garante a exatido dos dados apresentados neste trabalho. As fronteiras, cores,
denominaes e outras infonnaes apresentadas em qualquer mapa deste trabalho no indicam
nenhum julgamento do Banco Mundial sobre a situao legal de qualquer ten'itrio.. nem o endosso
ou a aceitao de tais fronteiras.
Nada aqui constitui ou pode ser considerado como constituindo uma limitao ou dispensa de
privilgios e imunidades do Banco Mundial, os quais so especi6camente reseIVados.
Direitos e Pennisses
(!)
&te trnb.Iho .... d;,ponivel na Ikena da Creoti"" Common..Attribution 3.0 lGO (CC BY 3.0 lGO)
http://creativecommons.orgllicenseslby/3.0 lGO, Nos termos da licena Creative Commons
Attribution, o usurio pode copiar, distribui!j transmitir e adaptar este trabalho.. inclusive para fins
comerciais, nas seguintes condies:
Atribuio - Favor citar o trabalho como segue: Shiel, Gerry, e Fernando Cartwright. 2015. Vai 4
a. hsqu;sas do Bana> MundUd mbmAvaUap;es a. n.s.mpenho EducacKmak Anlire a. Dados a.
umaAvaliao Nacional de n.s.mpenho Educaciona1, editado por Vmcent Greaney e Thomas

Kellaghan. Washington, DC: Banco Mundial DOI: 10.1596/978-14648-0603-2. Licena: Creative
Commons Attribution CC BY 3.0 IGO
Traduo - Se o usurio traduzir este trabalho, favor acrescentar o seguinte teImo de iseno de
responsabilidade juntamente com a atribuio: Esta traduo no foi feita pelo Banro Mundial e no
deve ser coruUlemda traduo ofidal do llmwo Mwu/;a[ O llmwo MundUd no se rupomab$za pelo
amtedo nem por qualquer "'" ,J"s", traduiio
Adaptaes - Se o usurio criar uma adaptao deste trabalho.. favor acrescentar o seguinte
termo de iseno de responsabilidade juntamente com a atribuio: Esta uma adaptao de um
trabalho original do Bana> Mundial. _
a. vista , opiniiies expressos na adaptaplo 3M a. i _
responsabilidad do autor ou automs' da adaptaplo e no so endossaos pelo Bamv Mundial.
Contedo de tercei:tos O Banco Mundial no necessariamente proprietrio de todos os

componentes do contedo includo no trabalho. Portanto, o Banco Mundial no garante que o uso
de qualquer componente individual de terceiros ou parte do contedo do trabalho no infrinja
direitos de terceiros. O risco de reivindicaes resultantes de tal violao recai inteiramente sobre
o usurio. Se o usurio desejar reutilizar um componente do trabalho, recair. sobre ele a
responsabilidade de detenninar se necessria pennisso para tal reutilizao.. bem. como obter a
referida pennisso junto ao proprietrio dos direitos autorais. Exemplos de componentes podem
incluir, embora no de forma exclusiva, tabelas, :figuras ou imagens.
Todas as consultas sobre direitos e licenas devem ser endereadas a Publishing and Knowledge
Div;,;on, The Wodd Bank, 1818 H StreetNw, Washington, DC 20433, USA; fax: 202-522-2625;
e-mail: pubrights@worldbank.org.
ISBN (papel): 978-1-4648-0003-2
ISBN (eletrnico): 978-1-4648-0604-9
DOI: 10.1596/978-1-4648-0603-2
Dustrao da capa: Olga Loureiro
lmagms da capa: Colored pencils and graph (lpis de cor e grfico) @istockphoto.comIFotografiaBasicaj checking boxes (caixas de seleo) @istockphoto.com/kgerakisjwallpaper (papel de parede)
@istockphoto.comlenjoynz.
I,.,. and T"" ~ (lATA) @ 2015 Fernando Cat1wridrt. Utilizado com pmnisso. !Iecouria
pmnisso para reutilizao. Microsoft. ~ E=I, Office. Wmdows. Word 3M """"'" registradas ou
denomina{Ves annmdais da Microsoft Cmponuion "'" Estados Unidos e/ou em ...... paises.
SPSS man:a regfslrada da IBM.
WiM'Var marca mgistrada da Watat.
tNDICE
PREFCIO
xvii
SOBRE OS AUTORES E EDITORES
xix
AGRADECIMENTOS
xxi
xxiii
SIGLAS
INTRODUO
Nota
6
Parte I
Uma Introduo Anlise Estatstica dos
Dados de Avaliao Nacional
GenyShiel
1. O BANCO DE DADOS PARA ANLISES
Salvar os arquivos do CD no seu disco rgido ou servidor

lostrwnentos de avaliao
Pesos de amostragem
SPSS
WesVar
Notas
11
13
14
16
20
20
v
vi
INDICE
2. EXPLORAO DE DADOS DA AVALIAO NACIONAL

USANDO O SPSS
21
Medidas de tendncia central

Medidas de disperso
Medidas de posio
Medidas de forma
Explorao de um conjunto de dados usando o SPSS
Notas
22
22
23
24
26
32
3. UMA INTRODUO AO WESVAR
Configurar um arquivo de dados no WesVar

Acrescentar rtulos de variveis
Clculo de estatstica descritva no WesVar
Calcular a mdia e o erro padro
Clculo de mdias e erros padro para subgrupos na populao
Notas
4. COMPARAO ENTRE OS NVEIS DE DESEMPENHO DE
DOIS OU MAIS GRUPOS
Anlise da diferena entre duas pontuaes mdias

Anlise da diferena entre trs ou mais pontuaes mdias
5. IDENTIFICAO DE ALUNOS DE ALTO E BAIXO
DESEMPENHO
Clculo das pontuaes correspondentes s principais
categorias de percentl nacionais

Clculo das percentagens de alunos em subgrupos,
usando categorias de percentl nacionais
6. ASSOCIAO ENTRE VARIVEIS: CORRELAO E
REGRESSO
Correlao
Regresso
Correlao e causalidade
Notas
33
33
34
35
40
43
45
47
47
53
59
60
65
73
73
80
96
98
7. APRESENTAO DE DADOS UTILIZANDO DIAGRAMAS

E GRFICOS
99
Diagramas
Grficos de linha com intervalos de confiana
Grficos de linhas para representar dados sobre tendncias
Nota
100
106
109
110
INDICE
I vii
I.A. ANLISE DE DADOS NAEA: ESTRUTURA DO DIRETRIO
DE ARQUIVOS
111
I.B. ANLISE DE DADOS NAEA: SUBPASTAS E ARQUIVOS
113
I.C. ABRIR UM ARQUIVO SPSS NO WESVAR
117
Notas
124
Parte 11
Anlise de Item e de Teste
Fernando Cartwright
8. INTRODUO AO lATA
Instalar o lATA
Dados de avaliao
Dados produzidos pelo lATA
Interpretar os resultados do lATA
Dados de amostra
Fluxos de trabalho e interfaces de anlise do lATA
Navegar nos fluxos de trabalho do lATA
Notas
9. ANLISE DE DADOS DA APLICAO DE UM TESTE
PILOTO
Passo 1: Carregamento dos dados de resposta

Passo 2: Carregamento da chave de respostas
Passo 3: Especificaes da anlise
Passo 4: Anlise de itens
Passo 5: Dimensionalidade do teste
Passo 6: Funcionamento diferencial dos itens
Passo 7: Anlise da escala
Passo 8: Seleo de itens do teste
Passo 9: Padres de desempenho
Passo 10: Ver e salvar resultados
Notas
10. REALIZAR UMA ANLISE COMPLETA DA
ADMINISTRAO DE DADOS DE UM TESTE FINAL
Passo 1: Definir a anlise

Passo 2: Resultados da anlise bsica
Passo 3: Anlise do funcionamento diferencial dos itens
127
127
128
141
142
143
145
149
150
151
153
155
156
159
170
176
183
187
192
192
194
197
198
200
200
viii
fNDICE
Passo 4: Escalonamento
Passo 5: Selecionar itens de teste
Passo 6: Estabelecer padres de desempenho
Passo 7: Gravar os resultados
Nota
11. ANLISE DOS CADERNOS DE PROVA ROTATIVOS
202
207
209
218
218
219
Passo 1: Carregamento dos dados

Passo 3: Resultados da anlise dos itens
219
221
222
12. ANLISE DE ITENS DE CRDITO PARCIAL
225
Passo 1: Carregar os dados

Passo 3: Resultados da anlise de item
225
227
228
13. COMPARAR AVALlAOES
Passo 1: Definir a anlise

Passo 2: Ligar os itens comuns
Passo 3: Reescalonamento dos resultados ligados
Passo 4: Atribuir padres de desempenho
Notas
14. MTODOS ESPECIALIZADOS EM lATA
Ligar dados de item

Selecionar itens de teste ideais
Desenvolver e atribuir padres de desempenho
Anlise de dados de resposta com parmetros de
item ancorados
Nota
15. RESUMO DOS TUTORIAIS DO lATA
II.A. TEORIA DE RESPOSTA AO ITEM
233
235
239
244
245
248
249
250
253
256
259
265
267
271
Nota
279
REFER~NCIAS
281
CAIXA
6.1 Variveis da Regresso Padro
83
INDICE
I ix
EXERCCIOS
1.1 Executar estatisticas descritivas em SPSS e salvar os arquivos

2.1 Execuo do comando Explore no SPSS, varivel dependente
nica (um nvel)
2.2 Execuo do comando Explore no SPSS, varivel dependente
nica (mais de um nvel)
3.1 Como gerar estatsticas descritivas no WesVar
3.2 Calcular uma mdia e respectivo erro padro no WesVar
3.3 Clculo de mdias e erros padro no WesVar, quatro regies
4.1 Avaliao da diferena entre duas pontuaes mdias
4.2 Avaliao das diferenas entre trs ou mais pontuaes mdias
5.1 Clculo dos valores de percentil nacionais
5.2 Clculo dos valores de percentil por regio
5.3 Recodificao de uma varivel em categorias de percentl
usando o WesVar
5.4 Clculo das percentagens de alunos com pontuaes abaixo
dos Percents de referncia chave nacionais e erros padro por
regio
6.1 Desenhar um grfico de disperso em SPSS
6.2 Calcular um coeficiente de correlao em nvel nacional
6.3 Executar uma regresso em WesVar, uma varivel
independente (contnua)
6.4 Executar a regresso em WesVar, uma varivel independente
(categrica)
6.5 Calcular coeficientes de correlao
6.6 Executar a regresso em WesVar, mais do que uma varivel
independente
7.1 Desenho de um grfico de colunas para mostrar o desempenho
por nvel de aptido, dados nacionais
7.2 Desenho de um grfico de barras para mostrar a percentagem
por nvel de aptido por regio
7.3 Desenho de intervalos de confiana em 95% para uma srie
de pontuaes mdias
7.4 Mostrar dados sobre tendncias com um grfico de linhas
18
27
31
36
41
43
49
53
60
63
65
68
75
78
84
88
90
92
100
102
106
109
FIGURAS DE EXERCrCIO
1.1.A Caixa de dilogo de classes de peso

1.1.B Caixa de dilogo de descritivas SPSS
18
19
rNDICE
2.l.A Diagrama de caule e folhas para as pontuaes da escala

de matemtica
2.l.B Diagrama de caixa para as pontuaes da escala de
matemtica
2.2.A Diagrama de caixa para as pontuaes da escala de
matemtica por regio
3.l.A Novo livro de exerccios WESVAR
3.l.B Especificar variveis para anlise nas descritivas WesVar
3.l.C Resultados das descritivas WesVar
3.l.D Exportar um arquivo WesVar
3.2.A Especificar uma estatistica computadorizada em uma tabela
WesVar
3.2.B Resultados para tabelas WesVar: Clculo da mdia
3.3.A Livro de exerccios WesVar antes do clculo da mdia
por regio
3.3.B Resultados WesVar para o clculo da mdia por regio
4.l.A Livro de exerccios WesVar antes da avaliao da diferena
entre duas pontuaes mdias
4.l.B Resultados WesVar: Pontuaes mdias em matemtica
dos alunos com e sem eletricidade em casa
4.l.C Resultados WesVar: diferena das pontuaes mdias em
matemtica entre os alunos com e sem eletricidade em casa
4.2.A Livro de exercicios WesVar apresentando o ajuste para o
nvel alfa
4.2.B Preenchimento das definies de clulas em WesVar
4.2.C Livro de exerccios WesVar apresentando as funes das
clulas
4.2.D Resultados WesVar: pontuaes mdias em matemtica
por regio
4.2.E Resultados WesVar: diferenas de pontuaes mdias em
matemtica por regio
5.l.A Livro de exerccios WesVar: clculo dos valores de percentil
5.l.B Resultados WesVar: clculo dos valores de percentil
5.2.A Livro de exercicios WesVar antes do clculo dos valores
de percentil por regio
5.2.B Resultados WesVar parciais: clculo dos valores do
10. percentil por regio
5.3.A Livro de exerccios WesVar: recodificao de mathss em
varivel discreta
5.3.B Designao de categorias de percentil em WesV
29
30
32
37
37
38
40
42
42
44
45
50
51
51
54
55
56
56
57
61
62
63
64
66
67
INDICE
5.4.A Captura de tela do livro de exeros WesVar antes do

clculo das percentagens das pontuaes abaixo dos
padres de referna chave naonais por regio
5.4.B Resultados parais: percentagens de alunos com pontuaes
abaixo dos padres de referna chave naonais
por regio
6.l.A Caixa de dilogo paral do SPSS antes de desenhar
o grfico de disperso
6.l.B Grfico de disperso da relao entre implementao
de procedimentos e resoluo de problemas em matemtica
6.l.C Grfico de disperso mostrando a linha de melhor ajuste
6.2.A Livro de exeros WesVar antes de executar
a anlise de correlao
6.2.B Resultados WesVar: correlao entre resoluo de
problemase implementao de procedimentos matemticos
6.3.A Livro de Exeros do WesVar antes de executar a regresso
com uma varivel independente
6.3.B Resultado da regresso em WesVar, uma varivel
independente: soma de quadrados e valor de R2
6.3.C Resultado da regresso em WesVar, uma varivel
independente: coefientes estimados
6.3.D Resultado da regresso em WesVar, uma varivel
independente
6.4.A Resultado da anlise de regresso em WesVar: Varivel
independente categrica
6.5.A Resultados de correlaes entre variveis independentes
6.6.A Tela do WesVar antes de executar regresso com mais de
uma varivel independente
6.6.B Resultado da regresso em WesVar, mais de uma varivel
independente: soma de quadrados
6.6.C Resultado da regresso em WesVar, mais do que uma
varivel independente: coefientes estimados
6.6.D Resultado da regresso em WesVar, mais do que uma
varivel independente: teste de ajuste do modelo
7.l.A Percentagens de alunos em cada grupo de desempenho
7.l.B Inserir opes de grfico no excel
7.l.C Percentagem de alunos por nvel de aptido em matemtica
7.2.A Percentagem de alunos por nvel de aptido em
matemtica
7.2.B Opes grfico de barras 2-d em excel
I xi
68
69
76
76
77
79
79
85
85
86
87
89
91
93
93
94
95
100
101
101
102
103
xii
INDICE
7.2.C Percentagem de alunos por nvel de aptido em

matemtica por regio
7.2.D Opo transpor linhas/colunas em ferramentas de
grfico/design em excel
7.2.E Percentagem de alunos por nvel de aptido em
matemtica por regio
7.3.A Pontuaes mdias de matemtica e pontuaes em
intervalos de confiana superiores e inferiores por regio
7.3.B Opes formatar eixos em excel
7.3.C Opes formatar sries de dados em excel
7.3.D Grfico de linhas para pontuaes mdias de matemtica e
intervalos de confiana em 95% por regio
7.4.A Folha de trabalho exce1 com pontuaes mdias de
matemtica por gnero, 2004-13
7.4.B Pontuaes mdias de matemtica por gnero, 2004-13
103
104
105
106
107
107
108
109
110
TABELA DE EXERCrCIOS
2.l.A Uma Sntese do Processamento de Casos

2.1.B Estatisticas descritivas
4.1.A Comparao entre as Pontuaes Mdias em Matemtica
dos Alunos com e sem Eletricidade em Casa
4.2.A Comparao das Pontuaes Mdias em Matemtica
dos Alunos com e sem Eletricidade em Casa por Regio
5.l.A Pontuaes em Matemtica em Nvel Nacional
(e Erros Padro) em Nveis de Percentil Diferentes
5.2.A Pontuaes em matemtica (e erros padro) em vrios
nveis de percentil por regio
27
28
52
58
62
64
FIGURAS
2.1
Distribuio normal apresentando as unidades do desvio

padro
2.2 Exemplos de distribuies com assimetria positiva,
negativa e simtricas
3.1 Acrescentar rtulos de variveis no WesVar
6.1 Correlaes positiva e negativa
6.2 Reta de regresso e equao de regresso em um grfico
de disperso
I. C.l Agregar dados em SPSS
I.C.2 Acrescentar variveis a um arquivo SPSS
24
25
35
74
82
119
121
rNDICE
I.C.3
I.C.4
I.C.5
8.1
8.2
8.3
8.4
9.1
9.2
9.3
9.4
9.5
9.6
9.7
9.8
9.9
9.10
9.11
9.12
9.13
9.14
9.15
9.16
9.17
9.18
Lista de variveis disponveis no arquivo de dados WesVar

Criar ponderaes no WesVar
Ponderaes de replicao criadas pelo WesVar
Exemplos corretos e incorretos de formatao de dados
Seleo de idioma incial e registro ideal para o lATA
O menu principal do lATA
Caixa de interface de instrues de tarefa e botes de
navegao do lATA
Fluxo de trabalbo da anlise dos dados de resposta
Interface de carregamento de dados de resposta
Dados dos itens para os dados de resposta PILOTl
Especificaes da anlise para os dados PILOTl
Resultados da anlise de itens para os dados PILOTl,
MATHC1019
MATHCI027
MATHCI075
aps a remoo do item MATHC1075
Dimensionalidade do teste e do item para os dados PILOTl,
MATHCl 01 9
Resultados da dimensionalidade dos itens para os dados
PILOTl, MATHC1035
Resultados da dimensionalidade dos itens para os dados
PILOTl, MATHC1002
Resultados da anlise do FDI para os dados PILOTl por
Gnero, MATHC1046
Gnero, MATHC1035
gnero, MATHCI042
idioma utilizado nas casas dos alunos, MATHC1006
Interface de anlise e definio da escala
Resultados da seleo de itens para os dados PILOTl,
50 itens
Resultados da seleo de itens para os dados PILOTl,
79 itens
I xiii
122
123
124
130
146
147
149
152
153
156
157
160
166
167
168
171
172
176
177
179
180
182
184
188
192
xiv
9.19
10.1
10.2
INDICE
Visualizao dos resultados da anlise dos dados PILOT1

Especificaes de anlise para os dados CYCLE1
Resultados da anlise do FDI para os dados CYCLEl por
localizao, MAlliC1043
10.3 Distribuio de aptido (pontuao da tri) e informaes
do teste, dados CYCLE1
10.4 Uma comparao da informao ideal do teste e da
distribuio normal
10.5 Distribuio e estatisticas resumidas para a nova
pontuao de escala (NAMscore), dados CYCLE1
10.6 Selecionar itens, dados CYCLE1
10.7 Interface de padres de desempenho por omisso, dados
CYCLE1
10.8 Interface de padres de desempenho, PR = 50%, dados
CYCLE1
10.9 Dados de marcadores de livro, PR = 50%, dados CYCLE1
10.10 Interface de padres de desempenho com limiares
estabelecidos manualmente, dados CYCLE1
11.1 Respostas dos alunos, dados PILOT2
11.2 Especificaes da anlise, cadernos de prova rotativos,
dados PILOT2
11.3 Resultados da anlise de itens, dados PILOT2, MATHC2003
12.1 Chaves de respostas aos itens e metadados, dados PILOT2
12.2 Especificaes da anlise, cadernos rotativos com itens de
crdito parcial, dados PILOT2
12.3 Resultados da anlise de item, dados PILOT2, MAlliC2003
12.4 Funo de resposta ao item de crdito parcial, dados
CYCLE2, MATHSAOO1, Valor = 2
13.1 Anlise de dados de resposta com fluxo de trabalho de
ligao
13.2 Dados de item de referncia de CYCLE1 para ligao
com os dados CYCLE2
13.3 Resultados da anlise de item para os dados CYCLE2,
MAlliSA005, Valor = 1
13.4 Resultados da ligao de itens comuns, CYCLE2 para
CYCLE1
13.5 Resultados da ligao de itens comuns, CYCLE2 para
CYCLE1, MATHC1052
13.6 Resultados do teste CYCLE2 expressos na escala CYCLE1
(NAMscore)
193
199
201
204
205
206
208
211
213
214
217
220
221
222
226
227
228
229
235
237
238
239
242
245
rNDICE
13.7
14.1
14.2
Atribuir padres de desempenho, dados CYCLE2

Selecionar os itens de teste ideais, dados CYCLE1
Dados de item para CYCLE3 com parmetros de item
ancorados
14.3 Resultados da anlise de item com parmetros de item
ancorados, dados de CYCLE3, MATHC2047
II.A.1 Distribuies da aptido para os respondentes corretos
e incorretos a um nico item de teste (facilidade = 0,50,
aptido mdia dos respondentes corretos = O)
e incorretos a um nico item de teste (facilidade = 0,50,
aptido mdia dos respondentes corretos = 0,99)
e incorretos a um nico item de teste e probabilidade
condicional de responder corretamente (facilidade = 0,60,
aptido mdia dos respondentes corretos = 0,40)
I xv
247
255
262
263
274
275
276
TABELAS
1.1 Teste de matemtica: distribuio de itens por reas de

contedo e processo
1.2 Descries abreviadas de questionrios
5.1 Percentagens de alunos com pontuaes abaixo do 25. 0
percentil de referncia nacional por regio
5.2 Percentagem de alunos com pontuaes no 75. 0 percentil de
referncia nacional ou acima deste por regio
8.1 Variveis produzidas ou usadas pelo lATA para descrever
a aptido e o desempenho no teste do aluno
8.2 Variveis em um arquivo de dados de item
8.3 Seo de amostra de um arquivo de dados de item
8.4 Seo de amostra para um arquivo de dados de um item
de crdito parcial
8.5 Tabelas de dados produzidas pelo lATA
8.6 Smbolos de trfego no lATA e o seu significado
8.7 Tarefas do lATA e os fluxos de trabalho em que so usadas
9.1 Anlise de distratores para os dados MATHC10l9, PILOTl
13
15
70
71
134
137
137
140
141
143
148
165
PREFAcIO
Avaliar os nveis de aprendizagem dos alunos essencial para acompanhar o sucesso de um sistema de ensino e para melhorar a qualidade do mesmo. As informaes acerca do desempenho educacional
dos alunos podem ser utilizadas para esclarecer uma ampla variedade
de polticas e decises educacionais, incluindo as relacionadas com a
formulao e implementao de programas para melhorar o ensino e

a aprendizagem nas salas de aula e a prestao de apoio e formao
adequados, onde isso for mais necessrio.
A srie de publicaes Avaliaes Nacionais de Desemperlho
Educacional, de que este o quarto volume, incide nos mais modernos
procedimentos que precisam de ser seguidos para garantir que os
dados (tais como os resultados dos testes e informaes de base) produzidos por um exercicio nacional de avaliao em grande escala
sejam de alta qualidade tcnica e atendam s preocupaes dos formuladores de polticas, responsveis pela tomada de decises e outras
partes interessadas no sistema de ensino.
O volume 1 da srie descreve os principais objetivos e elementos

fundamentais das avaliaes nacionais de desempenho educacional e
visa principalmente aos formuladores de politicas e aos responsveis
pela tomada de decises. O volume 2 trata da formulao de dois
tipos de instrumentos de coleta de dados para os exerccios de avaliao nacional: testes de desempenho educacional dos alunos e
xvii
xviii
PREFCIO
questionrios sobre antecedentes. O volume 3 enfoca as tarefas prticas relacionadas com a implementao de um exerccio de avaliao em grande escala, incluindo instrues detalhadas sobre logstica,
amostragem e limpeza e gesto de dados.
Este quarto volume, Anlise de Dados de uma Avaliao Nacional
de Desempenho Educacional, trata da gerao de informaes sobre os
itens e os resultados dos testes e de como relacionar os resultados dos
testes com os fatores educacionais e sociais. Tal como os volumes 2 e
3, este volume destina-se principalmente s equipes nas economias
em desenvolvimento e emergentes responsveis pela realizao das
avaliaes nacionais.
Por ltimo, o volume 5 descreve como elaborar relatrios baseados
nas concluses da avaliao nacional e como utilizar os resultados
para melhorar a qualidade da poltica educacional e a tomada de decises. de particular relevncia para os responsveis pela preparao
de relatrios de avaliao e pela comunicao e utilizao das
concluses.
A medida que os leitores avanam ao longo deste quarto volume,
as complexidades e o potencial da anlise dos dados gerados por uma
avaliao nacional em grande escala tornar-se-o evidentes. Para
explorar plenamente o que esses dados dizem acerca da qualidade,
equidade e outros aspectos do desempenho em um sistema de ensino,
o analista deve utilizar vrias tcnicas descritas na Parte I deste volume.
A Parte 11 descreve uma tcnica analitica fundamental, a saber, a
Teoria de Resposta ao Item (TRI). O volume vem com o software da
TRI, especialmente concebido e de fcil utilizao, chamado Anlise
de Item e de Teste (lATA). As equipes de avaliao em todas as partes,
quer estejam conhecendo a TRI ou j estejam familiarizadas com ela,
consideraro o lATA um complemento muito til sua coleo de
instrumentos de anlise de dados.
Marguerite Clarke
Especialista Snior em Ensino/Coordenadora de Avaliao
de Aprendizagem
Agosto de 2014
SOBRE OS AUTORES E
EDITORES
AUTORES
Fernando Cartwright especialista em psicometria, pesquisador de

cincias sociais e criador/arquiteto de saftware. J trabalhou em diversas
avaliaes nacionais e internacionais de aptides e aprendizagem,
incluindo o Programa de Avaliao Internacional de Alunos (PISA) e a
Pesquisa Internacional sobre Aptides Vitais e Alfabetizao de Adultos.
o arquiteto de vrios projetos de medio social, incluindo o lndice
Composto de Aprendizagem, o lndice Europeu de Aprendizagem ao
Longo da Vida e o lndice Third Billion. Produziu saftware relacionado
com a medio do ensino, incluindo.Anlise de Item e de Teste (lATA)
e aplicaes Web para o desenvolvimento de testes, repositrio de perguntas, elaborao de testes e anlise e avaliao de dados. Reside em
Otawa.
Gerry Shiel pesquisador no Centro de Pesquisas em Educao do St.
Patrick's College, em Dublin. Dirigiu o desenvolvimento de uma srie
de testes padronizados de desempenho em leitura (tanto em ingls
como em irlands), matemtica e cincias. Trabalhou intensamente
nas avaliaes nacionais no nvel do ensino fundamental e liderou a

implementao em mbito nacional na Irlanda da Pesquisa Internacional sobre Ensino e Aprendizagem (TALIS) da Organizao para a
xix
xx
SOBRE OS AUTORES E EDITORES
Cooperao e o Desenvolvimento Econmico (OCDE) e do PISA.

Trabalhou em questes de avaliao na frica, Sul e Leste Asitico e
Europa Oriental.
EDITORES
Vincent Greaney foi especialista principal em educao do Banco

Mundial. Ex-professor, pesquisador no Centro de Pesquisas em Educao no St. Patrick's College, Dublin, e Professor Visitante da Fulbright
na Western Michigan University, membro do Reading Hall of Fame
da International Reading Association. As suas reas de interesse incluem
avaliao nacional, testes pblicos, formao de professores, leitura e
promoo da coeso social por meio da reforma dos livros escolares.
Trabalhou em projetos educacionais, principalmente na frica, Sul e
Leste Asitico, Europa Oriental e Oriente Mdio.
Thomas Kellaghan foi diretor do Centro de Pesquisas em Educao no
St. Patrick's College, Dublin, e membro da Academia Internacional de
Educao. Trabalhou na Universidade de Ibadan, na Nigria, e na
Queen's University, em Belfast.As suas reas de interesse em pesquisas
incluem avaliao nacional, testes pblicos, desvantagens educacionais,
formao de professores e as relaes casa-escola. Foi Presidente da
Associao Internacional de Avaliao do Desempenho Educacional de
1997 a 2001. Trabalhou em questes de avaliao na Africa, Europa
Oriental, Sul e Leste Asitico, Amrica Latina e Oriente Mdio.
AGRADECIMENTOS
Uma equipe liderada por Vincent Greaney (consultor, Ensino no Nvel Global, Banco Mundial) e Thomas Kellaghan (Centro de Pesquisas
em Educao, St. Patrick' s College, Dublin) preparou a srie de livros
intitulada Avaliaes Nacionais de Desempenho Educacional, de que
este o quarto volume. Outros contribuintes para a srie so Sylvia
Acana (Conselho Nacional de Exames de Uganda); Prue Anderson
(Conselho Australiano de Pesquisas em Educao); Fernando Cartwright (Polymetrika, Canad); Jean Dumais (Statistics Canada); Chris
Freeman (Conselho Australiano de Pesquisas Pedaggicas); 1. Heward
Gougb (Statistics Canada); Sara 1. Howie (Universidade de Pretria);
George Morgan (Conselho Australiano de Pesquisas Pedaggicas);
T. ScottMurray (Data Angel, Canad); Kate O'Malley (Conselho Australiano de Pesquisas Pedaggicas); e Gerry Shiel (Centro de Pesquisas
em Educao, St. Patrick's College, Dublin).
O trabalho foi realizado sob a direo geral de Ruth Kagia, Diretora
da Educao; seus sucessores, Elizabeth King e Amit Dar; e Robin
Horn e Harry Patrinos, gestores, todos do Banco Mundial. Robert
Prouty iniciou e dirigiu o projeto at agosto de 2007. Marguerite
Clarke desde ento responsvel pela reviso e publicao.
Estamos muito gratos pelas contribuies do grupo de reviso:
Eugenio Gonzalez (Educational Testing Service), Pei-tseng Jenny
Hsieh (Universidade de Oxford) e Laura Jane Lewis (Banco Mundial).
xxi
xxii
AGRADECIMENTOS
Diana Manevskaya (Banco Mundial) facilitou a preparao

deste volume. Hilary Walshe, bem como Peter Archer, John Coyle
e Mary Rohan deram apoio ao Centro de Pesquisas em Educao,
St. Patrick's College, Dublin. A editorao foi feita por Laura
Glassman, Mary-Ann Moalli e Linda Stringer da Publications
Professionals LLC. O projeto grfico, a editorao e produo tiveram a coordenao de Janice Tuten e Paola Scalabrin, da Diviso de
Publicao e Conhecimento do Banco Mundial; a impresso foi
coordenada por Andrs Meneses.
O Conselho Australiano de Pesquisas em Educao, o Programa de
Parceria do Banco da Holanda, o Centro de Pesquisas em Educao,
o Fundo Fiducirio Irlands para a Educao, Statistics Canada e o
Fundo Fiducirio Russo de Ajuda Educao para o Desenvolvimento
(READ) contribuiram com apoio generoso na preparao e publicao da srie.
SIGLAS
I1Q
Curva caracterstica de categoria de itern

Curva caracterstica de teste
Erro padro
Funcionamento diferencial dos itens
Funo de resposta ao item
Anlise de Item e de Teste
Intervalo de confiana
Identificao
Intervalo ou Amplitude interquartil
JK
Jackknife
MLH
NAEP
Modelao linear hierrquica

Avaliao Nacional do Progresso Educacional- Estados
Unidos
Progressos no Estudo Internacional da Leitura
Programa de Avaliao Internacional de Alunos
Probabilidade de resposta
Unidade Primria de Amostragem (Primary Sampling Unit)
Pacote Estatistico para as Cincias Sociais
Teoria dssica dos Testes
Tendncias Internacionais no Estudo da Matemtica e das
Cincias
Teoria de Resposta ao ltern
CCCI
CCT
EP
FOI
FRI
lATA
IC
ID
PIRLS
PISA
PR
PSU
SPSS
TCT
TIMSS
TRI
xxiii
INTRODUO
A atual economia do conhecimento em mbito mundial requer que

os governos, sistemas de ensino e escolas acompanhem de perto uma
variedade de percursos educacionais, incluindo o desempenho educacional dos alunos. A avaliao nacional do desempenho educacional
dos alunos nas principais reas curriculares contribui para este esforo
respondendo a questes relacionadas com o seguinte:
Qualidade - disponibilizao de informaes sobre a aprendizagem dos alunos com base na implementao do currculo, obteno dos niveis de educao previstos ou preparao para
aprendizagem futura.
Equidade - determinar se o sistema de ensino no atende devidamente a determinados grupos de alunos, conforme evidenciado nas
diferenas de desempenho relacionadas com gnero, localizao,
grupo tnico ou idioma, grupo socioeconmico, ou govemana
escolar (pblico-privada).
Proviso - identificar fatores relacionados com a aprendizagem dos
alunos (por exemplo, recursos escolares, implementao de
currculo; nivel de formao dos professores, qualificaes e experincia; e circunstncias domiciliares dos alunos).
1
2 I ANLISE DE DADOS DE UMA AVALlAO NACIONAL DE DESEMPENHO EDUCACIONAL
Alterao - referente alterao dos resultados educacionais ao

longo do tempo (Greaney e Kellaghan 2008; Kellaghan e Greaney
2001; Kellaghan, Greaney e Murray 2009).
Os volumes anteriores desta srie, Avaliaes Nacionais de
Desempenho Educacional, descrevem os componentes de uma avaliao nacional com base em uma amostra. Esses componentes
incluem a especificao do contedo dos testes e questionrios, a
definio de uma populao de interesse e a seleo de uma amostra
probabilstica representativa da populao, administrao da avaliao e outros instrumentos para alunos e outros respondentes, a classificao das respostas dos alunos e a limpeza e gesto de dados.
O ltimo conjunto de dados gerados por essas atividades, em que os
itens dos testes foram criados e reunidos em um caderno e as respostas foram coligidas, fornece a fonte para as anlises descritas
neste volume.
A Parte I do volume foi projetada para ajudar as equipes de avaliao nacional na realizao de anlises de dados, normalmente efetuadas em uma avaliao nacional. O Captulo 1 fornece uma viso geral
dos conjuntos de dados utilizados nos exemplos trabalhados no CD
que acompanha o volume. seguido, no Captulo 2, por uma anlise
exploratria de dados utilizando SPSS. So definidos conceitos tais
como mdia, mediana, moda e desvio padro, e executada uma srie
de anlises ilustrativas. O Captulo 3 apresenta o conceito de erro
padro da estimativa e descreve procedimentos para calcular o grau
de desvio previsto dos dados de uma amostra em relao aos dados da
populao. Est descrito como o WesVar calcula erros padro para
uma amostra complexa, uma particularidade importante de uma avaliao nacional bem concebida. O Captulo 4 descreve maneiras de
abordar questes relacionadas com a equidade, analisando as diferenas entre os resultados mdios das categorias de alunos para determinar se certa diferena obtida estatisticamente significativa. No
Captulo 5, a incidncia muda para as formas como o desempenho
dos alunos de alto e baixo rendimento pode ser descrito. O Captulo
6 trata das associaes entre variveis (por exemplo, as relaes entre
os recursos escolares e a aprendizagem dos alunos), conforme evidenciado na correlao, e fornece uma introduo anlise de regresso.
INTRODUO
o Captulo 7 contm exemplos de como os dados podem ser apresentados utilizando diagramas e grficos.
A Parte 11 do volume concentra-se no desenvolvimento de escalas
para descrever a aprendizagem dos alunos. So utilizadas duas abordagens estatisticas conhecidas (dentro das quais vrios modelos foram
formulados) para responder a essa questo. A primeira abordagem, a
teoria clssica dos testes (TCT) (ver Crocker e Algina 2006; Haladyna
2004; Lord e Novick 1968), foi utilizada durante a maior parte do
sculo XX para descrever o desenvolvimento dos testes no Volume 2
da presente srie (Anderson e Morgan 2008). A segunda abordagem,
que est descrita na Parte lI, a Teoria de Resposta ao Item (TRI) (ver
De Ayala 2009; De Mars 2010; Hambleton, Swaminathan, e Rogers
1991; Lord e Novick 1968). Teve origem em meados do sculo XX e
atualmente amplamente utilizada em avaliaes nacionais e internacionais de desempenho educacional dos alunos.
O software Anlise de Item e de Teste (lATA) descrito neste
volume utiliza a TRI para analisar os dados dos testes. Foi concebido
para facilitar a abordagem de duas importantes consideraes estatisticas relacionadas com as avaliaes nacionais: (a) para aumentar a
facilidade de utilizao e de interpretao dos resultados dos testes e
(b) para estabelecer escalas significativas e consistentes nas quais
reportar pontuaes. Este ltimo aspecto requer a reduo do erro de
medio e o fornecimento de informaes que podem ser generalizadas alm da amostra a partir da qual se obtiveram os dados. A sequncia de anlises na Parte 11 foi concebida para simular as fases de
desenvolvimento e implementao de um programa nacional de avaliao, de testes-piloto a testes em grande escala e a testes de acompanhamento em ciclos de avaliao posteriores. O Captulo 8 d uma
descrio do menu principal do lATA, dos seus elementos interativos
e dos resultados que produz. O Captulo 9 descreve os passos da
anlise de dados a partir da aplicao de um teste-piloto, aps o que,
no Captulo lO, encontram-se descritos os passos de uma anlise da
administrao dos dados de um teste final. Encontram-se descritas
anlises de cadernos de prova rotativos (Captulo 11) e itens de crdito parcial (Captulo 12). As avaliaes comparadas por meio de
mtodos de ligao e especializados no lATA encontram-se abordadas nos captulos 13 e 14, respectivamente. O volume termina com
4 I
ANLISE DE DADOS DE UMA AVALlAO NACIONAL DE DESEMPENHO EDUCACIONAL
um anexo sobre a TRI. Note-se que o lATA funciona apenas em

ambiente Windows.
As principais vantagens da TRI so que, ao contrrio da TCT, ela
produz estatisticas de itens que so independentes da capacidade de
distribuio de um conjunto de examinandos e dos parmetros que
caracterizam um examinando e que so independentes do conjunto
especfico de itens de teste a partir do qual so calibradas. As suas
vantagens so consideradas particularmente adequadas em situaes
que requeiram a equiparao dos testes, a identificao de tendenciosidade no nvel dos itens e a formulao de testes adaptveis
informatizados.
Uma desvantagem da TRI que requer competncias analticas
avanadas e procedimentos de computao complexos, que podem
no estar disposio de uma equipe de avaliao nacional. Muitas
avaliaes nacionais nos pases em desenvolvimento continuam a
basear o desenvolvimento dos seus testes na pouca dificuldade do
item e nos ndices de discriminao da TCT. Deve-se reconhecer que
essas formas de dados proporcionam aos responsveis pela elaborao
de testes informaes teis independentemente do modelo de
medio que aplicado em fases posteriores do processo de desenvolvimento de testes. Alm disso, tanto a TCT como a TRI produzem
resultados muito semelhantes em termos de comparabilidade das
estatisticas de itens e de indivduos, bem como do grau de invarincia
das estatisticas de itens nas amostras dos examinandos (Fan 1998).
Quer a escolha para o desenvolvimento de testes recaia sobre a
TCT ou a TRI, merecem ateno duas questes relacionadas com a
prtica corrente nas avalaes nacionais e internacionais, que seguem
a prtica no desenvolvimento de testes destinados a avaliar os desempenhos de alunos individuais: (a) o pressuposto de que uma nica
dimenso est subjacente caracterstica ou competncia que est
sendo avaliada e (b) a incidncia na maximizao das diferenas entre
os desempenhos dos examinandos. Ambas tm implicaes para a
validade dos testes.
O pressuposto da unidimensionalidade que est subjacente ao
desenvolvmento dos testes tem implicaes importantes em uma
avaliao nacional ou internacional, no apenas para a validade de
contedo dos testes, mas tambm para determinar a tendenciosidade
INTRODUO
no nvel dos itens e a ligao dos testes. Contudo, o pressuposto

desafiado pelos dados que mostram que os alunos variam medida
que adquirem competncias em diferentes reas de desempenho
(ilustrado, por exemplo, quando o desempenho em matemtica descrito em termos de nmero, medio, forma e dados). Essa variao
deve-se, muito provavelmente, a diferenas nas experincias educacionais e culturais mais amplas dos alunos (Goldstein e Wood, 1989).
A rejeio de itens para incluso em um teste porque os dados estatisticos no suportam o pressuposto de unidimensionalidade pode ter
o efeito de excluir contedos importantes, resultando, assim, em uma
representao inadequada de um conceito, que naturalmente afetaria
a validade do contedo de um teste - um aspecto da validade que
geralmente considerado mais importante do que as inferncias baseadas em dados estatisticos. I O pressuposto de unidimensionalidade
deve ser uma preocupao especial nas avaliaes internacionais, nas
quais as experincias dos alunos, na escola e fora dela, so conhecidas
por variar bastante.
O objetivo de maximizar as diferenas entre os examinandos, outra
caracterstica dos procedimentos concebidos para desenvolver testes
destinados a avaliar os desempenhos de alunos individuais, motivo
de preocupao em uma avaliao nacional (ou internacional) porque
o propsito de tal avaliao descrever o desempenho do sistema
educacional e no fazer distines entre os desempenhos de alunos
individuais. Essa situao implica em que outros fatores alm da
discriminao e facilidade tenham de ser considerados quando da
deciso de se inclurem itens em um teste. Por exemplo, itens a que
todos os alunos responderam corretamente ou itens a que nenhum
aluno respondeu corretamente podem no ser normalmente includos em um teste concebido para alunos individuais, porque no iriam
contribuir para a diferenciao entre os alunos. No entanto, no caso de
uma avaliao nacional, pode ser importante saber se todos ou
nenhum aluno conseguiu dominar certas reas de desempenho. Por
conseguinte, os itens que representam essas reas seriam includos na
avaliao. Para garantir que os testes utilizados em uma avaliao
nacional representem adequadamente o conceito que est sendo avaliado e forneam informaes abrangentes sobre a amplitude do
desempenho adquirido pelos alunos no sistema de ensino,
6 I
ANLISE DE DADOS DE UMA AVALlAO NACIONAL DE DESEMPENHO EDUCACIONAL
imperativo que os responsveis pela elaborao de testes estabeleam

contato frequente com especialistas em currculo e professores
durante todo o processo de desenvolvimento dos testes.
A introduo geral anlise estatistica precede a seo sobre a TRI
neste volume porque apresenta ao leitor muitos dos procedimentos
analticos utilizados na mesma. Contudo, na situao real de uma avaliao nacional, o escalonamento de dados para descrever o desempenho dos alunos, conforme descrito na Parte 11, teria de ser conc1uido
antes da realizao das anlises na Parte I.
Presume-se que os usurios deste volume tenham conhecimentos
bsicos de utilizao de pastas e arquivo, Excel e SPSS e que saibam
navegar, sem dificuldade, entre os componentes do SPSS.
NOTA
1. Cronbach (1970, 457) salientou que, mesmo no caso de testes
desenvolvidos para avaliar alunos individuais, "nada na lgica de validao
de contedo exige que o universo ou o teste seja homogneo em termos de
contedo."
UMA INTRODUO
PARIrE
ANLISE ESTATSTICA
DOS DADOS DE
AVALIAO
NACIONAL
Gerry Shiel
CAPiTULO
o BANCO DE DADOS
PARA ANLISES
Os dados de avaliao nacional contm uma aferio do desempenho do estudante que pode ser representada de vrias
maneiras, como nmero de itens em um teste a que um estudante
tenha respondido corretamente (apesar de essa aferio nem sempre
ser muito significativa); percentagem de itens respondidos corretamente; e pontuaes de escala em que uma distribuio de pontuaes com uma mdia e desvio padro obtidos transformada em uma
distribuio com mdia e desvio padro diferentes. A maioria das avaliaes nacionais tambm rene dados adicionais. Esses dados podem
estar relacionados com escolas (como tipo, tamanho); professores
(como as qualificaes, experincia); estudantes (como idade, tempo
dedicado aos trabalhos de casa); e pais e meio farniliar (como nvel
educacional dos pais, nmero de livros em casa).
Os dados coligidos contero uma srie de tipos de variveis.
Algumas variveis sero categricas e implicam colocar indivduos em
categorias ou grupos claramente definidos, tais como nvel educacional ou gnero. Outras variveis, descritas como discretas, consistem
em medidas numricas ou contagens, tais como o nmero de filhos
por farnilia. So obtidas pela contagem e por valores para os quais no
existem valores intermdios. Em contrapartida, as variveis continuas
9
10
I ANLISE DE DADOS DE UMA AVALIAO NACIONAL DE DESEMPENHO EDUCACIONAL
descrevem medidas numricas que podem ser qualquer valor entre

dois valores especficos, tais como a distncia de casa escola de um
estudante. O tipo de dados impe restries ao tipo de anlise estatistica que pode ser realizada, assim como ao modo como os dados
podem ser representados graficamente.
As anlises comeam normalmente com uma explorao de dados
numricos simples, apresentados em resumos estatisticos, em grficos
ou diagramas ou de ambas as maneiras. Conforme explicado com
mais detalhes mais adiante neste captulo, a nfase, nesta fase, recai na
descrio, apesar de o que aprendido poder gerar hipteses a serem
testadas em uma fase posterior. A fase de explorao de anlise dos
dados tambm fornece a oportunidade de inspecionar a qualidade dos
dados mediante a verificao de valores que faltam, valores atipicos,
lacunas, e valores errneos, embora estes devessem ter sido identificados na fase de limpeza de dados (ver Freeman e O'Malley 2012).
Tambm revela a natureza dos dados, indicando se a distribuio
simtrica, assimtrica ou agrupada. Nessa fase inicial, uma visualizao em forma de grfico de barras, histograma ou diagrama de caixa e
bigode pode ser muito informativa na identificao de padres de
dados.
Quando h disponibilidade de mais de uma informao sobre os
indivduos, possvel investigar as relaes entre variveis, tais como
as relaes entre o desempenho na leitura e escrita e habilidades em
matemtica dos estudantes ou entre os desempenhos matemticos e
fatores do histrico familiar. Uma associao entre um par de variveis denominada bivariada. Como muitas das variveis de uma avaliao nacional esto interligadas, necessrio realizar uma anlise
multivariada que envolva procedimentos para prever o desempenho
de uma das variveis (por exemplo, desempenhos no nvel da leitura)
a partir dos valores de um conjunto de outras variveis (por exemplo,
o gnero do estudante, os fatores do histrico familiar). Um primeiro
passo da anlise multivariada mostrar e examinar correlaes de par
entre variveis em uma matriz de correlao. Este volume contm
uma introduo anlise multivariada (anlise de regresso, ver
Captulo 6). No entanto, no lida com formas mais complexas de
anlise, como modelao multinivel, nas quais as anlises so concebidas para refletir a estrutura encontrada nos sistemas de educao
o BANCO DE DADOS PARA ANLISES I
11
(estudantes agrupados em turmas, turmas nas escolas, escolas em

regies).
Os leitores podem desenvolver as suas capacidades analticas por
meio de um grupo de exerccios utilizando o banco de dados do CD
que acompanha o livro. O banco de dados, que semelhante ao utilizado na seo sobre amostragem em Implementao de Uma Avaliao
de Desempenho Educacional (Dumais e Gough 2012a), contm teste
de desempenho e outros dados que foram modificados a partir dos
dados coligidos em uma avaliao real de desempenho matemtico
realizado no quarto ano, em um pequeno pais, que apresentada
nesta srie como vindo de um pas com o pseudnimo Sentz.
Os captulos seguintes descrevem uma srie de tarefas analticas
que so tipicamente executadas com dados obtidos em uma avaliao
nacional. Ao realizar estas anlises, os leitores devero familiarizar-se
com um conjunto de tcnicas estatisticas que podem aplicar aos seus
prprios dados. A maioria das anlises utiliza o software WesVar. Ao
contrrio de muitos outros pacotes de software, o WesVar leva em
considerao a complexidade de um modelo de uma avaliao nacional quando se fazem anlises estatisticas, tais como estimativas,
variveis, e amostragem de erro. As Partes II e IV do Volume 3 desta
srie, Implementao de Uma Avaliao de Desempenho Educacional,
descrevem em detalhe amostragens complexas (Dumais e Gough
2012a,2012b).
SALVAR OS ARQUIVOS DO CD NO SEU DISCO RGIDO OU

SERVIDOR
Os arquivos podem ser copiados do CD para um disco rgido ou servidor. Copie ou crie uma pasta chamada NAEA DATA ANALYSIS do
CD para o seu ambiente de trabalho. Deve haver sete sub arquivos
dentro da pasta NAEA DATA ANALYSIS : SPSS DATA, EXERCISE
SOLUI10NS, WESVAR UNLABELEDDATA, MYWESVARflLES,

WESVAR DATA & WORKBOOKS, MY SPSS DATA, e MY
SOLUI10NS. Para copiar a pasta NAEA DATA ANALYSIS do CD
para o seu ambiente de trabalho, localize a pasta no CD, clique com o
boto direito do mouse e clique em Copy (Copiar). Depois abra
12
Desktop (Ambiente de Trabalho), clique com o boto direito do

mouse e clique em Paste (Colar). Verifique se a pasta NAEA DATA
ANALYSIS foi copiada com sucesso. Apresentamos a seguir detalhes
sobre as sete subpastas.
SPSS DATA. Os arquivos de dados SPSS (NATASSESS.SAVe

NATASSESS4.SAV) usados para completar os exerccios do
Captulo 2 deste volume, bem como um arquivo sobre escolas
(SCHOOLS.SAV), podem ser encontrados nesta pasta.
EXERCISE SOL UllONS. Aqui possvel encontrar solues,
principalmente em formato de arquivos de texto, para os exerccios
dos Captulos 2 a 7 deste volume. Quando completar os exerccios,
voc pode verificar as solues que obteve comparando-as com as
dessa subpasta.
WESVAR UNLABELED DATA. Use esta fonte para os exerccios

WesVar do Captulo 3. Este arquivo de dados (NATASSESS4.
VAR) deve ser igual ao arquivo de dados obtidos quando voc criou
seu arquivo de dados WesVar usando as instrues apresentadas no
Anexo I.e. O arquivo de dados neste diretrio pode servir como
backup.
MY WESVAR FILES. Use esta subpasta para salvar arquivos de
dados WesVar e os livros de exerccios que criou ao fazer os exerccios dos Captulos 3 e 6. Ao abrir esta pasta pela primeira vez, ver
que ela est vazia. Isso se deve ao fato de voc ainda no ter salvado
nenhum arquivo nesta pasta. fortemente recomendado que voc
crie seus prprios arquivos de dados e livros de exerccios WesVar
usando os procedimentos apresentados no Anexo I.e. Lembre-se
de que os arquivos de dados e os livros de exerccios WesVar que
voc criou devem ser salvos em MY WESVAR FILES.
WESVAR DATA & WORKBOOKS. Esta subpasta contm arquivos de dados NATASSESS4. VAR, o seu arquivo de acesso associado NATASSESS4. LOG, e quatro livros de exerccios completos,
CHAPTER3 WORKBOOK. WVB, CHAPTER4 WORKBOOK.
WVB, CHAPTER5 WORKBOOK. WVB, e CHAPTER6 WORK
BOOK. WVB. possvel recorrer a estas fontes para verificar a exatido do seu trabalho no WesVar.
o BANCO DE DADOS PARA ANLISES I 13
MY SPSS DATA. Use esta pasta para salvar novos arquivos, ou arquivos modificados, de dados SPSS, tais como os que criou antes de
transferir um arquivo de dados SPSS para o WesVar (ver anexo I.C).
MY SOLUllONS. Salve suas solues para os exerccios dos captulos 2 e 7 nesta subpasta. Tal como nos casos de MY WESVAR
FILES e MY SPSS DATA, ela estar vazia ao ser aberta pela
primeira vez.
o Anexo I.B contm detalhes do contedo de cada pasta e arquivo.

INSTRUMENTOS DE AVALIAO
Esta seo descreve os principais instrumentos utilizados para reunir

os dados usados no banco de dados.
Teste de Desempenho em Matemtica
teste consistiu em 125 itens baseados na estrutura do currculo

nacional para o quarto ano. A Tabela 1.1 mostra a distribuio de itens
nas principais reas de contedo e processos cognitivos (ou comportamentos intelectuais) da matemtica. A maioria dos itens avaliou as
reas de contedos de nmeros e medidas, refletindo os pesos
TABELA 1.1
Teste de Matemtica: Distribuio de Itens por reas de Contedo e Processo

reas de contedo
Nmero
de itens
Nmero
46
Processos cognitivos
Percentagem
de itens
36,8
Nmero
de itens
Compreender e
lembrar
16
12,8
Implementar
procedimentos
35
28,0
26
20,8
6,4
40
32,0
125
100,0
4,8
Forma e espao
18
14,4
Razo
Medidas
44
35,2
Integrar e ligar
lgebra
Dados e
hipteses
Total
Percentagem
de itens
Aplicar e resolver
11
8,8
125
100,0
problemas
Total
14
ANLISE DE DADOS DE UMA AVALIAO NACIONAL DE DESEMPENHO EDUCACIONAL
atribudos a essas reas no currculo nacional e nos manuais escolares.

Mais de metade dos itens avaliava dois processos cognitivos: "procedimentos de implementao" (28%) e "aplicao e resoluo de problemas" (32%).
Os itens foram agrupados em cinco livros (A, B, C, D, E), cada um
consistindo em 25 itens. Cada caderno de prova continha 75 itens do
lote total de 125. Cada livro (exceto o bloco comum B) aparecia uma
vez na posio inicial e uma vez na posio final em um caderno de
prova.
Cada item usava um formato de mltipla escolha ou de resposta
curta. Os itens de mltipla escolha tinham quatro respostas possveis
(A, B, C, D). Os estudantes deveriam assinalar a resposta que acreditavam ser a correta. Para itens de resposta curta, os estudantes deveriam escrever respostas s perguntas ou fazer desenhos (por exemplo,
desenhar as linhas de simetria atravs de uma forma bidimensional
como um retngulo). Cada pergunta de mltipla escolha tinha opo
de resposta correta. Cada item de resposta curta era marcado certo ou
errado de acordo com uma rubrica de pontuao fornecida aos classificadores de itens.
Questionrios de Contexto
A avaliao nacional incluiu questionrios individuais para diretor,

professor, estudante e pais (Tabela 1.2). Os professores tambm preencheram um formulrio de classificao para cada estudante da
avaliao.
PESOS DE AMOSTRAGEM
Foram computados e includos no arquivo pesos de amostragem. Os

pesos refletem a probabilidade de seleo de cada aluno. O Volume 3
desta srie (Dumais e Gough 20 12b) descreve como esses pesos so
computados e como so usados. Para cada estudante, foi computado
um peso do modelo que inclua os seguintes componentes:
Componente de seleo de escola. As escolas foram selecionadas com

probabilidade proporcional ao tamanho. Para a escola i, no nvel h,
o BANCO DE DADOS PARA ANLISES I 15
TABELA 1.2
Descries Abreviadas de Questionrios
Questionrio
Respondido por
Tpicos discutidos includos

Tamanho da escola, recursos da escola,
Questionrio da
Diretores de escola
escola
professores, plano de desenvolvimento da

escola, qualificaes do diretor da escola
Qualificaes do professor, anos de
experincia de ensino, distncia feita
diariamente at escola, tamanho da turma,
tempo passado no ensino da matemtica,
Professores dos alunos

Questionrio do
professor
do quarto ano
participantes
frequncia da avaliao do progresso dos

alunos, disponibilidade e uso de recursos
educacionais em sala de aulas
Estudantes
Idade, frequncia com que realizam trabalhos

de casa, interesse pela matemtica
Pais dos estudantes

participantes
Nvel de instruo (prprio e do cnjuge ou

parceiro), nmero de livros em casa, tamanho
de posse (terra), disponibilidade de luz
eltrica em casa, apoio e incentivo dos pais
Questionrio do
estudante
Questionrio dos
pais
Professores dos
Formulrio de
avaliao do
aluno
estudantes do quarto
ano no que diz respeito
a cada aluno
Frequncia escolar do aluno, proficincia do

aluno no idioma de instruo, avaliao do
desempenho, comportamento e apoio dos
pais do aluno pelo professor
isso correspondia ao recproco do produto do nmero de escolas

selecionadas multiplicado pelo nmero de alunos no nvel de nota
mdia padro da escola (medio de tamanho), dividido pelo
nmero de estudantes no nivel dentro da populao. Por exemplo,
se houvesse 5.000 alunos no nvel e fossem selecionadas 10 escolas
do nvel com 50 alunos na escola i, o componente de seleo de
escola para a escola i (Schwgt) seria de 5000/(10*50) = 10.
Componente de correo da no resposta da escola. Como todas
escolas selecionadas participaram, o fator de ajustamento de no
resposta da escola foi fixado em 1,0 (SchnrfacV
Componente de seleo de estudante. Como todos os alunos do
quarto ano de uma escola foram selecionados, a probabilidade de
um estudante de uma escola selecionada ser testado era 1,0 e o seu
recproco tambm era 1,0 (StudfaC).2
Componente de no resposta do estudante dentro do ajustamento da
escola. Foi criada uma correo de ajustamento para a no resposta
16
do aluno dentro da escola. Esta era o inverso do nmero de cadernos de prova vlidos devolvidos pelos alunos da escola sobre o
nmero de alunos no quarto ano da escola menos os estudantes
isentos (Stunrfac). Por exemplo, se 90 alunos se matriculassem no
quarto ano, na altura do estudo, nenhum com direito a iseno, e 80
participassem, o fator de ajustamento seria 90/80.
peso para cada aluno foi obtido calculando o produto desses

quatro componentes (Schwgt x Schnrfac x Studfac x Stunrfac).
Usando os exemplos anteriores, para o estudante x na escola i, o peso
teria sido 10 x 1 x 1 x 90/80. Este resultado produz o peso do modelo
(Wgtpop no arquivo de dados). Quando os dados do arquivo de dados
so ponderados usando o peso do modelo (populao), o tamanho da
populao estimada 51.713 (o nmero projetado de alunos do
quarto ano na populao). Cada estudante na amostra representa, em
mdia, 51.713/4.747 = 10,89 estudantes.
Ao realizar anlises no arquivo de dados de avaliao nacional SPSS
que acompanha este livro de exerccios, recomenda-se que se aplique
o peso da populao (Wgtpop). Isso pondera os dados para garantir a
representao proporcional de cada nivel.
A computao da avaliao de pesos descrita no Captulo 14 do
Volume 3 da srie, Implementao de Uma Avaliao de Desempenho
Educacional (Dumais e Gough 20l2b). Os passos descritos no captulo criam automaticamente os pesos necessrios para analisar dados
de avaliao nacional. Nas anlises deste volume, do Captulo 2 em
diante, Wgtpop usado para ponderar os dados.
SPSS
Alguns dos arquivos de dados do CD que acompanha estes livros (tais
como NATASSESS.SA V)3 esto em formato SPSS. A verso especfica
de SPSS usada para analisar os dados neste arquivo foi o SPSS, Verso
18; os arquivos de dados tambm foram analisados usando verses
mais recentes de SPSS. Para efeito dos exerccios apresentados neste
volume, todos os arquivos de dados (dados de avaliao e arquivos
baseados em cada um dos questionrios) foram integrados em um
17
nico arquivo SPSS consistindo no desempenho do aluno e outros

dados em 4.747 casos. 4
Para efeitos de anlise, variveis de nvel de escola e de professor
foram desintegradas para o nvel de aluno. Em outras palavras, a cada
aluno foram atribudos valores para essas variveis correspondentes
aos valores atribudos escola e ao professor desse aluno(a). Por
exemplo, uma das variveis no questionrio do professor era o
nmero de minutos destinados ao ensino semanal da matemtica.
Quando essa varivel era desintegrada, a cada aluno de uma sala de
aulas era atribudo o mesmo nmero de minutos de instruo semanal fornecidos pelo seu professor. Contudo, o arquivo de dados
NATASSESS.SAVest limitado a um subconjunto dessas variveis
para manter o tamanho e a estrutura do arquivo em um nvel fcil de
administrar.
Abra um Arquivo de Dados SPSS
H duas maneiras de abrir um arquivo de dados. Uma ir a (My)

Computer (Computador) no menu Wmdows (Start) (Iniciar) ou no
seu ambiente de trabalho e clique no disco e diretrio no qual seus
arquivos de dados SPSS so salvos: por exemplo, NAEA DATA
ANALYSIS - SPSS DATA - NATASSESS.SAV.

Tambm possvel abrir o SPSS clicando em Start, AlI Programs (IBM) SPSS Statistics. Clique na verso especfica de SPSS que aparece na sua tela. Uma vez iniciado, localize o arquivo de dados SPSS
necessrio selecionando File - Open - Data (Arquivo - Abra - Dados),
e depois procurando NAEA DATA ANALYSIS - SPSS DATA NATASSESS.SAV. Clique duas vezes em NATASSESS.SAV para
abri-lo.
Usar a Barra de Ferramentas para Fazer Anlises Preliminares
possvel fazer anlises em SPSS de duas maneiras principais: usando
arquivos syntax ou usando a barra de ferramentas. Aqui usada a

barra de ferramentas. Esta pode ser encontrada no topo do arquivo de
dados SPSS aberto. Basta clicar nos procedimentos que deseja executar, como apresentado no exerccio 1.1.
18
I ANUSE DE DADOS DE UMA AVALIAO NACIONAL DE DESEMPENHO EDUCACIONAL
EXERCCIO 1,1
Executar Estatstic. Descritivas em SPSS e Salvllr os Arquivos

1. Abra o arquivo de dados SPSS NATASSESS.SAV, que pode ser encontrado em
NAEA DATA ANALYSISI5PSS DATA.
2. Verifique se os pesos esto ativados: Data - Weight Cases - Weight Cases by

- Wgtpop (Figura 1.1.A do exerccio) e clique em OK. Use o Wgtpop para assegurar
que as estatsticas computadas representam a populao. Dever aparecer a
mensagem Weight On no canto inferior direito da tela.
FIGURA. DO EXERCfclO 1.1.A CIIiu d. Di'logo d. Oasses d. Peso
Im weightc:..~
,
malhss
S5se
wg(samp
stratum
gender
elearic
numberJlC
algebJ'c
,
,
shapeJlC
meas.J)c
dalaJ)C
--
.-
"lii:i
O QO nol welghl cases

@) ~elght cases br
.,
Frequency Variable:
I; w,",',
I
I
,Iot..,pc
,u_ux
'
Impl-pc
Cuenl Status Do nol welghl cases
~ l E"" 11 B"el jLcanceIJ~
Hei,
3. Selecione Analyze - Descriptive Statistics - Descriptives,a

4. Na caixa de dilogo Descriptives, destaque a varivel necessria no painel esquerdo
(neste caso, Mathss, a pontuao de escala do teste de avaliao de matemtica).
Clique na seta para mover para Variable (5) (ver figura 1.1.B do exerdcio).b Clique em
OK. O seu resultado dever mostrar uma tabela de resultados com uma mdia de
peso de 249,99 (que se arredonda para 250) e uma variao padro de 49,99780
(que se arreconda para 50),0
EXERClclO 1.1 (continuao)

FIGURA DO EXERCrClO 1.1.B Caixa de Dilogo de Descritivas SPSS
;1;;
Descriptives
Variable(s):
~ TEACHERID
#
#
#
#
#
Qptions .. .
.:;;;
STUDID
BOO"LET
A TTEMPT
MATHRS
MATHPC
~ SSE
IR MATHSS
SCHOOLlD
Save standar di~ed values as variables
O"
11
~asle
I[
Reset
I[
Cancel
I[
Help
5. Use File - 5ave As para atribuir um nome apropriado ao seu arquivo de resultados
SPSS (por exemplo, EXERClSE " 1.Spv), e salve em NAEA DATA ANALYS/SlMY
SOLunONS. Depois selecione Fila - Ciosa.
6. Para salvar seu arquivo de dados SPSS, que deve estar no modo editor de dados,
selecione Fila - Save As ... Salvar em NAEA DATA ANALYSIS\MY SPSS DATA
usando o arquivo com o nome NATASSESS.SAV. depois selecione File - Exit.
a. Se, em vez de dados, vir texto na tela, mude do modo de visualizao para o modo de edio de dados
clicando s'm Window e em (IBM) 5P55 Shltistics Data Editor.
b. Ao abrir uma caixa de dilogo, voc poder encontrar a lista de etiquetas de variveis (etiquetas
attibufdas ao nome de cada varivel) em vez de nomes de variveis. Do mesmo modo, poder descobrir que
as variveis esto em OIdem alfabtica e no na ordem em que aparecem no arquivo de dados. Para ajustar
estas definies, feche a caixa de dilogo e clique em Edit - Options - General. Depois, na caixa de lista de
variveis, selecione as opes que deseja.
c. Para reduzir as casas decimais a uma, clique duas vezes e sublinhe os dfgitos na clula apropriada (tal
como 249,99) na tabela. Com o boto direito do mouse, dique em Cell Properties- FormatValueNumb... - Decimais -1.
19
20
WESVAR
o WesVar um pacote estatistico utilizado muitas vezes em conjunto

com SPSS para analisar dados de avaliao nacional. Alm de apresentar alguns exerccios preliminares usando SPSS, o Captulo 2 descreve
a fundamentao lgica para a utilizao do WesVar, enquanto os
captulos 3 a 6 descrevem a variedade de anlises utilizando o WesVar.
O software WesVar (que inclui um extenso menu de ajuda) pode ser
descarregado do site da Westat. 5
NOTAS
1. Se 20 escolas estiverem em um nvel e 18 participarem, o valor apropriado
de correo teria sido 20/18 ou 1,11.
2. Se tivesse havido cinco turmas de alunos do quarto ano na escola, e trs
tivessem sido selecionadas para participar, o componente de seleo teria
sido 5/3. Alternativamente, se tivesse havido 100 alunos do quarto ano, e 35
tivessem sido aleatoriamente selecionados para participar, o componente
teria sido 100/35.
3. O sufixo .SAV usado quando voc salva arquivos de dados SPSS,
enquanto .SPV usado para salvar um arquivo de resultados SPSS.
4. O Captulo 12 do Volume 3 da srie, Implementao de Uma Avaliao de
Desempenho Educacional, contm detalhes sobre como integrar arquivos
usando Access (Freeman e O'Malley 2012). Os arquivos podem ser integrados
em SPSS, usando Data e Merge Files na barra de ferramentas (ver anexo I.C).
5. possvel descarregar a Verso 5.1 do WesVar gratuitamente em http://
www. westa t. c om/ our- wor k/ informa tion -systems/wesvar-su pp ort
/download-wesvar.
CAPiTULO
EXPLORAO DE
DADOS DA
AVALIAO
NACIONAL USANDO
O SPSS
Este captulo explora um conjunto de dados da

avaliao nacional mediante a utilizao do SPSS. Os exercicios tm
por objetivo permitir que o analista compreenda e calcule dados
como a pontuao mdia geral, as pontuaes mdias dos diferentes
grupos constituintes (por exemplo, as regies), bem como a variabilidade das pontuaes dos testes de grupo. As anlises descritas neste
captulo baseiam-se em dados ponderados.
A noo de distribuio de pontuaes um conceito fundamental
deste captulo. Uma distribuio um grupo de pontuaes de uma
amostra em uma nica varivel, tal como as pontuaes em um teste
de aproveitamento. Por exemplo, a aplicao de um teste de matemtica com uma pontuao mxima de 10 pontos a uma amostra de 20
alunos pode dar origem seguinte distribuio de pontuaes: O, 2, 3,
3,3,3,4,4,4, 5, 5, 5, 5, 5, 5, 6, 6, 6, 7, 10. Numa avaliao nacional,
em que o mesmo teste aplicado a centenas ou milhares de alunos, o
nmero de pontuaes ser, evidentemente, muito maior. Este captulo descreve as medidas de (a) tendncia central nas pontuaes, (b)
disperso nas pontuaes, (c) a posio das pontuaes e (d) a forma
das distribuies. Os exemplos fornecidos baseiam-se em uma distribuio ponderada das pontuaes do teste de matemtica para os
21
22
4.747 casos que tm disponveis os dados do teste de avaliao

nacional.
MEDIDAS DE TENDNCIA CENTRAL
As medidas descritivas mais comuns que representam o valor tipico

ou valor central de um conjunto de pontuaes de testes so a mdia,
a mediana e a moda.
Para calcular a mdia (no ponderada) de um conjunto de dados,
como, por exemplo, as pontuaes do teste de aproveitamento em
matemtica dos alunos, deve-se proceder soma desses valores. Em
seguida, deve-se dividir o valor resultante dessa soma pelo nmero de
pontos de dados que contriburam para a mesma (o nmero de alunos
que fizeram o teste).
A mediana o ponto mdio em um conjunto de nmeros organizados por ordem de grandeza.
A moda o valor que ocorre com mais frequncia em um conjunto
de dados. A uma distribuio com duas modas d-se o nome
bimodal.
O exemplo seguinte mostra um conjunto de nove pontuaes de
alunos que realizaram um teste de histria: 45,52,55,55, 59,60, 70,
71 e 73. A pontuao mdia 60, a mediana 59 e a moda 55.
MEDIDAS DE DISPERSO
A disperso um conceito fundamental em estatistica. As medidas

estatisticas de disperso mais utilizadas so a varincia, o desvio
padro e a gama de variao.
A varincia mede como as pontuaes dos testes variam ou so
dispersas. De modo a calcular a varincia de um conjunto de pontuaes, calculada a distncia ( qual se d o nome de desvio) entre
cada pontuao e a pontuao mdia. Os desvios so elevados ao quadrado e somados. Em seguida, o valor resultante dividido pelo
nmero de casos menos um. Assim, a varincia a diferena mdia
elevada ao quadrado entre cada ponto na distribuo e na mdia.
EXPLORAO DE DADOS DA AVALIAO NACIONAL USANDO O SPSS
I 23
desvio padro a raiz quadrada da varincia e est, por isso,

relacionado a ela.
Existem tambm outras medidas menos utilizadas de disperso das
pontuaes. A gama de variao das pontuaes em uma distribuio
a diferena entre a maior e a menor pontuaes. Se a menor pontuao 30 e a maior 70, a gama de variao 40. A amplitude interquartil (AIQ) a diferena entre pontuaes nos 25. (quartil 1) e
75. (quartil3) percentis em uma distribuio. (O percentil descrito
na seo seguinte.) A AIQ serve como ponto de referncia na identificao de discrepncias (tais como valores que esto mais de 1,5
AIQs abaixo do valor no quartill ou acima do valor no quartiI3).
MEDIDAS DE POSIO
A posio relativa de um membro especfico de um conjunto como,

por exemplo, a pontuao de um aluno em comparao com as pontuaes de outros alunos que realizaram um teste, pode ser identificada de vrias formas. Uma delas a categoria do percentil de uma
pontuao ou de um valor especfico, isto , a percentagem de pontuaes ou valores que se inserem abaixo de uma determinada pontuao. Por exemplo, uma pontuao com uma categoria de percentil de
62 em uma avaliao nacional significa que 62% dos alunos tiveram
uma pontuao mais baixa. Para calcular uma categoria de percentil,
as pontuaes de um teste devem ser ordenadas da menor para a
maior e, em seguida, deve-se calcular a percentagem de pontuaes
que so menores do que uma pontuao especfica. Algumas avaliaes nacionais e internacionais indicam as pontuaes do teste juntamente com os erros padro (ver Capitulo 3) para percentis especficos,
tais como os 10.,25., 50., 75. e 90. percentis. A categoria de percentil de fcil compreenso, mas uma anlise estatistica significativa
limitada, porque a propriedade de intervalo do sistema de medio
destruda durante a transformao das pontuaes em percentis.
Uma pontuao ou um valor pode ser estipulada em termos do
nmero de desvios padro em relao mdia. Em uma distribuio
normal, aproximadamente 68% das pontuaes esto dentro do desvio padro da mdia, 95% esto dentro de dois desvios padro e quase
24
Distribuio Normal Apresentando as Unidades do Desvio Padro
99,7% Entre 3 s.d.
Ic
,1
95,4% Entre 2 s.d.
I-
I-
68,3% Entre 1 s.d.
,1
,1
Apenas 3 pontos em 1 .000

esto fora dos desvios
padro da rea 3, em ambos
os lados da linha central.
34,1%
34,1%
13,6%
13,6%
2,1%
-3
d.p.
-2
d.p.
-1
d.p.
Mdia
+1
+2
+3
d.p.
d.p.
d.p.
Nota: d.p. - desvio padro
100% esto dentro de trs desvios padro. A Figura 2.1 ilustra

graficamente este exemplo.
Consideremos, por exemplo, uma distribuio normal de
pontuaes com uma mdia de 250 e um desvio padro de 50. Uma
vez que as pontuaes esto distribudas de forma normal, aproximadamente 34% dos alunos tiveram pontuaes entre 250 e 300 e outros
34% tiveram pontuaes entre os 200 e os 250. Uma pontuao de
325 representa um desvio padro de 1,5 (75 pontos) acima da mdia,
enquanto uma pontuao de 125 representa um desvio padro de 2,5
(125 pontos) abaixo da mdia.
MEDIDAS DE FORMA
Quando realizada a anlise de uma distribuio de pontuaes de

um teste, deve-se considerar a forma dos dados, isto , se a distribuio
agrupada (dados em conjunto) em uma direo ou em outra, uma
I 25
vez que um afastamento significativo da normalidade pode violar os

pressupostos de algumas tcnicas de estatistica. Em uma distribuio
com assimetria positiva, a maioria das pontuaes est agrupada no
limite inferior, estando algumas das pontuaes dispersas em direo
ao limite superior. Isso pode ser verificado quando um teste particularmente difcil e quando a maioria dos alunos tem pontuaes baixas.
Algumas avaliaes nacionais enfrentam este problema, caso o teste
seja demasiado difcil para a populao. Numa distribuio com assimetria positiva, a mdia habitualmente maior do que a mediana.
Numa distribuio com assimetria negativa, a maioria das
pontuaes est agrupada no limite superior, estando algumas das
pontuaes dispersas em direo ao limite inferior (Figura 2.2). Isso
pode ser verificado quando um teste particularmente fcil e quando
a maioria dos alunos tem pontuaes altas. Numa distribuio com
assimetria negativa, a mdia habitualmente menor do que a mediana.
Numa distribuio simtrica (Figura 2.2), a mdia, a mediana e a
moda tm valores semelhantes, prximos do centro.
A curtose uma medida do "pico" das pontuaes junto mdia.
Indica se o grfico da distribuio de pontuaes apresenta
Exemplos de Distribuies com Assimetria Positiva, Negativa e Simtricas
a. Assimetria positiva
b. Assimetria negetiva
c. Distribuio simtrica, sem assimetria
26
principalmente uma forma em pico ou achatada em uma distribuio

normal. Um conjunto de dados com curtose alta (leptocrtica) tende a
apresentar pico pronunciado na mdia, enquanto um conjunto de
dados com curtose baixa (platicrtica) tende a apresentar pico relativamente achatado superior mdia, em comparao com a distribuio normal. Numa distribuio normal, o valor de estatistica da
curtose zero ou tem valor prximo de zero. I
EXPLORAO DE UM CONJUNTO DE DADOS

USANDO O SPSS
o comando Explore do SPSS disponibiliza uma srie de estatisticas e

grficos associados que so muito teis para a explorao e a distribuio de pontuaes. Alm de estatisticas descritivas, tais como a mdia,
a mediana, a moda e o desvio padro, o comando Explore disponibiliza medidas de assimetria e de curtose, diagramas de caule e folhas,
histogramas, diagramas de caixa e diagramas de probabilidade normal.
Utilize o comando Explore para analisar todos os casos na distribuio
dos resultados de uma avaliao nacional ou para concentrar-se nos
subgrupos, tais como os alunos do sexo masculino e do sexo feminino
ou os alunos que frequentam escolas de diferentes regies.
No exerccio a seguir, o comando Explore executado usando-se
o mesmo conjunto de dados utilizado no volume Implementao de
uma Avaliao Nacional de Desempenho Educacional (Greaney e
Kellaghan 2012) (NATASSESS4.SAV).2 Este concentra-se nos
resultados para uma varivel, Mathss (mathematics scale score).
O Exerccio 2.1 apresenta uma srie de abordagens alternativas para
a obteno de estatisticas descritivas. Antes de iniciar o exerccio,
procure a barra de ferramentas SPSS. Clique em Edit - Options General e verifique se Display Names est selecionado em Variable
Lists. Clique em OK.
possvel tambm utilizar o comando Explore para realizar uma
anlise inicial e para comparar os niveis de variveis nicas, como as
variveis Gender ou Region. O exerccio 2.2 descreve como possvel visualizar estatisticas descritivas das quatro regies para as quais
foram obtidos dados durante a avaliao nacional.
27
EXERClclO 2.1
Execuo do Comando Expio.. no SPSS, Variivel Dependente OnlCII (Um Nvel)

1. Abra o arquivo de dados NAEA DATA ANALY5/SIMY SPSS DATA lNATASSESS.SAV.
(Nota: os dados do exerccio 1.1 foram salvos nesta subpasta).
2. Verifique que os pesos esto ativados: Clique Data - Weight Cases - Weight Cases
by - Wgtpop - OK.
3. Na barra de ferramentas, selecione Analyze - Descriptive Statistics - Explore.

4. Mova Mathu (mathematics scale score) para a Dependent List. Mova Studid para a
caixa Label Cases by.
5. Confirme que 80th esteja selecionado no menu Display (este passo assegura que os
diagramas e as estatsticas sejam apresentados na janela Output). Clique em
Statistics (canto superior direito).
Certifique-se de que a opo Descriptives esteja selecionada. Clique em
Continue - Plots. Certifique-se de que a opo Stem-and-Leaf esteja selecionada.
Clique em Continue - Plots.
6. Clique em Window na barra de ferramentas e, em seguida, clique em Output1. Salve
os resultados em NAEA DATA ANALY5/SIMY SOLUTlONSIEXERClSE 2.1.5P\f.b
A tabela de exerccios 2.1.A disponibiliza uma sntese do processamento de casos.

Uma vez que os dados so ponderados em relao ao tamanho da populao, os 4.747
casos no banco de dados representam uma populao de 54.713. No existem casos em
falta (Percentagem vlida: 1(0).
TABELA DE EXERdCIOS 2.1.A Uma Snte.. do Processamento de Casos
Casos
Em falta
Vlidos
Total
Varivel
Por cento
Mathss
51.713
100,0
0,0
51.713
100,0
As explicaes a seguir descrevem como interpretar as estatsticas na tabela de

exerccios 2.1.8:"
A PonbJalio mdia (250,0) a mdia aritmtica ponderada. O erro padro da mdia

de 0,22. (Ver capitulo 4 para uma descrio dos erros padro).
O intervalo de confiana a 95" para a m4dia a gama de valores aproximados

previstos que tm 95% de probabilidade de incluir a mdia desconhecida da
populao da avaliao nacional. O intervalo de confiana estende-se de 249,6 (limite
inferior) a 250,4 Oimite superio". (Com base na pontuao mdia de 1,96, multiplicada pelo elTO padro).
(continua)
28
EXERdCIO 2.1 (contlnuaPio)
..
TABELA DE EXERCfclOS 2 1 B EstatstiCIIs descritiv
Varivel
Mathss
Descrio
Mdia
Intervalo de confiana a
95% para a mdia
Estatrstica
Erro padro
250,0
0,22
Umite inferior
249,6
Umite superior
250,4
Mdia aparada em 5%
251,1
Mediana
256,3
Varincia
2.499,8
Desvio padro
50,0
Mnima
88,4
Mxima
400,0
Gama de variao
311,6
Amplitude interquartil
67,1
Assimetria
-0,380
0,011
Curtose
-0,101
0,022
A mdia aparada em 5% a mdia aritmtica calculada quando 5% das pontuaes

mais altas e 5% das pontuaes (casos) mais baixas so eliminadas. Proporciona uma
melhor medida de tendncia central quando os dados so assimtricos. A mdia
aparada a 5% de 251,1.
A mediana o valor abaixo do qual se encontram 50% dos casos.
percentil. O valor calculado da mediana de 256,3.
t: tambm o 50.
A varinda mede a extenso em que a distribuio das pontuaes dos testes

dispersa. A varincia de 2.499,8.
O desvio padro (igual raiz quadrada da varincia) de 50,0.
A mnima _ a mxima so o valor menor (88,4) e o valor maior (400,0) na distribuio.

A gama de variao das pontuaes a diferena (311,6) entre os valores maior e
menor da pontuao na distribuio.
A amplitude intfJrquartil a distncia entre os valores do terceiro quartil (75. 0
percentil) e do primeiro quartil (25. 0 percentil) e proporciona uma medida da disperso dos dados. AAIQ para as pontuaes de 67,1.
A assimetria mede a assimetria da distribuio. Uma distribuio normal simtrica e
tem um valor de assimetria prximo de zero. A assimetria ligeiramente negativa
(-0,38). Um valor de assimetria entre -1 e +1 considerado muito bom para a maioria
dos usos psicomtricos, mas um valor entre -2 e +2 tambm geralmente aceitvel.
A curto. mede a extenso em que as observaes se agrupam junto ao ponto
central (o "pico" da distribuio de probabilidades). Numa distribuio normal, o valor
29
EXERCIClO 2.1 (contlnuapoJ

de estatstica da curtose zero ou tem um valor prximo de zero. Uma curtose
excessivamente positiva indica que as observaes (pontuaes) esto mais agrupadas e tm caudas mais planas (uma distribuio leptocrtica) do que em uma
distribuio normal, enquanto uma curtose excessivamente negativa indica que as
observaes esto menos agrupadas e tm caudas mais elevadas (uma distribuio
platicrtica). Tal como com a assimetria, um valor de curtose entre -1 e +1 considerado muito bom, mas um valor entre -2 e +2 tambm geralmente aceitvel. O valor
de -0,101 obtido neste caso encontra-se dentro de ambos os limites.
A anlise produz um diagrama de caule e folhas (Figura 2.1.A do exerccio), que mostra a
densidade relativa e a forma dos dados. Este um mtodo de apresentao de
frequncias de pontuaes. Cada valor observado (classificados em ordem crescente)
FIGURA. DO EXERCfclO 2.1.A Diagrama de Caule e Folhas para as Pontuaes da Escala de
M.terMitlca
....tb .... ti""
I''''qu.,,~y
..
S~al
345.10 E.tr_.
101.22
11
314.U
12
420.52
1]
U' .l'
14
' 21.0'
15
1031.]1
10
1151.17
17
1453.41
1.
20' 2.02
H
2451."
20
2111. '4
21
2551.21
22
3 611.'2
23
3404. 11
21
4134.10
25
4 5 " .3 4
U
4204.11
21
43' 1.03
2.
3105.12
21
3052.00
30
11 ' 5.0 '
31
10' 5. 11
32
111. ' 2
3l
193.04
34
211.30
35
296. 1 1
li
51.11
]1
23.51
3.
11.21 I . t r _.
st_ wicitl>.,
I.cl>. l_f,
s~Or&
St.lo..
St_ -and-Loaf plot
r-f
<-<111)
no
OJ7"u
1135n. u
01J3 45555U1 . n .n .
0002345" 111" ".
01 1 1223455fiil77U '
001234445555fiii77!" ' 9g
0001122222233333455555i"111'"
00011111223333444445555566" 111 ! . " , gg ,
0000111122222223]]33 44444555555i i iU111111.U 9'"
00001112222233334444 4 45555555 i iiii6111111 !" " g" ,
00000111122223333444 4455556" " "i777111 . ! n'I9" " g
000000000111122222223333]]3344441115555555555ii i i6il1111777 . . . . . . . " ! ! II I '
0000000001111111222222233]]3333334111144555555ii6U711117 . . .. . . . y,,,t
000000001111122222223333334444444445555555555U"i" '71177771111 n . .n .. nU999' "
00000000011111111111111111122222222222223333]3333344 4 4 4444455555555S66" " fi7777! " !!U 99""9
0000000001111111112222222223333333]3411144555555555" " i ii61" i1111777 . . . . . ." 9991' ' ' '
0000000001111111112222222222223333]333333344414444445555555" " iiii"7771777. . . . ! . . '''t99
0000011111222222233]33333444411155555 " iii i i " 11117 " '!" ' " ' '9
0000111111112222233J333333344 44444455555ii""i117777.!.,Utt
00000001122222333344455555" 11 . . . . '
0111122334455iii7. . 9'
0000113445." 11"
012341111"
0122 10
0111lu
(>-3U)
10.00
50 c .... (. )
dividido em dois componentes: dgitos dominantes (caule) e dgitos no dominantes

(folha). O caule representa os dgitos das dezenas (ou superiores) de uma pontuao e a
folha contm os ltimos dgitos. Por exemplo, o caule 15 mostra que 821 (ponderados)
alunos alcanaram pontuaes entre 150 e os 159 Onclusive). Os dados tambm indicam
que os valores menores ou iguais a 117 e iguais ou superiores a 386 so considerados
valores HextremosHpor motivos que sero explicados mais frente.
Feche o arquivo de dados do SPSS NATASSESS.SAV selecionando Fila - Exit na barra
de ferramentas. Existe um arquivo para este exerccio na pasta Exercise Solutions.
(continua)
30

FIGURA DO EXERCrClO 2.1.B
400,00
Diagrama de Caixa para as Pontuaes da Escala de Matem'tica

~3410
407215
300,00
r200,00
75.0 percentil
mediana
25. percentil
100,00
40310~ 441114
412230 410103
419208 417 218
0,00
pontuao da escala de matemtica

CllIOI ponderadOl por Wgtpop
o comando Explore tambm produz um diagrama de caixa (ou um diagrama de caixa

e bigode) (Figura 2.1.8 do exerccio). ~ uma representao grfica da distribuio de
pontuaes de um teste, que inclui a mediana (50. 0 percentil) e os 25.0 e 75.0 percentis.
A distncia entre o topo e a parte inferior da caixa (entre os 25.0 e 75.0 percentis) a AIO
ou a distncia entre as pontuaes mais alta e mais baixa dos 50% centrais das
pontuaes na distribuio.
O diagrama de caixa tambm mostra as discrepncias e os valores extremos. Os
bigodes (as linhas que se estendem do topo e do fundo da caixa) representam o valor
mais alto e o mais baixo que no so discrepncias ou valores extremos. As discrepncias
(valores entre 1,5 e 3 vezes superiores AIO) e os valores extremos (valores que so mais
de 3 vezes superiores AIO) so representados por pequenos crculos fora dos bigodes.
Os nmeros listados (como 423410) so nmeros de identificao dos alunos (Studid)
que apresentaram discrepncias ou valores extremos.
O diagrama de caixa (figura 2.1.8 do exerccio) pode fornecer infonnaes teis em um
formato visual. Ele retrata as seguintes caractersticas de dados:
A mediana (a linha que atravessa o centro do diagrama) o ponto mdio na distribuio e, tal como a pontuao mdia, uma medida de tendncia central.
A altura da caixa (a AIO) mostra a extenso em que os valores da pontuao do teste
variam na distribuio.
31
EXERClclO 2.1 (contlnlHlfo)
Uma mediana localizada na metade inferior da caixa sugere uma assimetria positiva,
enquanto uma mediana localizada na metade superior da caixa sugere uma assimetria
negativa. Na figura 2.1.8 do exerccio, a mediana encontra-se na zona central da
caixa, indicando uma assimetria relativamente menor.
As pontuaes com discrepncias, definidas como pontuaes com um comprimento

de caixa entre 1,5 e 3 do maior valor C/5. 0 percentil) e do menor valor (25. percentil) de
caixa, assim como as pontuaes extremas, definidas como pontuaes com um
comprimento de caixa superior a 3 a partir desses pontos, devem ser examinadas de

modo a verificar se esto incorretas ou se so efetivamente pontuaes vlidas.
8. Se preferir, possvel tambm realizar estatsticas ou grficos opcionais. Ao clicar em Statlstlcs aps o
passo 3, possvel selecionar os alunos com valores extremos selecionando a opo Outlien (que mostra as
cinco maiores e as cinco menores pontuaes na distribuio). De igual forma, para alm da opo padro
Descriptivas, ainda possvel obter pontuaes nos 5., 10., 25., 50., 75., 90. e 95. percentis
selecionando Percentiles. Clicando em Plots, possfvel selecionar Hlstogram alm do diagrama
Stem-and-Leaf padro. ~ possvel copiar ambos para um documento Word.
b. No se esquea que uma cpia dos dados para o exerccio 2.1 tambm est disponvel em NAEA Data
AnaIyJi.\Exerc:iH SoIutionI:\Exen:ise2.1.5PV.
c. Lembre-se de que todas as estimativas na tabela 2.1.B, exceto a estimativa final, foram arredondadas
para uma casa decimal, no caso das estimativas e para duas casas decimais no caso dos erros padro. Isso
foi feito destacando os valores na tabela (exceto os valores da assimetria e da curtose), clicando com o
boto direito, selecionando Cell- Properties - Format - V11lue - Number e definindo o nmero de casas
decimais para 1 (ou 2).
EXERClClO 2.2
Execufo do ConuIndo Explore no SPSS. Vorlivel Dependente Onl..

(Mais d. Um NveQ
1. Abra o arquivo de dados do SPSS NAEA DATA ANALY5IS\MY SPSS DATA\

NATASSESS.SAV.
2. Selecione Analyze - Desaiptive Statistics - Explore.
Mova Mathss para a Dependent List. Mova Regian para Factar List. Mova Studid
para a caixa Lab.1 Cases by. Certifique-se de que selecionou 80th no menu Display
(este passo assegura que os grficos e estatsticas sejam apresentados na janela
Output). Clique em Statistics (canto superior direito). Certifique-se de que
Dascriptivas esteja selecionado. Clique em Continue - Plots. Certifique-se de que a
opo Stem-and-leaf esteja selecionada. Clique em Continue - OIC.
No seu arquivo Output, desa na pgina para ver estatsticas descritivas para cada
uma das quatro regies. Tenha em mente, por exemplo, que a pontuao mdia
para a regio Noroeste de 233,3. Os dados correspondentes para a rea Metropolitana, as Terras Altas Orientais e a Costa Sudoeste so de 265,7, 249,1 e 251,2,
respectivamente .. Desa at ao fim da pgina para ver os diagramas de caixa para
cada uma das quatro regies (figura 2.2.A do exerccio).
(continua)
32

FIGURA DO EXERCfclO 2.2.A Diagrama de Caixa para as Pontua6es da Escala de
Matemtica por Regio
400,00
07215
422113
o
!1
300,00
-3
200,00
45651
45643
22510
-3
100,00
0,00
11109
327103
321109 445204 9125
4031
10103 225'OJ;j
45820
o
412230 450230 429111 0429109
419208
456315
417218
L -_ _~_ _ _ _~_ _ _ _~_ _ _ _ _ _~~
Noroeste
rea
Terras Altas
metropolitana
Orientais
regllo
casos ponderados por Wgtpop
Costa
Sudoeste
3. O diagrama de caixa (figura 2.2.A do exerccio) apresenta a mediana das pontuaes

para as quatro regies (Noroeste, rea Metropolitana, Terras Altas Orientais e Costa
Sudoeste). O analista deve reparar no nmero relativamente elevado de valores
"extremos" na rea Metropolitana, que uma funo da pontuao relativamente
elevada no 25.0 percentil dessa regio, comparada com, por exemplo, a regio
Noroeste.
4. S.lve o ,",uivo Oulput em NAEA DATA ANALYSIS\MY SOLUTlONSlEXERClSE

2.2.SPV. Salve o arquivo de dados SPSS e feche o SPSS: Fila - Sava e Fila - Exit.
a. Os erros padro apropriados so calculados no exerccio 3.3.
NOTAS
1. A assimetria e a curtose no so habitualmente indicadas em avaliaes
nacionais. Contudo, podem ter um valor diagnstico e identificar
formas de distribuio com potencial problerntico.
2. Ao contrrio do NATASSESS4.sAY, o NATASSESS.SAV no contm
zonas jackknife. e replicaes jackknif.. (indicadores). Ver Anexo l.C
CAPiTULO
UMA INTRODUO
AOWESVAR
Este captulo descreve os procedimentos do

clculo de estimativas da populao como mdias e categorias de
percentil e os respectivos erros padro usando dados de avaliao nacional ponderados. As anlises que se encontram neste captulo e nos
captulos subsequentes so feitas usando o pacote estatstico WesVar,
que leva em conta a complexidade de uma amostra selecionada em
vrias fases.
CONFIGURAR UM ARQUIVO DE DADOS NO WESVAR
Certifique-se de que o WesVar esteja instalado no seu computador.

possvel descarregar o programa pela pgina Web Westat. 1 preciso
modificar o arquivo de dados SPSS NATASSESS.SAVantes de salv-lo
como um arquivo de dados WesVar. Para criar um arquivo de dados no
WesVar, o seu arquivo de dados SPSS deve incluir variveis como as
seguintes [apesar de o nome real das variveis ser arbitrrio):
Studid: nmero de identificao de estudante, um nmero nico
atribuido a cada estudante
W gtpop: a ponderao da populao que pondera os dados para
fornecer uma boa estimativa de uma caracterstica da populao
33
34
Jkzone: zona jackknife/ cada par de escolas alocado a uma zona

jackknife diferente
Jkindic: indicador jackknife; dentro de cada zona jackknife,3
atribudo aleatoriamente um valor de O a uma escola e um valor de
1 a outra.
arquivo SPSS, NATASSESS4.SAV, que pode ser acessado em

NAEA DATA ANALYSIS\SPSS DATA, contm os dados de cada uma
dessas variveis-chave. Para colocar o arquivo de dados SPSS com os
dados do teste e questionrio no WesVar e para criar rplicas de ponderaes, siga as indicaes no Anexo I.C deste volume e guarde o seu
novo arquivo de dados WesVar, NATASSESS4. VAR, em NAEA DATA
ANALYSIS\MY WESVAR FH.ES. Alternativamente, para fazer os
exerccios a seguir, possvel usar o arquivo de dados WesVar pronto
para o uso mas sem rtulo NATASSESS4. VAR na subpasta WESVAR
UNLABELED DATA.
ACRESCENTAR ROTULOS DE VARIVEIS
Siga as indicaes abaixo: 4
1. Abra WesVar-OpenWesVarDataFile-NAEADATAANALYSIS\
WESVAR UNLABELED DATA e abra NATASSESS4. VAR.
2. Na barra de ferramentas, selecione Format - Label.

3. Selecione Region na caixa de Source Variables Qado esquerdo).
4. Na clula segunte 1, introduza Northwest na coluna dos rtulos; na clula segunte 2, introduza Metro_Area; na clula
seguinte 3, introduza Eastern_Highlands; e na clula segunte
4, introduza SouthwesCCoast (figura 3.1).
5. Clique em OK. Voc receber a seguinte mensagem: Esta operao vai criar um novo arquivo VAR. Clique em OK. Salve como
NATASSESS4. VAR em NAEA DATA ANALYSIS\MY WESVAR
FH.ES. 5 Isso ir substituir qualquer arquivo de dados existente
com o mesmo nome.
6. Selecione File - Close.
UMA INTRODUO AO WESVAR
35
Acrescentar rtulos d. varilvels no We.Ver
o: L.bel Variables NATASSESS4.var

Sou.ce y:ariables
Label:
IR,",,"
...in........... 1
... ax. ......... 4
V~lu el :
v....
fi
i1lI
l obd
(lllSSi'lg)
"
I
O
N~"""
11 56
I Metro_Alea
1078
3
4
Eastern_HighIandl
MARGINAL
MARGINAL
SocJhvotesU:Oi!Ist
1342
1171
Tjipe...... N\Xl'lelic
Num
N il:lino. .....O
Rec ode d hom

oi-
4747
fiecode Dctail.
Caneel
Help
CLCULO DE ESTATISTICA DESCRITIVA NO WESVAR
A estatstica descritiva pode ser gerada de vrias fonnas no WesVar.

Aqui o comando do menu Descriptive Stats usado para gerar alguma
estatstica descritiva para uma varivel Mathss (pontuao da escala
de matemtica).
Ao abrir o WesVar possvel ver quatro caminhos diferentes:
1. New WesVar Data File: Use este caminho para criar um arquivo
de dados WesVar a partir de outro fonnato de arquivo, como
SPss. (O Anexo Le descreve o processo da criao de um novo
arquivo de dados WesVar.)
2. Open WesVar Data File: Use este caminho para abrir um arquivo
de dados WesVar existente para modific-lo, como nos casos em
que deseja rotular ou recodificar variveis. Nos exerccios
seguintes, voc utilizar o arquivo de dados WesVar criado
NATASSESS4. VAR.
36
I ANLISE DE DADOS DE UMA AVAUAO NACIONAL DE DESEMPENHO EDUCACIONAL
3. New WesVar Workbook: O WesVar exige que todas as anlises

sej aro feitas em um livro de exercicios (ver exercicio 3.1). O livro
de exerccios deve estar vinculado a um arquivo de dados WesVar.
Voc criar um novo livro de exercicios para o exercicio 3.l.
4. Open WesVar Workbook: Este caroinho implica abrir um livro de
exerccios salvo para executar novas anlises ou modificar anlises
existentes. possvel abrir o livro de exerccios WesVar criado
para o exerccio 3.1 e us-lo para desempenhar anlises adicionais
dentro do mesmo captulo (tais como os exercicios 3.2 e 3.3).
Siga os passos do exerccio 3.1.
EXERClclO 3.1
Como gerar estatsticas descritivas no W..Var
1. Abra o WesVar e clique em Naw WesVar Warkbaok. O livro de exerccios
permite-lhe informar ao WesVar as anlises que deseja fazer. Voc receber o seguinte
aviso: Before creating a new WorkbooJe.. you wilf be asked to spedfy a Data file that
will be used as the defau/t Data file for new Workbook requests. Clique em OK
2. Aparecer uma janela com o texto Open WesVar Data File for Workbook. Localize o
arquivo de dados NAEA DATA ANALYSISIMY WESVAR FlLESlNATASSESS4.VAR.'
3. Selecione Abrir - NATASSESS4.VAR. Clique em Descriptive Stats (canto inferior
direito da tela). Selecione WorkBook Title 1 no painel do lado esquerdo. Mude esse
ttulo para um ttulo mais especfico selecionando o texto na caixa Trtle no painel do
lado direito e depois introduzindo as palavras Chapter 3 Exerases. Da mesma
forma, mude o Request Name de Oescriptive RequeR One introduzindo um novo
nome, Exerdse 3.1 (ver Figura 3.1.A do exerccio). Salve seu livro de exerccios
selecionando File - Save As e localizando o diretrio NAEA DATA ANALYSIS\MY
WESVAR FILES. Salve seu arquivo como CHAPTER 3 WORK800K.
4. Selecione Options - Output Control no painel do lado esquerdo. Isso lhe permite
controlar o nmero de casas decimais do valor de entrada. Vrias avaliaes
nacionais usam uma casa decimal para estimativas (tais como mdias ou categorias
de percentil) e duas para erros padro. Introduza esses valores nas duas ltimas
caixas do painel do lado direito. (~ possvel tomar essas especificaes permanentes
para o livro de exerccios atual indo a File - Preferences - General. Especifique o
nmero de casas decimais relevantes e clique em Save.)
5. Selecione Analysis Variables no painel do lado esquerdo. Mova Mathss de Source
Variables para Selected (Figura 3.1.B do exerccio). ~ possvel trazer variveis
adicionais para a coluna Selec:ted se desejado.
37
EXERCfclO 3.1 (continuafio)
FIGURA DO EXERCfClo 3.1.A
Novo Livro de Exerccios WESVAR
[WesVar WorkBook CHAPTER 3 WORKBOOK.wvb)
Requesl Mame : IElCercise 3.1
Inpu' Oala: r.IC",I"NA

"E
"A"D
'",,7."'A
:-o"'..,-'-'"IW
"E
" Brewse. .1
AMlyS$ V.!Iriablet
. Tl<3nsfonned Variables
1:" Conelahol'U
. By
full Samp~ \IIeight: WGTPOP
Replicate Weighls: RPL01...RPLSO
10: STUDID
FPC Fac tO!: no! used
Method: JK2
FIGURA DO EXERCCIO 3.1.B Especificar variveis para anlise nas descritivas WesVar
o . [WnVar WorlcSook CHAPTER 3 WORKBOOK.wvb}

o
file
View
Requests
Windows
Help
8 Chaplef 3 Exercises
8 ElCelei.e 3.1
Soulce V ariableJ:
AGE
AGEDAYS
I!l
COltelatioru
e,
Se!ected:
MATHSS
AlGEB_PC
ATTENTlO
BEHAVE
BOOKlET
BOOKS
DAT~PC
DtSTANC{
D08
6. Clique no primeiro cone Green Arrow na barra de ferramentas (ou selecione

Requests - Run Workbook Requests na barra do menu) para que a anlise seja
(continua)
38
EXERCfclO 3.1 (continuafo)
efetuada. Aguarde at que o clculo da anlise seja concludo. Clique no cone Abrir
Uvro na barra de ferramentas.
7. Para ver os resultados, expanda a exibio clicando nos sinais + em frente a Exercise
3.1, Variables, e Mathss. Selecione Statistics para ver os resultados (ver Figura 3.1.C
do exerccio).
Desaiptives no WesVar gera as seguintes estatsticas:
N o nmero de casos. A coluna intitulada "Ponderado" denota que, quando

Wgtpop aplicado, a estimativa de populao de 51.713 casos. O tamanho da
amostra no ponderada 4.747.
Mnima e Mxima. Os valores obtidos so 88,3 e 400,0, respectivamente.
Categorias de percentil. So fornecidos os valores ponderados e no ponderados
para o 1, 5, 10, 25, 50, 75, 90, 95 e 99 quantis (categorias de percentil).

Normalmente, so reportados os valores ponderados. Por exemplo, a pontuao
ponderada no 25 percentil de 217,3. t: o valor estimado abaixo do qual se
encontram 25% dos valores da populao de grau 4. O erro padro (2,73) que
corresponde a essa estimativa pode ser encontrado na coluna final, "EP Ponderado". A prxima seo deste captulo contm informaes adicionais sobre o
significado do erro padro e como calcul-lo.
Mdia. A mdia no ponderada de 250,2. A mdia ponderada de 250,0 e o

erro padro correspondente de 2,20. O fato de telTT10s obtido uma mdia
FIGURA DO EXERdclO 3.1.C
M
"'""'" 3 E. - (...,...3.1
- v.r......
e-
- ,.......
WlJH$$
~s _
Resultados das Descritivas WesVar
ar
s_
-MUUftg
~-
,
"
"
"
"
"
"
"
~'"
Ge_an
ar
pter
'-
.,U
erCISM
?
><w......
$EW~
51713 . 0
."
$8 . 3
400. 0
122. 8
121 .'
3 .8 3
In.3
1$7.6
3.73
IU.4
lel.O
'.0 1
21\1.4
117.'
2.73
2$$.1
256 . 3
1.li
184 . 1
28 4.4
1. 81
30' . 0
308 .1
1.7$
323 . '
32 4. 2
2.51
350 . 3
35 2. 8
4.70
250.2
250.0
2.20
214. 8
214.4
2.33
1181825.2
12128246.1
lU!U.72
2413.31
249' . 73
e 4.23
0.20
0.20
.,.
3k....".u~
- 0.38
-o .3e
0 .04
KIIno ...
0.02
-o .10
0.08
,~
Vui.4nce
~
39
EXERCfclO 3.1 (continullfo)
ponderada de 250 no dever ser uma surpresa pois a mdia foi configurada
neste valor durante o dimensionamento. Se desejar, pode estabelecer um
intervalo de confiana a 95% em torno da mdia, usando o erro padro de 2,20
(ver abaixo).
GeoMean (mdia geomtrica) calculada retirando o produto dos valores em

uma distribuio e obtendo a sua raiz de ndice ", onde n a contagem dos
nmeros na distribuio. No geral, a mdia geomtrica no includa em
avaliaes nacionais.
Soma a soma dos valores em uma distribuio. No includa em avaliaes

nacionais.
Varinda. O desvio padro a raiz quadrada da varincia. A varincia ponderada
de 2499,73 (quase 2500). A raiz quadrada deste valor 50, que o desvio
padro de Mathss definido durante o dimensionamento.
CV (coeficiente de variao) calculado dividindo a raiz quadrada da

varincia pela mdia. Os valores ponderados e no ponderados do OI so os
mesmos (0,20).
Assimetria. A distribuio Mathss tem uma ligeira assimetria negativa (cO,38). Vale
ressaltar que um valor de assimetria na gama de variao 1 considerado
satisfatrio (ver Captulo 2).
Curtose. O valor ponderado da curtose de -0,10. Novamente, este valor

encontra-se significativamente dentro da gama de variao recomendada de 1,
indicando que no existem preocupaes graves com relao curtose.
8. Salve os resultados WesVar como arquivo de texto clicando em Rle e Export na

barra do menu no seu arquivo de resultados. Selecione Singla Fila e Ona Salaction,
e clique em Expor! (Figura 3.1.0 do exerdcio). Salve em NAEA DATA ANALYSISIMY
SOLUTIONS usando um nome de arquivo adequado (como EXERClSE 3.1.1X7).c
9. Clique no cone Exit Door (ltimo cone da barra de ferramentas) para voltar ao livro
de exerccios WesVar. Salve o seu livro de exerccios selecionando File - Save na
barra do menu. O seu arquivo deve ser salvo em NAEA DATA ANALYSIS\MY
WESVAR FILES como CHAPTER 3 WORKBOOK.' ~ possivel usar esse livro de
exerccios novamente para verificar as suas respostas ou para executar outras
anlises descritas neste captulo. Clique em File e depois em Exit se quiser terminar
a sesso WesVar.
Para abrir novamente este livro de exerccios em uma sesso WesVar subsequente,
abra o WesVar e selecione Open WesVar Workbook (painel do lado direito). Depois,
localize CHAPTER 3 WORK800K em MY WESVAR FILES.
(continua)
40
EXERCfclO 3.1 (continuapio)
FIGURA DO EXERClclO 3.1.D
Exportar um arquivo W.Var
l=I@]~
~ Export Work8ook
Export To
r.
Single File
Separate Files
Export Range:
Whole WorkB ook
r.
l.neSeie~.i!~ri
.E.xport
ancel
lielp
a. Se ainda no tiver salvado NATASSESS4.VAR em NAEA DATA ANALYSIS\MYWESVAR RlES, preciso

copi-lo de NAEA DATA ANALY$I$\WE$VAR DATA" WORKBOOKS e guard-lo em NAEA DATA
ANALYSIS\MY WESVAR RLES. Se estiver usando Copy e Pasta, deve tambm copiar o arquivo de registro
associado NATASSESS4.LOG para a mesma subpasta.
b. Os arquivos de texto podem ser copiados para o Excel. onde podem ser reformatados para incluso em
um relatrio de avaliao nacional. Os resultados tambm podem ser copiados diretamente do arquivo de
resultados WesVar para um arquivo de Excel.
c. Para abrir os resultados salvos como arquivo de texto posteriormente, clique em (My) Computer, localize
o arquivo (como em NAEA DATA ANALY5IS\MY SOLUTIONS) e faa duplo clique. Se desejar; pode colar
arquivos .TXT no Excel. Selecione e copie os dados relevantes no arquivo de texto e, depois, use Paste
Special (Unicode Option) para preservar a formatao.
d. possvel perceber em NAEA DATA ANALYSIS\WESVAR DATA & WORKBOOKS que o WesVar produz
arquivos de listagem de resultados com sufixos como .001, .002 sempre que voc executa um livro de
exerccios. No preciso acessar esses arquivos para executar o WesVar ou acessar os resultados do WesVar.
Todos os arquivos WesVar, com exceo dos arquivos de texto criados por voc, devem ser acessados
abrindo-se primeiro o programa WesVar.
CALCULAR A MDIA E O ERRO PADRo
erro padro de wna estatstca a estimativa do desvio padro

dessa estatstica se fssemos retirar amostras infinitas da populao,
como no caso em questo (por exemplo, todos os estudantes
no grau 4). O erro padro da mdia wna estatstica importante
41
porque usado nos testes de importncia estatstica. Ele deve ser

sempre ser includo nos resultados da avaliao nacional. Os erros
padro tambm podem ser calculados para outras estatsticas, tais
como categorias de percentil. O exerccio 3.2 descreve como calcular
uma mdia, seu erro padro e seu intervalo de confiana no WesVar.
EXERClclO 3.2
Calcular uma mtklia e ....pectivo erro pariria no WesV.r

1. Abra o WesVar e clique em Opan WesVar Workbook. Localize o livro de exerccios
usado no exerccio 3.1 (NAEA DATA ANALYSIS\MY WESVAR FILESlCHAFTER 3
WORKBOOK).
2. Selecione Chapter 3 Exerases (painel do lado esquerdo). Depois, clique em labia
(painel do lado direito). Selecione labia Request Ona (painel do lado esquerdo).
Clique em Add labia Set Single (painel do lado direito). Clique em labia Request
Ona (painel do lado esquerdo). Mude Request Name (painel do lado direito) para
Exercise 3.2.
3. Selecione Options - Generated Statistics (painel do lado esquerdo) e assegure que
Estimam, Standard Error, e Confidence Intarval (Standard) estejam assinalados.

Desmarque as outras caixas. Em Exercise 3.2 (painel do lado esquerdo), clique em
Computed Statistics. Selecione Mathss no menu de Source Variables (painel do
lado direito), e clique em Block Mean (tambm no painel do lado direito)
(Figura 3.2.A do exerccio). Clique no cone Green Arrow na barra de ferramentas
(Run Workbook Request). Clique no cone Open Book na barra de ferramentas para
ver os resultados.
4. Em Output, selecione Exercise 3.2, Table Set #', e depois Overall. Clique no cone
+ (mais) para expandir as notas conforme necessrio. Os resultados so mostrados
na Figura 3.2.8. do exerccio.
Os resultados WesVar mostrados na Figura 3.2.8 do exerccio fornecem os seguintes
dados:
M_Mathss a mdia ponderada de 250,0.
Stx1Error (erro padro)
95% inferior e 95% superiorforrnam o intervalo de confiana a 95% em tomo da

mdia de 250. Encontra-se entre 245,6 (limite inferior) e 254,4 (limite superior). e:
possvel encontrar a mdia real da populao neste intervalo 95% das vezes. Este
intervalo poderia tambm ter sido calculado com os dados da Figura 3.1.C, onde
a mdia e o erro padro foram dados como 250,0 e 2,20, respectivamente.
2,20.
(continua)
42
EXERClclO 3.2 (contlnuafo)

FIGURA DO EXERdclO 3.2.A Especificar uma estatstica computadorizada em uma
tabela WesVar
(WesVar Work8ook . CHAPTER 3 WORKBOOK.wvb)
o.
File
View
ReqU8ts
Windows
~I ~ I~I~ pl~I ~ IJU

e
Help
(hapter 3 Exercites
ElOIefcise: 3.1
FAMllYSI
0""'"'
'"
GENDEA
Genefaled $tWla
OIJJMA Cor'irol
lIro!PlJ 'C
lNOEPENO
INTEG_PC
JKlNDIC
~VaMblel
~ed $tabroc.
"U~ATHSS
Sou.ce Veuiahles:
8 Exefcise 3.2
DeIfle meanJ of variablet and fo.n::6am: of variabAe sunt 10

be ~ed foi each table cel
IFunc:lion
Jl<2O NE
MEAN(IoIATHSS)
tANGUAGE
TabIe Set 111
Block Wean
IroIATHPC
~""~T@HR~S!l 1
1A~6C:;
Pr
COlI'IPuled SI&tistic:
Add ., Naw Entl'

Replace CUllent Entl'
FIGURA DO EXERCrCIO 3.2.B Resultados para Tabelas WesVar: Clculo da m6dia

esar
tUl
eor
te,
XetCI5e$
11
0_STA TlSTIC
ESf.TYPE
ESTIMATE
STD AAOA
t OWEA 95%
UPPEA 95%
51113.0
0.00
51713 . 0
51713.0
~50.0
2.20
245 . 6
254 . 4
I ..
5. Salve seus resultados clicando em File e Export. Selecione as opes Single File e
One Selection. Exporte seus resultados como arquivo de texto para NAEA DATA
ANALYSIS\MY SOWTlONS, usando um nome de arquivo adequado (como
Exercise 3.2. Txt).
6. Saia dos resultados por meio do cone Exit Door na barra de ferramentas, e salve
seu livro de exerccios WesVar selecionando File - Save e depois File - Ciosa. Isso
salva o seu livro de exerccios em NAEA DATA ANALYSIS\MY WESVAR FILES.
a. Observe que o WesVar multiplica o eno padro por 2,00, em vez do mais convencional 1,96, quando
calrula intervalos de confiana a 95%. Isso resulta em um intervalo de confiana ligeiramente maior.
43
CLCULO DE M~DIAS E ERROS PADRO PARA SUBGRUPOS

NA POPULAO
Fonnuladores de polticas, pesquisadores ou outros podem querer

observar as estatisticas descritivas para obter diferentes nveis de uma
varivel. Podem, por exemplo, estar interessados nas mdias em
mbito nacional para o desempenho em matemtica de estudantes do
sexo masculino e feminino ou na mdia para alunos que estudam em
escolas de diferentes regies do pas.
Um simples acrscimo ao livro de exerccios WesVar permite-nos
calcular a mdia e o erro padro para cada uma das quatro regies da
avaliao nacional em Sentz (noroeste, rea metropolitana, terras altas
orientas, costa sudoeste) (exerccio 3.3).
EXERCfclO 3.3
C4ilculo d. m6dlu 8 erros peclrio no W..Ver. quatro reg16..

1. Abra o WesVar. Selecione Opan W_Var Workbook. Abra o livro de exerccios
WesVar que gravou quando completou o exerccio 3.2. Deve estar em: NA.EA. DATA
ANALYS'5\MY WESVAR F'LESlCHAPTER 3 WORKBOOK.
2. Selecione o n Exercise 3.2 no painel do lado esquerdo da tela do seu livro de
exerccios e selecione Clone (clicando com o boto direito do mouse). Isso cria uma
cpia do pedido da tabela Compute Mes" 5co... Clique em Tsble Reques! Two e
rotule-o no painel do lado direito como Exercise 3.3. Expanda Exercise 3.3 no
painel do lado esquerdo. Em Options - Output Contrai, configure Estimat. para
uma casa decimal e Stcl. Errar para duas. Certifique-se de ter assinalado Variable
Label e Value Label. Desmarque as outras opes
3. Clique em Table Set 11. Depois, no painel do lado direito, mova Region de Source
Variables para a caixa identificada como Seleaed. Clique em Add as New Entry.
4. Aplique rtulos para Region se no tiverem j sido aplicados ao arquivo de dados
WesVar (Natassess4.va". No painel do lado esquerdo, clique em Region - Cells. Em
Call Oefinition (painel do lado direito), clique em 1 (em Region), e introduza
Northwest no painel Label. Pressione Enter no seu teclado ou clique em Add as
New Entry. Continue este processo atribuindo o rtulo Metro_Area a 2, Eastem_
Highlands a 3, e Southwest..Coast a 4. (Como o WesVar no permite deixar espaos
em branco entre palavras, ser preciso usar sublinhado.)
5. Selecione Region (painel do lado esquerdo) e assinale Percent em Sum of Weights
no painel do lado direito; desmarque as outras caixas em Sum of Weights.
(continua)
44
EXERclclO 3.3 (continuao)

A opo Percent d a percentagem de estudantes em cada regio, enquanto a
mdia matemtica gerada individualmente para cada regio porque o Mathss j
foi especificado em Computed Statistics (ver Figura 3.3.A do exerccio).
FIGURA DO EXERCfcIO 3.3.A Livro de Exerdcios WesVar antes do Clculo da

Mdia por Regio
o . (W~Var WortBook - CHAPTER 3 WORKBOOK.wvb]

Oi file
V.ew
Requms
e- Chopter 3 EKCJcife,
Windows
He:lp
--
8 E_cise3.1
Source Valiable,:
Exerfe 3.2
EJlelcise3.3
I =VlII~
I
9
COJI'(II.ted Statistics
'.CMAIHSS -MEAN{MAIHSS)
TabIe Set *11
8 AEGION
c...
AlGEB_PC
ATTENTIO
Selected:
"'."'' G' 'IO"'"' ----
"
[]
2.J
~~t'~T.!!J
BOOKS
DATA PC
~~~.~f!i~
r
P
r
r
Mining
of 'Weights
Value
Peleent
Row Peleent
Column Peleen!
S UIP
DISTANCE
AS2
AS3
AnalJ'sis Variables
Value
Pelcen!
r Row Pelcen!
Catumn Pelcen!
r
r
Aeplace Cunen' Entl)'
View CUllerlt output
6. Clique no cone Green Arrow na barra de ferramentas para efetuar a anlise e

depois clique no cone Open Book para ver o resultado. O resultado mostrado na
Figura 3.3.B. do exerccio. Pode ser preciso clicar no cone + (mais) para expandir
Exercise 3.3, labia Set #1, e depois em Region para ver o resultado.
7. Salve os seus resultados clicando em File e depois em Export. Selecione as opes
Single File e One Selection. Exporte seus resultados em um arquivo de texto para
NAEA DATA ANALYSIS\ MY SOLUTlONS usando um nome de arquivo adequado
(como EXERClSE 3.3.1X1).
8. Saia dos resultados atravs do cone Exit ODor, e guarde o seu livro de exerccios
WesVar selecionando File - Save e depois File - Close. Altemativamente, use
File - Save As, e substitua o livro de exerccios do Captulo 3 existente em NAEA
DATA ANALYS/SlMY WESVAR F/LESI CHAPTER 3 WORKBOOK.
45
EXERClclO 3.3 (contlnua9o)
Os resultados mostrados na Figura 3.3.8 do exerccio incluem as mdias, erros padro

e intervalos de confiana a 95% para cada regio. Por exemplo, a mdia para a regio
noroeste de 233,3 e o erro padro 3,28. O intervalo de confiana a 95%
correspondente de 226,8 a 239,9. A figura tambm mostra a percentagem da
populao total de grau 4 em cada regio (por exemplo, 26,1 por centro est na
rea Metropolitana).
FIGURA DO EXERdCIO 3.3.B Resultados WesVar para o Cililculo da mdia por regilo
o-
E_H
(_]'3
_ ~V~
CaqedS t_
I_S .. ;!
-~
:mUlTs
~4 . 1
~.6~
16.~
24.3
4,as
'5.'
SIlII_IttS
11.2
32.'
SI!II_W'IS
24 .'
I.H
lS.7
33.0
100.0
0.00
5tIII_VIS
"-IQ!",
IUG.TIISS
K_""tU!
1t-".uIlS~
IUIAJIIll
----
nl.'
l.28
n6.a
n'.9
.65.1
I. H
256.~
2".7
249.1
3.'9
2U.'
256.3
251.2
3.35
24t.6
257.9
250.0
2.20
245.'
254.'
NOTAS
I. O WesVar pode ser baixado gratuitamente em http://www.westat.com/
our-worklinfonnation-systems/wesvar-supportldownload-wesvar.
2. Esta varivel tambm pode ser chamada Jkpair ou "cdigo de
emparelhamento de grupos para a estimativa da varincia." As zonas 1ackknife
(JKpairs) tm de ser definidas para criar as ponderaes apropriadas (rplicas).

3. Esta varivel tambm pode ser chamada Jkrep ou "cdigo de replicao
dentro do par de grupos."
4. As indicaes de rotulao requerem que voc abra um arquivo de dados

em WESVAR UNLABRl.lID DATA. No entanto, se j tiver criado um arquivo
de dados seguindo as instrues do anexo I.C, pode usar o arquivo de dados
salvo em NAEA DATA ANALYSIS\MY WESVAR FH.ES em vez do arquivo
de dados em WESVAR UNLABELED DATA.
5. Se copiar NATASSESS4. VAR de WESVAR UNLABELED DATA para
MY WESVAR FILES usando Copy e Paste, o arquivo no ir funcionar a no
ser que tambm copie o arquivo de registro assodado NATASSESS4.LOG
para a mesma subpasta.
COMPARAO ENTRE
OS NVEIS DE
DESEMPENHO DE
DOIS OU MAIS
GRUPOS
Os fonnuladores de polticas podero questionar

se os nveis de desempenho das subpopulaes de alunos que participaram de uma avalao nacional (por exemplo, meninos e meninas;
alunos que frequentam a escola em regies diferentes) diferem significativamente entre si. Este captulo descreve procedimentos que permitem dar resposta a essas questes.
ANLISE DA DIFERENA ENTRE DUAS PONTUAES M~DIAS
Para avalar se a diferena de desempenho entre dois grupos estatisticamente significativa, necessria uma varivel categrica com
dois
ou mais nveis e uma varivel contnua ou intervalar. Apresentamos a
seguir exemplos de perguntas de interesse que envolvem variveis

categricas e contnuas:
Gnero (femnno/masculno) (varivel categrica) e desempenho
em matemtica (varivel continua). Os alunos do sexo masculno

diferem substancialmente dos alunos do sexo feminino no nvel do
seu desempenho em matemtica?
47
48
Disponibilidade de luz eltrica para estudar (sim/no) (varivel

categrica) e desempenho em leitura (varivel continua). Os alunos
que dispem de luz eltrica em casa para estudar diferem
significativamente, em termos do seu desempenho em leitura, dos
alunos que no dispem de luz eltrica em casa?
Acesso a ajuda com os deveres escolares em casa (sim/no) (varivel
categrica) e desempenho em cincias (varivel continua). Os alunos
que recebem ajuda para fazer os deveres em casa diferem
significativamente dos alunos que no a recebem no nvel do seu
desempenho em cincia?
Uso da lngua de instruo em casa (sim/no) (varivel categrica)
e conhecimentos cvicos (varivel continua). Os alunos que falam em
casa a lngua de instruo da escola diferem significativamente, no
seu desempenho em um teste sobre conhecimentos cvicos, dos
alunos que falam uma lngua diferente em casa?
Acesso ao prprio livro escolar de leitura na escola (sim/no) (varivel
categrica) e desempenho em leitura (varivel continua). Os alunos
que tm os seus prprios livros escolares de leitura na escola obtm
pontuao mdia em leitura que difere significativamente da pontuao mdia dos alunos que so obrigados a partilhar um livro escolar?
Um teste comparativo entre as pontuaes mdias de dois grupos

d resposta segunte pergunta: a pontuao mdia difere significativamente em alguma varivel entre duas populaes representadas
pelas duas amostras? Os resultados so relatados em termos de nveis
de importncia, designados valores-p. Utiliza-se o termo "estatisticamente significativo" para indicar que improvvel que uma diferena
observada tenha tido uma causa fortuita. Se, por exemplo, os resultados mostrarem que a diferena mdia a favor das meninas significativa no nivel 0,05 (valor de p), isso significa que existe uma
probabilidade inferior a 5% de a diferena ter tido uma causa fortuita.
Um valor de p de 0,01 significa que existe menos de uma em cem
probabilidades de o resultado observado ter acontecido, se os grupos
no diferiam na varivel de interesse.
O erro padro da diferena (entre mdias) um conceito importante
quando se considera a significncia estatistica das diferenas de pontuao mdia. Se a diferena de pontuao mdia for suficientemente
elevada para sair do mbito de um intervalo de confiana em torno da
COMPARAO EN1RE OS NIvEIS DE DESEMPENHO DE DOIS OU MAIS GRUPOS
49
dil'erena, que se baseia no erro padro da dil'erena, pode-se concluir

que a dil'erena estatisticamente significativa. Se a cllferena se inserir
no mbito do intervalo de confiana, pode-se concluir que a diferena
estatisticamente no significativa.
No exemplo a seguir (exerccio 4.1), o objetivo determinar se a
diferena mdia em termos do desempenho em matemtica entre os
alunos que tm luz eltrica em casa e os que no tm estatisticamente significativa.
Antes de realizar o exerccio 4.1, designe a varivel Electric no seu
arquivo de dados. Para tal, abra o WesVar e selecione Open WesVar
Data File. Abra o arquivo de dados NAEA DATA ANALYSIS\MY
WESVAR FILES\NATASSESS4. VAR. Em seguida, execute os passos
que foram descritos no Captulo 3 (pginas 34-35) para designar uma
varivel. Designe I como Yes para indicar a disponibilidade de eletricidade em casa. Designe 2 como No para indicar a falta de eletricidade. Salve o seu arquivo de dados WesVar em NAEA DATA
ANALYSIS\MY WESVAR FILES, substituindo o NATASSESS4. VAR
existente, se necessrio.
EXERClclO 4.1
AVllnoio do Dlfereno entre Duos Pontuo.. M6dlos
1. Abra o WesVar e clique em New WesVar Workbook. Voc receber o seguinte

aviso: Before crearing a new Workbook,. you wi/l be asked to specify a Data file that
wil/ be used as the defauft Data file for new Worlebook reguests. Clique em OK
2. Abrir-se- uma janela chamada Opan WasVar Data File for Workbook. Selecione o
arquivo de dados NATASSESS4.VAR em NAEA DATA ANALYSISIMY WESVAR
FILES. Clique em Open.
3. Salve o seu novo livro de exerccios como NAEA DATA ANALYSIS\MY WESVAR
FILES\CHAPTER 4 WORKBOOK.WVB.
4. Realce Workbook Titia 1 (painel da esquerda) e digite Chapter 4 Exercises na
caixa TItia (painel da direita). Na caixa New Request (painel da direita, metade
inferior), clique em Table. Realce Table Request One (painel da esquerda) e mude
Request Name (painel da direita) para Exareisa 4.1. Clique em Add Table Set
Singl. (painel da direita).
5. V para Options - Generated Statistics no painel da esquerda. Certifique-se de que
as caixas Estimate, Standard ErTOr, e Confidence Interval (Standard) estejam
marcadas. Desmarque as demais caixas.
(continua)
50

6. V para Options - Output Control no painel da esquerda. Certifique-se de que
Estimates tenha sido definido para uma casa decimal e StcI. ElTOr para duas casas
decimais. Certifique-se de que as designaes das variveis e dos valores foram
marcadas.
7. Selecione Computad Statistics, realce Mathss em Sourca Variablas (painel da
direita) e clique em Black. Mean.
8. Clique em Table Set #1 (painel da esquerda). Mova Elec:tric da caixa Saurce
Variablas para a caixa marcada Selectad no painel da direita. Certifique-se de que
Percent foi marcado em de Sum of Weights. Se Value, Raw Percent e Column
Percent estiverem selecionados, desmarque-os. Clique no boto Add as New Entry.
9. Realce Elac:tric (painel da esquerda) e clique em CeUs abaixo deste. Clique em 1
(painel da direita) e digite Yas na caixa de designao e pressione Return (ou
clique em Add as New Entry). Clique em 2, digite No na caixa de designao e
pressione Return.
10. Selecione agora Call Func:tians (painel da esquerda). Digite o seguinte na caixa
designada Func:tian Statistic: MeanDiff = Yes - No. Clique em Add As New En1Jy.
11. Em MeanDiff = Yas - No (painel da esquerda), clique em For. Certifique-se de que
M_Mathss se encontra na caixa designada Salac:tad (Figura 4.1.A do exerccio). Se
necessrio, mova Sum_Wts para a caixa designada Sourca Variables.
FIGURA DO EXERCfclO 4.1.A Uvro de exercicios WesVar antes da Avaliao da Diferena
entre Duas Pontuaes Mdias
Fil e
View
Reque5ts
Windows
[J[~El
Help
El-- Chapter 4 Exercises
8--E~ercise 4.1
$ Options
. i--- Generated Statistics
,__ o. Output Contrai
Analvsis Variables
$-- Computed Statistics
,.... M_MATHSS ~ MEAN[MATHSS[
8--Table Set 1:*1
8-. ElECTRIC
S - Cells
L_- Yes
L.. No
Cell Functions
- 8--MeanDifl .. Yes No
i
L.. F OL __
L.. Standardized Rates
Fm
SUM_\VTS
i'-'
8-.
Selected:
Sou,ce Variables:
2.l
~
lillI
~
Sum of Weighls
Analvsis Variables
r
r
r
r
Value
p" Percent
r Aow Percent
Calumn Percent
Value
Pelcent
Aaw Pelcent
Calumn Percent
COMPARAO ENTRE OS NfvEIS DE DESEMPENHO DE DOIS OU MAIS GRUPOS
S1
EXERClclO 4.1 (contInuaFoJ

12. Execute a anlise, clicando em Green Arrow na barra de ferramentas. Aguarde
enquanto o programa est em execuo. Visualize o resultado clicando no cone
Open Book na barra de ferramentas.
13. Para visualizar pontuaes mdias relacionadas com a existncia ou no de luz
eltrica em casa, expanda Exercise 4.1 - lable Set #1 e clique em Electric. Os
dados sobre os alunos em agregados familiares com e sem luz eltrica podem ser
visualizados na Figura 4.1.8 do exerccio. Note que os alunos com eletricidade em
casa registraram uma pontuao Mathss mdia de 254,3 e um erro padro de 2,30.
FIGURA DO EXERdCIO 4.1.B Resultados WesVar: Pontua6es Mtk:lias em Mateml1itica dos
Alunos com e sem Eletricidade em Cala
- "
WesVar Ootpot File for Chapter 4 Exercises

File
View
Help
~I:
B
e,. 10,1
.- Cr..,pter 4 E. ere.:es
TABLE ELECTAIC
8- -- E. elcise4.1
Electrieoty ~ horne
1---
~ Veri~bIe$
.--~--.
Corrp.II ed St~i$tict
B- TabIe Sei 111
8 -IU#,i;l!j
I
,.,
STAT ISTlC
ES T_TYPE
jsmCifls
No
SUM_WTS
"'''''''
"RC''''
"'"''''
STOEAAOA
83.9
3 .41
16.1
3 . 41
100.0
0 . 00
VALOC
25L3
2 . 30
No
tM=MA.TIISS
VALOC
22 7 . 8
4. 95L
WlRGIliAL
r-
VALOC
250.0
2 . 20
SOM I-r"'l'S
MARGUlAL
Funclrom
ESTIMATE
,.,
IM MA.THSS
M "':"T!lSS
<
>
14. Para salvar os resultados, selecione File - Export - Single File - One Selection e
clique em Export. Salve em NAEA DATA ANALYS/SIMY SOLUTlONS usando um
nome de arquivo apropriado (por exemplo, EXEROSE 4.1A. TXT).
15. Para visualizar o clculo da diferena das pontuaes em matemtica entre alunos de
agregados familiares com e sem eletricidade (26,5), clique em Functions (abaixo de
Electric) (figura 4.1.C do exerccio).
FIGURA DO EXERdCIO 4.1.C Resultados W.Var: Diferena das Pontuaes Mdias em
Matemtica entre os Alunos com e sem Eletricidade em Casa
fOf
pl
,
E_ ~ l
e--- ELECTRlC
'-""
lIOanD1U
SIAIISI IC
" J O.llISS
ESI~TWE
YllUt
ESTlIoI<I.IE
26.5
SIDERROR
~.u
lll\IJER 95t
1~.2
UPPER ~
3J.8
(continua)
52
EXERClclO 4.1 (cont/nuapo)

A figura 4.1.8 do exerccio apresenta as pontuaes mdias em matemtica dos alunos
com eletricidade em casa (254,3) e dos alunos sem eletricidade (227,8). Os erros padro
correspondentes so de 2,30 e 4,95. A Figura 4.1.C do exerccio apresenta a diferena das
pontuaes mdias (26,5). Trata-se da diferena das pontuaes mdias em matemtica
entre os alunos com eletricidade em casa e os alunos sem eletricidade (Sim - No). O erro
padro da diferena de 5,64. O intervalo de confiana a 95% (em torno da diferena de
pontuaes mdias) varia entre 15,2 (limite inferior) e 37,8 (limite superior). O intervalo de
confiana pode ajudar a determinar rapidamente se existe uma diferena significativa
entre as mdias. Se o intervalo de confiana incluir o valor zero (como de -4,5 a +7,9),
pode-se afirmar que a diferena mdia no significativamente diferente de zero no nvel
0,05. No caso dos dados presentes, uma vez que o intervalo de confiana a 95% (15,2 a
37,8) no inclui zero, conclui-se que a diferena mdia de 26,S significativamente
diferente de zero (p < 0,05). A diferena dos desempenhos mdios em matemtica entre
os alunos com e sem eletricidade em casa estatisticamente significativa.
A informao obtida com essa anlise pode ser resumida em uma tabela (Tabela 4.1.A
do exerccio). Uma tabela deste tipo poderia ser includa em um relatrio de avaliao
nacional.
TABELA DO EXERCfClo 4.1.A Comparaio entre as Pontua6es M6dlas em Matemalitlca dos
Alunos com e sem Eletricidade em Casa
Situao
Percentagem de alunos (EP)
Pontuao mdia (EP)
Com eletricidade em casa
83,9 (3,41)
254,3 (2,30)
Sem eletricidade em casa
16,1 (3,41)
227,8 (4,95)
Comparao
Com eletricidade - Sem eletricidade em casa
Diferena (EPD)
26,5 (5,64)
IC (95%)
15,2 to 37,8
Nota: IC (95%) - intervalo de confiana a 95%; EP - erro padro do clculo; EPD - erro padro da
diferena. Os intervalos de confiana associ8dos s diferenas estatisticamente significativ8s esto
assin818dos a negrito.
16. Volte para Functionl e salve a comparao entre as pontuaes mdias como
EXERC/SE 4.1B.TXT em NAEA DATA ANALYSISIMY SOLUTIONS.
17. Volte ao livro de exerccios Chapter 4 Exercilel clicando no cone Open Doar. Clique
em Save na barra de ferramentas para salvar as alteraes. Selecione File - Ciosa na
barra de menus para fechar o livro de exerccios ou passe ao exerccio 4.2.
COMPARAO EN1RE OS NIvEIS DE DESEMPENHO DE DOIS OU MAIS GRUPOS
53
ANLISE DA DIFERENA ENTRE TREs OU MAIS

PONTUAOES MDIAS
Nesta seo, examinamos as diferenas entre trs ou mais categorias

de alunos (por exemplo, os alunos que frequentam a escola em diferentes regies de um pas). Comparamos os nveis de desempenho em
uma regio de Sentz (como a rea Metropolitana) com os dos alunos
em cada uma das outras trs regies do pais. Na anlise, a rea
Metropolitana designada como o grupo de referncia e o desempenho
em cada uma das demais regies comparado com o mesmo.
Quando se procede a comparaes mltiplas (por exemplo, a comparao entre a pontuao mdia dos alunos em uma regio e as pontuaes mdias dos alunos em trs outras regies), toma-se necessrio
ajustar o IVel alfa ou de importncia. Se esse no for ajustado, corre-se
o risco de relatar que uma diferena estatisticamente significativa
quando, na realidade, no o . O valor padro de alfa (0,05), que
usado quando se comparam duas pontuaes mdias (usando um intervalo de confiana a 95% em tomo da diferena de pontuaes mdias),
precisa ser ajustado para baixo (ou seja, dividido pelo nmero de comparaes a realizar), caso se efetue mais de uma comparao. Por exemplo, se forem realizadas trs comparaes, o valor do IVel alfa de 0,05
deve ser dividido por 3, dando um valor ajustado de 0,0167 (0,05/3).
No exemplo do exerccio 4.2, a pontuao mdia dos alunos na rea
Metropolitana (o grupo de referncia) comparada com a pontuao
mdia dos alunos em cada uma das outras regies. So, assim, efetuadas
trs comparaes:
rea Metropolitana - Noroeste
rea Metropolitana - Terras Altas Orientais
rea Metropolitana - Costa Sudoeste
EXERCCIO 4.2
AVlllloio d. Diferenas _ _ Tri. ou Moi. Pontuoes Miell.

1. Abra o WesVar. Selecione Opan WesVar Workbook. Abra o livro de exerccios
WesVar que salvou quando concluiu o exerccio 4.1. Trata-se de NAEA DATA
ANALY5/SlMY WESVAR F/LESlCHAPTER 4 WOR/CSOOK.
(continua)
54
EXERCfclO 4.2 (continuapio)
2. Realce o n Exercise 4.1. Clique com o boto direito do mouse e selecione Clone.
Efetua assim uma cpia do Exerccio 4.1 (Tabela de pedido das Diferenas entre
Duas Mdias). Realce Table Request Two no painel da direita e designe-o como
Exercise 4.2.
3. Expanda Exercise 4.2 (painel da esquerda). Selecione Optians (painel da esquerda),
e no painel da direita, mude o nvel Alpha para 0,0167 (porque sero feitas trs
comparaes) (Figura 4.2.A do exerccio).
4. Expanda Options no painel da esquerda. Sob Generated Statistics, certifique-se de
que as caixas Estimate, Standard Errar e Confidenca Interval (Standard) estejam
marcadas. Em Optians - Output Contrai certifique-se de que Variable Label e
Value Label estejam marcadas. Desmarque as demais caixas. Expanda Table Set #1
no painel da esquerda e realce Electric, desmarque-o no painel da direita e selecione
Region. Clique em Replaca Current Entry. Se receber uma mensagem: Table
structure has changed... Do you want to make this change?, selecione Ves.
Certifique-se de que de s Percent esteja marcado. Expanda Regian (painel da
esquerda). Selecione Cells e defina as clulas como se segue: 1 = Northwest;
FIGURA. DO EXERCfClo 4.2.A Livro de Exerdcios WesVar Apresentando o Ajuste
para o Nrvel Alfa
I .~
o . [WesVar Work8ook . Chapter 4 Workbook.wvb)

~
View
File
Requests
Windows
Help
.,,1 QI 8'0 1O,1,1 ~ IItQl -.!J

13- Chapler 4 EKercises
'*' EKercise4,1
EKercise 4.2
IflI!D
r" Analysis Variables
Ta ble Paramele, SeUings

lhe sellings on Ihese pages will be
used Ih.oughoul lhe .equesl as new
lables a,e added to lhe leques!.
EI Computed St.!ltistics
L M_MAlHSS "MEANjMAlHSSI
fII T.!IbIe Set "1
Alpha: 1.0167
FPC, 11.000
QUantiles
r liroup
r. No G,OUp
Numbelof
GIOUPS: ri- -
r
r
r.
Replicalion
Sld. Euol
01 Df in Data f ile _ 60
Exclude ali cases with min ing value p"
SS

FIGURA DO EXERCfclO .2.B Preenchimento das Definies de Clulas em WesVar
o. . [W~sVar WorkBook Chapter 4 Workbook.wvbJ

o File View Requests Windows Help
""I QI",I O,1o,1 ~ l l@lol -.!J
[3.
Chapter 4 Exercises
[~l' EKercise 4.1
EKercise 4.2
ffi. Oplions
j... Analysis Variables
Computed S tatistics
. L. r"UlATHSS ,. MEAN(MAT HSSj
EJ-. Table Sei 111
J.. REGIO N
CeUs
.. Norlhwesl
L.. Metro_Area
Eastern Highlands
Ce l! Definition:
REGIO N
(rnissing)
2
3
.,. t!!1iM!1-i $$1
. Cell Funclions
Slandardized Rales
Grid View
l a be l:
15outhwesLCoast
Add a s Ne w [nlrV
Re place Curre n! [nlrv
2 "" Metro_Area; 3 "" Eastern_Highlands; 4 = Southwest_Coast. (Como WesVar no

lhe permite deixar espaos em branco entre as palavras, preciso utilizar sublinhado.) Depois de digitar cada designao, clique em Add as Naw Entry ou pressione
Return no seu teclado (Figura 4.2.8 do exerccio).
5. Selecione Cell Functions (imediatamente abaixo de Cells no painel da esquerda).
Introduza o seguinte na caixa Function Statistic e clique em Add as New Entry aps
cada uma.
MeanDiffMetro_NW = Metro_Area - Northwest (Figura 4.2.C do exerccio).
Clique em For abaixo de cada funo (painel da esquerda) e certifique-se de que

Mathss aparece abaixo de Selected de cada vez. Poder ser preciso mover SURLWts
para Source Variables.
Repita o processo para
MeanDiffMetro_EHighlands. Metro_Araa - Eastern_Highlands
MeanDiffMetro_SW = Metro_Area - Southwast_Coast
6. Clique em Green Arrow na barra de ferramentas para executar as anlises.
(continua)
56
EXERdCIO 4.2 (contInuafoJ

FIGURA DO EXERClcIO "2.C Livro de Exerccios WHVar Apresentando as
Fun6el das Clulas
o
. [W"Vilf Work8oot Chapte. 4 Workbool:.wvb]
8 Chaptec . E-ases
~
E><eIe4e 4.1
Source Ceh:
,._c...
8 '!'1E1v~
~.=J.J!!I
E.asloe<n_H ~
Mebo....AIM
ConipAed SIolict:
"'_lAAlHSS MENl(NATHSSI
ToIIbIeo Sellll
Ir...... 3
e AIEGi:~=u
E~n_HighI.ero;
S~C~
CeI Fl.WlCIom
I!l MeDiIfI.1elro_N\II_ Met'O_AlN ' NorIIwIesI
MNIilllMetro_EHio;tHncH oMellofiN ' Eastecn_~
FOI
Slllndadzed Rales
Add
oU
New (nlr,
Rllplace CUflenl [nh)l
FIGURA. DO EXERcfClO 4.2.D Resultados WesVar: Pontua6es Mdias em

Matemtica por Reglio
SOH_WTS
P!:RCf:NT
25 . 2
4. 30
14 . 6
Het;ro_A~!I
SmUfiS
PERCr.N!
26 . 1
4. 62
14.8
37 .5
E!I~1:ern_H igh1!1nd:
SUM_WTS
PERCENT
24. 3
4.05
14. 3
34 . 3
SOU1:hwe~1:_Coa~t;
SOH_W'l'S
P!:RCENT
24.4
4.31
13 . 8
35.0
Nor1:h;.;e~1:
MARGINAL
SUH_WTS
P!:RCENT
100 . 0
NOr1:h;.;e~1:
H fA.AI HSS
Vl\LU!:
233 . 3
3.2 8
225. 3
Het;ro_A~!I
H fA.AIHSS
Vl\LU!:
265.7
4. 46
254. 8
276.7
E a~1: ern_H i9h1andlH_fA.AlHSS
Vl\LU!:
249 .1
3. 59
240 . 3
257.
H_fA.AIHSS
Vl\LUE
251. 2
3. 35
243 . 0
259.5
SOU1:hwe~1:_Coa~t;
MARGINAL
25 0.
244.6
7. Visualize O resultado clicando no cone Open Book na barra de ferramentas. Para

acessar as pontuaes mdias de cada regio, selecione Exarcise 4.2 - labia 5et #1
e Region (Figura 4.2.D do exerccio). Para acessar os dados das diferenas entre as
pontuaes mdias, selecione Functions (o n imediatamente abaixo de Region)
(Figura 4.2.E do exerccio).
57

FIGURA DO EXERCrClO 4.2.E
Resultados WesVar: Diferenas de Pontuaes Mdias em
Matemtica por Regio
...,el ,.."-10..1
~rE:
nV<lr Oulpul file for Clwplor 4 (nrc"eJ
~I.I
Ch.-4E__
E_41
1'-'5,"1
- -
,-.
REGlON
AI jI .. .,.1 .!:I
I
....l
STATlsnc
.:J
,~
Esum
ESTItolATE
STDERROR
-,'"
UPPER~
VlLU!:
n ...
S.14
YUU!:
16.6
S.U
,.,
30.0
V.lLU!:
14.S
S.90
-0.0
29.0
18.2
~.,
8. Use File e Export (Single File, One Seleaion) para salvar os seus resultados como
arquivos de texto. Comece por salvar as pontuaes mdias (Regies) e, em seguida,
as diferenas das pontuaes mdias (Funes) em NAEA DATA ANALYSIS\MY
SOLUTlONS utilizando os nomes dos arquivos EXERCISE 4.2A.1XT e EXEROSE
4.2B.1XT, respectivamente
9. Volte a CHAPTER 4 WORKBOOK clicando no cone Opan Door na barra de
ferramentas. Selecione Save - Ciosa na barra de menus (ou selecione o cone Save
na barra de ferramentas).
A figura do exerccio 4.2.E apresenta as trs comparaes pedidas. A diferena de
pontuaes mdias entre a rea Metropolitana e o Noroeste de 32,4 pontos na
pontuao de escala e o respectivo erro padro de 5,74. O intervalo de confiana em
tomo da diferena de 18,2 a 46,5.
Uma vez que o intervalo de confiana no inclui zero, a pontuao mdia da rea
Metropolitana significativamente diferente, em termos estatsticos, da pontuao mdia
da regio Noroeste. Do mesmo modo, a diferena de pontuaes mdias entre a rea
Metropolitana e as Terras Altas Orientais (16,6 pontos) estatisticamente significativa
porque o intervalo em torno da diferena (3,3 a 30,0) no inclui zero. Finalmente, a
diferena entre a rea Metropolitana e a Costa Sudoeste (14,5 pontos) estatisticamente
no significativa porque o intervalo em tomo da diferena (-0,0 a 29,0) inclui zero.
A tabela do exerccio 4.2.A apresenta os resultados desta anlise tal como poderiam
ser apresentados em um relat6rio de avaliao nacional. A tabela mostra cada pontuao
mdia regional e a pontuao mdia nacional, assim como os erros padro associados. A
metade inferior da tabela indica em negrito as diferenas regionais estatisticamente
significativas.
(continua)
58
EXERClclO 4.2 (cont/nuapio)

TABELA. DO EXERdCIO . 2.A
Comparalo das Pontua6es M6dias em Matemiltica dos
Alunos com e sem Eletricidad. em Casa por Regio
Regio
Pontuao mdia (EP)
rea Metropolitana
233,3 (3,28)
Noroeste
265.7 (4,46)
Terras Altas Orientais
249,1 (3,59)
Litoral Sudoeste
251,2 (3,35)
Nacional
250,0 (2,20)
Diferena (EPD)
ICA(95%)
rea Metropolitana - Noroeste
32.4 (5,74)
18,2 iI 46,5
rea Metropolitana - Terras Altas Orientais
16.6 (5.42)
3,3 a 30,3
rea Metropolitana - Costa Sudoeste
14.5 (5.90)
-0,0 a 29,0
Comparao
Nota: ICA (95%) - intervalo de confiana ajustado em 95%; EP - erro padro do clculo; EPD - erro
padro da diferena. Os intervalos de confiana associados s diferenas estatisticamente significativas
esto assinalados a negrito.
Outras comparaes que podero ter interesse para os formuladores de polticas (dependendo das variveis no banco de dados) incluem
as seguintes:
Grupo tnico e desempenho em matemtica: existem diferenas significativas entre grupos tnicos quanto ao seu desempenho mdio
em matemtica? Que grupo registra a pontuao mdia mais
elevada?
Nvel de escolaridade dos pas e desempenho em leitura: existem diferenas significativas de desempenho mdio em leitura entre os alunos com pais que concluram estudos superiores e os alunos em
cada um dos outros grupos (pais que no tiveram educao formal;
pais cujo grau mais alto de escolaridade foi o I." ao 3." ano, o 4. ao
6. ano, o 7. ao 9. ano ou o 10. ao 12. ano)?
Acesso a meios de comunicao e desempenho lingustico: existem
diferenas significativas de desempenho mdio lingustico entre
alunos que vivem em agregados familiares que tm (a) rdio e televiso, comparados com os alunos de agregados familiares que tm
(b) apenas rdio, (c) apenas televiso ou (d) que no tm rdio
nem televiso?
CAPiTULO
IDENTIFICAO DE
ALUNOS DE ALTO E
BAIXO DESEMPENHO
Alm de considerar as diferenas entre os nveis

mdios de desempenho de subpopulaes de alunos em uma avaliao nacional (Captulo 4), os formuladores de polticas e outros
usurios dos resultados podero ter nteresse em identificar fatores
relacionados com a distribuio do desempenho. Podero surgir
questes como:
Existe uma proporo maior de alunos em risco (de baixo desempenho) em uma regio (provncia) do pas do que em outra?
Os mennos e as mennas esto igualmente representados entre os
alunos de alto desempenho em matemtica?
Em que tipo de escola (rural ou urbana, pblica ou privada) encontra-se a maor proporo de alunos de baixo desempenho?
Neste captulo, dada resposta a perguntas como essas por meio da
identificao das propores de alunos acima ou abaixo de pontoschave ou padres de referncia, como o 10. ou o 90." percentil.
59
60
CLCULO DAS PONTUAES CORRESPONDENTES S

PRINCIPAIS CATEGORIAS DE PERCENTIL NACIONAIS
Esta seo descreve uma abordagem do clculo das pontuaes dos

alunos nas principais categorias de percentil, em uma avaliao nacional. No Captulo 3, foi utilizada a rotina Descriptive Stats em WesVar
para apurar as pontuaes ponderadas e no ponderadas em diferentes categorias de percentil, juntamente com os respectivos erros
padro (consultar a Figura 3.1. C do exercicio) . No exercicio 5.1,
utilizada uma abordagem alternativa - WesVar Tables - para calcular
as pontuaes que correspondem s categorias dos 10., 25., 50.,
75. e 90. percentis e os respectivos erros padro para cada regio de
Sentz. Esta abordagem pode tambm ser usada para identificar pontuaes correspondentes a outras categorias de percentil.
EXERClclO 5.1
Clculo dos Valores de Percentil Nadonai.

1. Abra o WesVar e clique em New WesVar Workbook. Voc poder receber o
seguinte aviso: Before creating a new Workbook,. you wifl be asked to specify a Data
fi/e mat wiJ/ be used as me defau/t Data fi/e for new Workbook requests. Em caso
afirmativo, clique em OK.
2. Surgir uma janela designada Ope" WesVar Data File for Workbook. Selecione o
arquivo de dados NAEA DATA ANALYSIS\MY WE5VAR F/LESlNATAS5ESS4. VAR.
3. Salve o seu novo livro de exerccios em NAEA DATA ANALYSIS\MY WESVAR FILES,
dando-lhe o nome CHAPTER 5 WOR/CSOOK.WVB.
4. Mude Workbook Title One (painel da direita) para Chapter 5 Exereiaes. Em New
Request. realce Table. Clique em Table Request One (painel da esquerda). Mude
Request Name para Exercise 5.1 (painel da direita). Clique em Add Table Set
51ngle (painel da direita).
5. Selecione Options - Generatad Statistics e certifique-se de que as caixas Estimate,

Standard ErTOr e Confidence Interval (Standard) estejam marcadas. Desmarque as
demais caixas. Em Output Contrai, defina Estimate para uma casa decimal e Std.
ErTOr para duas. Certifique-se de que Variable Label e Value Label estejam
marcadas.
IDENTIFICAO DE ALUNOS DE ALTO E BAIXO DESEMPENHO
61
EXERClao 5.1 (contlnuaFo)

6. No painel da esquerda, selecione Computed Statistics. No painel da direita, digite
Pci/e10 = Quanti/e(Mathss, 0.1) e clique em Add as New Entry (figura 5.1.A do
exerccio). Isso diz ao WesVar para calcular a pontuao no 10. 0 percentil.
FIGURA DO EXERdclO 5.1.A
Uvro de Exercrdos WesVar: Clculo dos Valores de Percentll
(WesVar WorkBook - CHAPTER 5 WORKBOOK.wvb]

File
View
,
B'
Reque5t5 Wi ndow5
Help
Exercise 5.'
$ Options
iAnalysis Variables
Cpmputed Statish::s
PCde' O., Quanhle[Mathss. O1)
i. TableSet lll
Define means 01 variables and lunctions 01varjable sums to

be calculated fOf each table cell.
Sou.ce Va,iables:
AG E
AGEDAYS
ALGEB_PC
ATTENTlO
BEHAVE
BOOKLET
BOOKS
DATA_PC
DISTANCE
DOB
ELECTRIC
FAMILYSI
.J..=J.:J..:J~
-=l
jFunc!ion
Olock Mean
Compu!ed Statislic:
IPCile10" Quantile(Mathss. 0.1)
Add as New Enlr,

Replace Cunen! Enl.}'
7. Siga o mesmo procedimento para os 25.0 , 50.0 , 75.0 e 90.0 percentis, clicando
primeiro em Computed Statistics de cada vez. Por exemplo, a frmula para o 25. 0
percentil PCile25 = auantile(Ma'ltlss, 0.25). No se esquea de clicar em Add as
New Entry depois de introduzir cada frmula. a
8. Execute a anlise, clicando na Grean Arrow na barra de ferramentas.
9. Visualize os resultados (Figura 5.1.8 do exerccio), clicando no cone Opan Book na
barra de ferramentas. Expanda Exereise 5.1 - Table Set #1 no painel da esquerda.
Clique em Ovarall para visualizar os valores de percentil.
(continua)
62
EXERdCIO 5.1 (cont/nuafoJ

FIGURA DO EXERCrCIO 5.1.B
IS
Resultados W_Var: Clculo dos Valores de Percentil
WesVar Output File for Chapter 5 Exercises
Fi le Vew
~~
Help
e,'LeJ
8- "-- D'Iapleo 5 E.ercisles

8 -- E. eoo;;se !i 1
-- 1!IIl!:I
~ I,,'IA I f!!) u
",I loJ
"- ,
Owtal
STATlSt lC IEST_TYPE
SUM_h'T S
Pelld O
Pe 1lto2 5
Peile5 0
Pe ile i S
Pelle9 0
""""
"""
""""
""""
"""'"
"""
ESTIMATE
I STDERROR
SI113 . 0
LOW!R S5%
UP~R 95%:
0 . 00
5 1113 . 0
51 113 . 0
186 . 5
181.0
3 . 01
114 . 5
217 . 3
:< . 73
11 2 .2
223 . 1
256 . 3
2 . 39
251. O
260 . 6
2 B4 . 4
l. B2
261. B
269. 1
308 . 11
1. 15
305 .4
31 2.4
I"
Os resultados na figura do exerccio 5.1.8 apresentam os valores de cada categoria de

percentil selecionada, juntamente com os correspondentes erros padro. Por exemplo, o
valor no 10.0 percentil de 181,0 e o erro padro de 3,01. O intervalo de confiana em
95% para 181,0 de 174,5 a 186.5. Existe, assim, uma probabilidade de 95% de o valor no
10.0 percentil situar-se entre 174,5 e 186,5. Os valores e erros padro podem ser tabelados
e publicados no relatrio de avaliao nacional (consu~r a tabela 5.1 A do exerccio).
TABELA DO EXERCrCIO 5.1.A Pontuaes em Matemtica em Nvel Nacional (e Erros
Padrio) em Nveis de Percentil Diferentes

Percentil
Pontuao
Erro padro
181.0
3,01
25.0
217,3
2,73
256,3
2,39
75.0
284,4
1,82
308,7
1,75
10.
50.
90.
10. Selecione File e clique em Export (Single File - One Selection) para salvar os seus
resultados como um arquivo de texto. Salve em NAEA DATA ANALYSIS\MY
SOLUTIONS usando um nome de arquivo apropriado, como por exemplo
EXERCISE 5.1, TXT.
11. Clique no cone Open ODor na barra de ferramentas para voltar para CHAPTER 5
WORKBOOIC. Clique em File - Ssve e depois em File - OOH.
a. Alternativamente, pode clicar em Pdle10 - Quantlle(Mathss, 0.10) (painel da esquerda) e clicar com o
boto direito do mouse em Clone quatro vezes, alterando cada um conforme necessrio e usando Replace
Current Entry.
Depois de obtidos os valores de percentil em mbito nacional,

possvel calcular os valores correspondentes para cada regio de Sentz
(exercido 5.2).
63
EXERCIClO 5.2
Cillculo dos Valores d. Percentll por Regio

1. Abra o WesVar. Selecione Open WesVar Workbook. Abra o livro de exerccios
WesVar que salvou quando concluiu o exerccio 5.1. Trata-se de NAEA DATA
ANALYSISIMy WesVar F/LESIChapter 5 Workbook.'
2. Minimize (se necessrio) Exercise 5.1 (painel da esquerda), clicando no sinal- (menos).
3. Clique com o boto direito do mouse em Exercise 5.1 no painel da esquerda e
selecione Clone. Mude o nome de Table Request Two no painel da direita para
Exerdse 5.2. Todas as partes subsequentes do exerccio 5.2 sero efetuadas neste n.
4. Expanda Exercise 5.2 (se necessrio). Selecione Table Set #1. Mova Region de
Source Variables para Selected (painel da direita).
5. Clique em Add as New Entry (painel da direita).
6. Selecione Region no painel da esquerda e marque a caixa Percent abaixo de Sum of
Weights no painel da direita. Desmarque Value, Row Percent e Column Percent se
necessrio (consultar Figura 5.2.A do exerccio).
FIGURA DO EXERdClO 5.2.A Uvro de Exerddos WasVar antes do Clculo dOI Valores de
Percentil por Regio
o . [WesVilf Wori:Book CHAPTER 5 WORKBOOK.wvb)

<O File
View
Requests
Windows
Help
50ulce Val iable.:
EJCefcne 5.2
O.....
AnaIysit Vi1fiables
~ed Statistics
13 TabIe SeUIl
EH;ljij! lU
Colo
5elected:
ALGEB_PC
ATTENTlO
BEHAVE
BOOKlET
REGION
BOOKS
DATA_PC
DISTANCE
ElECTAIC
CeI FlXICtiont
Missing
Sum 01 \rI eight.

V alue
PercClnt
Aow Pel cent
Column Percent
r
P
r
r
A52
R53
Analy." Vilriablel
r
r
r
r
Value
Percent
Aow Percent
Column Pcrcent
Add ai New Entrl'

Aeplace
CWI Cnl
Enl.ry
'h.
(continua)
64
EXERClclO 5.2 (cont/nuapo)

7. Clique em Green Arrow na barra de ferramentas para executar as anlises.
8. Clique no cone Open Book na barra de ferramentas. Expanda Exercise 5.2
(se necessrio). Selecione Table Set .1 - REGION para ver o clculo do percentil
para cada regio.
A figura do exerccio 5.2.9 apresenta os valores no 10.0 percentil para cada regio,
juntamente com os erros padro associados e os intervalos de confiana em 95%. Os
dados de outros valores de percentil podem ser acessados rolando o arquivo de
resultados para baixo. A tabela do exerccio 5.2A apresenta os dados em um formato
que pode ser usado em um relatrio de avaliao nacional.
Resultados WasVar Parciais: Clculo dos Valores do 10,-

Percantll por Regio
WesVar Output fil e for Chapter 5 Exercises
'J
IABU REG ION

I!I - E,orci<e5.1
8---- E:-=iIe 5.2
SIAI IST IC ESI] 'rPE
L __ REG ION
ESTI MAI .
SI DERRDR
LOIN'ER 95~
UPPE R 95r<
Ifor thw!t
PeildO
16 2. 2
4 . 12
154 . 1
170 . 5
~tt<l_A..,.
PcilelO
"'"''
""'"
-~
20 5 . 1
1 .66
l e1 . 1
211 . 1 ,
176 . 1
6 . 41
165 . 4
191 . 3
18 3 . 4
5.5 3
171 . 8
193 . 9
18 1 . o
3 . 01
114 . 5
186.5
1g e . 4
3 . 5e
190 . 1
20 4. 4
t ,u tero_91Qhla.nd: Peil d O
SoutJr"'Ut_Cn4 ~t
PcHeiO
MARGll!AL
Peile lO
~w.",
_ _.:,,,
,,,,-,,=,,, -
TABELA DO EXERCrCIO 5.2.A
-~
PontuaSes em Matemillitlca (e Erros Padrio) em Villirlos Nrvels
de Percentil por Regio
Percentil
10.0
Noroeste
rea
Metropolitana
Altas
Orientais
Costa
Sudoeste
Terras
162,2 (4,12)
205,1 (7,66)
176,7 (6,47)
183,5 (5,53)
181,0 (3,01)
25.0
198,4 (3,58)
238,7 (5,95)
217,1 (5,68)
218,6 (5,08)
217,3 (2,73)
50.0
75.0
238,0 (4,62)
271,6 (5,16)
255,2 (3,41)
257,6 (4,09)
256,3 (2,39)
270,2 (4,11)
296,3 (3,27)
283,9 (3,49)
283,9 (3,58)
284,4 (1,82)
90,0
293,8 (4,42)
313,7 (3,02)
309,1 (2,87)
310,3 (3,33)
308,7 (1,75)
Nacional
A tabela do exerccio S.2A indica que as pontuaes correspondentes a categorias de

percentil variam de regio para regio. Por exemplo, as ponruaes no 10.0 percentil
variam entre 162,2, no Noroeste, e 205,1, na rea Metropolitana. Uma inspeo das
pontuaes regionais sugere que os alunos de mais baixo desempenho (com
desempenho no 10,0 percentil) no Noroeste, nas Terras Altas Orientais e na Costa
Sudoeste tenham um desempenho menos bom do que alunos de desempenho mais
baixo na rea Metropolitana. As ponruaes dos alunos no 90. D percentil no Noroeste
so mais baixas do que as pontuaes dos alunos de outras regies.
IDENTIFICAO DE AlUNOS DE AlTO E BAIXO DESEMPENHO
65
EXERCfClO 5.2 (...nlinua~)
9. Salve os resultados, utilizando File - Expart - Single File - One Seledian. Selecione
Export. Salve como arquivo de texto em NAEA DATA ANALYS/SlMY SOLUTlONS\
EXERClSE 5.2. Saia do arquivo de resultados, clicando no cone Opan Door na barra
de ferramentas.
10. Salve as alteraes ao livro de exerccios, selecionando File - Save e depois

File - Clooe.
a. Se no conseguir localizar o arquivo, selecione NAEA DATA ANALYSIS\WESVAR DATA RLES &:
WORKBOOKS\ CHAPTER 5 WORKBOOK. Depois de realizar o exen:fcio, salve o livro de exen:fcios em
NAEA DATA ANALYSIS\ MY WESVAR RLE$\CHAJ7TER 5 WORKBOOK.
CLCULO DAS PERCENTAGENS DE ALUNOS EM

SUBGRUPOS, USANDO CATEGORIAS DE PERCENTIL
NACIONAIS
possvel obter infonnaes sobre a percentagem de alunos em sub-
grupos da populao (como regio, etnia ou gnero) que registrem

pontuaes abaixo de um padro de referncia selecionado, como o
valor nacional do 10. percentil, comeando por identificar as pontuaes que correspondem s categorias de percentil nacionais no banco
de dados da avaliao nacional em WesVar (consultar a Tabela 5.l.A
do exerccio). O exerccio 5.3 mostra como criar novas variveis correspondentes s categorias do 25., 50. e 75. percentis do arquivo de
dados do WesVar. Crie uma nova varivel correspondente a cada percentil de referncia e atribua "1" aos alunos com pontuaes abaixo
do padro de referncia e "2" queles que tenham pontuaes dentro
ou acima do padro de referncia.
EXERCfClO 5.3
Recodificaio de um. V.riivel em Caggori.. de Percantil Usando o _V.r

1. Abra o WesVar. Selecione Open WesVar Data File e selecione NAEA DATA
ANALYSISI MYWESVAR FILES\NATASSESS4.VAR.
2. Clique Format na barra de menus e selecione Racoda. Em Panding Racords, clique

em New Continuous (to Discreta).
(continua)
66
3. Atribua um New Variable Name na caixa apresentada. Para este exerccio, atribua
uma varivel de grupo Pc;Ie25, que dividir os alunos em duas categorias: os que
tm pon'bJaes abaixo do 25.0 percentil nacional e os que tm pontuaes dentro
ou acima deste percentil.
4. Na coluna designada Range of Original Variables, digite Mathss < 217.3 (valor do
25.0 percentil nacional; ver Tabela 5.2). Na mesma linha, na coluna designada Pdle25,
digite 1. Na linha seguinte, sob Range of Original Variables, digite Mathss 217.3,
e na coluna designada Pcile25, digite 2 (Figura 5.3.A do exerccio). Clique em OK.
FIGURA DO EXERdCIO 5.3.A
Livro de Exerccios WesVar: Recodificaio de Mathss
em Varillivel Discreta
o.
Recode (Continuous to Oiscn!te)
l:lew Variablc Name:
IPOLE25
.r-=f20iJ3
W~~.cl2J
ANOIDR IDliJ IF""",", :;]

SOluce ~iuiobles :
POLE25
MATHSS < 2173
MATHSS>_2173
Ceocol
1I.1t>
5. Clique novamente em New Continuous to Discrete e siga o mesmo procedimento

para criar as seguintes variveis:
Pdle50: Math.. < 256.3 --> 1 Mathss" 256.3 --> 2 (OI<)
Pdle75: Math.. < 284.4 --> 1 Mathss" 284.4 --> 2 (OI<)
6. Depois de introduzir a ltima varivel (Pcile75), clique em OI( Em seguida, clique em
OK na tela Pending Recodes. Aparecer a mensagem This operaDon wi/l create a new
VAR file. You wil/ be asked to spefy a file name. Salve como NAEA DATA ANAYSIS\
MY WESVAR FlLES\NATA55ESS4. VAR, substituindo a verso previamente salva.
67
EXERClclO 5.3 (contlnua~)
7. Selecione Format e Label na barra de menus. Em Source Variables, clique em

Pcile2S. Para Values, na coluna designada Label, substitua o nmero 1 por Bottom
25% e substitua 2 por Top 75% (Rgura 5.3.8 do exerccio). Em seguida, clique em
OK. Aparecer a mensagem This operation wilf create a new VAR file. You wi/l be
asked to specify a file name. Clique em OK. Salve como NAEA DATA ANALYSIS\MY
WESVAR FILES\ NATASSESS4.VAR para substituir a verso previamente salva.
FIGURA DO EXERCfclO 5.3.B DesIgnao de Categorias de Percentll em WesV

.
lab~
Variabl6 ' NATASSESS4.var
Soulce '{illiables
MATHSS
MEAS_PC
NUMBER_P
PARENTED
PARTlC
PCIlE25
PCIlE50
PCIlE75
PERSIST
PSUF'PORT
REAS_PC
REGION
RPlOl
RPl02
RPl03
RPl04
label:
IPCILE25
Min........... l
Values:
Max.......... 2
V.alue
label
[missing)
[missing)
Bouom 254
1128
il!lm
3619
MARGINAL
MARG INAL
4747
Type .... _.. . Numelic
Num
Missing.... ..O
Aecoded hom
-~--~-~
B.ecode Oetails
0<
Cancel
!:!.elp
8. Repita o processo para Pcile50 e Pdle75.

9. Selecione File e Exit.a
a. Note que este exerdcio no tem nenhum arquivo de resultados para salvar. Em vez disso, voc salvou o
arquivo de dados WesVar modificado (NATASSESS4. VAR), que usado no exerccio seguinte.
Em seguida, so calculadas as percentagens de alunos com pontuaes abaixo dos percentis de referncia chave nacionais em cada
regio (exerccio 5.4).
68
EXERdCIO 5.4
C4ilculo do P.....ntag.nl d. AlunOl com Pontl'e6ebalxo dos P.....ntl. d.

Referincia Chave Nacionais e Erros Padrio por Regio
1. Abra o WesVar. Selecione Open WesVar Workbook. Abra NAEA DATA ANALYSIS \
MY WESVAR F/LE5\CHAFTER 5 WORKBOOK.
2. Selecione Chapter 5 Exercises (painel da esquerda). Selecione
New Request - Table (painel da direita). Clique em Table Request Three (painel da
esquerda) e mude o nome para Exercise 5.4. Selecione Exercise 5.4 (painel da
esquerda) e depois Add T.bl. Sei - Sin9'. (painel da direita).
3. Selecione Table Set 11 (painel da esquerda), clique em Pcile25 na caixa Sourca

Variables (painel da direita), e mova-o para a caixa Selec:ted. Mova em seguida
Region de Source Variables para Selec:ted. Em Sum of Weights, certifique-se de
que a caixa para Column Percent (painel da direita) esteja marcada e de que as
outras opes (Value, Percent e Row Percant) estejam desmarcadas. Clique em Add
as New Entry (painel da direita). Reponha Pcile25 e Region em Source Variables.
4. Repita o passo 3 para Pcile50 e Region e para Pcile75 e Region, assegurando-se de
que introduz Peile antes de Region de cada vez. Clique em Add as New Entry aps
cada alterao (Figura 5.4.A do exerccio).
FIGURA DO EXERCJao 5.4.A Capb.lra de Tela do Uvro de Exercidos WasVar antes do Clculo
das Percentagens da. Pontuaes abaixo dos Padr6es de Referncia Chave Nacionais por R.Slio
.,.
[WesVar WorkBook
Fil~
te.
Vi l!W
R~qu6ts
Windows
El Ch ...pler 5 Exercise$
$- Exercise 5.1
tt1. EKercise 5_ 2
B"EKercise 5.4
$- Oplions
; L.. Generated 5tatistics
L.. Oulpul Conlrof
i--Analysis Variable s
!._. Compuled Statistics
T" b~_S't"
. . PCfLE25 x REGrDN
~--~,
[J0~
H~l p
IQI".1O,1,1 ~ 1 ~1 <> 1.1J
1= l eJ~
CHAPTER 5 WORKBOOK.wvb]
Selel up lo B calegorical variable:s for lable margins.
Source Varia ble s:

AlGEB_PC
A TTENTlO
Selecled:
[]
8EHAVE
BOOKLET
800KS
DATA_PC
DfSTANCE
ELECTRfC
_. .....
~ .
Missing
~
~
r R5 2
Sum of 'W'eighls
r
r
r
PCfLE75
REGfON
2..l
2.'.l
Value
Pelcent
Row Percent
Column Pelcent
RS3
Analy sis V ariable s
r
r
r
Value
Percent
Row Pelcent
Column Percent
Add as New Entry

Replace Current Enhy
I
I
69
5. Selecione Output Control no painel da esquerda e certifique-se de que Variable

Label e Value Label estejam marcadas.
6. Selecione Generated Statistics e certifique-se de que s Estimate, Standard Emir e
Confidence Interval (Standard) estejam marcadas.
7. Execute a anlise, clicando em Green Arrow na barra de ferramentas. Visualize os
resultados selecionando o cone Open Book na barra de ferramentas. Expanda o
lado esquerdo, expandindo Exercise 5.4, lable Set 11 e a categoria Pcile25*Region
para visualizar o primeiro bloco de resultados (Figura 5.4.8 do exerccio).
FIGURA DO EXERCfcIo 5 ...a
Resultados Parciais: Percentagens de Alunos com Pontuaes
abaixo dos Padr6es de Referinda Chave Nadonais por RegUio
f!
v_
Holp
"'~ '>i~ !!OI .. AI 11 ...,.1 ~
8.W7_~i!~, """
!J
1A8lL PoIIo2S' REGION
Bcn. . 2S\
'-
Non.l\WOot
SlII_IlfS
COtPCT
3i.5
2.14
H.O
Bc~ ...
lS'
BcU"," 2S\
100.00_,,".
SlII_IlfS
W,~
U.4
l.U
.. ,
42.0
lO.O
tU'H"_lIo/1lood! sUlurrs
W~
Sout.lrweot_Co4I.t
stIH_lIT'
SlII_IITS
C<llPCT
2S.1
2<.<
2.U
2. ,O
II.S
n.!
lO.!
Bctt,,", 1S'
W,~
25.0
I."
22.1
21.'
U.S
2.11
S8.0
&9.0
Bc~",",
2S'
-,=
5TATISTIC
ESUYPE
ESTINATE
STDEARCR
UM'''' """'"
li.O
! op 'll\
Nort.lrwen
SlJI_W'!S
ro,~
Top H'
IOtUG_,,"'
!tl'-IITS
n.6
l.1!
!O.O
tl.l
Top H'
ta ..e ...._.'0II1.!I4! 5UII_IITS
ro,~
H.t
2.U
fI.2
eo.s
souurwn_Co4In
!op H'
Top H'
-,=
-,=
-,=
-,=
IQ.RGIIW.
-,=
SIIH_IIT!
=~
11.&
1.'0
11.0
!O.Z
5UII_I'T5
ro~
H.O
1.46
H.I
17.9
Non.lI..ut
SlII_IlfS
ro~
\00.0
0.00
IOOtrO_,,"'
SIII_IITS
ro~
100.0
0.00
t ...e ...._I'OIIh!l4! 5UII_IITS

50<.1 ....... ,,_(...... 5UII_1IT'
ro,~
100.0
0.00
C<llPCT
100.0
0.00
SIIt_IITS
ro,~
100.0
0.00
-,=
8. Salve os resultados selecionando File - Export - Single File - One Selection na

barra de menus. Clique em Export. Salve como arquivo de texto em NAEA DATA
ANALYSISIMY SOLUTlONSlEXERClSE 5.4 - 25th (para resultados relativos ao 25.
percentil), EXERCSE 5.4 - 50th (para resultados relativos ao 50.0 percentil) e da por
diante. Saia do arquivo de resultados atravs do cone Open Door na barra de
ferramentas.
9. Salve o livro de exerccios WesVar clicando no cone Save na barra de ferramentas
(ou selecionando File - Save na barra de menus). Clique em File - Cose.
Os resultados podem ser usados para detenninar a percentagem de

alunos em cada regio com pontuaes abaixo do 25. 0 percentil
nacional (figura 5.4.B do exerccio). Calcula-se que, na regio
Noroeste, 36,5% dos alunos registram pontuaes abaixo deste
70
percentil de referncia. O erro padro correspondente do clculo de

2,74 e o intervalo de confiana em 95% de 31,0% a 42,O%.A Tabela
5.1 apresenta os dados em forma de tabela. Pode-se constatar que
36,5% dos alunos no Noroeste, comparados com 14,4% na rea
Metropolitana, tm pontuaes abaixo do 25 0 percentil de referncia
nacional. Nas duas regies restantes, as Terras Altas Orientais e a
Costa Sudoeste, as percentagens de pontuao nesse nvel so semelhantes percentagem nacional (25%).
Da mesma forma, possvel tabelar as percentagens dos alunos com
pontuaes abaixo (ou iguais ou acima) de outros padres de referncia nacionais, como o 50. 0 percentil (pcUeSO) e o 75. 0 percentil
(pcile7S). A Tabela 5.2 apresenta as percentagens dos alunos de mais
alto desempenho (definidos como aqueles que registram pontuaes
dentro ou acima do 75. 0 percentil nacional) em cada regio. Os dados
desta tabela baseiam-se nos resultados do exerccio 5.4 e mostram que
15,1% dos alunos no Noroeste tm pontuaes dentro ou acima do
75. 0 percentil nacional, comparados com 35,3% de alunos na rea
Metropolitana. Nas duas regies restantes, as percentagens com desempenho dentro ou acima do 75. 0 percentil de referncia nacional (24,7%
em ambos os casos) so sirnlares percentagem nacional (25%).
TABELA 5.1
Percentagens de Alunos com Pontuaes abaixo do 25.0 Percentil de
Referncia Nacional por Regio
Alunos com pontuaes abaixo do 25. 0 percentil de

referncia nacional
Percentagem
Erro padro
Noroeste
36,5
2.74
rea Metropolitana
14,4
2,83

Highlands
25,1
2,83
Costa Sudoeste
24,4
2,30
Nacional
25,0
1,46
Regio
I 71
TABELA 5.2
Percentagem de Alunos com Pontuaes no 75. Percentil de Referncia
Nacional ou acima deste por Regio
Alunos com pontuaes dentro ou acima do 75.

percentil de referncia nacional
Regio
Percentagem
Erro padro
Noroeste
15,1
2,24
rea Metropolitana
35,3
3,88

Highlands
24,7
2,53
Costa Sudoeste
24,7
2,48
Nacional
25,0
1,61
ASSOCIAO ENTRE
VARIVEIS:
CORRELAO E
REGRESSO
CORRELAO
Os fonnuladores de polticas podem estar interessados em identificar
at que ponto a aprendizagem dos alunos est relacionada com uma
gama de fatores. O coeficiente de correlao (r), que urna medida da
associao linear entre duas variveis, fornece esta infonnao.
Seguem-se exemplos de questes s quais as correlaes pretendem
responder:
Existe uma associao entre a frequncia escolar e o desempenho
dos alunos em matemtica?

O nvel de qualificaes escolares dos pais est relacionado com o
desempenho dos alunos no nvel da leitura?
Existe urna associao entre a distncia que um aluno viaja at a
escola e o seu desempenho em matemtica?
A experincia dos professores (nmero de anos de ensino) est

relacionada com os desempenhos dos alunos em reas-chave do
currculo?
O coeficiente de correlao pode dizer-nos a direo da relao entre
duas variveis e a fora ou magnitude da relao entre elas.
73
74
Direo da Relao
Os coeficientes de correlao podem ser positivos, negativos ou zero.

Uma correlao positiva indica que os valores das duas variveis tendem a mover-se na mesma direo; medida que a pontuao de uma
varivel aumenta, a pontuao da outra, em mdia, tambm aumenta.
Uma correlao positiva (por exemplo, 0,60) entre desempenho na
leitura e na escrita indicaria que, em mdia, medida que o desempenho na leitura aumenta, o desempenho na escrita tambm aumenta e
vice-versa. Inversamente, uma correlao negativa indicaria que,
medida que o valor de uma varivel aumenta, o valor da outra varivel
tende a diminuir. Por exemplo, uma correlao negativa (-0,28) entre
ansiedade em relao matemtica e desempenho em um teste de
matemtica indicaria que, em geral, medida que a ansiedade do
aluno aumenta, o desempenho diminui (e vice versa). Uma correlao de zero indica que no existem dados no sentido de uma relao
entre duas variveis (tais como altura e desempenho do aluno). A
Figura 6.1 ilustra graficamente as relaes positiva e negativa entre
variveis. No primeiro diagrama, a relao positiva; no segundo,
negativa.
Fora ou Magnitude da Relao
Coeficientes de correlao prximos de -1,0 ou +1,0 indicam uma

relao forte. Valores entre esses extremos indicam relaes relativamente mais fracas.
[1~[\');tYJ11
Correlaes Positiva e Negativa
250
225
200
175
150
125
100
75
50
25
relaio tpolitiva
250
225
200
175
150
125
100
75
50
25

t
rel.io negativll

o
o
10 11
10 11
ASSOCIAO ENTRE VARIAvEIS, CORRELAO E REGRESSAO
75
Em geral, correlaes entre medidas de situao socioeconmica e

desempenho tendem a variar entre 0,20 e 0,30. Correlaes entre os
resultados dos alunos em testes de leitura e cincia esto frequentemente na faixa de 0,80 a 0,90 (vd., por exemplo, OCDE 2007), sugerindo que o desempenho em um teste (por exemplo, leitura) baseia-se
nas mesmas competncias que o desempenho em outro (cincias). Em
avaliaes nacionais ou em investigao educacional em geral, raramente
so encontradas correlaes que sejam perfeitas ou quase perfeitas.
Desenhar um Grfico de Disperso
Antes de calcular um coeficiente de correlao e avaliar a sua significncia estatistica, pode ser til desenhar um grfico de disperso que
ilustre a relao entre duas variveis sob a forma de grfico. Se a relao for linear, os pontos tendero a situar-se em tomo de uma linha
reta que passa entre os dados. Quanto mais prximos de uma linha
reta estiverem os pontos, mais forte a relao entre as variveis. No
exerccio 6.1, o SPSS usado para descrever a fora da relao entre
duas pontuaes de subescala de matemtica no banco de dados
NATASSESS, Imp1-pc (resultado correto em percentagem em itens
relacionados com a implementao de procedimentos de matemtica) e Solve-pc (resultado correto em percentagem na anlise e resoluo de problemas matemticos).!
EXERClclO 6.1
Dash.. um Grfilco d. Dllp....o em SPSS
1. Abra o arquivo de dados NAEA DATA ANALYS/SlSPSS DATAWATASSE5S4.5AV.

2. Selecione Data - Weight Cases - Weight Cases by . mova Wgtpop para a caixa
identificada como Frequancy Variable, e clique em OK.
"1
3. Na barra de ferramentas, selecione Graphs - Legacy Dialogs - Scatter/Dot Simple Scatter - Define.
4. Atribua Implpc a Y Axis e Solv ...,pc a X Axis (Figura 6.1.A do exerccio). Clique em
OK. D um tempo para o processamento. O resultado est na Figura 6.1.B do
exerccio.
(continua)
76
EXERCIClO 6.1 (c:ont/nuaFoJ

FIGURA DO EXERdClO 6.1.A Cabul de Dllllogo Pardal do SPSS antes de Desenhar o Gnliflco
de Disperso
fi Simple Scatterplot
y Axi s:
~ teachid
mathrs
~ malhpc
mathss
ssse
II~
.
.
~ bo o ~ el
Qptions ...
2SAxiS
~ sludid
I itles ...
I ~ implJlC
.# schoolid
~ wglpop
sOlve_pc
Set Markers by:
Label C ases by:
FIGURA DO EXERCrCIO 6.1.B Grfico de Disperso da Relao entre Implementao

de Procedimentos e Resoluio de Problemas em Matemlltica
100,00
80,00
00
oo o
o o <f'
<9 %Oo dl
cP
000 'b
0 0 ~
cP
2
~
<b
'"
0,00
000
00
00
cP
co
IX)
lO
Cl)
000
CI)
0000 000
GJ 000
tt)
ct:D S
Q
oDo~
00 00
c:POo0o ct.l o cP
cP 000 CO B cP
0 0
8 0 00 S r9 00 ~ ri'
'1> 8 oOoooScPo o 0 8
o
c9 % o
o~ o~o ~ ~ 0 0 00 t:! 'b

'bo o (1 'O ocP 8
0
<b
0,00
~Oo ocIJ
cP
20,00
000 (I) o
00 ., o
00 ~
00
o 8
cs> % o cjJ
o
..
o
o
o
o
00
20,00
80,00
AnalisarlResolv... Problemas Percentagem Correta
40,00
60,00
100,00
77
Podemos adicionar uma linha de melhor ajuste ao grfico de disperso. Trata-se da

linha reta que melhor resume os dados no grfico. Para desenhar a linha de melhor ajuste
em um grfico de disperso em SPSS, clique duas vezes no grfico de disperso para
entrar no Chart Editor e , da barra do menu, selecione Elements - Fit Line at TotalLinear - Confidence Intarvals - None. O resultado est na Figura 6.1.C do exerccio.
Em um grfico de disperso, um ou mais indivduos so representados por um ponto
que a interseo dos seus resultados em duas variveis. Por exemplo, o aluno N (Figura
6.1.8 do exerccio) obteve um resultado de 100% correto em implementao matemtica
(eixo dos yy) e 83% correto em resoluo de problemas matemticos (eixo dos xx).
Note-se que os pontos se agrupam em uma banda, que vai do canto inferior esquerdo
para o canto superior direito, uma indicao de correlao positiva entre as duas variveis.
FIGURA DO EXERdao 6.1.C Grfico de Disperso Mostrando a Linha de Melhor Ajuste
&:I Chllrt Editor

Elle
.dlt
.ar
!iiew
Qptions
EJe.!!!ents
.,.,
!::!.elp
-,
100,00 .
80,00 .
60,00 .
0 000 GIl
o COOGO o
OO OOaloO;)
(j)
00
~ (I
oOo Cb
40,00 .
cP
oCb
(J
& 00
0011) o QJOOO o
cIIoOolIJOOJoo o
O cP=b0o Q) " cP o o o
c90 0 0'
8 cP
rPoCb
e ~OOO
CO &
0
o
o
.9 0 0
800 0% B 8 0 o 8
o
q.l'00Q
oo
0 li ~ 000 l:1 ~o o
0
o
'b o 8 li "0 '" 8 o
20,00 .
Ch 0 cfJ
'C o o
Cb J @ % o 0 r:9
ctl
00
0,00
0,00
20,00
(J
000
o
40,00
60,00
80,00
100,00
An.n..r/RHolver Problernu - P.rcentligem CoIfttII

~:375 . W:468 75 pOints
(continua)
78
o resultado do grfico de disperso (Figuras 6.1.8 e 6.1.C do exerccio) mostra

que o desempenho em resoluo de problemas matemticos tende a aumentar
medida que o desempenho na implementao de procedimentos matemticos
aumenta (e vice versa).
5. No resultado em SPSS, clique fora da rea do grfico. Grave o resultado selecionando Fil. - Sav. As: NAEA DATA ANALYS/SIMY SOLUTlONS, e d ao arquivo o
nome EXERClSE 6,1'spv'
Calcular um Coeficiente de Correlao e Avaliar a Sua

Significncia Estatstica
Esta seo mostra como calcular um coeficiente de correlao usando
o WesVar (exerccio 6.2). O objetivo determinar a magnitude da
relao entre o desempenho na implementao de procedimentos
matemticos (Impl-pc) e o desempenho na resoluo de problemas
matemticos (Prob-pc). Tambm necessria uma medida do erro
em tomo do coeficiente de correlao obtido para permitir testar se o
coeficiente de correlao difere significativamente de zero.
EXERClclO 6.2
Calcular um Coafldente d. Correlaio .m NfveI Nadonal

1. Abra o WesVar, e clique em Naw WasVar Workbook. Voc poder receber o
seguinte aviso: Before creating a new WorkbooJc.. you wi/l be asked to specify a Data
file that wifl be used as the default Data file for new Workbook requests. Nesse caso,
clique em OK.
2. Uma janela intitulada Open WesVar Data File for Workbook aparecer. Selecione o
arquivo de dados NAEA DATA ANALYS/SIMY WESVAR FILESlNATASSESS4. VAR.
3. Salve seu novo livro de exerccios em NAEA DATA ANALYS/SIMY WESVAR FILES\
CHAPTER 6 WORKBOOK.WVB. Clique em Workbook Titl. 1 (painel do lado
esquerdo) e escreva Chapter 6 ExarciHs (painel do lado direito).
4. Clique em Descriptive Stats. Realce Descriptive Request One (painel do lado

esquerdo) e escreva ExarciH 6.2 (painel do lado direito). Selecione OptionsOutput Control no painel do lado esquerdo. Certifique-se de que o nmero de
casas decimais para Estimates e Std. Error esteja estipulado como trs. Certifique-se tambm que Variable Name e Variable Label foram selecionados.
5. Selecione Correlations no painel do lado esquerdo. Ative Ust 1 (painel do lado
direito), e mover Solve--pc de SOUI'Cll Variables pam Ust 1. Ativar Ust 2, e mover
79
ImpLpc de Source Variables para List 2 (Figura 6.2.A do exerccio). Se desejar,

possvel acrescentar variveis adicionais a cada lista. Cada varivel em List 1 ser
correlacionada com cada uma de Ust 2.
FIGURA DO EXERCrCIO 6.ZoA Livro de Exerddos WesVar antes de Executar a Antillse de
Correlaio
1..,..1,@-.&:IiiiII
- (WesVar WorkBook - Chapter 6 Wor1o::book.wvb]
,o File Vi_
e, 1 ~ 1
Req uerts
Windows
QIill
Help
,. . 1O,1,1 ~ I~I oi -.1.J
13- Cho!lplel 6 Exercises
Exercise 6.2
1;1- Optiom
1,- Generated Statistics
1.- Output Control
Variables
Trantlaml!d Vo!Iri.!lbles
f-. COllelationt
INDEPEND
INTE GYC
JKINDlC
JK20NE
8,
list 1
SO LVE _PC
Soulce Varianles:
GENDER
Ana~sis
r
Im!
8 ..ill
LANGUAG E::
MATHPC
MAlHAS
~ r.
...ill
MATH$S
Ust 2
IMPl]C
MEAS_PC
NUMBER F
PII ~ Tf'r ....
<
6. Execute a anlise clicando em Green Arrow na barra de ferramentas.

7. Veja o resultado clicando no cone Opan Book na barra de ferramentas. Clique no
sinal + (mais) para expandir Correlations. Selecione Overall (Figura 6.2.8 do exerccio).
FIGURA DO EXERdclO 6.2.B Resultados WesVar: Comtlaio entre Resoluio de
Problemase Implementaio de Procedimentos Maternoiticos
\.c.ls
O' WuV. r Outpu1 FiIt for Chf.ptf r 6 fl'('$f$
Filf
V_
~ ~I
Help
0, o,1 ~I ".'IA I
s- -- 0\apteI 6 E: ~lIIcises
8-- E..,.CIfIe 6.2
-- V., ~
8- Car~,
L_mJ
~I<o ul
",J
?I
Ov-erlll
CareIati::JN
SOLVE_ PC vs. l MPL_ PC
U~ghl:ed
0.793
WeiH:ed
0.800
SE Weiojted
0.001
.
[jj
.
(continua)
80
8. Selecione Fila - Export - Single Fila - Ona Salaction - Export na barra do menu,
gravando o seu resultado em NAEA DATA ANALYSIS\My Solutions como
EXERC/SE6.Z.7XT.
9. Saia dos resultados WesVar, e salve o livro de exerccios WesVar selecionando
File - Save (ver passo 3 acima).
A figura do exerccio 6.2.8 mostra os coeficientes de correlao no ponderados e
ponderados entre Solve...,pc e Impl...,pc. Numa avaliao nacional, reportado o resultado
ponderado. Para determinar se a correlao de 0,800 estatisticamente significativa,
calcule uma estatstica conhecida por t dividindo a correlao pelo seu erro padro.
Neste exemplo, t igual a 0,800/0,007, ou 114,3. Uma tabela de valores de t~ revela
que, para 60 graus de liberdade (o nmero de rplicas Hjackknife" na anlise WesVar) em
um teste bicaudal ("two-tailed test necessrio um valor de tde 2,0 ou superior para
ter significncia estatstica (p < 0,05). Como 114,3 excede esse valor, possvel concluir
com elevado grau de confiana que improvvel que o valor de r seja zero. Como o
coeficiente de correlao positivo, possvel dizer que, em geral, medida que
aumenta o desempenho dos alunos na implementao de procedimentos matemticos,
o seu desempenho em resoluo de problemas tambm aumenta (e vice-versa).
H
),
a. Veja tabela de valores de tem um livro padro de estatrstica. Alternativamente, acesse http://suristatanu.
edu.aulsunstat-casa/tables/tphp para tabelas de valores de t uonline". Insira graus de liberdade (60) e
probabilidade (0,05) para o teste-t bicaudal (o grfico final). Clique na seta inversa para calcular o valor de t
requerido para significncia a nvel 0,05. Neste exemplo, 2.
REGRESSO
A regresso difere da correlao de vrias maneiras. Em primeiro
lugar, o modelo de correlao no especifica a natureza da relao
entre variveis. A regresso, por outro lado, modela a dependncia de
uma varivel em relao a outra ou outras variveis. Com base na
teoria ou pesquisa, os valores de uma varivel (a varivel dependente,
geralmente representada no eixo vertical [y], em um grfico) so considerados dependentes de valores de outra varivel (a varivel independente, geralmente representada no eixo horizontal [x]). Por
exemplo: podemos esperar que os resultados de um teste de leitura
dependam do tempo que um aluno dedique leitura por prazer.'
Em segundo lugar, na regresso, a relao funcional entre as variveis independente e dependente pode ser formalmente definida como
uma equao com valores associados que descreve quo bem a equao se ajusta aos dados. As informaes sobre o desempenho de um
ASSOCIAO ENTRE VARIVEIS: CORRELAO E REGRESSO
I 81
grupo de indivduos so usadas para especificar uma equao (conhecida como equao de regresso) supondo-se que a relao seja linear
(isto , uma alterao no valor de uma varivel ser semelhante para
todos os valores da varivel).
Os analistas podem precisar ir alm dessa forma de regresso ao
analisar dados de uma avaliao nacional. Abordagens mais sofisticadas, como modelao linear hierrquica (MLH), so geralmente mais
apropriadas para se levar em considerao a estrutura hierrquica ou
multinvel dos dados obtidos nesses estudos (vd. Raudenbush e Bryk
2002; Snijders e Bosker 1999). A MLH pode separar os efeitos das
variveis nos nveis da escola e do aluno. Por exemplo, se tivermos
dados sobre a situao socioeconrnica nos nveis da escola e do aluno,
ambos podem ser includos no modelo e apurados os efeitos de cada
um no desempenho do aluno. Um modelo de dois nveis tambm nos
permite identificar a proporo de varincia entre escolas e a proporo dentro das escolas que as variveis no modelo explicam. Da
mesma forma, um modelo de trs nveis (escolas, turmas, alunos) provdencia uma estimativa da proporo de varincia explicada por variveis no nvel da escola (tais como localizao e dimenso), no nvel
de turma (tais como caracteristicas do professor e recursos de sala
disponveis), e no nvel de aluno (tais como idade e ansiedade com a
matemtica). Os modelos multinvel so especialmente teis quando
a varincia entre escolas da varivel dependente grande (por exemplo, quando excede 5% da varincia total).
A modelao multinvel est alm do mbito deste volume. No
entanto, a forma de anlise de regresso que descrita oferece uma
introduo a alguns dos conceitos subjacentes modelao multinvel
e pode ser usada quando a modelao multinvel no for apropriada.
A equao de regresso, nos casos com uma varivel dependente, y,
e uma varivel independente, x, seguia seguinte:
y' = IX + bX + t,
onde
IX = intercepo (o ponto no eixo dos yy onde x zero)
b = gradiente ou inclinao da reta de regresso (o coeficiente de
regresso)
X = valor da varivel independente
82
= termo de erro (refletido nos residuais, ou diferenas entre valores
esperados e observados).3
A Figura 6.2 mostra a equao de regresso e a reta de regresso em
um grfico de disperso para duas variveis: x (independente) e y
(dependente).
A equao de regresso (a) indica se existe uma tendncia para os
valores de y (previsto) aumentarem ou diminuirem medida que os
valores de x (preditor) mudam, (b) pode ser usada para estimar ou
prever os valores de y a partir de valores conhecidos de x, e (c) estima
o valor de y quando o valor de x zero (ver exerccio 6.3).
A regresso descreve a relao entre duas ou mais variveis na forma
de uma equao. Isso torna possvel prever, por exemplo, o resultado
de um aluno baseado em um teste de desempenho a partir do que
conhecido sobre o contexto familiar do aluno ou outras variveis.
Em uma avaliao nacional tpica, muitas variveis esto
provavelmente correlacionadas de forma significativa com os resultados dos testes de matemtica, lingusticos ou de cincia. Nessa
situao, podemos usar regresso mltipla para quantificar a associao entre mltiplas variveis independentes e uma varivel
Reta de Regresso e Equao de Regresso em um Grfico de Disperso

12
11
10
9
8
>- 7
6
t 5
4
3
1.
Iy
6,1 + 0,73x I
2
1
-<>
-5
-4
-3
-2
-1
varivel x
83
CAIXA 6.1
Variveis da Regresso Padro

Uma nica varivel dependente (resultado), tal como desempenho na
leitura ou matemtica
Uma ou mais variveis independentes (explanat6rias), tais como tamanho

da turma, regio geogrfica, qualificaes dos professores, educao dos
pais, gnero dos alunos
dependente. Exemplos de variveis dependentes e independentes

que aparecem frequentemente em avaliaes nacionais so apresentados na caixa 6.1.
Implementar Regresso com Uma Varivel Dependente e Uma

Varivel Independente
A1l sees seguintes fornecem exemplos de como realizar anlises

usando regresso em WesVar e como interpretar o resultado. O
WesVar usado porque tem em considerao a complexa natureza da
amostra na avaliao (ver Captulo 3) ao avaliar nveis de significncia
(por exemplo, as diferenas resultantes do agrupamento de alunos em
escolas e turmas). O primeiro exemplo envolve o tipo mais simples
de regresso. Considera a associao entre uma varivel dependente,
desempenho em matemtica (Mathss), que varia de 88 a 400, e uma
varivel independente, nmero de livros em casa (Books), que varia
de "no tem livros" (O) a 120.
O programa de regresso linear do WesVar pede que voc selecione variveis independentes de duas listas: Class Variables e Source
Variables. A lista elass Variables inclui variveis categricas que tm
255 ou menos categorias de resposta, excluindo os valores em falta
(uma caracteristica do WesVar). A1l Source Variables so variveis
continuas. Algumas variveis aparecem em ambas as listas Class e
Source Variables. Um exemplo Books. Aqui, no entanto, tratamos
Books como uma varivel Source. Ver o exemplo no exercicio 6.3.
84
EXERClclO 6.3
Exacutlir uma RegntUio am w..Var, UrnII V...t6vellndapendente (Contfnua)
1. Abra o WesVar, e abra o livro de exerccios usado no exerccio 6.2, NAEA DATA
ANALYS/S\MY WESVAR F/LESICHAPTER 6 WORKBOOK.
2. Selecione Chapter 6 Exercises no painel do lado esquerdo, e clique em Regrellion
no painel do lado direito. Selecione Regression Request One (painel do lado
esquerdo). Introduza Exercise 6.3 (painel do lado direito).
3. Selecione Options no painel do lado esquerdo, e certifique-se de que Linear
esteja selecionado. Dentro de Options, selecione Generated 5tatisticsConfidence Interval. Dentro de Output Control, pr Estimat8S e 5td. Error com
trs casas decimais.
4. Selecione Models no painel do lado esquerdo. Arraste Mathll da lista Source
Vari4iiveis para a caixa rotulada Dependent. Essa a varivel dependente para a sua
anlise de regresso. (Se conseguir ver apenas uma ou duas variveis nas caixas do
painel do lado direito, mova o seu cursor para a margem inferior e arraste para baixo
para mostrar mais variveis.)
5. V caixa Source Variables e arraste 800b para o primeiro espao rotulado
Independent. Certifique-se de que a caixa Intercept esteja selecionada. Clique em
Add as New Entry (Figura 6.3.A do exerccio).
6. Execute a anlise de regresso (clique em Green Arrow na barra de ferramentas) e
abra o resultado (clique no cone Opan Book na barra de ferramentas). Expanda
Exereise 6.3, Models, e Mathss = Boob. Clique em Sum of Squares (Figura 6.3.8
do exerccio). O valor R2 (R_Square Valor) 0,099. Isso indica que Boob explicou
quase 10% da varincia nos resultados dos testes de desempenho em matemtica.
O valor R2 obtido dividindo a soma de quadrados do modelo (explicada) pela
soma de quadrados total.
7. Salve esse resultado como um arquivo de texto em MYSOLUTJONS usando
Rle - Export - Single File - One Selection. Use o nome de arquivo EXERClSE 6.3
SUM OF SOUARES.
8. Selecione Estimated Coefficients no arquivo de sada (Figura 6.3.C do exerccio).
Isso mostra a estimativa do parmetro ou a alterao de valor esperada associada
ao nmero de livros em casa do aluno. Aplicar a frmula descrita anteriormente,
yA"" a + bX, para calcular a relao ou associao entre nmero de livros e
desempenho em matemtica. No usar E nestes clculos.- Deve-se observar que X
representa o nmero de livros e b a inclinao da reta de regresso. O valor da
estimativa para os livros (0,515) indica que o aumento de um livro est associado a
um aumento de 0,515 pontos no desempenho em matemtica. O resultado
esperado em matemtica para um aluno que no tem livros o valor da
intercepob 225,196 ou, usando a frmula, 225,196 + O * 0,515. O resultado
esperado para um aluno com 10 livros 230,346 (225,196 + 10 * 0,515). Assim, ter
85
EXERClclO 6.3 (contlnuaFoJ

Livro de Exerccios do WesVar antes de Executar a Regresso
FIGURA DO EXERCrCIO 6.3.A
com Uma Varijyellndependente
r, o
[W~sVar
I "" E;I. _ y;~
B~qu!'rt~
Windows
-llell x
.!:!~Ip
~ ~ 1 0,1 ~1 ~J I~
-.1J
Clan VariableS":
IALGEB PCI61
ATTENTIO(5)
tE- Exercise 6.2
I=~
WorkBook Chapter 6 Wor1cbook.wvbj
Exercise 6.3
J-. Options
Models
MATHSS = BOOKS
! .. Bv
L.. Tests
S.
Oependent
Inde pe ndenl
Inlercepl p""
Stnd_ Coef. r
Source VariableS":
IAGE
AGEDAY5
**1 IFunctions .=J

IMAIHSS
BOOKS
--
r Df=1
r.-
Of in data file = SO
Add as New Enlr,
I'C ---- Rei:!lace-Ci.iiii:ii[Eii1il
I
::1
Resultado da Regresso em WesVar. Uma Varivel

Independente: Soma de Quadrados e Valor de R2
t- IDI2!J
_ WesVar Output File for Chapter 6 Exercises

File Vi_
~
B
oi),
Htlp
Chapt~
0" 1e,.1 ~I"'- I
AI
ISI
'<lI1",1 ~
Iii-- E>:erci$e 6.2

8-- E ~erclte 6.3
- --- lo1 odeh
e- -~ MATHSS .BOOKS
~.~. FI' ui.;'
1-- Evrn.,ted :le/licienls
t'
li! IM
1.._.._. COIleI.!too Mdrll<
L~.~. TeU;
?j
SUM DF SDUAAES ANO RSDUAflE
6 E.eo-Clsl!S
I
MODt:.L :
ERROR :
TOTM :
R_SQUARE VALUE :
12735420 . 969
1. 16Se +Oe
1 . 293!'+O6
0 . 099
10 livros em casa est associado a um aumento de cinco pontos no desempenho

em matemtica. O resultado mdio para Sooles 48.2.c Assim, o resultado
esperado em matemtica para um aluno com o nmero mdio de livros em casa
(continua)
86

FIGURA DO EXERClcIO 6.3.C Resultado da Regresso em WesVar, Uma Varivel
Independente: Coeficientes Estimados
o.n~
O.OU
1I .U9
0.000
0. 42 ~
0.lO
de 225,196 + 0,515 '" 48,2, ou 250,019, que est muito prximo da mdia geral
registrada dos resultados em matemtica, que de 250,0.
Os valores de t na figum do exerccio 6.3.C so calculados dividindo cada
estimativa pelo seu erro padro. O valor de t uma medida da significncia estatstica e testa a probabilidade de o verdadeiro valor do parmetro no ser zero. Pam
Boob, o valor de t 11,449 e o valor de probabilidade (p) (Prob>lT1) zero ou
prximo de zero (0,000). Isso indica que existe uma probabilidade muito pequena de
o verdadeiro valor do parmetro Booles ser zero. O intervalo de confiana em 95%
em torno de um parmetro estimado aproximadamente adicionando duas vezes o
seu erro padro ao parmetro e subtmindo duas vezes o seu erro padro. Assim,
aps arredondamento, o intervalo de confiana em 95% para Booles de 0,425 a
0,605 (0,515 2 '" 0,045). Existe 95% de certeza de que a estimativa pam o valor
Booles na populao fica entre 0,425 e 0,59. (Esses valores so quase idnticos aos
apresentados na Figura 6.3.C do exerccio.)
9. Salve o resultado em MY SOLUTlONS usando File - Export - Single File - One
Selec:tion. Use o nome de arquivo EXEROSE 6.3 ESTJMATES.TXT.
10. Seguidamente, a "adequao de ajuste" do modelo estatstico, que estima o valor
de Mathss com base nos dados de uma varivel independente, Booles, importante.
Selecione Tests (Figum 6.3.D do exerccio). Observe que o ajuste gemi do modelo de
regresso estatisticamente significativo (primeira linha); a probabilidade de obter
um valor Fd de 131,080 aproxima-se de zero (0,000). Isso significa que o modelo de
regresso obtido contendo Boou estatisticamente diferente de um modelo que
no inclui esta varivel. A linha seguinte na figura do exerccio 6.3.0 apresenta dados
idnticos. Confirma que um modelo contendo Booles , de forma estatisticamente
significativa, diferente de um modelo sem variveis independentes (o modelo nulo).
Em termos de polticas, essa concluso indica que o nmero de livros em casa est
relacionado com os resultados de desempenho do aluno em matemtica.
11. Salve o resultado em MY SOLUTlONS usando File - Export - Single File - One
Selec:tion. Use o nome de arquivo EXERClSE 6.3 TESTS.TXT.
ASSOCIAO ENTRE VARIVEIS, CORRELAO E REGRESsAO
87
EXERCfClO 6.3 (...nlinua~)
FIGURA DO EXERCrCIO 6.3.D
Resultado da Regresso em WasVar. Uma Varivel
Independente
ijl -- E~6_2
8 -
ElOefOIe 6.3
8-
totodels
MATHSS _8001(5
----
131.080
131.0eo
S..... ofS~'n
EtlilMled CoeffieienI*
- CortdaIion Ma/JII
--112
..
"
"
0.000
0.000
12. Volte ao seu livro de exerccios (por meio do cone Opan Door na barra de ferramentas). Selecione File - Save e depois File - Close. O seu livro de exerccios deve ficar
gravado em NAEA DATA ANALYS/SIMY WESVAR F/LESICHAPTER 6
WORKBOOK
a. Isso acontece porque os erros positivos e negativos cancelam-se mutuamente.
b. A intercepo a estima o valor mdio de y (matemtica, neste caso), quando X (nmero de livros
em casa) - O. O valor de a o ponto em que a reta de regresso intercepta o eixo dos yy.
c. Para este clculo, selecione Descriptives em WesVar, e mova Boob de Source Variables para 5elec:ted,
como descrito no exerefcio 3.1.
d. A estatstica F, que deve ser usada quando mais do que duas variveis so comparadas. testa a
significncia das diferenas entre mdias.
A regresso pode ser usada com variveis categricas, assim como

com variveis contnuas. No exemplo do exercco 6.4, a varivel
independente Region. Lembre-se de que, no Captulo 4, foi estabelecido que os alunos na rea Metropolitana tinham um desempenho
ligeiramente melhor do que o dos alunos nas outras trs regies de
Sentz (exerccio 4.2). Vale observar que, quando uma varivel categrica, tal como Region selecionada como a varivel independente em
uma anlise de regresso, uma srie de variveis deve ser criada para
indicar a regio na qual a escola de um aluno est localizada. O WesVar
cria uma srie de variveis fictcias, cada uma correspondendo a uma
nica regio, que esto codificadas com I ou O, dependendo de se o
aluno pertence ou no regio. Por exemplo, quando o WesVar cria
uma varivel fictcia Northwest, todos os alunos que frequentam a
escola nessa regio so codificados com I, e os alunos em cada uma
das outras trs regies so codificados com O. De forma semelhante, os
88
alunos nas escolas na rea Metropolitana seriam codificados com 1 na

varivel fictcia Metro, e os alunos em cada uma das outras trs regies
seriam codificados com O. O mesmo se aplica a alunos nas Terras Altas
Orientais. A regio ou categoria final, que conhecida por categoria de
referncia e no codificada separadamente, est includa na anlise.
No exemplo do exerccio 6.4, onde Region a varivel categrica (de
classe), o desempenho dos alunos em cada uma das trs primeiras
regies (Noroeste, rea Metropolitana, Terras Altas Orientais) comparado com o dos alunos na quarta regio (Costa Sudoeste).
EXERClclO 6.4
Execubir a Regreuio em WesVar, UIIIII Varivel Independente (c:.tegrica)

ANALYSISIMY WESVAR F/LESlCHAPTER 6 WORKBOOK.

2. Selecione Chapter 6 Exereises (painel do lado esquerdo), e clique em Regression
(painel do lado direito). Selecione Regression Request Two (painel do lado
esquerdo). Escreva Exercise 6.4 (painel do lado direito). Sob Options - Generated
Statistics, selecione Confidenca Interval. Sob Options - Output Control, defina o
nmero de pontos decimais para estimativa e erro padro como trs casas decimais.
3. Selecione Moda" no painel do lado esquerdo.
4. Arraste Mathss da lista Source Variables para a caixa rotulada como Dependent no
painel do lado direito. Esta a varivel dependente para a sua anlise de regresso.
5. V para a caixa Cass Variables e arraste Region[4] para baixo, para a linha da
primeira varivel independente. Certifique-se de que a caixa Intercept esteja
selecionada. Clique em Add as New Entry. Aqui, Region[4] retirada da lista Cass
Variables por ser uma varivel categrica (porque cada aluno foi includo em uma de
quatro regies).
6. Execute a anlise de regresso (clique em Green Arrow na barra de ferramentas), e
abra o resultado (clique no cone Open Book na barra de ferramentas). Expanda
Exareise 6.4, Modals, e Mathss = region[4]. Selecione Sum of Squares no painel do
lado esquerdo. O valor de R2 0,054. Isso indica que Region[4] explicou ou justificou
5% da varincia nos resultados dos testes de desempenho em matemtica.
7. Clique em Estimated Coefficients no painel do lado esquerdo.
So dadas as estimativas dos parmetros para trs das quatro regies (ver
Figura 6.4.A do exerccio). A estimativa dos parmetros para a regio de referncia
a intercepo (25',248).1550 corresponde ao resultado mdio na Costa Sudoeste no
exerccio 4.2. A estimativa dos parmetros para Region.1 (Noroeste) -17,898
ASSOCIAO ENTRE VARIAVEIS, CORRELAO E REGREssAO
89
EXERClclO 6A (contlnua~)
FIGURA. DO EXERCfclO 6.4.A Resultado da Anl1ilise de R_granio em WasVar: Varivel
Independente Categ6rica
"
.',~
....
'.
B -
Iotodob
MAT HSS .REGIDNj4!
5""'015_..
I'::::
E'-od~. IR!
Cor,_Iot_
0.011
0 .'"
-26.~U
8.8~1
l.no
26.2U
-12 . 041
1.716
TC$l,
(isto , 17,898 pontos abaixo da categoria de referncia). Assim, o valor esperado de
um aluno com desempenho mdio no Noroeste 233,350 (251,248 -17,898). Isso

corresponde ao resultado mdio estimado para o Noroeste no exerccio 4.2. O valor
esperado de um aluno com desempenho mdio na rea Metropolitana (Region.2)
265,735 Osto , 14,487 pontos acima do de um aluno na regio de referncia).
Finalmente, o valor esperado de um aluno com desempenho mdio nas Terras Altas
Orientais (Region.3) 249,108, que est 2,140 pontos abaixo da regio de referncia. O valor de t no significativo associado estimativa de parmetros para as Terras
Altas Orientais (ProblTI "" 0,667) indica que -2,14 no significativamente diferente
de zero e, consequentemente, o desempenho de um aluno mdio nesta regio no
, de forma estatisticamente significativa, diferente do de um aluno mdio na regio
de referencia (Costa Sudoeste).
8. Salve esse resultado como arquivo de texto em MY SOLUTlONS usando
File - Export - Single File - One Selec:tion. Use o nome de arquivo EXERClSE 6.4
ESTIMATES. TXr.
a. Este nmero pode variar. Por exemplo. se j tiver executado uma regresso e a tiver apagado. o nmero
ser superior.
Implementar Regresso Mltipla com Uma Varivel Dependente

e Duas ou Mais Variveis Independentes
Nesta seo, descreve-se o efeito que aumentar o nmero de variveis

independentes tem na explicao ou justificao dos resultados do
teste de matemtica. Trs variveis independentes so consideradas:
Books, o nmero de livros em casa de um aluno, uma varivel
discreta
Distance, a distncia em quilmetros entre a casa e a escola de um
aluno, uma varivel contnua
90
Parented [6], o mais elevado nvel de educao alcanado por cada

um dos pais, uma varivel categrica com seis categorias: 1 = sem
educao formal; 2 = anos de escolaridade 1-3; 3 = anos de escolaridade 4-6; 4 = anos de escolaridade 7-9; 5 = ensino secundrio; e
6 = grau acadmico
As intercorrelaes entre as variveis independentes devem ser

examinadas antes de executar uma regresso. particularmente
importante a multicolinearidade, que emerge quando duas ou mais
variveis independentes esto fortemente correlacionadas. Quando
isso acontece, os erros padro das regresses aumentam, tomando
mais difcil a avaliao do papel nico de cada varivel independente
na explicao do desempenho.' O exerccio 6.5 mostra como os coeficientes de correlao podem ser estimados em WesVar.
EXERClclO 6.5
Calculer Cotrfici.-. d. Correlao
ANALYSIS\MY WESVAR FILESICHAPTER 6 WORKBOOK.
2. Selecione Chapter 6 Exercises (painel do lado esquerdo), e clique em Descriptive
Stats (painel do lado direito). Selecione Descriptive Request Two no painel do lado
esquerdo, e escreva Exerc5e 6.5 no espao no painel do lado direito.
3. Selecione Options - Output Control, e defina o nmero de casas decimais para
Estimates e 5td. ErTOr como trs casas decimais.
4. Selecione Correlations (painel do lado esquerdo). Selecione List 1 (painel do lado
direito). Mova trs variveis, Books, Distance, e Parented, para List 1.
5. Execute correlaes (clique em Green Arrow na barra de ferramentas). Abra o
resultado (clique no cone Open Book na barra de ferramentas). Selecione e
expandir Exerci.. 6.5 no painel do lado esquerdo. Selecione Correlations - averall.
Os dados de sada na coluna Weighted (Figura 6.5.A do exerccio) mostram que
no existem dados de multicolinearidade, visto que nenhuma das correlaes se
aproxima de 0,80 (veI. Hutcheson e Sofroniou 1999). A correlao negativa entre
Books e Distance (-0,077) indica que medida que a distncia entre casa e escola
tende a aumentar, o nmero de livros em casa de um aluno tende a diminuir. A
correlao entre Books e Parented (tratada aqui como uma varivel contnua) de
0,331. Isso indica que nveis mais elevados de educao parenta I esto associados a
um maior nmero de livros em casa.
ASSOCIAO ENTRE VARIAVEIS, CORRELAO E REGREssAO
91
EXERClao 6.5 (contlnuaFoJ
FIGURA DO EXERCfclO 6.5.A Resultados de ColTela6es entre VarIveis Independentes
$--- Exercise &2

$-'.'- Exercise 6.3
$ '---- Exerclse6. 4
-. " Eu-rlse &5
L _ ... Val~bles
Correlations
_..
V~ .
DIS!ANCE
V~ .
PARElfIED
I.",n.",, V~ .
PARENTE!
-0 . 111
0 . 024
0 . 345
-0 .134
0 . 026
- 0. 11 5
0 . 020
' -~mJ
6. Salve esse resultado como um arquivo de texto em My Solutions usando

File - Export - Single File - One Seledion. Use o nome de arquivo EXERClSE 6.5
CORRELATIONS. Feche o seu livro de exerccios WesVar usando File - Save e
File - Close.
Como as trs variveis no esto muito intercorrelacionadas, pode

agora executar uma regresso com uma varivel dependente (Mathss)
e trs variveis independentes (Books, Distance, Parented [6])
(exercicio 6.6).
Em resumo, os dados mostram que um modelo com trs variveis
independentes (Books, Distance, Parented [6]) explica 24% da variao no desempenho em matemtica. O modelo sugere uma associao positiva entre o nmero de livros na casa de um aluno e o
desempenho em matemtica, mesmo aps levar as outras duas variveis em considerao. Tambm sugere que o nvel de educao parenta! est associado ao desempenho do aluno em matemtica; os alunos
com pais com um nvel educacional mais elevado tendem a ter resultados esperados mais altos do que os alunos com pais com nvel mais
baixo, levando em considerao os outros dois fatores (nmero de
livros e distncia). Finalmente, o modelo indica uma associao negativa entre a distncia da escola e o desempenho em matemtica,
levando em considerao o nmero de livros e a educao parenta1,; os
alunos que vivem mais longe da escola tendem a ter piores resultados
do que os alunos que vivem perto da escola.
92
EXERClclO 6.6
Executlir e RegntUio em w..Ver, Mels Do Que Uma V.lw.llndependente

1. Abra o livro de exerccios WesVar CHAPTER 6 WORKSOOK que foi gravado em MY
WESVAR FILES (usado pela ltima vez no exerccio 6.5).
2. Selecione Chapter 6 Exercices (painel do lado esquerdo), e clique em Regrusion
(painel do lado direito). Selecione Regression Request Three (painel do lado
esquerdo). Escreva Exarci_ 6.6 (painel do lado direito).
3. Em Optians - Output Contrai, definir Estimates e Std. Errar com trs casas
decimais. Clique em Models (painel do lado esquerdo).
4. Arraste Mathss da lista 50urce Variables para a caixa rotulada como Dependent.
5. V para Saurce Variable. e arraste 80ab e Diltance para a lista de variveis
independentes de modo que haja uma varivel em cada linha. Depois v caixa
Class Variables e arraste Parented [6] para a linha da terceira varivel
independente.6. Certifique-se de que a caixa Intarcept (painel do lado direito) esteja selecionada.
Clique em Add as New Entry (painel do lado direito) (Figura 6.6A do exerccio).
Execute a anlise de regresso (clique em Green Arrow na barra de ferramentas).
7. Veja o resultado (clique no cone Opan Book na barra de ferramentas). Expanda
Exercise 6.6 (painel do lado esquerdo) at ver Sum of Squares. Isso mostra que o
novo modelo de trs variveis justifica 24% da varincia no desempenho em
matemtica (R2 = 0,242). Isso uma melhoria do modelo anterior, em que Boob,
como uma nica varivel independente, justificava apenas menos de 10% da
varincia no desempenho em matemtica (veI. Figura 6.3.8 do exerccio).
8. Salve o resultado da figura do exerccio 6.6.8 selecionando File - Export - Singla
File One Selection - Export as My So/utionslEXERC/SE 6.6 SUM OF SQUARES.
9. Selecione Estimated Coefficients no arquivo resultante (painel do lado esquerdo,
expandindo medida da necessidade). O resultado d estimativas dos parmetros
de Intercept, Boob, Distance, e cinco dos seis nveis de Parented. Observe que
todos os parmetros no modelo so estatisticamente significativos; o valor de
Prob>ITI) zero ou prximo de zero. Isso indica uma probabilidade muito baixa de
qualquer dos parmetros ser zero.
10. A estimativa do parmetro para Intercept 278,909. Isso corresponde ao resultado
esperado de um aluno que no tem livros (Boob) em casa, que vive a distncia
(Distance) zero da escola (zero quilmetro), e que tem pelo menos um dos pais com
o mais elevado nvel educacional (Parented.6, a categoria de referncia para
Parented [6]). A estimativa do parmetro para Books 0,309. Esse o incremento
em desempenho associado a um livro adicional em casa. Assim, um aluno com o
nmero mdio de livros (8oab) em casa (48,191), que vive a menos de um quilmetro da escola, e que tem pelo menos um dos pais com um grau acadmico teria um
93
EXERCIClO 6.6 (continuao)
FIGURA DO EXERCfClO 6.6.A Tela do WesVar antes de Executar Regresso com Mais de Uma
Varivel Independente
Qt
- [WesVllr Woridlool< - CHAPTER 6 WQRK800K.wvbj
<& File
Request$
Vitw
Windows
Help
8 Chapter 6 E ~ercises
1ft- Exercise 6.2
lf1" Exercise 6.3
til EXel~e 6.4
til- Exercise 6.5
[ Ia n Va.iables:
ALGEB_Pq61
ATTENTIOl51
BEHAVEI51
BOOKlfTl41
BOOKS[1 21]
E xer~e6. 6
Souce Vafiables:
n
UI
AGE
AGEDAYS
ALGEB_PC
ATTENTlO
[;l
BEHA\IE
EI Optiont
r-- Oulput
Genl!lllled StatistiCt
COOrol
EI Modeb
ill MATHSS BOOKS DISTANCE PARENTED[6j
Dependenl JMAT HSS

Independenl
Inte,ce pt P'
Stnd. [od. r
r
r.
r,8~O~O~KS
;---------
DISTANCE
PAAENTED[6[
Df. rOI in data file a 60
Add a I Ne .. Enll,
Ae place Cw,ent E... "
FIGURA DO EXERCfClO 6.6.B Resultado da Regresso em WesVar, Mais de Uma Varivel

Independente: Soma de Quadrados
~ _.--- E ~ereise
6.2
lfl---- Exercise 6.3
'ii---- ExerciseG.4
00-'--- Exercise 6.5
8-,-,,- Exercise 6.6
...-.. Model!
EI _o. MATH SS " BODKS DIS 1A1 iR__ '0""", VJ\LU>:

i . IIM
~--!
.
..
Esbmated Coe/frererts
,._ - CorrelatQ1 lotalllx
..-FI' ui9l
r-'-
l __ ._ Tesl:$
<
resuitado estimado de 278,909 + (0,309' 48,191) + (-5,620' O), ou 293,800.

(Observe que Parented [6] tem peso zero neste clculo porque a categoria de
referncia.)
11. A estimativa do parmetro para Distance -5,620. O sinal negativo significa que os
resultados esperados dos alunos em matemtica decrescem quanto mais longe da
(continua)
94

escola. A distncia mdia da escola 4,257 quilmetros. b Ento, o resultado
esperado em matemtica para um aluno que vive a 4,257 quilmetros da escola, que
tem zero livros em casa, e que tem pelo menos um dos pais na categoria de
referncia de Parented [6[, de 278,909 + (-5,6204,257) + (0,309 O), ou
254,985.
12. As estimativas dos parmetros so providenciadas para cinco nveis de Parented [6].
Tal como observado anteriormente, Parented.6 (pelo menos um dos pais tem grau
acadmico), a categoria de referncia, o mais alto nvel de educao parental. As
estimativas negativas dos parmetros esto associadas a nveis mais baixos de
educao parental. Por exemplo, a estimativa do parmetro para Parented.2 (anos
de escolaridade 1-3 completados) de -30,156 (veJ. Figura 6.6.C do exerccio).
Assim, o resultado esperado de um aluno que no tem livros em casa, que vive ao
lado ou muito perto da escola, e que tem pelo menos um dos pais com o ano de
escolaridade 3 (Parented.2) 278,909 - 30,156, ou 248,753.
13. De forma semelhante, pode gerar resultados esperados para os alunos que tenham
diferentes nmeros de livros em casa, que vivam a diferentes distncias da escola, e
que tenham pais com diferentes nveis de educao. Assim, o resultado esperado
para um aluno que tenha 50 livros (Books) em casa, que viva distncia (Distance)
de 5 quilmetros da escola, e cujo mais elevado nvel de educao parenta I corresponda aos anos 7-9 (Parented.4) igual a 278,909 + (0,30950) + (-5,6205) +
(-15,615), ou 250,644.
14. Salve o resultado em MY SOLUTIONS usando File - Export - Single File - One
Sel.dion. Use o nome de arquivo EXERClSE 6.6 ESTIMATES.TX.T.
15. Selecione Tests no resultado. ~ possvel ver aqui (primeira linha da Figura 6.6.D do
exerccio) que o ajuste global do modelo de regresso estatisticamente significativo, com a probabilidade de obter um valor de F de 134,636 aproximando-se de zero
(0,000). Isso significa que pelo menos uma das variveis 8ooks, Distance ou
FIGURA DO EXERdcIO 6.6.C
Resultado da Regresso em WesVar, Mais Do Que Uma
Varivel Independente: Coefidentes Estimados
,_o
[_63
$-[_65
9-- [ _ 6 6
e- e
..... ' MSS _8OOI\S

s.,.,<fS_
M4t.it Vi
,-
~-
0.'01
O.OU
1.IU
0.000
0.221
O.IH
-5.tlO
0.110
-".101
0.000
-'.210
-~ . OOI
H.U~
'.111
'.15J
Io.tn
0.000
+~I.OOI
-)f.21!
_10. lU
_1.121
0.000
-21.ell
l.tll
-'.eu
0.000
3.00'
2. TU
_. u,
0.000
-l ""
_22.123
0.000
_n.'"
......
_U.IU
_,."'
_lI.'"
_21 ... 1
-IO.tll
1 . 01
_1.0.2

FIGURA DO EXERCrCIO 6.6.D
Resultado da Regresso em WesVar. Mais Do Que Uma
Varivallndependente: Teste de Ajuste do Modelo

I
1Jl-
E><ercl$e6.2
IE- - E_c ... 6,3
IE-- E_c ... 6. 4
Iil--- E>:efclSe 6.5
8-- E><erclSe 66
e--
50.993
329 . 1B7
Model:
MATHSS _80 m:s
26. i73
9--
---
134.636
S.."ofS~
"
"
"
"
0.000
0.000
0.000
0.000
--- Eotmded CoetIieient.

--- Carreloticn Matro<
---1I!I!l
>
>
Parented [6] estatisticamente significativa. Os valores de p para 8aab, Distance e

Parented [6] mostram que, para cada uma destas variveis, o coeficiente de
regresso difere significativamente de zero, aps controlar para os outros. Por
exemplo, Distance estatisticamente significativa mesmo depois de considerar os
efeitos de 800b e Parented [6].
16. Salve esse resultado como um arquivo de texto em My Solutions usando
File - Export - Single File - One Selec:tian. Use o nome de arquivo EXEROSE 6.6
TESTS.TXT.
17. Volte ao seu livro de exerccios (por meio do cone Exit Door na barra de ferramentas). Selecione File - Save e depois File - Close. O seu livro de exerccios deve ser
gravado em NAEA DATA ANALYSISIMY WESVAR FlLESlCHAPTER 6
WORKBOO/C
a. Vale ressaltar que Parented tambm aparece na lista Source Variables Neste exemplo, no entanto,
deve-se selecionar Parented [61 da lista CIa. Variables porque tratado como uma varivel categrica em
uma regresso.
b. Para este clculo, selecione Descriptivas em WesVar, e mover Dlstance de Source Variabl81 para
Selected, de acordo com o procedimento apresentado no exerdcio 3.1.
95
96
CORRELAO E CAUSALIDADE
Na maioria das avaliaes nacionais, so obtidas informaes sobre

uma gama de variveis pessoais e situacionais em questionrios preenchidos por alunos, professores e (algumas vezes) pais. As variveis so
geralmente selecionadas com a convico de que esto relacionadas
com o desempenho do aluno (apoiadas por pesquisa ou no). Os formuladores de polticas tambm podem incluir variveis para orientar
a escolha de intervenes feitas para melhorar o desempenho do
aluno.
A associao entre uma varivel de contexto e o desempenho do
aluno pode ser representada em uma correlao. A concluso de que
as variveis esto correlacionadas (at fortemente) em uma avaliao
nacional, no entanto, no significa que uma varivel seja a causa de
outra. H vrias razes para afirmar isso. Em primeiro lugar, a maioria
das avaliaes nacionais de natureza transeccional. Os dados relacionados com fatores de contexto e desempenho so recolhidos ao
mesmo tempo. Assim, a sequncia temporal entre eventos, na qual a
causa antecede o efeito, que normalmente requerida para apoiar
uma inferncia de causalidade, no estar presente. Esse problema
pode ser contornado quando algumas variveis de contexto descrevem eventos passados (por exemplo, a quantidade de tempo despendido para ensinar uma rea do currculo). Esse assunto tambm
abordado nos raros casos em que os dados sobre os alunos so recolhidos em momentos diferentes. Levar em conta as caractersticas dos
alunos em uma fase anterior das suas carreiras educacionais (inclUindo
desempenhos anteriores e dados de contexto) ir fortalecer as inferncias que podem ser feitas com relao aos efeitos das suas experincias escolares (Kellaghan, Greaney e Murray 2009).
Um segundo problema na identificao de relaes causais em uma
avaliao nacional que os fatores que afetam o desempenho do
aluno so complexos e inter-relacionados. Uma vasta literatura identificou uma extensa gama de fatores associados ao desempenho,
incluindo caractersticas pessoais dos alunos, famlia e fatores da
comunidade, e prticas de instruo de professores a titulo individual.
As anlises estatisticas em que uma nica varivel est relacionada
com o desempenho iro no apenas falhar no reconhecimento dessa
I 97
complexidade, mas tambm resultar em uma concluso enganadora.

Um exemplo simples servir para ilustrar esse ponto. A concluso de
que os alunos de escolas privadas tm niveis superiores de desempenho aos dos alunos de escolas pblicas pode ser interpretada como
significando que a educao dada nas escolas privadas superior
dada nas escolas pblicas. No entanto, tal concluso necessitaria ser
modificada se as medidas de outros fatores, como o nvel de desempenho dos alunos quando se inscreveram na escola ou as circunstncias
da sua casa (por exemplo, o nvel socioeconmico dos pais), fossem
includas nas anlises.
A complexidade dos fatores que afetam o desempenho do aluno
abordada na anlise de regresso mltipla quando os "efeitos" de uma
varivel so isolados pela remoo ou ajuste sistemticos dos "efeitos"
de outras variveis. Uma inferncia relacionada com a causalidade
reforada se, aps o ajuste, forem encontradas relaes significativas.
Uma variedade de mtodos de regresso mais elaborados (cuja descrio ultrapassa o mbito do presente trabalho), nos quais os padres
de correlaes entre as variveis preditoras e resultantes so examinados para identificar vias causais, serve para fortalecer ainda mais as
inferncias referentes causalidade. Esses mtodos so concebidos
para identificar variveis que podem ser consideradas moderadoras,
que afetam a direo e a fora da relao entre variveis de critrio e
independentes (por exemplo, gnero, idade, situao socioeconmica), e mediadoras, que explicam como ou por que razo os efeitos
acontecem (Bullock, Green e Ha 2010).
Mesmo os mais sofisticados mtodos de anlise, no entanto, falham
ao lidar com outro problema que surge ao inferir causalidade com
base em dados obtidos em um estudo transversal (como a avaliao
nacional). Por exemplo, pode no haver dados disponveis sobre informaes importantes, frequentemente incontrolveis e obscuras que
provavelmente afetam o desempenho do aluno. Este assunto s pode
ser abordado em concepes de pesquisas randomizadas e controladas, nas quais a influncia direta de uma condio sobre a outra
estudada depois que todas as outras causas possveis de variao so
eliminadas.
Apesar de as inferncias causais baseadas em dados de avaliaes
nacionais serem problemticas, a informao relacionada com
98
correlatos de desempenho revelada em uma avaliao ainda pode ter

valor pragmtico. Os dados recolhidos em uma avaliao relacionada
com, por exemplo, gnero, localizao ou pertencimento a um grupo
tnico podem agir como sinais importantes, identificando reas problemticas no sistema educacional que merecem ateno na formao de politicas, possivelmente apontando para interveno ou ao
de correo. Determinar a natureza de tal interveno ou ao de
correo, no entanto, requer a considerao de condies e recursos
locais, o envolvimento das partes interessadas, e a considerao de
relevantes descobertas de investigao (vd. Kellaghan, Greaney e
Murray 2009).
NOTAS
1. Se a etiqueta de uma varivel Omplement - Percent Correct) aparece na
coluna da esquerda de Simple Scatterplot em vez do nome da varivel
Ompcpc), selecione Cancel e depois selecione Edit - Options - GeneralVariable Lists - Display Names - Apply - OK (mensagem) - OK.
2. Trocar os dois resultaria em diferentes retas de melhor ajuste. Isto , a reta

que melhor calcula y a partir de x no a mesma que melhor calcula x a
partir dey.
3. O termo de erro ou "rudo" reflete o fato de fatores alm daqueles includos
no modelo de regresso influenciarem a varivel dependente.
4. Ao preparar-se para executar uma regresso, o analista deve tambm
procurar pontos isolados ou resultados extremos de uma varivel (vd.
Captulo 2), porque esses podem distorcer os resultados. Tambm
importante determinar se algumas das variveis na equao de regresso so
altamente assimtricas. Os pontos isolados ou resultados extremos podem
contribuir para distores de parmetros e estimativas estatisticas.
CAPiTULO
APRESENTAO DE
DADOS UTILIZANDO
DIAGRAMAS E
GRFICOS
"Uma imagem vale mais do que mil palavras."

provvel que mutos leitores de relatrios de avaliao nacional compreendam mais facilmente os dados quando os mesmos so apresentados na forma de um diagrama ou grfico do que quando apresentados
em formato de tabela. Os captulos anteriores continham grficos de
disperso, histogramas e diagramas de caixa produzidos por programas
de computador durante diversas anlises. (por exemplo, o exerccio 6.1
demonstrou como o SPSS constri um grfico de disperso.) Este captulo fornece exemplos de uma srie de abordagens grficas para preparao e apresentao de resultados de avaliao nacional. Concentra-se
em diagramas e grficos de linha que podem ser produzidos em Excel e
podem ser construidos e colados em um relatrio de avaliao nacional.
A medida que se familiariza com estas tcnicas, vai-se deparando com
software adicional que pode ser utilizado para apresentar os dados de
forma pictrica. Os diagramas e os grficos no se destinam a substituir
as tabelas. Apresentam os dados de maneira diferente. Se includos em
um relatrio, as tabelas correspondentes - as tabelas de dados em que
os diagramas e os grficos baseiam-se - tambm devem ser includas,
quer no corpo do texto quer em um anexo (por exemplo, um anexo
eletrnico). Os grficos da seo seguinte so bidimensionais (2-D).
99
100
I ANLISE DE DADOS DE UMAAVAlJAO NACIONAL DE DESEMPENHO EDUCACIONAL
DIAGRAMAS
Um grfico de colunas tem barras retangulares verticrus de comprimentos

geralmente proporcionrus s frequncias que representam. possvel,
por exemplo, utilizar um grfico de colunas para comparar as populaes
em quatro regies ou as pontuaes mdias dos alunos em diferentes
tipos de escola em uma rea curricular especifica. No exercicio 7.1, os
dados sobre os nveis de aptido dos alunos em matemtica so apresentados na forma de um grfico de colunas, onde a altura da barra indica a
percentagem de alunos por nvel. Os dados baseiam-se em uma avaliao nacional que reportou resultados utilizando cinco nveis de aptido
(nveis 1-4 e abaixo do nvel 1). O procedimento para a criao de um
grfico de colunas em Excel tambm est descrito no exercicio 7.1. 1
Tambm possvel reportar a percentagem de alunos por nvel de
aptido por regio de determinado pas. Desta vez, os dados regionrus
sobre os nveis de aptido sero representados por um grfico de
barras (ver exercco 7.2), que muito semelhante a um grfico de
colunas, s que representa os dados na horizontal.
EXERClclO 7.1
Desenho de um Grilico de Colun.. pare Mostrer o Desempenho por Nvel de
Aptidio, Dados Nacionais

1. Organize os dados em uma folha Excel (figura do exerccio 7 .1.N. Copie os seus
dados de uma tabela existente, ou simplesmente digite os dados em uma folha Excel.
FIGURA DO EXERCrCIO 7.1.A
Percentagens de Alunos em
Cada Grupo de Desempenho
NIv.1
P.. centligem de ..... Il0l
Abaixo do nvel 1
19,8
Nvel 1:
20,4
Nvel 2:
23,6
Nvel 3:
19,2
Nvel 4:
17,1
APRESENTAO DE DADOS UTILIZANDO DIAGRAMAS E GRFICOS
101
EXERCfclO 7.1 (continuao)
2. Realce os dados (figura do exerccio 7.1.A). Na barra de menus, selecione Insert e

Column (Figura do exerccio 7.1.8) .
3. Selecione 2-0 Column e Custem Column - o primeiro grfico de colunas. Para
denominar o eixo (y) vertical, coloque o cursor esquerda onde se veem os valores
(O a 25) e clique com o boto direito do mouse. Na barra de ferramentas, selecione
Chart lools (parte superior da tela) - Layout - Axis Titles Primary Vertical Axis
Title - Rotated Trtle. Clique na caixa ao lado do eixo vertical, realce o texto da caixa
e digite Percentage 01 students (Figura do exerccio 7.1.0.
4. Para denominar o eixo (xl horizontal, coloque o cursor na parte inferior do grfico e
clique com o boto direito do mouse. (Os diferentes nveis de aptido sero realados.) Na barra de ferramentas, selecione Chart ToolI (parte superior da tela) -l.ayout
- Axis Titias - Primary Horizontal - Axis Titia Trtle Below Axis. Realce o texto
(Ttulo do Eixo) na caixa e digite profic;ency leveis (figura do exerccio 7.1.0.
FIGURA DO EXERClclO 7.1.B Ins.rir Opes d. Grfico no Excel
1Ix
Column llne
Pie'
krea Sfittcr OIher
6.lr
r.
Ch~lb
FIGURA DO EXERCfclo 7.1.C
Cllart~
Percentagem de alunos por Nrvel de Aptidlo em
Matemtica
25
20
236
,
.---19,8
20,4
19,2
r--"
17,1
r--
;;
-3
15
I'"
o
abaixo do
nvel 1
nvel 1
nvel 2
nvel 3
nvel 4
nV81 de .ptidio
(continua)
102
EXERCfclO 7.1 (continuao)
5. Se o Excel atribuiu um ttulo de grfico, possvel alter-lo realando-o e mudando o

texto. Para atribuir um trulo, se nenhum foi atribudo, coloque o cursor sobre o
grfico e clique para real-lo. Na barra de ferramentas, selecione Chart Tools (parte
superior da tela) - Layout - Chart TItia - Abova Chart. Realce o texto, e digite
Percentage 01 Students at Each Mathematics ProflCiency leveI. O ttulo foi
colocado acima do grfico na figura do exerccio 7.1.C.
6. ~ possvel alterar vrias caractersticas do grfico (tais como tamanho da fonte e estilo),
clicando na rea apropriada do grfico e utilizando a ferramenta de edio (clique
com o boto direito do mouse) ou utilizando Design e L.ayout (em Chart TooI5). Caso
deseje mostrar os valores (percentagens) por coluna, clique com o boto direito do
mouse em uma das colunas (esse procedimento deve realar todos eles). Em seguida,
selecione Chart Tools - Layout - Data Labels - Outside End. Esse procedimento
mostra a percentagem de alunos por nvel de aptido.

7. Realce a rea do grfico no Excel, clicando no permetro, e selecione Copy. Cole o
grfico no seu relatrio.
8. Salve a folha de trabalho Excel em MY SOLUTlONS, utilizando o nome do arquivo
EXERC/SE 7.1,)(1.5.
a. As verses anteriores de Excel podem direcionar para o Assistente de Grficos onde tambm se pode
selecionar um gnifico de colunas.
EXERCfclO 7.2
Desenho d. um Gr6Iico de BiIIIT.. par. Mostrer Percantegem por Nv.1 de
Aptidio por Regio
1. Copie os dados da Figura do exerccio 7.2.a para um arquivo Excel.

2. Realce os dados, como mostrado na Figura do exerccio 7.2.A. Clique em Insert (ou
selecione Insert - Charts) - Bar - 2-D Bar - 100% Stacked Bar (terceira opo)
(Figura do exerccio 7.2.B). Esse grfico permite comparar as percentagens de alunos

por diferentes nveis de aptido e regies. t: possvel modificar vrias caractersticas
desse grfico para torn-lo mais apresentvel.
FIGURA DO EXERCfClo 7.Z.A
Pel"Cllntagem de AlunOli por Nvel d. Aptido em Matemtica
Abaixo do 1
Noroeste
27.8
Nvel 1
23,8
rea metropolitana
Terras altas orientais
Cosa sudoeste
13.5
17.3
18
13,9
21,6
16,9
Nvel 2
22.9
Nvel 3
levei 4
16.8
16.9
23.1
24,7
23.8
25.9
30,S
8.7
31.9
12.1
9.9
103
EXERdCIO 7.2 (continuapio)

FIGURA DO EXERCrClO 7.2.a Opes Grfico de Barras 2-0 em Excel
2-D Bar
Percentagem de Alunos por Nvel de

Aptidio em Matemitica por R.Siio
FIGURA DO EXERCrCIO 7.2.C
Costa Sudoeste
rea Metropolitana
Noroeste
20
40
60
BO
100
D abaixo do nvel 1 nvel 3

nvel 4
o nvel 1
O nvel 2
Se os resultados obtidos (ver Figura do exerccio 7.2.C) apresentam as regies na

ordem incorreta (por exemplo, Costa Sudoeste em cima em vez de Noroeste), clique
no grfico e nas denominaes no eixo vertical (regies). Selecione Chart Tool!Format - CulTent Selection - Format Selection - Axis Options. Caixa de seleo
Categoria. in Raverse Order - Close.
Se os nveis aparecem no eixo-y, e as regies no eixo-x (Isto , o inverso do que se

mostra na figura do exerccio 7.2.C), volte para o Excel. Clique com o boto direito
do mouse na rea do grfico. Selecione Data. Clique Switch Row/Column (figura do
exerccio 7.2.0).
(continua)
104
I ANLISE DE DADOS DE UMA AVALIAO NACIONAL DE DESEMPENHO EDUCAOONAL
EXERClclO 7.2 (cont/nua9o)

FIGURA. DO EXERCfclO 7.2.D
Opio Transpor Linhas/Colunas em Ferramentas de Grfico!
Design em Excel
Sele<:t Data Source
Chart \!ata range:
fiiiii
~
Lle9end Entries ~ies)
~ Add
Ii
]~
Il!'J S.,,,,, Row/Cok.mn I ~

Horizontal ~tegory) Axis Labels
crl ~dit
Ii X &""'''' I~.EJ I
rx Edi!
Below Levei 1
Northwest
Lev~ 1
Metro Area
Levei 2
Eastem Highlands
Lev~ 3
Southwest Coast
Levei 4
[ !!dd"" "'" Empty C,",
OI<
I[
C",,"
Caso se deseje, possvel mostrar as percentagens de alunos por nvel de aptido

por regio. Clique na barra Abaixo do Nvel 1 na primeira regio. Esse procedimento
realar as barras Abaixo do Nvel 1 para todas as regies. Clique com o boto
direito do mouse e selecione Add Data Labels (ou selecione Layout - Labels - Data
Labels - Cantar). Repita o processo para os outros nveis (figura do exerccio 7.2.E).
Se o eixo horizontal (com os valores percentuais) aparece no topo do grfico, e no
na parte inferior, selecione o eixo horizontal (o eixo com as percentagens) clicando
com o boto direito do mouse em qualquer denominao. Em seguida, clique com
boto direito do mouse nas Denominaes de Eixo AL ou BX (dependendo da
posio atual dos valores percentuais) e selecione Format Axis - Horizontal Axis
Vaues - Automatic.
Se as regies esto na ordem inversa, selecione o eixo vertical, clicando com o
boto esquerdo do mouse em qualquer denominao. Em seguida, clique com o
boto direito do mouse em Format Axis e selecione Categories in Reverse Order.
Caso deseje adicionar um ttulo aos eixos x ou y, realce a rea do grfico em que as
percentagens aparecem. Em seguida, selecione Insart - Layout - Axis TItias Primary Horizontal Axis TItle - Trtle Below Axis. Realce Titulo do Eixo e digite o novo ttulo (por exemplo, Percentage of students) na barra de frmulas ou
diretamente na caixa de texto recm-criada.' Siga o mesmo procedimento para
FIGURA DO EXERdcIO 7.2.E Percentagem de Alunos por Nrvel de Aptldio em

Matemtica por Regio
Noroeste
27,8
rea Metropolitana
13,5
17,3
Costa Sudoeste
18
23,8
16,9
16,8
22,9
23,8
8,7
31,9
.8
21,1
21,6
20
40
25,9
12,1
30,5
9,9
60
80
100
percentagem de "unos
D abaixo do nvel 1 nvel 3
nvel 4
nvel 1
nvel 2
adicionar um ttulo aos outros eixos. Para adicionar um ttulo ao grfico, siga as
instrues no passo 5 do exerccio 7.1
3. Realce a rea do grfico em Excel, clicando uma vez no permetro; selecione
Home - Copy. Em seguida, cole o grfico no seu relatrio, dando-Ihe um ttulo
adequado.
4. Salve a folha de trabalho Excel (NAEA DATA ANALYSIS\MY SOLUTlONS\

EXERClSE 7.2.xJ.5).
5. Selecione File - Save e File - Ciosa.
a. Algumas verses recentes de Excel utilizam Ch.rt lIIyout seguido de AxiI TrtI. e ChIIrt Trtl. para a
denominao.
105
106
GRFICOS DE LINHA COM INTERVALOS DE CONFIANA
Um grfico que mostra uma srie de pontuaes mdias, juntamente

com os seus intervalos de confiana em 95%, permite ao leitor no
tcnico saber quais foram as regies que tiveram bom desempenho,
comparativamente com outras, e tambm se uma pontuao mdia e
o seu intervalo de confiana em uma regio coincide com uma pontuao mdia e o seu intervalo de confiana em outra regio.
EXERClclO 7.3
Desenho de Intervalos d. Confiana em 95% para uma Siri. d. Pontu06u Mldiu
1. Abra o Excel. Digite os dados manualmente na folha Excel, organizando-a como
mostrado na figura do exerccio 7.3.A Como altemativa, possvel transferir esses
dados para o arquivo Excel a partir de NAEA DATA ANALYS/SIMY SOLUTlONSI
EXERCISE 3.3. TXT. Isso vai exigir a eliminao de alguns dados desnecessrios (tais
como erros padro e as linhas que do dados percentuais) da folha Excel.
2. Realce os dados, como indicado na figura do exerccio 7.3.A. Selecione
Insart - Other Charts (ou Insart Chart) - Stock - High-Low-CIosa (primeira opo).
3. Realce os nmeros no eixo vertical. Clique com o boto direito do mouse, selecione
Fonnat - Axis. Em seguida, em Axis Options, selecione F"lXed para Minimum (ou
Scale) e insira 220. Da mesma forma, defina Maximum a 280 (figura do exerccio
7.3.8). Clique em Close (ou OK). Observe que estes valores esto logo abaixo e
acima dos valores mais elevados da figura do exerccio 7.3.A.
4. No grfico do Excel, clique com o boto esquerdo do mouse sobre o limite inferior
da linha para a primeira regio (Noroeste). Esse procedimento deve realar o limite
inferior de todas as quatro regies. Na barra de menus, selecione Format
Selection - Marker Options (ou Marker Styiel - Built In - Type. Escolha uma opo
FIGURA DO EXERcfclO 7.3.A Pontuaes Mdias de Matemtica e
Pontuaes em Intervalos de Confiana Superiores e Inferiores por Regiio
I
Regio
Noroeste
Area
Terras altas
Costa sudoeste
I
Nota: IC - intervalo de confiana
IC Superior
Mdi
IC Inferior
239,9
233,3
226,8
274,7
256,3
257,9
265,7
249,1
251,2
256,8
241,9
244,6
107

Opes Formatar Eixos em Excal
Format Axis
AXlS Options
Axis Options
Number
Minimum :
~u to
@ Eixed 1220
RII
Maximum :
Ayto
@ F[xed 12801
Major unit:
@ Auto
Minor unit:
@ AutQ. Fix!;.d 110 ,0
Une Colar
Une Style
FIGURA DO EXERCfclO 7.3.C
Fi~ed
150 ,0
Opes Formatar S'ries de Dados em Excel
Format Data Series

Series Options
[ Marker Options
Marker Fill
Une Colar
Marker Options
Marker Type
t:>
A!dtomatic
~ NQne
@ Built -in
Une Style
Type:
EB
Siz. :
110
Marker Une Color

Marker Une Styte
till
Shadow
Glow and 50ft Edges
3..0 Format
adequada (tal como H_H) a partir da seleo em Type (figura do exerccio 7.3.q (ou
utilize a janela suspensa Style). Aumente Size para 10 ou superior, garantindo que o
tamanho seja suficientemente grande para destacar-se no grfico. Clique em Close.
Repita o processo para os limites superiores.
5. Realce o ponto central de cada linha (a pontuao mdia), clicando sobre a linha
para a primeira regio e siga o mesmo procedimento do passo 4 para selecionar um
marcador adequado. Utilize o tamanho 20 para distinguir o marcador da pontuao
mdia dos outros marcadores. ObselVe que a legenda no lado esquerdo do grfico
(continua)
108
EXERdCIO 7.3 {cont/nuafoJ

FIGURA DO EXERdClO 7.3.D GrMico de Unh pal"ll Pontu.a_ M'di de
Miltemllitia e Intervalo. de Confi.nII em 95% por Regio
280
:;
270
!E
..,
..,.1
260
f f
250
i.a
l
240
230
220
Noroeste
rea
Terras Altas
Metropolitana
Orientais
regllo
I_ superior a 95% _
mdia _ IC inferior a 95%
Costa
Sudoeste
Nota: IC - intervalo de confiana
produzida automaticamente, com base na folha de clculos inicial. Os eixos e as

caixas de srie no lado direito tm que ser denominados, alm de ser preciso decidir
o ttulo do grfico.
Copie o grfico (figura do exerccio 7.3.D) para o relatrio, utilizando Copy e Paste.
6. Salve a folha Excel em NAEA DATA ANALYSIS\MY SOLUTJONS utilizando um nome
adequado (como por exemplo, EXERC/SE 7.3JCI.S).
O grfico da figura do exerccio 7.3.D descreve as diferenas de desempenho mdio
entre regies. Onde no h sobreposio entre os intervalos de confiana, pode-se dizer
que as mdias so significativamente diferentes. Assim, no existe sobreposio entre o
intervalo de confiana em 95% para o Noroeste nem para nenhuma das outras regies.
As pontuaes mdias de matemtica nas Terras Altas Orientais e da Costa Sudoeste no
diferem significativamente entre si (porque existe uma sobreposio substancial entre as
respectivas linhas).
a. Como observado no Captulo 3, O WesVar utiliza 2,00 em vez de 1,96 no clculo do intervalo de
confiana em 95%.
109
GRFICOS DE LINHAS PARA REPRESENTAR DADOS SOBRE

TENDENCIAS
o exerccio 7.4 ilustra como um grfico de linhas pode ser utilizado

para apresentar dados sobre tendncias. O grfico resume o desempenho de meninos e meninas para os quatro anos em que foi administrada uma avaliao nacional (2004, 2007, 2010 e 2013).
EXERCfClO 7 A
Mostrar Dados sobre Tendincias com um Grfico d. Unhas

1. Abra o Excel. Organizar os dados em uma folha de trabalho Excel (figura do exerccio
7.4.A).'
2. Realce os dados e as denominaes a incluir no grfico (figura do exerccio 7.4.A).
Na barra de ferramentas, selecione Insert - Une - Une with Markers b (primeira
opo, segunda fila) para criar o grfico de linhas mostrado na figura do exerccio
704.8. Pode-se modificar- o estilo das linhas clicando em uma delas. Selecione
Format - Data Series (ou Current Seleaion - Format Seleaion) -Une Style. Utilize
a seta para baixo Dash Typa para selecionar o estilo de linha desejado. Clique em
Cosa.
FIGURA DO EXERdclO 7 A.A
Folha de Trabalho Excel com Pontuaaes

Mdias de Matemillitlca por Gnero, 2004-13
2004
2007
2010
2013
Meninos
Meninas
225
240
245
250
245
245
250
250
3. ~ possvel adicionar ttulos aos eixos x e y, e ao grfico como um todo, seguindo o

processo do exerccio 7.1. Para adicionar um ttulo ao eixo-y, clique na escala
adjacente (210 a 255). Selecione Chart Tools - Layout (ou Chart Layout) - Axio
TItles (ou Labels - Axis Titles) - Primary Vertical Axis TItle - Rotated TItle. Clique
na barra de espaos para o ttulo do eixo e digite Mean Mathematics Score.
4. Do mesmo modo, denomine o eixo horizontal x Year.
(continua)
110
EXERdCIO 7 A {cont/nuafoJ
FIGURA DO EXERdCIO 7.4.B
Pontuaes Mdias de Matemitica por
Gnero. 2004-13
255
~
250
1 245
!E
...
'.
'.a
8.
I-----...,.....~
......... ",, , , , , ",'"
... '"
"'-- ---
240
235
230
-'.
",,,,
.,,/,,/
225
220
215
210
2004
2007
2010
2013
ono
meninas - ... - meninos
5. Utilize o cone Chart TItl. para criar uma denominao de ttulo (tal como Mean
Mathematics 5c:o",. by Gender, 2004-13).

6. Copie o grfico (figura do exerccio 7.4.8) para o relatrio. Em seguida, salve a folha
Excel utilizando um nome adequado (NAEA DATA ANALYS/S\MY 50LUTlON5\
EXERC/5E 7.4.xL5).
7. Em Excel, selecione File - Close.
a. Observe que os dados da figura do exerccio 7.4.A no so retirados do arquivo de dados
NATASSESS4.VAR.
b. Em algumas verses do Excel, surge Marked U....
c. Em algumas verses do Excel, pode ser necessrio: Format - Datll S.rie. - Une - W.ights &
Arrows - Dashed. Utilize a seta descendente para selecionar o estilo da linha escolhida. Clique em OK.
NOTA
1. As instrues podem apresentar algumas variaes, dependeodo da
verso de Excel que est sendo utilizada. O Excel para Mac e o Excel para
Wmdows tm algumas pequenas diferenas nas funes, dependendo da
platafonna e verso utilizadas.
ANEXO
I Pasta
ANALISE DE DADOS
NAEA: ESTRUTURA
DO DIRETORIO DE
ARQUIVOS
Subpasta
Arquivo
SPSSDATA
NATASSESS
NATASSESS4
SCHOOLS
EXERCISE
SOLUTlONS
LlSTED IN
ANNEX I.B
WESVAR
UNLABELED
DATA
DATA FILE
CREATED
(ANNEXI.q
MYWESVAR
FILES
EMPTY
INITIALLY
;!
WESVAR DATA &

WORKBOOKS
LlSTED IN
ANNEXI.B
MYSPSSDATA
EMPTY
INITIALLY
li)
"z
'i:1i"
MY SOLUTIONS
J
1
EMPTY
INITIALLY
",
ANEXO
Subpastas
SPSSDATA
ANLISE DE DADOS
NAEA: SUBPASTAS E
ARQUIVOS
Ficheiros
NATASSESS.SAV
Descrio
o arquivo inclui identificadores, variveis de

contexto, classificaes, situao atual da
participao e peso do modelo para cada

estudante selecionado, mais identificadores de
turma, escola e regio.
NATASSESS4.SAV
o arquivo inclui identificadores, variveis de

contexto, classificaes, situao atual da
estudante selecionado, mais identificadores de
turma. escola e regio. Inclui tambm os estratos
(zonas) jackknife (JK) e replicaes de JK
(indicadores).
SCHOOLS.SAV
o arquivo inclui nmeros de identificao de

escolas, estratos JK (zonas) e replicaes de JK
(indicadores). Fundir com NATASSESS.SAV para
criar NATASSESS4.SAV.
EXERC/SE
SOLUTIONS
EXERCISE 1.1.SPV
Estatstica descritiva SPSS para Mathss (mdia,

desvio padro) usando Descriptives.
EXERCISE 2.1.5PV
Estatstica descritiva SPSS para Mathss (vrios)

usando Explore (nacional).
(continua)
113
114
Subpastas
Ficheiros
Descrio
EXERCISE 2.2.SPV
Estatstica descritiva SPSS para Mathss (vrios)

usando Explore (por regio).
EXERCISE 3.1. TXT
Estatstica descritiva Mathss WesVar.
EXERCISE 3.2. TXT
Classificao mdia Mathss, erro padro e intervalo

de confiana (nacional).
EXERCISE 3.3. TXT
Classificaes da mdia Mathss, erros padro e

intervalos de confiana (por regio).
EXERCISE 4.1 A. TXT
Classificaes mdias Mathss de estudantes com e

sem eletricidade em casa.
EXERCISE 4.18. TXT
Classificaes mdias Mathss e intervalos de

confiana de estudantes com e sem eletricidade
em casa (comparao entre dois grupos).
EXERCISE 4.2A. TXT
Classificaes mdias Mathss (por regio).
EXERCISE 4.28. TXT
Significncia estatstica das diferenas na

classificao mdia regional Mathss (comparao
entre dois ou mais grupos).
EXERCISE 5.1. TXT
Valores de percentil Mathss (nacional).
EXERCISE 5.2. TXT
Valores de percentil Mathss (por regio).
EXERCISE 5.425TH.
TXT
Percentagem Mathss de alunos abaixo do 25

percentil (erros padro [EPsl e intervalos de
confiana [ICs]) (por regio).
EXERCISE 5.450TH.
TXT

percentil (EPs e ICs) (por regio).
EXERCISE 5.475TH.
TXT

percentil (EPs e ICs) (por regio).
EXERCISE 6.1.SPV
Grfico de disperso da implementao

matemtica e classificaes de anlise/resoluo
de problemas.
EXERCISE 6.2. TXT
Correlao entre implementao matemtica

e anlise/resoluo de problemas.
EXERCISE 6.3 SUM

OF saUARES. TXT
Soma da regresso dos quadrados e valor de R2,

uma varivel independente (livros).
EXERCISE 6.3
ESTIMATES. TXT
Coeficiente de estimativa de regresso, uma

varivel independente (livros).
EXERCISE 6.3
TESTS.TXT
Regresso, testes de significncia, uma varivel

independente (livros).
EXERCISE 6.4
ESTIMATES. TXT
Coeficiente de regresso estimada, uma varivel

independente (livros).
EXERCISE 6.5
Intercorrelaes entre trs variveis (livros, pais,
CORRELATIONS. TXT distncia).
ANLISE DE DADOS NAEA: SUBPASTAS E ARQUIVOS
Subpastas
Ficheiros
Descrio
Soma da regresso dos quadrados e valor de R2
(para trs variveis independentes).
EXERCISE 6.6
Coeficientes da estimativa de regresso (para trs

variveis independentes).
EXERCISE 6.6
TESTS.TXT
UNLASELLED
115
EXERCISE 6.6 SUM

OF SQUARES TXT
ESTIMATES. TXT
WESVAR
Testes de significncia (para trs variveis

independentes).
EXERCISE 7.1.xLS
Grfico: Percentagem de estudantes em cada nvel

de aptido matemtica (nacional).
EXERCISE 7.2.xLS
Grfico: Percentagem de estudantes em cada nvel

de aptido matemtica (por regio).
EXERCISE 7.3.XLS
Grfico de linha: Classificaes de mdia Mathss e

intervalos de confiana em 95% (por regio).
EXERCISE 7.4.XLS
Grfico de linha: Mdias Mathss (por gnero)
NATASSESS4. VAR
(NATASSESS4.LOG)
O arquivo de dados inclui identificadores, variveis

de contexto, classificaes, situao atual de
estudante selecionado, com identificadores de
turma, escola e regio; estratos JK (zonas) e
DATA
replicaes de JK (indicadores). No esto includos

os rtulos das variveis e as variveis criadas.
MYWESVAR
FILES
Inicialmente, a
subpasta est vazia.
O usurio utiliza os
arquivos de dados e
livros de exerccios
WesVar criados
quando concluiu os
exerccios nos
captulos 3-6 desta
subpasta.
WESVAR
NATASSESS4. VAR
DATA &
(NATASSESS4.LOG)
WORKSOOKS
O arquivo de dados inclui identificadores, variveis

de contexto, classificaes, situao atual de
estudante selecionado, com identificadores de
turma, escola e regio; estratos JK (zonas) e
replicaes de JK (indicadores). Esto includos
alguns rtulos das variveis e algumas variveis
criadas.
CHAPTER3
WORKSOOK.WVS
Os arquivos so livros de exerccios concludos para

executar os exerccios nos captulos 3-6.
(continua)
116
Subpastas
Ficheiros
CHAPTER4
WORKSOOK. WVS
CHAPTER5
WORKSOOK. WVS
CHAPTER6
WORKSOOK. WVS
MYSPSS
DATA
Inicialmente, a
subpasta est vazia.
O usurio salva
arquivos de dados
SPSS novos ou
modificados nesta
subpasta.
MY
Inicialmente, a
subpasta est vazia.
O usurio salva todas
as solues dos
exerccios nesta
subpasta.
SOLUTlONS
Descrio
ANEXO
ABRIR UM ARQUIVO
SPSS NO WESVAR
Depois de ter preparado um conjunto de dados de

avaliao nacional no SPss com o item de teste e os dados do questionrio e ponderaes calculadas para o questionrio, ser preciso
fazer algumas modificaes nos dados antes de transferir o seu arquivo
para o WesVar.
O seguinte conjunto de instrues orienta a criao de ponderaes jackknife. para um questionrio de duas fases. possvel
obter informaes mais detalhadas sobre o mtodo ejackknife. no

volume 3 desta srie (Dumais and Gough 2012b, Anexos N.C e
IY.D).
O SPSS usado para criar a informaes relevantes de amostragem
que o WesVar requer para criar as ponderaes de replicao para a
anlise dos dados de avaliao nacional. Como as ponderaes de
replicao so criadas para escolas, preciso criar um registro para
cada escola participante. Este registro tem que incluir o Schoolid real
para cada escola. Se no houver um arquivo com um ID por escola,
preciso usar o procedimento a seguir para criar um.
117
118
Se j no tiver transferido NATASSESS.SAV para MY SPSS DATA,

preciso copi-lo de SPSS DATA para MY SPSS DATA. (Note que
NATASSESS.SAVe no NATASSESS4.SAV.)
1. V a NAEADATAANALYSIS\MYSPSSDATA e abra o arquivo
NATASSESS.SAV. Isso pode ser feito fazendo duplo clique no
nome do arquivo. Se esse arquivo no estiver em MY SPSS DATA,
abra-o em NAEA DATA ANALYSIS\SPSS DATA e guarde-o em
NAEA DATA ANALYSIS\MYSPSS DATA usando File - Save As.
2. Na barra de ferramentas SPSS, selecione Data - Aggregate. Mova

Schoolid para Break Variable(s). Mova MATI-lRS para a caixa
Aggregated Variables (figura I.Cl). Em Save, selecione Write a
new data file using only the aggregated variables. Selecione File
Oogo abaixo). Selecione NAEA DATA ANALYSIS\MY SPSS
DATA como o diretrio onde salvar o novo arquivo usando o
nome de arquivo SCHOOLS.
3. Em Options for Very Large Datasets, assinale Sort file before
aggregating. Clique em OK.
4. V a NAEA DATA ANALYSIS\MY SPSS DATA e abra Schools.
Abra Variable View na parte inferior e elimine a linha Mathrs_
Mean usando Edit - Clear. Selecione Data - Sort Cases e mova
Schoolid para a caixa Sort by; selecione Ascending e clique em OK.
(Se tiver que sair da tela de resultados em SPSS, selecione Window
na barra de ferramentas e depois o conjunto de dados relevante.)
5. Neste passo, os valores 1 ou 2 so atribudos a cada escola participante. 1 Selecione Transform - Compute Variable e introduza
Jkzoneem Target Variable. Depois, introduzaRND($Casenum/2)
e Numeric Expression e clique em OK. Em seguida, selecione
Transform - Compute Variable. Selecione Reset. Depois, introduza Randompick e Target Variable e RY.Uniform(O,l) em
Numeric Expression. Clique em OK. A essa altura, em Data
View, ser possvel ver 120 escolas em 60 pares numerados de 1 a
60 e cada escola dever tambm ter um nmero aleatrio entre O
e 1. Se esses nmeros aleatrios forem apresentados como zeros e
uns, aumente o nmero de casas decimais a partir da barra
Variable View. Agora, voc j pode criar as replicaes de JK.
ABRIRUMARQUIVOSPSSNOWESVAR
I 119
6. Os passos 5 e 6 atribuem um de dois valores a cada escola dentro

desse par (zona). Selecione Data - Sort Cases e mova Jkzone e
Randompick para Sort by. Clique em Ascending e OK. Agora,
selecione Data - Iden1ifY Duplicate Cases e mova Jkzone para
Define matching cases by. Em Variables to Create, verifique
Agrega. dados em SPSS
111 Aggr~ate Data
~ teachid
~ sludi d
~ boo~el
mathrs
Brealc Variable(s):
+'
I~ schoolid
I
Aggregated Variables
~ malhpc
~ malhss
Summaries of Variable(s):
IlIJathrs_llJean .=
ssse
altlrs)
~ wglpop
# wgtsamp
# stratum
.tP gender
~
~
~
~
B
+'
electric
numberJ)c
algeb_pc
s hape_pc
.... "'.., ...
Fundion ...
[O Number of fases
~
J IName & Label...~

Name:
-
N_BREN<
nn
Save
@ Agd aggregated variables to active dataset

@ Cr~ate a new dalaset conlaining only lhe aggregated variables
-Dataset n,lme:
@ Write a new data file containing only the aggregated variables
F:WAEA Data Analysis\MY SPSS FILES\SCHOOLS_sav
lfi!e J
Optio ns for Very Large Datasets

~ File is Iready sorted on brea lcvariable (s)
~ i:~:~~:~:I:~_::~~~~:r:~: :~~-~.~~~~~:~~
OK
Hpasld~ Resel H cancel ll Help l
120
Indicator of Primary Cases, e assinale Last case in each group is

primary (primaryLast). Clique em OK.
7. Como o WesVar espera que as replicaes sejam numeradas a
partir de I, e no de O, os cdigos de replicao precisam de ser
modificados usando Transform - Recode into Different Variables.
Mova PrimaryLast para Input Variable, e introduza Jkindic em
Output Variable Name. 2. Se desejar, introduza um rtulo. Clique
em Change e depois em Old and New Values. Em Old Value,
clique em Value e introduza Oem Value. Em New Value (no lado
direito), introduza 1 e clique em Add. Em Old Value, clique em
AlI other values. Agora, em New Value, introduza 2. Clique em
Add, Continue, e OK. Todos os valores PrimaryLast O foram
agora transformados em valores JKINDIC de 1, e todos os valores
de 1 tornaram-se 2. (Note que o fato de os valores reais de O e 1
aparecerem na sua tela para a varivel PrimaryLast depende das
suas configuraes de dados SPSS.) Selecione Data - Sort Cases
do menu. Selecione Reset. Mova Schoolid para a caixa Sort by;
clique em Ascending e OK.
8. Abra Variable View e elimine as variveis RANDOM PICK e
PrimaryLast. Selecione File - Save para voltar a salvar o arquivo
de dados SCHOOLS. No feche o arquivo. Nessa altura, os nmeros da zona JK e o indicador JK (replicao) foram atribudos s
escolas participantes. Essa informao tem de ser agora anexada a
NATASSESS.SPV, o arquivo onde foram salvos os dados e ponderaes da pesquisa.
9. Abra o arquivo NAEA DATA ANALYSIS\MY SPSS DATA \
NATASSESS.SAV. Selecione Data, Sort Cases, e mova Schoolid
para a caixa Sort by. Selecione Ascending e OK.
10. Em seguida, as variveis Jkzone e Jkindic (atualmente, no arquivo
SCHOOLS.SAV) fundem-se no arquivo de dados NATASSESS.
SAV . Ainda em NATASSESS.SAV, selecione Data - Merge files Add variables. Selecione SCHOOLS.SAVem Open Dataset e
clique em Continue. Assinale a caixa ao lado de Match cases on key
variables in sorted files. Selecione SCHOOLID e mova para Key
Variables (figura LG2). Selecione Non-active dataset is keyed table.
ABRIR UM ARQUIVO SPSS NO WESVAR
I 121
11. Clique em OK. Voc receber um aviso: Keyed Match wiU fail if data are not
SOTted in ascending order oi Key Variables. Se ambos os arquivos (NATASSESS
e SCHOOLS) tiverem sido ordenados por Schoolid, clique em OK. Em
NATASSESS.SAV, abra a Variable View. As variveis Jkzone e Jkindic devem
estar visveis at o final do conjunto de dados. Selecione Save As e salve
NATASSESS.SAV e NATASSESS4.SAV em NAEA DATA ANALYSISIMY
SPSSDATA
12. Feche os arquivos abertos SCHOOL5.SAV e NATASSESS4.SAV.

13. Agora, NATASSESS4.5AV trazido para o WesVar e transformado em um arquivo de dados WesVar. Abra o WesVar. Clique
em New WesVar Data File. Em Input Database, selecione NAEA
Acrescentar Variveis a um Arquivo 5P55
Add Variables from OataSetl
Excluded Variables:
New Active Dataset:
teaehidrl
studid{")
booklet(')
...
mathrs(*)
mathpC(')
malhss(' )
ssse{*)
wgtpoPrl
wgtsamp(*)
~ Match cases on key varia bles in sorted files
@ oth files provide cases

@ Non-active dataset is ~eyed ta ble
Key yariables:
...
l~chOOlid '
@ ~ctive dataset is keyed table
!ndicate case source as vanable source01
("):=-Active dataset
(+);:.OataSeI1
[:6~(.:] l pastej ~ Resel Jl Caneel JLHelp
II
122
DATA ANALYSIS\MY SPSS DATAINATASSESS4.SAV. Clique

em Open. Aparecer a mensagem: Create extra formatted uariables. Clique em Done.
14. Em Source Variables, selecione W gtpop (a varivel que faz a ponderao dos dados segundo a sua representao na populao).
Selecione Full Sample. Mova Wgtpop para Full Sample usando a
seta >. Depois, selecione Studid em Source Variables. Clique em
ID (no lado direito) e mova Studid para ID, usando novamente a
seta>. Agora, selecione as restantes variveis em Source Variables.
Selecione Variables e clique nas setas para mover as variveis
restantes para a caixa Variables (figura 1.C.3).
15. Salve o seu arquivo de dados (File - Save As) em NAEA DATA
ANALYSIS\MYWESV.ARFlLES usando o nome de arquivo
NATASSESS4. VAR. ( possvel usar o mesmo nome porque o
Lista de Variveis Dilponveis no Arquivo de Dadol WelVar
f -PNesVar Do!Ita File - NATASSESS4.sp~swinl

o
file
Source
Data
Format
Windows
r.
~ariables:
I ,~;I
Help
(' R.c.plicates
Vlrlable s
AGE
AGEDA.YS
ALGEB_PC
ATTENrn
BEHAVE
BOOKLET
BOOKS
DA.TA_PC
DISTANCE
(' F.ull Sample
IWGTPOP
(' !D
ISTUDD
Method
(' !!RR
DOS
ELECTRlC
FAMLYSI
GENQfR
(' J.K1
IJPL_PC
(' JKn
r!DEPEND
tlTEG_PC
JKNDIC
(' JK2
(' fA'i
ABRIR UM ARQUIVO SPSS NO WESVAR
I 123
fonnato e extenso so exclusivos do WesVar; no sero confun-
didos com os SPSS originais.)

16. Antes que seja possvel fazer qualquer tabela, o WesVar tem de
criar ponderaes de replicao para calcular o erro de amostragem. Ainda na mesma tela, clique no boto de escala ou selecione Data - Create weights. A partir de Source Variables, mova
Jkzone para VarStrat, e Jkindic para VarUnit. Clique em JK2
em Method (Figura 1.C.4). Clique em OK. O WesVar fornece a
mensagem: "This operation wiU create a new VAR file". Voc ser
solicitado a especificar um nome de arquivo. Clique em OK. Salve
o arquivo em NAEA DATA ANALYSIS\MYWESVARFlLES
usando o nome de arquivo NATASSESS4. VAR. Talvez voc seja
solicitado a "Confirm Save As". Clique em Yes. O WesVar acrescentou ponderaes de replicao para a estimativa do erro de
amostragem e o arquivo tem agora a aparncia da Figura I.C.S.
Criar Pondera6es no W"Var

Create Weights - NA TASSESS4.var
Melhod- - - ,
Original Dala
Full Sample
r !l.RR
r JK1
r. i."fK2:
r fAY
",:",.hI !!!!!~~~~
Re plic ille fr e lix: IAPL
JKn
Source Varia bles:

GENDEA
IMPL_PC
INDEPEND
INTEG_PC
LANGUAGE
MATHPC
MATHRS
MATHSS
MEASJ'C
Oplions
Max VarSlrat
!iR
UniIL .!
r.
VarUnil
IJKINDIC
t.4alC VarUnil:
file with Hadamard t.4alrixBrowse __ .
0<
Canc eI
!!.e lp
124
Ponderaes de Replicao Criadas pelo WesVar
SOu rce l{ariab les :
AGE
2...J
~
~
~
V! ria b le s
A GEOA YS
ALCEB_ PC
Affitml
BEHAVE
BOOKLET
BOOKS
DATA_PC
DISTANCE
DOB
ELE CTRC
FAML Y SI
GENDER
I.,PL_PC
tlDE PEND
tITEG_PC
JKNDC
(.' r.J.iE~~p.:(~
R!<.p licate s
RPlO1
RPl02
RPl03
RPl04
RPlOS
"PUI'
RPl07
RPl08
RPl09
RPl10
RPl1 1
RPl12
RPl13
RPl14
RPl1S
RPl1 .
RPl17
IWGTroP
!O
I STUOD
Method
r aRR
r J.K1
(.' J!S:2
r FA'1
r JK!l
Fay1: !
bayoul
17. Para encerrar o arquivo de dados WesVar, selecione File - Close.

possvel agora executar as anlises no Captulo 3, usando o
arquivo de dados WesVar, NATASSESS4. VAR. Note que esse
arquivo o mesmo que o arquivo previamente criado
NATASSESS4. VAR em NAEA DATA ANALYSIS\ WESVAR
DATA &: WORKBOOKS.
NOTAS
1. No conjunto de dados atual} existe um nmero par de unidades primrias
de amostragem (PSUs) (escolas, neste caso). Se houver um nmero mpar de

escolas, a zona cjackknife (JK) final consistir em 3 escolas (1,2 e 3). Quando
isso ocorre, necessrio selecionar JK como o mtodo de anlise (passo 15)
porque a JK2 requer um nmero par de PSUs.
2. Jkindic o nome da varivel do Indicador <lackknife>.
PARiTE
ANLISE DE ITEM
E DETESTE
Fernando Cartwright
125
CAPiTULO
INTRODUO
AO lATA
Este captulo fornece uma descrio dos requisitos

de dados para a Anlise de Item e de Teste (lATA, pela sua sigla em
ingls) e uma vso geral dos tipos de informao fornecidos no lATA.
fornecida uma introduo interface no lATA, incluindo interfaces
de tarefas, menu principal e navegao de fluxo de trabalho.
INSTALAR O lATA
Para executar o lATA, o computador dever ter os requisitos mnimos
de sistema do Windows XP (SP3) ou um sistema operacional mas

novo, baseado no Windows, como o Windows Vista, Windows 7 ou
Windows 8. Se uma verso anterior do lATA estver instalada no
computador, deve ser desinstalada e a pasta de amostra do lATA apagada do ambiente de trabalho antes do incio da nova instalao.
Durante o processo de instalao, o sistema pode precisar ser atualizado com a mais recente estrutura .NET da Microsoft (.NET 4 ou
mas recente). A estrutura .NET uma parte normal do sistema operacional do Windows e, normalmente, atualizada automaticamente
pelo Windows. No entanto, se o acesso Internet pouco frequente
127
128
ou se a funcionalidade de atualizaes automticas do Windows tiver

sido desligada, o sistema operacional pode estar desatualizado. Se estiver instalando o lATA a partir de um CD ou USB, o arquivo de instalao para .NetFx40_FuU_x86_x64.exe pode ser encontrado no CD,
no mesmo diretrio que o arquivo IATASETUP.exe. A atualizao
tambm pode ser descarregada e executada da seguinte URL: http://
www.microsoft.com/en-us/download!details.aspx?id= 17718.
Para instalar o lATA, preciso estar conectado como administrador
do sistema ou como usurio com direitos de instalao de software.
Abra o CD, abra a pasta do lATA, depois clique duas vezes no arquivo
IATASETUP.exe. Copie esse arquivo e cole-o no ambiente de trabalho do Windows, que pode ser acessado clicando no cone de ambiente
de trabalho no canto inferior direito da barra de tarefas do Windows
ou abrindo o "Explorer" e clicando duas vezes no cone de ambiente
de trabalho. Voc pode ser solicitado a dar autorizao para o
IATASETUP acessar ou modificar seu computador. Clique em Allow
ou Yes para continuar. Em seguida, ver a tela de boas-vindas que
confirma que est instalando o lATA. Em qualquer altura durante a
instalao possvel clicar em Cancel para desistir da instalao;
nenhuma alterao ser efetuada no seu computador. Clique em
Next para continuar. Leia o contrato e selecione I accept the agreement para confirmar que cumprir os seus termos. Continue com o
resto da instalao clicando Next. possvel deixar as definies de
instalao predefinidas inalteradas ou alter-las se tiver diferentes
diretrios para os seus arquivos ou menus. Antes de a instalao ser
efetuada, aparecer um resumo das especificaes de instalao.
Clique em Install. Uma vez concluida a instalao, aparecer a tela de
confirmao. Se pretender executar o lATA imediatamente, marque a
caixa de seleo denominada Launch lATA. Clique Finish para sair
do assistente de instalao.
DADOS DE AVALIAO
Dois tipos principais de dados so produzidos, e usados, na anlise de

avaliaes: dados de resposta e dados de item. Alunos individuais produzem dados de resposta ao responderem a perguntas em um teste
INTRODUO AO lATA
I 129
(um conjunto especfico de perguntas que avaliam um domnio

comum de aptido ou conhecimento). As perguntas individuais de
um teste so referidas como itens, os quais podem ser de mltipla
escolha, resposta curta, pergunta aberta, ou execuo de tarefas.
Os dados de item so produzidos pela anlise ou reviso de itens e
pelo registro das suas propriedades estatisticas ou cognitivas. Cada fila
de um arquivo de dados de resposta descreve as caractersticas de
quem faz o teste, enquanto cada fila de um arquivo de dados de item
descreve as caractersticas de um item de teste.
lATA pode ler e gravar uma variedade de formatos de tabelas de
dados (por exemplo, Access, Excel, SPSS [Pacote Estatstico para as
Cincias Sociais], arquivos de texto delimitados) se esses estiverem
corretamente formatados. Se os dados no estiverem formatados com
a estrutura correta, no ser possvel realizar a anlise no lATA.
Formatos compatveis com Bases de Dados, tais como Access ou SPSS,
tratam da maioria dos problemas de formatao de dados. No entanto,
se os dados estiverem armazenados em um formato menos restritivo,
como Excel ou arquivo de texto, devem ser seguidas as seguintes
convenes:
Os nomes das variveis devem aparecer na clula no topo de cada
coluna (conhecida como cabealho). Cada coluna com dados deve
ter um cabealho comum. O nome de cada varivel dever ser
diferente dos nomes de outras variveis de um arquivo de dados.
O nome de uma varivel deve comear com uma letra e no deve
ter espaos.
A gama de variao de dados o retngulo de clulas que contm
os dados, comeando com o nome da primeira varivel a aparecer
no arquivo de dados e acabando, na fila mais abaixo de todas, com
o valor da ltima varivel. O retngulo de clulas que forma a gama
de variao de dados no deve conter filas ou colunas vazias.
A gama de variao de dados deve comear na primeira clula da
folha ou arquivo de clculo. No Excel, essa clula denominada
AI. Em arquivos de texto, ela corresponde posio do cursor no
topo do lado esquerdo do arquivo.
Os dois exemplos na Figura 8.1 ilustram formatos incorretos e
corretos. No formato incorreto (a) h uma fila em branco acima do
130
Exemplos Corretos e Incorretos de Formatao de Dados

a. Formato incorreto: Filas e colunas vazias dentro e em torno dos dados
Var_A
Var_B
Var_C
Var_E
8
9
b. Formato correto: Gama de variao de dados no topo esquerdo

sem nenhuma fila ou coluna vazia
Var_A
Var_B
Var_C
Var_D
Var_E
8
9
retngulo de dados e uma coluna em branco sua esquerda. Filas e

colunas em branco tambm aparecem dentro do retngulo e uma
coluna contendo dados no tem cabealho. No formato correto
(b) todos os dados esto reunidos em um nico retngulo no topo
esquerdo da folha de clculo sem nenhuma fila ou coluna em branco.
Dados de Resposta
Os dados de resposta incluem a resposta de cada estudante a cada

item do teste. Os resultados do teste importados para o arquivo de
INTRODUO AO lATA
I 131
dados de resposta devem permitir pontuaes automatizadas, isto ,

o item de dados de resposta deve incluir os cdigos que representam
como os estudantes realmente responderam aos itens. Por exemplo, se
os dados de resposta forem de testes de mltipla escolha, os dados
devem registrar cdigos representando as opes aprovadas por cada
aluno (por exemplo, A, B, C, D). O lATA transformar as respostas
codificadas em pontuaes usando a chave de respostas introduzida
manualmente ou fornecida como um arquivo de chave de respostas.
Em um arquivo de dados de resposta, possvel armazenar outras
informaes que podem ser teis na anlise de resultados de testes.
Os exemplos incluem informaes demogrficas em variveis como
idade, nota, gnero, escola e regio. Mais informaes teis podem ser
coletadas em questionrios (tais como questionrios de aluno e professor) ou obtidas de registros administrativos. Se foi usada uma
amostra estratificada de estudantes, o peso de amostragem para cada
estudante deve ser includo nesse arquivo.
Deve-se fornecer um identificador nico para cada estudante; se
no for fornecido um identificador nico, o lATA produzir automaticamente identificadores nicos baseados na ordem de registro. No
entanto, se os resultados devero ser ligados a outras fontes de dados,
tais como pesquisas de acompanhamento ou registros administrativos, uma boa ideia utilizar um identificador previamente definido,
como o nome ou nmero do estudante, para facilitar ligaes futuras
entre conjuntos de dados.
Devem ser atribudos cdigos a todas as respostas. Para os itens de
mltipla escolha esse procedimento simples, porque cada opo
de resposta j est codificada como correta ou incorreta. Para os itens
de pergunta aberta, necessria uma rubrica de pontuao para pontuar respostas de itens usando uma estrutura comum de cdigo. Os
itens de pergunta aberta podem ser pontuados tanto como corretos/
incorretos ou com crdito parcial dado a diferentes respostas. Um
item de teste de crdito parcial tem mais de uma pontuao mais alta
do que zero. As respostas s perguntas abertas devem ser previamente
codificadas durante a preparao de dados de resposta. Os Volumes 2
e 3 desta srie descrevem procedimentos de codificao para itens
de teste (Anderson e Morgan 2008; Greaney e Kellaghan 2012).
Na maioria das anlises, para pontuar os dados de resposta, uma
132
chave de respostas deve ser carregada dentro do lATA. Uma chave de

respostas uma lista de cdigos de resposta que indica a resposta ou
respostas correta(s) para cada item de teste. A chave de respostas
pode ser importada como arquivo de dados ou inserida manualmente.
Se a anlise estiver usando parmetros de item ancorados (por exemplo, para ligar diferentes verses de um teste), os parmetros devem
ser incluidos no arquivo da chave de respostas; no podem ser inseridos manualmente (ver abaixo "Dados de Item").
Tratamento de dados em falta e omitidos

Os dados em falta ocorrem quando um aluno no fornece resposta a
um item do teste. Quando isso acontece, em vez de deixar o arquivo
de dados em branco, usado um cdigo do valor em falta para registrar porque a resposta est em falta. H dois tipos de respostas em
falta: em falta e omitidas.
So atribuidos cdigos em falta s variveis quando os estudantes
poderiam ter respondido a um item mas no o fizeram, deixando a
pergunta em branco. Esse tipo de dados em falta pontuado como
incorreto. Em contraste, cdigos de dados omitidos so usados quando
um item no foi administrado aos estudantes, como quando um
modelo de cadernos de prova rotativos usado em uma avaliao.
Dependendo das circunstncias de administrao do teste ou do
processamento de dados, deve-se decidir se os cdigos a aplicar s
respostas dos estudantes que no eram legiveis ou foram respondidas inapropriadamente, como, por exemplo, a seleo de duas opes
de mltipla escolha, devem ser processados como dados em falta ou
omitidos. Em termos gerais, se estes dados resultam de um erro do
estudante, os cdigos devem ser considerados em falta e pontuados
como incorretos. No entanto, se os erros resultam de limitaes do
processamento de dados, tais como impreciso no verificada ao
filtrar os boletins de pontuao, os cdigos devem ser considerados
omitidos.
Outro uso dos cdigos de dados omitidos ocorre quando um
modelo equilibrado de cadernos de prova rotativos usado. O modelo
equilibrado de cadernos de prova rotativos implica atribuir amostras
equivalentes aleatrias de itens a estudantes diferentes, de modo
que nem todos os estudantes respondam aos mesmos itens de teste
INTRODUO AO lATA
133
(ver Anderson e Morgan 2008). Esses modelos permitem uma extensa

cobertura do assunto em causa ao mesmo tempo que limitam o tempo
de durao do teste do estudante. Num modelo de cadernos de prova
rotativos, os cdigos omitidos devem ser atribudos a todos os itens
de um estudante exceto os que estejam contidos dentro do caderno
de prova apresentado ao aluno. Os cdigos de omisso no costumam
ser atribudos a itens em situaes onde todos os estudantes tm de
responder a todos os itens.
As convenes comuns usam valores especficos para os diferentes
tipos de dados de no resposta (ver Freeman e O'Malley 2012 para
informao sobre dados de resposta). So usados os seguntes valores
comuns:
9 para uma resposta em falta, quando os estudantes no responderam aumitem
8 para uma resposta no pontuada, que tipicamente ocorre em um
teste de mltipla escolha, no qual os estudantes fornecem mltiplas respostas e, em itens de pergunta aberta, quando as respostas
no so legveis
7 para itens omitidos ou no apresentados, que podem ser usados
em um modelo de cadernos de prova rotativos
Independentemente dos cdigos especficos usados, deve-se especificar como o lATA deve considerar cada no resposta, se em falta ou
omitida.
Dar nome aos itens
Num programa de avaliao nacional, importante atribuir um nome

nico a cada item (ver Anderson e Morgan 2008; Freeman e O'Malley
2012). Todas as anlises estatisticas realizadas em um item de teste
devem ser claramente ligadas ao nome ou denominao de um item.
Se um item repetido em vrios ciclos de uma avaliao nacional,
deve, para cada ciclo, manter o mesmo nome no arquvo de dados. Por
exemplo, um item matemtico, usado pela primeira vez em 2009,
pode ter o nome M003, para indicar ter sido o terceiro item a aparecer no teste de 2009. Se esse mesmo item for usado em um teste de
2010, deve continuar a receber o nome M003, independentemente
de onde aparece no teste. Dar nome aos itens por posio em um teste
134
pode causar confuso quando os itens so reutilizados. Por essa razo,

mais til atribuir nomes permanentes a itens de teste quando estes
so originalmente criados do que atribuir nomes quando so usados
pela primeira vez em uma avaliao.
Usar nomes consistentes tambm facilita a ligao de resultados de
diferentes testes. Quando o lATA calcula ligaes estatisticas entre
testes, combina itens no procedimento de ligao usando o nome de
itens. Se um nome de item refere-se a itens diferentes nos dois ltimos testes a serem ligados, os resultados da ligao no sero precisos.
Apesar de os itens poderem ser renomeados para facilitar o processo
de ligao, manter nomes nicos de itens desde o incio mais simples
e menor a probabilidade de introduzir erros.
Variveis reservadas pelo lATA

Durante a anlise dos dados de resposta, o lATA calcula a variedade
das variveis de trabalho ou de resultado. Os nomes destas variveis
so restritos e no devem ser usados como nomes de itens de teste ou
variveis de questionrio. Essas variveis, que o lATA adiciona aos
arquivos de dados de pontuao de teste, esto listadas na tabela 8.1.
TABELA 8.1
Variveis Produzidas ou Usadas pelo lATA para Descrever a Aptido e o Desempenho no
Teste do Aluno
Nome de Pontuao
Descrio
PesoX
Este o peso do modelo do caso que usado durante a

anlise (se no especificado, o valor igual a 1 para todos
os alunos).
EmFalta
Esta varivel descreve o nmero de itens que so omitidos para

um aluno.
PercentagemdePontuao
A percentagem de pontuao o nmero de itens a que um

aluno respondeu corretamente expresso por uma percentagem
do nmero total de itens administrados ao aluno (excluindo
dados de resposta omitidos).
PercentagemdeErro
Este o erro de medio para a percentagem de pontuao.

Este clculo especfico para cada aluno; o seu valor depende
da percentagem de pontuao e do nmero de itens a que um
aluno respondeu.
INTRODUO AO lATA
I 135
TABELAS.1
(continuao)
Nome de Pontuao
Descrio
Percentil
A categoria de percentil (um nmero entre O e 100) descreve,

para cada estudante, a percentagem de outros estudantes com
pontuaes mais baixas.
PontuaoZBruta
A PontuaoZBruta a percentagem de pontuao,

transformada para, dentro da amostra, ter uma mdia de O e
um desvio padro de 1.
PontuaoZ
Esta pontuao a distribuio normal equivalente

pontuao de percentil. Tambm referida como pontuao
na curva campanu/ar. Enquanto a distribuio da
PontuaoZBruta depende da distribuio de percentagens de
pontuao precisas, a distribuio da PontuaoZ tende a ser
mais precisamente moldada em forma de sino.
PontuaoTRI
A PontuaoTRI o clculo da aptido do aluno. Tipicamente,

esta pontuao tem uma mdia e desvio padro,
respectivamente, de O e 1. Facilita a generalizao, superior a
uma amostra de itens especfica, porque o seu clculo leva em
considerao as propriedades estatsticas dos itens de teste.'
ErroTRI
O erroTRI o erro de medio para a pontuaoTRI.
AssimetriadeTRI
A assimetria de clculo de aptido indica se o teste melhor ao

medir o limite superior ou inferior da aptido de um aluno. (Por
exemplo, um teste fcil pode descrever exatamente se os alunos
alcanaram um nvel mnimo de aptido, mas poder no ser
capaz de dar um clculo exato de nveis de aptido mais elevados.)
CurtoseTRI
O clculo de curtose de aptido descreve o quo preciso o

clculo para um determinado nvel de erro. (Por exemplo,
para duas pontuaes com as mesmas medidas de erro, a que
tem a maior curtose mais exata.)
PontuaoVerdadeira
Esta pontuao um clculo de uma percentagem de pontuao

que calculada a partir da pontuao TRI. ~ prefervel
percentagem de pontuao bruta porque corrige diferenas
em medio de erro entre itens. Esta percentagem calculada
como a mdia da probabilidade da resposta correta para cada
item, dada a pontuao de TRI de cada aluno e os parmetros
para os itens de teste.
Nvel
Esta varivel um clculo do nvel de aptido para um aluno que

tenha sido includo com base em procedimentos de normalizao.
(Se no tiverem sido executados procedimentos de normalizao,
o padro ser atribudo a todos os alunos o valor 1.)
Nota: TRI = teoria de resposta ao item

a. Opes adicionais de escalonamento de TRI esto disponveis na funcionalidade
avanada do lATA; consulte o guia de instalao que acompanha o CO.
136
Alm de evitar esses nomes especificos, evite usar nomes que contenham o smbolo @, o qual est reservado para o processamento de
itens de crdito parcial, que so itens de teste que tm mais do que
um valor de pontuao possvel maior do que zero.
Dados de Item
o lATA produz e usa arquivos de dados de item com um formato

especifico. Um arquivo de dados de item contm todas as informaes
necessrias para realizar anlises estatisticas de itens e pode conter os
parmetros usados para descrever as propriedades estatisticas dos
itens. Um banco de itens produzido ou usado pelo lATA deve conter
as variveis listadas na tabela 8.2.
A Tabela 8.3 apresenta exemplos para um arquivo de banco de
itens contendo informaes sobre cinco itens de cincia denominados
ClSci31, ClSci32, ClSci33, ClSci34, e ClSci35. Observe que o
item ClSci35 no tem qualquer dado nas colunas denominadas a, b,
c, e Levei. Como indicado na tabela, os nicos campos de dados que
so obrigatrios so Name and Key. Se os parmetros a, b, ou c estiverem em falta, sero calculados durante a anlise. Muitas situaes
podero requerer a insero de um arquivo de dados de item no lATA
que tenha esses parmetros em falta. A situao mais comum ocorre
quando os dados de resposta para os itens nunca foram analisados;
nesse caso, o arquivo de dados em branco simplesmente usado como
uma chave de respostas. Outra situao ocorre quando alguns itens
tm parmetros que foram calculados em uma anlise de dados anterior e pretendemos definir os valores desses itens em vez de fazermos
o lATA recalcul-Ios; nessa situao, deixaramos os valores a, b, e c
vazios apenas para itens para os quais desejvamos calcular novos
parmetros. Valores para LeveI e Content podem ser inseridos manualmente na interface lATA ou deixados vazios.
Um arquivo de dados de item tambm pode incluir variveis adicionais. Por exemplo, informaes adicionais normalmente armazenadas com dados de item incluem a pergunta de origem do banco de
dados, estatisticas descrevendo o nmero de vezes que o item foi
usado e uma lista dos testes em que cada item aparece. No entanto,
INTRODUO AO lATA
I 137
TABELA 8.2
Variveis em um Arquivo de Dados de Item

Varivel
Descrio
Nome
(OBRIGATRIO) o nome nico de cada item de teste
Chave
(OBRIGATRIO) as informaes usadas para atribuir uma

pontuao numrica a cada resposta de item, a qual um nico
cdigo correspondente resposta correta ou um conjunto de
valores que define uma variedade de respostas aceitveis e a sua
correspondente pontuao numrica
(OPCIONAL) o primeiro de trs parmetros, que descreve como o

desempenho em um item de teste se relaciona com a aptido no
domnio do desempenho, referido como parmetro de inclinao
ou de discriminao
(OPCIONAL) o segundo parmetro de item, referido como

parmetro de localizao ou de dificuldade
(OPCIONAL) o terceiro parmetro de item, referido como

parmetro de acerto casual'
Nvel
(OPCIONAL) um nvel de aptido anteriormente atribudo a um

item baseado na especificao inicial do item e verificao de
perito (os valores devem ser nmeros naturais, comeando em 1)
Contedo
(OPCIONAL) um cdigo ou descrio usado para descrever o

subdomnio do currculo, tambm conhecido como vertente ou
segmento, com o qual cada item est mais fortemente alinhado
8. O Uso do parmetro c para descrever itens pode fazer com que certas funes, como equacionar,
no funcionem adequadamente. Para a maioria dos usos, os itens so mais teis se o valor do
parmetro c for igualou programado para zero. O modelo de trs parmetros s deve ser usado
por peritos que estejam cientes das suas limitaes. Os clculos e uso do parmetro c so
fornecidos pela funcionalidade avanada do lATA. O registro do lATA, que gratuito, d acesso
a essa funcionalidade avanada. Para instrues de registro, consulte o guia de instalao que
acompanha o CD.
TABELA 8.3
Seo de Amostra de um Arquivo de Dados de Item
Nome
Chave
Nvel
Contedo
C1Sci31
0,34
0,83
0,01
Fundamentao Cientfica
C1Sci32
0,46
0,40
0,12
Fsica
C1Sci33
0,32
0,31
0,06
Fsica
C1Sci34
0,18
0,75
0,16
Biologia
C1Sci35
Ambiente
138
o lATA no utilizar nenhuma varivel exceto os sete campos de

dados necessrios da tabela 8.3.
A equipe de avaliao nacional pode usar informaes de qualquer fonte se esta tiver os dados de item no formato apresentado na
tabela 8.2. Por exemplo, as avaliaes nacionais podem ter permisso
para usar itens de uma avaliao de larga escala tal como a administrada pela Associao Internacional para a Avaliao do Desempenho
Educacional, que inclui o TIMSS (Tendncias Internacionais no
Estudo da Matemtica e das Cincias, pela sua sigla em ingls,) e o
PIRLS (Estudo Internacional de Progresso na Compreenso de
Leitura, pela sua sigla em ingls) (http://timss.bc.edu/). Se forem
includos itens de avaliaes de larga escala existentes, o parmetro de
item das avaliaes existentes pode ser usado para criar um arquivo
de dados de item que o lATA pode importar.
Formatos de Chave de respostas

Na coluna com o cabealho Key em um arquivo de dados em branco,
deve-se fornecer ao lATA informaes que ele possa usar para pontuar cada item. No caso mais simples, para testes de mltipla escolha
com apenas uma opo correta, o valor em cada coluna deve ser um
carter alfanumrico correspondendo opo correta. O valor sensvel a maisculas e minsculas, o que significa que, por exemplo, se a
resposta correta for codificada como um A maisculo, ento a letra
maiscula A deve ser dada na chave de respostas; se for dado um valor
de chave a, ento, quaisquer respostas com o valor A sero marcadas
como incorretas.
Em casos raros, durante um processo de reviso de teste, um item
de teste pode ser definido para ter mais do que uma resposta correta.
Para atribuir mais do que um valor de chave a uma chave de respostas,
deve-se inserir uma lista de valores corretos, separados por vrgulas
sem espaos entre os valores ou depois das vrgulas. Por exemplo, se as
respostas de A e C forem aceitveis como corretas para um item de
testes, o valor da chave para o item deve ser A,CI
Formatos de Item de Dados para Itens de Crdito Parcial

Itens de Crdito parcial (ou de resposta graduada) so itens de teste
que tm mais do que um valor de pontuao. Por exemplo, em vez de
INTRODUO AO lATA
I 139
ser pontuado como O ou 1, um item com diversos nveis de exatido

pode ser pontuado como 0,1, ou 2, onde O representa uma tentativa
de resposta, 1 uma resposta parcialmente correta e 2 uma resposta
totalmente correta. Para acomodar diferentes valores, a chave de respostas deve ser inserida para cada valor de pontuao maior do que
O. Se o esquema de marcao usado para itens de crdito parcial usar
pontuaes que so todas maiores do que O, ento, a informao da
chave de respostas no deve ser inserida para o valor pontuado mais
baixo. Por exemplo, se os possveis itens de pontuao forem 1, 2, e
3, a chave de respostas deve dar informao s para valores 2 e 3. O
formato para uma resposta de crdito parcial <pontuaol>:<1ista
valores 1>;<pontuao 2>:<1ista valores 2>; ... <pontuao n>:<1ista
valores n>. Por exemplo, para um item de crdito parcial com trs
valores, codificados como A, B, e C, com pontuaes, respectivamente, de 1, 2, e 3, a chave de respostas deve ser inserida como
1:A;2:B;3:C.
Se um item de crdito parcial j tiver sido analisado, ter um
maior nmero de parmetros do que um item de teste normal. Cada
valor de pontuao ter um valor distinto para o parmetro b, apesar
de o parmetro ter o mesmo para todos os valores de pontuao.
Esses dados de itens devem ser inseridos em um formato especial.
Alm de darem a entrada principal com a chave de respostas completa, necessrio acrescentar uma nova entrada para cada valor de
pontuao (exceto para o valor de pontuao mais baixo) como se
cada valor de pontuao fosse um item de teste individual. Os campos de parmetro para a entrada principal devem ser deixados em
branco. Por exemplo, se um item tem pontuaes de O, 1 e 2, ento,
dever ser necessrio um total de trs filas no arquivo de dados de
item: uma fila para a globalidade do item, que ter apenas o nome
do item e a chave de respostas; e duas entradas especificas de pontuao para 1 e 2 com as informaes de nome, chave de respostas,
e parmetro.
O valor do campo do nome para cada entrada especfica de pontuao o nome original do item seguido de @<valor pontuao>.
Por exemplo, se o nome original do item TestItem, o nome para uma
pontuao de item de 1 TestItem@l. O lATA utiliza um modelo
de resposta de item que requer que os valores dos parmetros
140
TABELA 8.4
Seo de Amostra para Um Arquivo de Dados de Um Item de Crdito Parcial
Nome
Chave
Nvel
Partes de discurso
1:1;2:2;3:3
PCltem001
PCltem001@1
0,61
-0,43
PCltemOO1@2
0,61
0,22
PCltemOO1@3
0,61
0,74
Contedo
1,2,3
Partes de discurso
2,3
Partes de discurso
Partes de discurso
b estejam na mesma ordem que as pontuaes. Como tal, se houver

duas entradas de pontuao, 1 e 2, o valor do parmetro b para a
pontuao 2 deve ser maior do que o parmetro b para a pontuao
1 (ver tabela 8.4).
Quando inserida uma fila para pontuao de cada item de crdito
parcial, os valores do campo da chave de respostas devem ser especificados de modo diferente. A anlise de um item de crdito parcial
pressupe que um estudante que consegue uma determinada pontuao em um item tambm domina o nvel de competncias associado
a uma menor pontuao desse item. Em outras palavras, se cada pontuao tratada como um item de teste individual, considera-se que
um estudante com um alto item de crdito parcial teve desempenho
correto nas pontuaes mais baixas de crditos parciais. Para gerir essa
relao no lATA, a chave de respostas para cada valor de pontuao
deve listar o seu prprio valor ou valores de chave assim como os
valores de quaisquer pontuaes mais altas.
Um exemplo correto de formatao de dados de um item de crdito parcial com pontuaes de O, 1,2, e 3 dado na tabela 8.4. Note
que nenhuma informao de pontuao dada para a pontuao mais
baixa (O). A entrada principal de item no tem valores de parmetro
ou um valor para LeveI (Nvel). Como cada valor de pontuao poderia corresponder a um padro diferente de desempenho, no h sentido em especificar o nvel para a totalidade do item. Mesmo se as
respostas j tiverem sido pontuadas, a informao de pontuao ainda
deve ser especificada usando o formato de chave de respostas correto.
Para o lATA pontuar as respostas corretamente, a chave de respostas
deve dar tanto o valor encontrado nos dados como a pontuao atribuda a cada valor.
INTRODUOAO lATA
I 141
DADOS PRODUZIDOS PELO lATA
o lATA produz vrias tabelas de dados que contm as especificaes

da anlise atual e dos resultados da anlise. Em geral, os resultados
devem ser arquivados para referncia futura. A Tabela 8.5 resume a
lista de tabelas de dados produzidos pelo lATA. As tabelas podem ser
salvas individual ou coletivamente, diretamente do lATA em vrios
formatos comuns, incluindo Excel (*.xls/*.x1sx), SPSS (*.sav), delimitados por vrgula (*.csv), ou delimitados por tabulao (*.txt).
TABELA 8.5
Tabelas de Dados Produzidas pelo lATA
Tabelas de Dados
Descrio
Respostas
Dados originais de resposta (incluindo dados no teste)

importados para o lATA
Valores
Cdigos de resposta nicos para todos os itens de teste e

indicao se cada valor de resposta codificado como em falta
vlido (omisso vlida) ou em falta
Pontuao
Os dados de resposta foram pontuados como corretos (1) ou

incorretos (O) usando a resposta especificada, assim como
todos os resumos de pontuaes e os seus erros padro
Itens1'
Chaves de respostas de item e estatsticas relacionadas com a

atual anlise e parmetros de item
Itens2
Chaves de respostas de item e parmetros do arquivo de

parmetro de item de referncia usado para ligao
Itenslntegrados
Correspondncia item a item, tanto no novo arquivo como no de

parmetro de item de referncia usado pelo processo de ligao
ValoresPrprios
A proporo de varincia explicada por cada uma das

dimenses subjacentes s respostas de item
MatrizPadro
A proporo de varincia para cada item explicada por cada

uma das dimenses subjacentes s respostas de item
Nveis
Os valores limite usados para definir os nveis de aptido
ConstantesdeLigao
Constantes de transformao de pontuao usadas para ajustar

a escala de carter latente entre populaes ou amostras
DadosdeMarcadordeLlvro
Uma lista ordenada de itens que possa ser usada para facilitar a
configurao padro ou a criao de definies para nveis de
desempenho
FDI_<especificaes>
Os resultados da anlise do funcionamento diferencial dos

itens, onde o nome da parte da tabela <especificaes>
resume a varivel e grupos comparados na anlise
(continua)
142
TABELA 8.5
(continuao)
Tabelas de Dados
TesteComum<nome>
Descrio
Um conjunto de itens escolhidos para minimizar o erro de
medio sobre uma gama especfica de aptido, o <nome>
um valor especificado para cada usurio
a. A tabela de dados Itens' produzida pelo lATA aps uma anlise dos dados de resposta no apenas serve como
um arquivo de dados de banco de itens, como tambm gera vrias estatsticas adicionais. As estatsticas adicionais
so descritas em sees posteriores sobre anlise de dados de resposta. Elas descrevem o comportamento dos itens
em uma amostra especfica e so teis para orientar a anlise e a elaborao de testes, mas no precisam ser
mantidas e um arquivo de banco de itens que ser usado pelo lATA.
Alm das tabelas de dados descritas na tabela 8.5, o lATA produz

vrios grficos, resumos de texto e tabelas de resultados que s so
apresentadas na interface lATA. Esses resultados podem ser copiados diretamente do lATA e colados em outros documentos para
referncia futura. O mtodo de copiar as sadas depende do tipo
de sada.
Para grficos, clicar no boto do lado direito do mouse no corpo do
grfico abre um menu suspenso com as opes para (a) copiar a imagem para a rea de transferncia, (b) salvar a imagem do grfico diretamente em um arquivo, ou (c) imprimir a imagem. Para apresentar
resultados em formato de tabulao, deve-se primeiro selecionar as
clulas, linhas ou colunas a serem copiadas, depois copiar os dados
selecionando Copy (Copiar) do menu suspenso que se acessa ao clicar com o boto direito do mouse ou escrevendo Ctrl+c. Os dados
copiados podem ser colados em um arquivo de texto ou diretamente
em software de folhas de clculo como Excel ou SPSS.
INTERPRETAR OS RESULTADOS DO lATA
Sempre que o lATA produz resultados de anlise para itens individuais, tambm apresenta um resumo de indicadores de "trfego de smbolo" que fornece uma ideia geral de como interpretar os resultados.
O lATA usa trs simbolos (ver Tabela 8.6). Os smbolos (circulo,
losango, tringulo) aparecem em cor na tela do computador.
INTRODUOAO lATA
I 143
TABELA 8.6
Smbolos de Trfego no lATA e o Seu Significado
Smbolo
Significado
Um crculo indica que no existem maiores problemas
<>
Um losango indica que os resultados no so os ideais. Este

indicador usado para sugerir que podem ser necessrias
modificaes s especificaes da anlise ou aos itens em si
mesmos. No entanto, os itens no esto introduzindo nenhum erro
significativo nos resultados da anlise
l1A.
Um tringulo aparece ao lado de qualquer item potencialmente

problemtico. ~ usado para indicar itens que no puderam ser
includos na anlise devido a problemas com os dados ou
especificaes ou para recomendar um exame mais detalhado das
especificaes ou dos dados subjacentes e item de teste. Quando
este indicador aparece, no significa necessariamente que exista
um problema, mas sugere que os resultados gerais da anlise
podem ser mais precisos se o item de teste indicado for removido
ou se a anlise for redefinida
No caso de anlises em que so considerados vrias informaes ao

interpretar os resultados para um item especifico, como a anlise de
item e a dimensionalidade de resultados de teste, o lATA gera afirmaes interpretativas que pretendem resumir as diferentes estatisticas.
Essas afirmaes pretendem ser uma sugesto til de como proceder.
No entanto, em qualquer caso em que o lATA recomende uma modificao, quer s especificaes da anlise quer aos itens de teste,
preciso verificar se a recomendao apropriada examinando os
resultados estatisticos, os verdadeiros cadernos de prova, ou ambos,
ou discutindo os itens com um especialista do currculo.
DADOS DE AMOSTRA
Quando o lATA instalado em um computador, ele cria uma pasta

no ambiente de trabalho chamada lATA. Essa pasta contm dados
de amostra que so necessrios para os exemplos guiados deste livro.
A pasta de dados de amostra contm sete arquivos entre os quais
seis conjuntos de dados de resposta, cada um em formato Excel,
144
e um arquivo Excel contendo chaves de respostas para cada um dos

conjuntos de dados de resposta. Os arquivos esto no formato *.xIs
para serem compativeis com software mais antigo e aberto (dependendo das configuraes do computador, a extenso de arquivo .xIs
pode no estar visvel). Os nomes e contedos dos arquivos so
os seguintes:
PILOTl: um conjunto de dados de resposta correspondente a um

teste piloto contendo itens de mltipla escolha
CYCLEl: um conjunto de dados de resposta correspondente
administrao de uma avaliao nacional
PILOT2: um conjunto de dados de resposta correspondente a um
teste piloto contendo itens de mltipla escolha em um modelo
eqUilibrado rotativo
PILOT2PartialCredit: um conjunto de dados de resposta correspondente a um teste piloto contendo itens de mltipla escolha e de
crdito parcial em um modelo equilibrado rotativo
CYCLE2: um conjunto de dados de resposta correspondente
administrao de uma avaliao nacional com itens em comum
com uma administrao anterior
CYCLE3: um conjunto de dados de resposta correspondente a
uma administrao de avaliao nacional com itens em comum
com uma administrao anterior
ltemDataAllTests: um arquivo Excel com vrias folhas contendo
chaves de respostas e informaes sobre os itens em cada um dos
arquivos de dados de resposta
Esses dados de amostra so conjuntos de dados ficcionais desenvolvidos com o nico propsito de fornecer exemplos concretos e aplicaes deste software. Apesar de refletirem os padres tipicos de
respostas de um aluno e a relao nos dados ser semelhante encontrada na maioria das avaliaes de larga escala, os resultados e discusses das concluses da anlise no representam qualquer avaliao
nacional real.
Se algum dos arquivos de dados de amostra for apagado, pode ser
recuperado executando-se o programa IATASetup.exe do CD ou a
partir do website do lATA (http://polymetrika.comlhomelIATA).
INTRODUOAO lATA
145
FLUXOS DE TRABALHO E INTERFACES DE ANLISE DO lATA
o lATA difere dos programas de anlise estatistica que fornecem uma

variedade de funes de anlise que podem ser acessadas individualmente. Em contraste, todas as funes de anlise no lATA so acessadas atravs de fluxos de trabalho, nos quais os resultados de cada passo
do fluxo de trabalho podem ser usados para instruir as especificaes
ou interpretaes de resultados de passos subsequentes. Cinco fluxos
de trabalho esto disponveis no lATA:
Anlise de dados de resposta

Anlise de dados de resposta com ligao
Ligao de dados de item
Selecionar itens de teste ideais
Desenvolver e atribuir padres de desempenho
Cada fluxo de trabalho reflete as necessidades de objetivos especficos que podem surgir no contexto de uma avaliao nacional. As
seguintes diretrizes relacionam-se com certas situaes associadas a
fluxos de trabalho:
Se um teste piloto tiver sido realizado e forem necessrias informaes detalhadas sobre o comportamento dos itens para determinar
o contedo do teste final, deve-se usar o fluxo de trabalho Response
data analysis.
Se for realizada uma coleta de dados para a primeira avaliao
nacional de uma srie planejada de avaliaes deve-se usar o fluxo
de trabalho Response data analysis.
Se estiverem sendo atribudas novas pontuaes de escala a uma
amostra de estudantes aos quais foi administrado o mesmo teste
utilizado em uma avaliao nacional anterior, deve ser usado o
fluxo de trabalho Response data analysis.
Se foi realizada uma avaliao nacional que compartilha
itens com uma avaliao anterior e desejada uma comparao dos resultados de ambas, deve ser usado o fluxo de trabalho
Response data analysis with linking ou o fluxo de trabalho
Linking item data.
146
Se o objetivo modificar um teste e preciso identificar os melliores itens para ficarem no novo teste de modo a manter a compatibilidade com o teste anterior, deve ser usado o fluxo de traballio
selecting optimal test items.
Se a avaliao nacional j foi realizada e se pretende interpretar os
resultados de um modo que sej a consistente com as expectativas
do curriculo em vez de simplesmente comparar estudantes uns
com os outros, deve-se usar o fluxo de trabalho Developing and
assigning performance standards.
Para realizar anlises com o lATA, deve-se selecionar um desses
fluxos de traballio a partir do menu principal. O menu principal
pode ser acessado clicando Maio Menu no canto inferior direito da
tela de seleo de idiomas e de registro que carrega junto com o
lATA (Figura 8.2). No preciso introduzir informaes nesta tela
Seleio de Idioma 1"ldol e Registro Id. .1poro o lATA
Msm Menu
INTRODUO AO lATA
147
para executar o lATA. O idioma padro para o lATA o ingls e o

registro opcional. O registro permite o acesso a funes avanadas
de anlise e receber notificaes quando h atualizaes disponveis
para o lATA.
A Figura 8.3 mostra o menu principal do lATA.
Cada fluxo de trabalho composto por um conjunto de tarefas
que so realizadas por ordem. A maioria dos fluxos de trabalho compartilha muitas das mesmas tarefas. O lATA desempenha 10 tarefas,
cada qual com a sua interface que, regra geral, aparecem na ordem
listada na Tabela 8.7. Nem todas as tarefas aparecem em todos os
fluxos de trabalho. Os fluxos de trabalho so concebidos de modo
que o usurio seja solicitado a realizar apenas as tarefas que sejam
relevantes para os objetivos da sua anlise. A Tabela 8. 7 combina

tarefas com fluxos de trabalho.
Os dois primeiros fluxos de trabalho (A, B) so muito semelhantes em termos de tarefas. Por outro lado, os trs ltimos (C, D, E) s
o Menu Prindp.1 do lATA

11
1:1
lATA
Response data analysls
Response data analy$l$ Wllh hnking
Lmklng Item data
Selectmg ophmal tas! I!ams
Developmg and ilsslgmng performance standards
EXI!
148
TABELA 8.7
Tarefas do lATA e os Fluxos de Trabalho em que so Usadas
Fluxos de Trabalho
Tarefa
Anlise de
dados de
resposta
A
Anlise de
dados de
resposta
com ligao
B
Ligao
de dados
de item
C
Selecionar
itens de
teste ideais
D
Desenvolver/
atribuir
padres de
desempenho
E
Selecionar
itens de
teste ideais
D
Desenvolver/
atribuir
padres de
desempenho
E
Carregar dados
Configurar
especificaes de
anlise
Analisar itens de
teste
Analisar
dimensionalidade
do teste
Fluxos de Trabalho
Tarefa
Analisar
funcionamento
diferencial dos itens
Anlise de
dados de
resposta
A
Anlise de
dados de
resposta
com ligao
B
Ligao
Ligao
de dados
de item
C
Escalonamento de
resultados de teste
Selecionar itens de
teste ideais
Dar informaes
sobre o
desenvolvimento
de padres de
desempenho
Salvar resultados
INTRODUO AO lATA
I 149
analisam dados de item. Todos os fluxos de trabalho requerem que

os dados sejam carregados no lATA e permitem que os resultados
sejam salvos.
NAVEGAR NOS FLUXOS DE TRABALHO DO lATA
Aps selecionar um fluxo de trabalho do menu principal do lATA, o

usurio ser direcionado para o conjunto de tarefas que integram o
fluxo de trabalho. Cada tarefa tem sua prpria interface que permite
especificar como o lATA deve realizar a tarefa e, se aplicvel, rever os
resultados.
A caixa de instrues do lATA e os botes de navegao so mostrados na Figura 8.4. A caixa de instrues fornece um breve resumo
das especificaes necessrias para cada tarefa e sugestes interpretativas. Clicar no boto denominado Back permite rever um tarefa
prvia, clicar Next leva prxima tarefa. Vale ressaltar que, apesar
de o lATA no impedir o usurio de andar para trs e para a frente
atravs dos fluxos de traballioJ se as tarefas menos recentes no tive-
rem sido corretamente executadas, as tarefas mais recentes do fluxo

de trabalho podem no fornecer dados significativos.
Independentemente do fluxo de trabalho onde aparecem, as especificaes gerais para cada tarefa permanecem as mesmas. As interfaces de tarefa so descritas em detalhe nos exemplos guiados dos
Capitulos 9 a 14 deste volume.
Os exemplos nos capitulos seguintes demonstram como usar o
lATA para realizar anlises de dados de item e de teste para uma
Caixa d. Interface d. Instru d. Tarefa _ Bot d. Navegao do lATA
INSTRUCTIONS
150
avaliao nacional usando dados a partir da pasta lATA no seu

ambiente de trabalho. Para analisar os seus prprios dados de avaliao nacional, crie uma nova pasta e atribua-lhe um nome relevante,
como NATIONAL_ASSESSMENT_YEAR_l. (ao dar nome aos
arquivos e pastas, evite usar espaos ou caracteres especiais exceto _).
Voc deve armazenar seus dados de resposta de alunos nesta pasta e
salvar quaisquer resultados produzidos pelas suas anlises na mesma
pasta. Apesar de o lATA conseguir analisar dados em diferentes formatos, tais como Excel e SPSS, os arquivos de dados que voc usa
devem seguir a mesma estrutura e convenes de nomes descritas nas
Tabelas 8.2 e 8.3. Os nomes dos arquivos de dados devem identificar
sem margem de dvida a fonte dos dados. 2
NOTAS
1. Essa exigncia em termos de formatao significa que as virgulas nunca
devem ser usadas como valores de chave de respostas.
2. Informaes adicionais sobre o lATA podem ser encontradas em http://
polymetrika.comlhome/IATA.
CAPiTULO
ANLISE DE DADOS
DA APLICAO DE
UM TESTE PILOTO
Utilize o conjunto de dados de amostra PILOTl

para realizar este exerccio. A chave de respostas para este teste
encontra-se no livro de exercicios Excel, ltemlJataA1lI'ests, na folha

com o nome PILOTl.
Este captulo introduz a anlise de dados de testes piloto utilizando
o software de Anlise de Item e de Teste (lATA). O fluxo de trabalho
Response data analysis ser utilizado para a anlise dos dados de resposta atravs da utilizao de um arquivo de chave de respostas. As
fases do fluxo de trabalho incluem o carregamento de dados, a especificao da anlise, a anlise de itens, a anlise dimensional, a anlise
de fuocionamento diferencial dos itens e a seleo dos itens. As pontuaes de escala ou os padres de desempenho no so calculados,
uma vez que improvvel que a distribuio de aptides na amostra
piloto seja representativa da populao.
Considere o seguinte cenrio. Uma equipe de avaliao nacional e os
respectivos especialistas em currculo escolar criaram um conjunto de
novos itens de mltipla escolha para avaliar as capacidades no nvel de
Matemtica dos alunos do 5. ano. Os novos itens do teste, que foram
considerados adequados para representar o currculo escolar nacional,
foram criados para refletir as principais categorias de contedo
151
152
(conhecimentos no Ivel de nmeros, fonna e espao, relacionamentos,
resoluo de problemas e incerteza) determinadas por um comit

diretor nacional. A verso final do teste, que deve conter 50 itens, deve
ser aplicada a alunos do 5. 0 ano de todos os nveis de aptido.
Como primeiro passo, a equipe de avaliao nacional aplicou um
teste de 80 itens a um total de 262 alunos provenentes de sete escolas
em cada uma das trs regies. A equipe utilizou um nmero de itens
superior ao que ser incluido no teste final, prevendo que, como
comum, muitos dos itens propostos para o teste no funcionem devidamente por vrias razes. (Os itens podem, por exemplo, ser demasiadamente fceis ou dificeis ou as instrues podem ser confusas.) Alguns
itens podem ter sido rejeitados pelos painis de reviso antes da realizao do teste prvio. Para prevenir itens problemticos adicionais, deve
ser realizado o teste prvio para um nmero de itens superior em pelo
menos 50% ao que ser necessrio para o teste final. Note-se tambm
que um teste piloto destina-se a testar os protocolos operacionais para
um questionrio e a determinar a composio de itens no teste final.
O arquivo de dados de resposta dos alunos contm as respostas
dadas por cada aluno aos 80 itens de mltipla escolha, assiro como
algumas variveis no nvel da escola (identificao da regio, identificao da escola, tipo de escola, diroenso da escola) e algumas informaes no nvel dos alunos (gnero dos alunos, idioma falado em casa
dos alunos).
No menu principal, clique na primeira opo do menu, Response
data analysis, para acessar o fluxo de trabalho da anlise (Figura 9.1).
Se ocorrer um erro ou aparecerem resultados inesperados em alguma
fase do fluxo de trabalho, volte ao passo anterior ou reinicie a anlise
a partir do menu principal.
Fluxo d. Tr....lho d. Anillse dOi o.dOl d. R..p _
Response data analysls
ANLISE DE DADOS DA APLICAO DE UM TESTE PILOTO
153
PASSO 1: CARREGAMENTO DOS DADOS DE RESPOSTA

Independentemente do caminho de anlise escolhido, necessrio
carregar os dados anteriormente recolhidos ou produzidos para o
lATA (por exemplo, os dados do teste piloto de avaliao nacional ou
um arquivo de dados de itens). O lATA flexvel e tem procedimentos e botes simples para efetuar o carregamento de dados de resposta, dados de itens ou ambos. Qualquer que seja o cantinho de
anlise ou o tipo de dados necessrio indicar ao lATA qual o
arquivo de dados que deve importar e quais so os dados desse arquivo
que deve utilizar. O lATA pode importar dados nos formatos SPSS
(Pacote Estatistico para as Cincias Sociais) (*.sav), Excel (*.xls!*.
x\sx), delimitados por tabulaes ('.txt) e separados por vrgulas
(*.csv). necessrio fazer a especificao de uma tabela quando esta
importada, uma vez que os arquivos de dados do Excel podem conter vrias tabelas separadas.
A primeira tela neste caminho de anlise requer que o usurio faa
a importao de um arquivo de dados de resposta para o lATA. A
interface de carregamento de dados apresentada na Figura 9.2. As
Interface de c.rregamento de Dados de Resposta

lATA page 1110
_.
-
""""'" ,, "
r~
], I""
,
"
,,
"
,
,, ""
""
o
""
"'"
I:o
lU"
, "
"
Pl.OTlSTOO
.
""
.."
""
"
""
"
,M"
=i.,,
I:,
,,
,,
,- '""'-
I"
,,
,,
,,
,,
,,
,
,,,
,,,
,
,
,
MATHC1019
"
,,
,o
,.o
,,
MATHC1027
154
instrues comeam com as palavras EXAMINEE RESPONSE DATA

para indicar que esto sendo importados dados que contm as respostas de alunos individuais a itens individuais. Abaixo das instrues, h
duas caixas: um resumo do caminho do arquivo e um menu suspenso
para a seleo das tabelas de dados no arquivo selecionado. A direita
dessas caixas, encontra-se o boto Open File. A tabela na parte inferior da interface apresenta os dados para uma fonte de dados selecionada. Se existirem mais de 500 linhas de dados, apenas sero
apresentadas as primeiras 500. Se o formato de dados selecionado
permitir mltiplas tabelas, como no caso dos formatos Excel ou
Access, o nome da primeira tabela no arquivo de dados vai ser apresentado na caixa suspensa. Caso contrrio, vai aparecer o nome do
arquivo. Para arquivos de dados com mltiplas tabelas, os dados desejados podem no estar presentes na primeira tabela. Analisando o
contedo da tabela de dados que vai aparecer no espao grande na
parte inferior da interface, verifique se os dados adequados esto selecionados. Se a tabela ativa no contm os dados desejados, selecione
uma tabela diferente clicando no menu suspenso.
Para este exemplo, carregue o arquivo PILOTl.x1s.
1. Clique em Open File para selecione o arquivo de dados. No
navegador de arquivos, navegue at a pasta no ambiente de trabalho que contm os dados de amostra do lATA.
2. Selecione (ou digite) PH.OTl.x1s.

3. Clique em Open ou pressione a tecla Enter.
Quando o arquivo abrir, uma caixa de dilogo suspenso vai pedir
para voc confirmar se os dados selecionados contm os dados de
resposta dos itens corretos. Clique em OK para continuar. Confirme
que os dados piloto de amostra foram carregados corretamente; a
interface deve ser semelhante Figura 9.2. Os dados da figura apresentam os registros de cada aluno que realizou o teste piloto. As primeiras sete variveis esquerda descrevem informaes demogrficas
e de amostragem sobre os alunos.
PILOTISTDID: cdigo individual de identificao do aluno
SCHOOLID: cdigo individual de identificao da escola
155
Sex: sexo (gnero) do aluno (1 = feminino, 2 = masculino)

SchoolSize: nmero total de alunos na escola
Rural: localizao da escola (O = urbana, 1 = rural)
Region: identificador numrico para a regio geogrfica
Language: identificador numrico sobre se o idioma do ensino
falado em casa do aluno
o primeiro item do teste de matemtica aparece na coluna 8 com o

nome MA1HCI019. Percorra todo o conjunto de dados para confirmar
que o arquivo contm dados nos 80 itens; o item na ltima coluna tem
o nome MA1HCI041. Os nomes dos itens so arbitrrios e no refletem a respectiva posio no teste. A maioria das clulas tem os valores
A, B, C ou D, que indicam a opo selecionada pelos alunos. As clulas
que mostram o valor 9 indicam que o aluno no respondeu ao item.
Como acontece com a maioria das amostras piloto, os alunos representam uma amostra de convenincia, em vez de uma amostra de
probabilidade da populao total. Assim sendo, o arquivo de dados de
resposta no tem pesos amostrais.
Aps verificar que o arquivo de dados de resposta correto foi carregado, clique em Next.
PASSO 2: CARREGAMENTO DA CHAVE DE RESPOSTAS
O item da chave de respostas tem que ser carregado neste momento.

Tal como acontece com os dados de resposta, os dados de item esto no
formato Excel, na pasta de dados do lATA, no ambiente de trabalho.
1. Clique em Open File para selecionar o arquivo de dados. No
navegador de arquivos, navegue at a pasta no ambiente de trabalho que contm os dados de amostra do lATA.
2. Selecione (ou digite) ltemDataAIlTests.xls.
3. Clique em Open ou pressione a tecla Enter.
Quando o arquivo abrir, uma caixa de dilogo suspenso vai dizer
que o lATA vai fazer uma estimativa dos parmetros dos itens em
falta. Clique em OK para continuar. O arquivo de dados selecionado
156
contm tabelas para todos os exemplos presentes neste livro.

Certifique-se de que a tabela PILOTl foi corretamente selecionada
no menu suspenso. Confirme que os dados corretos dos itens foram
carregados corretamente; a interface deve ser semelhante Figura 9.3.
Para encontrar informaes sobre itens especficos possvel ordenar
os itens clicando no cabealho da coluna Name.
Aps confirmar que os dados corretos dos itens foram carregados,
clique Next para continuar.
PASSO 3: ESPECIFICAOES DA ANLISE
Todos os fluxos de trabalho que utilizam dados de resposta requerem

certas especificaes que vo afetar os resultados de todas as anlises
seguintes. Essas especificaes incluem informaes relacionadas com
a chave de respostas, a identificao dos respondentes, a ponderao
do modelo de amostragem e o tratamento de cdigos de dados em
falta. A interface que disponibiliza essas especificaes apresentada
na Figura 9.4. O painel grande esquerda contm uma tabela dos
Dados dos Itens paira os Dados de Respam PILOT1
,.
.....1lC1OS'
..... 1lCl~ 8
1lA1lC107t C
.....1lC1006 A
IlATlI:l00i
.....1lC\OU
.....1lC10lD
.....1lC\De
..... TlI:ll)(;?
..... TlI:10l1
A
S
9
o
A
--.. --... ----
,
,.,
,
,
,
157
Espedfic.e. da Anli.. p.ra os Dados PILOT1

lATA page 3/10
~ .
MATHC10H C
MATHC1~
MATHC1~ 1 8
MATHC1078 C
MATHC1008 "
MATHC1009 "
MATHC1013 8
MATHC1020 8
MATHC1048
MATHC1052 "
MATHC1021
MATHC1023 8
<
_
.
........
......
MATHC1037 8
'w.mt>er I
........
.......
.......
.........
~.
_.
........
"""".
itens de teste no arquivo de dados de resposta com os cabealhos das

colunas Name, Key, leveI e Contento Se um arquivo de dados de itens
foi carregado, a tabela vai apenas conter as variveis que foram identificadas como itens de testei caso contrrio, a tabela vai conter todas as
variveis. Se tiver pulado o passo de carregamento de um arquivo de

dados de itens, ser necessrio adicionar manualmente as especificaes da chave de respostas para cada item na tabela (consulte
"Formatos de chave de respostas' no Captulo 8 deste volume).
Na seo central da interface h um boto com o nome Update
response value listo Clique nesse boto para alterar as especificaes
da chave de respostas, adicionando manualmente as chaves de respostas ou eliminando as que j existem. Quando se clica nesse boto, o
lATA preenche os dois menus pendentes com uma lista de variveis
para os dados de resposta qual no foi atribuida uma chave de resposta e vai tambm criar uma lista de todos os valores de resposta
presentes para as variveis que so identificadas como itens de teste.
Se voc realizou o carregamento de um arquivo de dados de itens,
esses menus j estaro preencldos com valores.
158
Abaixo do boto Update response value list encontram-se vrios

controles para o fornecimento de especificaes adicionais: um menu
suspenso para a especificao da varivel de identificao CID), um
menu suspenso para a seleo da varivel de peso e uma tabela para
a especificao do tratamento de cdigos de valores em falta. Pode
ser necessrio fazer a especificao da varivel ID para juntar os
resultados dos testes produzidos pelo lATA com outras fontes de
dados. A varivel ID deve identificar individualmente cada aluno; se
a especificao da varivel ID no for feita, o lATA vai produzir uma
varivel com o nome Uniqueldentifier para desempenhar essa funo. A varivel de peso utilizada para assegurar que as estatisticas
produzidas durante a anlise sejam adequadas para o modelo de
amostragem da avaliao nacional, mas, como foi mencionado, esta
no vai ser aplicada na anlise de dados piloto. Quando no fornecida uma varivel de peso, o lATA assume que todos os alunos recebem o mesmo peso, igual a 1.
possvel informar ao lATA que o valor de resposta um cdigo
de resposta em falta clicando em uma das caixas junto ao valor, na
tabela Specify missing treatment. Por predefinio, o lATA assume
que todos os valores de resposta representam respostas reais dos alunos. Se a caixa na coluna Incorrect for selecionada, o lATA vai tratar
esse valor como uma resposta invlida, que ser pontuada como
incorreta. Se a caixa na coluna Do Not Score for selecionada, o lATA
vai tratar esse valor como omitido e este no vai afetar os resultados
do aluno no teste. Por predefinio, se os dados de resposta contm
clulas completamente vazias ou em branco, o lATA vai tratar essas
clulas como incorretas, exceto se a opo Do Not Score foi manualmente especificada.
A chave de respostas e os dados de resposta foram adicionados a
este tutorial. Como tal, a lista de itens apresentada na Figura 9.4 contm apenas as variveis com chaves de respostas nos dados de itens.
recomendado fazer uma reviso da tabela de chaves de respostas para
confirmar que as chaves e os outros dados sobre os itens estejam corretos e completos. Nessa fase, qualquer erro vai produzir erros adicionais durante tarefas posteriores no fluxo de trabalho. No meio da tela,
especifique os detalhes adicionais da anlise. Utilize as seguintes
especificaes:
I 159
1. Utilize o primeiro menu suspenso para selecionar PILOTlSTDID

como a varivel ID (a identificao que foi atribuda inicialmente
aos alunos; consultar Figura 9.2).
2. Uma vez que os dados no tm peso de amostragem, voc pode
deixar a segunda caixa do menu suspenso em branco.
3. Uma vez que o valor 9 vai ser tratado como incorreto, verifique a
caixa adequada na tabela de valores, na seo Specify missing
treatment. Apesar de os dados PILOTl no terem entradas em
branco, possvel deixar ativada a especificao padro de tratamento de entradas em branco como incorreta.
Quando as especificaes tiverem sido adicionadas, a interface deve
ser semelhante Figura 9.4.
Confirme que as especificaes esto corretas e clique em Next
para continuar. Os dados vo comear a ser processados automaticamente. As fases de processamento so: configurao de dados, pontuao, estimativa de parmetros, escalonamento da teoria de resposta
ao item (TRI) , clculo de pontuaes verdadeiras e anlise fatorial.
Enquanto o processamento realizado, a interface apresenta o estado
atual. Dependendo da velocidade do computador e do tamanho do
conjunto de dados, essa anlise pode demorar segundos ou minutos
para ser concluda. O lATA apresenta os resultados na interface de
anlise de itens quando conclur o processamento.
PASSO 4: ANLISE DE ITENS
Quando o processamento de dados termina, a interface de anlise de

itens vai ser atualizada com os resultados exibidos na Figura 9.5.
Utilizando a interface, possvel acessar esses resultados, ver e salvar
informaes de diagnstico sobre cada item de teste. So exibidos
quatro tipos de resultados nesta interface:
Estatisticas e parmetros estatisticos que descrevem cada item
( esquerda)
Uma ilustrao grfica do relacionamento entre a aptido dos
alunos e a probabilidade de esses responderem corretamente a um
160
R....II.dos d. An..... deiteM p.ro os Dedos PILOT1. MAlliC1019

lATA Ptge 4/10
pr~
iIems OuestlOR<lble iIems are l'IOIed wrth
no lnIIjOI problamS
-_ __
... ...."'-
MATHC1037 056
MA.THC1G47 035
MA THC105f
o 56
MATHC10!S9 056
li'l
li'l
~
li'l
li'l
1<1
MATHC1078 044
MA THCl008
o 56
MATHC1009 049
MA.THC1013
O.~
MATHC1020 067
MA.THC1Of8 052
MATHC1052056
"
"
'"
'"
'"
"n
"
"n
....
'"
'"
"
,.,
'" '"
OS,"
OS.
os,
OS,
'"OS, OS'.
'"
>
'"
"
'"
,,,
'"
'"
"
item, tambm conhecida como funo de resposta ao item ou FRI

(no canto superior direito)
Uma tabela de contiogncia que descreve as propores de alunos
com pontuaes altas, mdias e baixas nos testes que selecionaram
cada resposta a um dado item, tambm conhecida como anlise de
distratores (na zona central direita)
Um resumo em linguagem clara dos resultados da anlise de itens
(no canto inferior direito)
A tabela esquerda da interface de anlise de itens apresenta informaes estatsticas e um smbolo que descreve a adequao geral de
cada item. O valor Name de cada item est na coluna direita dos
smbolos de resumo. Examine os resultados detalhados para um item
individual utilizando as setas do teclado ou o mouse para fazer a seleo da linha em que o item aparece. Utilize as caixas de seleo na
coluna Use de cada linha para incluir ou excluir itens da anlise.
Desmarque uma dessas caixas de itens para remover o item da anlise.
Em seguida, clique no boto Analyze para realizar novamente a anlise com o conjunto reduzido de itens. (Os itens removidos
I 161
continuam a ser listados, mas com tringulos vermelhos ao lado.)

Volte a colocar todos os itens no estado original, clicando em Reset
Items e em Analyze. Lembre-se de que clicar em Reset Items repe
todos os itens no estado original; para remover permanentemente um
item da anlise, elimine a chave de respostas desse item na interface
de especificaes da anlise. O boto Scale no faz uma nova estimativa dos parmetros dos itens; apenas calcula as pontuaes de escala
da TRI para os dados de resposta utilizando os parmetros dos itens
que j foram carregados no lATA a partir de um arquivo de dados
externo ou para os quais j existem estimativas.
Estatsticas de Itens
As trs colunas direita do nome do item na Figura 9.5 contm
estatsticas clssicas de itens: o indice de discriminao do item
(Discr); a facilidade do item (PVal), por vezes tambm chamada de
dificuldade do item, apesar de os valores maiores indicarem um item
de teste mais fcil, bem como a correlao ponto bisserial (PBis) (ver,
por exemplo, Crocker e Algina 2006; Haladyna 2004). As ltimas trs
colunas, que podem estar ocultas e requerer que voc utilize a barra
de deslocamento na parte inferior da tabela, so estimativas dos parmetros da TRI: o parmetro de inclinao (a), o parmetro de localizao ou de limiar (b) e o parmetro de acerto casual (c).
De um modo geral, as estatsticas clssicas podem ser interpretadas
diretamente. A facilidade do item (pVal) varia entre O e 1 e descreve
a facilidade de um item para a amostra fornecida: um valor de O indica
que nenhum aluno respondeu corretamente; um valor de 1 indica
que todos os alunos responderam corretamente. O indice de discriminao e a correlao ponto bisserial disponibilizam medidas alternativas do mesmo relacionamento, que indica at que ponto as respostas
a cada item esto relacionadas com a pontuao geral do teste. O
valor deve ser maior do que 0,2 para ambas as estatsticas. Essas
diretrizes no devem ser consideradas absolutas, uma vez que os ndices so influenciados por outros fatores no relacionados com a discriminao de itens, como a preciso geral do teste. Por exemplo: a
facilidade do item tem tendncia a limitar o valor absoluto do ndice
de discriminao e da correlao ponto bisserial. Se a facilidade do
162
item substancialmente diferente de 0,5 (se menor do que 0,2 ou

maior do que 0,8), o ndice de discriminao e a correlao ponto
bisserial subestimam o relacionamento entre a aptido e o desempenho dos alunos em um item do teste. Embora os itens demasiadamente fceis ou difceis tenham tendncia a reduzir os relacionamentos
observados com a aptido, eles podem cobrir contedos curriculares
importantes que devem ser incluidos em um teste ou que podem ser
necessrios (no caso dos itens demasiadamente fceis, por exemplo)
para motivar os alunos durante a aplicao do teste. Muitas vezes, por
essas e outras razes, desejvel a incluso de um nmero relativamente
baixo de itens muito fceis ou muito difceis.
Os parmetros TRI no devem ser interpretados isoladamente.
Embora cada um descreva um comportamento especfico do item do
teste, o relacionamento entre as respostas ao item e a aptido geral
o resultado de interaes entre os trs parmetros, assim como do
nvel de aptido individual dos alunos.
A maioria dos itens na anlise atual apresenta um crculo verde que
indica que esses itens no tm problemas graves e que so relativamente satisfatrios. Deslocando para baixo a lista de itens esquerda,
possvel ver 13 itens com smbolos de aviso em forma de losango
(MAlliC1047, MATHC1013, MAlliCI002, MAlliCI070,
MAlliCI034, MAlliCI035, MAlliCI032, MAlliC 10 10,
MAlliCI068, MAlliCI046, MAlliCI024, MAlliCI058 e
MAlliCI030). Um dos itens (MAlliCI075) tem um smbolo triangular de aviso e considerado potencialmente problemtico. O procedimento recomendado examinar resultados para todos os itens,
independentemente do simbolo descritivo que o lATA lhes atribui.
Este tutorial enfoca alguns exemplos.
Por definio, os resultados para o primeiro item so apresentados
no grfico e na tabela direita. O lATA atribuiu a esse item,
MAlliCI0l9, um circulo verde. l Os resultados produzidos pelo lATA
para esse item so descritos individualmente nas prximas sees.
Funo de Resposta ao Item
Na janela do grfico do lado direito da interface de anlise de itens, o

lATA apresenta a funo Item Response Function para o item de
163
teste selecionado (consultar Figura 9.5). De modo a determinar a

utilidade relativa de um item de teste, normalmente mais intuitivo
fazer uma anlise da FRI do que examinar os parmetros da TRI ou as
estatisticas dos itens. Um item tem um relacionamento forte com a
aptido, indicado por uma FRI com uma forma bem definida em S e
com uma regio estreita em que a curva praticamente vertical. A
inclinao para a FRI do item MAlliClOl9 consistentemente positiva, mas o relacionamento fraco; nenhuma regio tem uma inclinao especialmente acentuada. Essa inclinao rasa corrobora o baixo
ndice de discriminao (Discr = 0.36) e a baixa correlao ponto
bisserial (pBis = 0.35).
Como acontece em qualquer mtodo de modelao estatstca, a
TRI apenas til caso os dados empricos enquadrem-se no modelo
terico. Para cada item ou valor de pontuaes, o lATA produz um
grfico da FRI terica produzida, utilizando os parmetros e a FRI
emprica estimados dretamente a partir das propores de respostas
corretas em cada nvel de aptido. O grfico pode ser utilizado para
avaliar a adequao da utilizao da TRI para efetuar a descrio de
cada item. Se o modelo TRI adequado, a linha tracejada vermelha
vai parecer muito semelhante linha contnua preta e os desvios
entre as duas linhas sero inferiores a 0,05, em particular na regio
entre -1 e 1, que contm muitos alunos. Para o item MAlliCIOI9,
as FRls terica e emprica so praticamente idntcas, o que indica
que, apesar de o item poder ter um relacionamento fraco com a aptido, as suas propriedades estatstcas so descritas de forma adequada pela FRI.
Anlise de Distratores
No canto inferior direito da interface de anlise de itens da Figura 9.5,

o lATA produz estatsticas para cada valor de resposta (incluindo
cdigos de valores em falta e valores de resposta incorreta) e um
resumo em texto da anlise. As estatsticas so estimadas individualmente para grupos de alunos com desempenho baixo, mdio e alto, de
acordo com a percentagem de respostas corretas desses alunos no
teste. Os dados na Tabela 9.1 representam uma anlise de distratores
de um item individual.
164
Por vrias razes, um item pode ter um relacionamento de

discriminao baixo, ou at negativo, com a aptido. Incluem-se aqui
a m formulao de frases, instrues pouco claras, erros de amostragem e a atribuio de chaves ou cdigos incorretos de respostas. A
anlise de distratores pode ser utilizada para detectar e corrigir alguns
desses erros comuns, procurando padres nas respostas aos itens. Um
item funcional deve ter as seguintes caratersticas:
A opo correta da coluna (D), destacada pelo asterisco (*), deve
ter uma percentagem elevada para o grupo com desempenho alto
e percentagens progressivamente menores para os grupos com
desempenho mdio e baixo. O item MA11ICI019 satisfaz essa
condio, com valores de 47,9, 19,9, e 11,4 para os grupos com
desempenho elevado, mdio e baixo, respectivamente.
Para o grupo com baixa qualificao, a percentagem que escolhe a
opo correta (D) deve ser menor do que a percentagem que escolhe uma das outras opes. Todas as opes incorretas (A, B, C)
para o item MA11ICI019 apresentam esse padro.
Cada uma das colunas correspondentes a valores incorretos de resposta deve ter percentagens aproximadamente iguais em cada nvel
de qualificao e no geral, em comparao com outros valores
incorretos de resposta. O item MA11ICI019 viola esse padro,
uma vez que a opo B foi selecionada por uma percentagem consideravelmente superior de respondentes incorretos em comparao com as opes A ou C.
Para o grupo com qualificao alta, a percentagem que escolhe a
opo correta (D) deve ser maior do que a percentagem que escolhe uma das outras opes. O item MA11ICI019 satisfaz esse
padro: 47,9 um valor superior aos valores para as opes A
(14,1), B (23,9) e C (14,1).
A percentagem dos cdigos de valores em falta deve ser de
aproximadamente zero para todos os grupos. A proporo de
alunos com respostas em falta (cdigo 9) foi superior para os
alunos com desempenho baixo (8,6) em comparao com os alunos com desempenho alto (0,0), o que sugere que o tratamento
do cdigo como incorreto (em vez de omitido) foi uma deciso
razovel.
I 165
Os cdigos de resposta em falta que so tratados como omitidos

(destacados pela palavra OMIT) devem ter percentagens iguais de
alunos em cada nvel de qualificao. Esse cdigo no foi utilizado
para esses dados.
O lATA fornece um resumo em texto sobre o desempenho no
item, incluindo avisos caso a discriminao seja inaceitavelmente
baixa, sugerindo o que pode ser feito para melhor-la. Por exemplo, o
lATA identifica distratores que no so eficazes na obteno de apoios
por parte dos respondentes (ou que tm perfis estatisticos semelhantes a respostas corretas). Caso o lATA detecte problemas comuns nos
dados, apresentado um resumo em texto na caixa de texto abaixo da
tabela de anlise de distratores.
Nos resultados para o item MATHCI019, o resumo em texto no
canto inferior direito recomenda o exame da opo de resposta codificada como A. Examinando a tabela de anlise de distratores, possvel verificar que a resposta A apoiada por aproximadamente a
mesma proporo de alunos com desempenho alto e alunos com
baixo desempenho, o que indica que no funciona bem como um
distrator.
A anlise de distratores de dados de uma avaliao nacional pode
tambm ser til para os fornecedores de cursos de educao no local
de trabalho, para professores e para funcionrios que trabalham com
curriculo, uma vez que pode identificar concepes erradas e erros
comuns dos alunos. As autoridades responsveis pelo currculo escolar podem tambm utilizar os dados para julgar a adequao de material especfico a um determinado nvel de ensino.
TABELA 9.1
Anlise de Distratores para os Dados MATHC1019, PILOT1
D*
Alto
900
0,0
14,1
23,9
14,1
47,9
Mdio
3,1
15,2
37,7
24,1
19,9
Baixo
8,6
14,3
42,9
22,9
11,4
Total
2,3
14,9
34,0
21,4
27,5
Grupo
Nota: o asterisco indica a coluna que contm a resposta correta
166
Comparao de Itens
Em comparao com o item anterior (consultar Figura 9.6), o segundo

item no teste, MATHCI027, tem um relacionamento mais forte com
a aptido, indicado pela FRI mais inclinada e por valores de discriminao (0,65) e de correlao ponto bisserial (0,53) maiores. As FRIs
terica e emprica so quase idnticas, indicando que o modelo estatstico de resposta ao item adequado para os dados de resposta. A
tabela de anlise de distratores mostra que 73,2% dos alunos no grupo
com qualificao alta selecionaram a opo correta (C), em comparao com 19,9%, no grupo com qualificao mdia, e 8,6%, no grupo
com qualificao baixa. Os alunos com desempenho baixo mostraram
maior propenso para selecionar todos os valores incorretos
de
res-
posta (A, B, D), assim como o cdigo de resposta em falta (9), do que
os alunos com desempenho alto.
Em contraste com os dois itens j analisados, os itens com smbolos
triangulares de aviso so habitualmente itens fracos. Sua incluso no
teste pode produzir resultados enganosos ou pouco teis. O nmero
de itens fracos que aparece em testes piloto como este pode ser
R....It.dos d. Anilise d. Itens p." os Dados PILOT1. MAlliC1027

lATA hge 4/10
--,-,...
MATHC1054 056
MATHC1D59 056
~
~
~-
MATHC1078 04-4
MATHC1DD8 056
MATHC1009 049
l<I
MATHC1013
MATHC1D20 067
O.~
l<I
MATHC1043 052
MATHC1D!12056
'"
".
0.<49
...."
TI
'" '"
'"
'"
"
,.,
'"
"
'" '"
'" '" "
'" '" "'-
"".
,,,
"
'"
,
'"
'"
",,-
'"
"
'"
167
minimizado seguindo as diretrizes de criao de dados descritas no

Volume 2 desta srie (Anderson e Morgan 2008). Nesses dados, o
nico item com um smbolo de aviso o MAlliCI075 (consultar
Figura 9.7). Clicando no item, possvel verificar que os resultados
indicam um relacionamento quase inexistente entre a aptido e as
respostas corretas ou incorretas.
Apesar de um cdigo de resposta em falta ainda estar relacionado

com a aptido, o padro esperado no foi evidente. Os alunos no grupo
com qualificao baixa no foram os que apresentaram maior probabilidade de selecionar as trs opes incorretas, assm como essa probabilidade tambm no foi menor para os alunos do grupo com qualificao
alta. O item foi particularmente fraco para a discriminao entre os alunos de nvel mdio e os alunos de nvel baixo. O indice de discriminao
baixo (0,14), assm como a correlao ponto bisserial (0,16). O item
pode estar relacionado com a aptido, mas no possvel fazer uma
estimativa desse relacionamento, uma vez que poucos alunos deram a
resposta correta (pval = 0,12). Uma vez que as respostas ao item no
esto claramente dependentes da aptido, a incluso desse item no teste
R....ltado. d. Anlise de Itens p.r. o. DoIdos PILOT1. MATHC1075

lATA Page "/10
_"_a' __ ""_
'"
'"
"
'"
'"
". '"
'"
".
MATHC1036 063
MATHC1004
5!J
ii:l
5!J
o ~5
MATHC1030 030
.
MATHC1038
on
MATHC102!i 067
".
'"
'"
'"
'" ".
".
.,
:,
A
"
:A
.
n,
'"
""
". '"
""
'" '"""
no
-."
,
.,.
'"
"'"
..
168
teria a tendncia de aumentar a influncia de fatores aleatrios nas
pontuaes dos testes. A incluso do item (e de outros itens problemticos) na anlise pode tambm reduzir a preciso das estimativas estatisticas para os restantes itens do teste, uma vez que as estatsticas e os
parmetros dos itens so analisados utilizando as pontuaes dos testes.
Os itens podem ser removidos da anlise clicando na caixa
esquerda do nome de cada item para desmarcar o item. Aps a remoo de um item, os resultados devem ser novamente calculados clicando em Analyze antes de se proceder remoo de outro item. A
remoo de um nico item afeta os resultados dos restantes. Se existirem muitos itens problemticos, remova apenas um de cada vez,
uma vez que os itens podem ser assinalados como problemticos ape-
nas devido influncia de itens mais fracos nos resultados da anlise.

Se remover muitos itens acidentalmente, volte a marcar todos os itens
ou clique em Reset Items acima da lista de itens para repor a lista de
itens completa. Para este exemplo, remova o item MAlliCI075 e
volte a realizar a anlise para produzir os resultados da Figura 9.8,
Result.dos d. An"IH de Itens p.'" os Dados PILOT1 p6s. Remoo do

Item MATHC1075
LATAP~/l0
100
..
Olli
0.31
OSO
13&
006
011
6d
OJl
07:'
057
GIJ
In
o,.;
Gol)
,...,
,~
:072 14141&
o
o
101
e
,.. ,
,
'"'9 ,.
,.,n ,,
050
051
,~
."
.."..
I 169
na qual os resultados para o item MATHCI075 esto realados aps

a remoo. Vale ressaltar que os dados Discr e PBis para esse item
foram substitudos pelo valor NaN (Not a Number) ou por valores
fora da gama de variao; esses no afetam os clculos posteriores.
Para os itens removidos, a tabela de anlise de distratores direita no
apresentada e surge uma mensagem no texto de resumo que indica
que os dados do teste tm de ser analisados novamente. Uma vez que
apenas foi removido um item, as estatisticas para os demais itens
mantm-se relativamente inalteradas.
possvel continuar a analisar todos os itens clicando em cada
linha da lista de itens ou deslocando a pgina para cima e para baixo
com as setas do teclado. No se esquea que os resumos em texto
fornecidos pelo lATA so baseados uncamente em indicios estatisticos que no so instrudos pelo contedo dos itens. Um item que
recebe uma classificao baixa do lATA pode no ser um item universalmente fraco. No entanto, uma classificao baixa indica que o item
pode no fornecer informaes teis quando o teste em questo
aplicado populao em questo.
De um modo geral, as recomendaes que o lATA fornece para a
edio ou remoo de itens devem ser consideradas no contexto do
objetivo do teste e das razes inciais para a incluso de um item especfico. Apesar de alguns itens poderem ser mantidos independentemente das suas propriedades estatisticas, por exemplo, devido
necessidade de representarem adequadamente aspectos-chave do currculo escolar, todos os itens com ndices de discriminao negativos
devem ser removidos ou devem ser atribudas novas chaves (caso a
chave tenha sido introduzida ncorretamente) antes de iniciar outras
anlises. Esses itens introduzem rudo ou variao indesejvel nos dados
de resposta aos itens e reduzem a preciso das estimativas para os
outros itens. A remoo de alguns itens aparentemente fracos durante
a anlise dos dados piloto vai ajudar a aumentar a preciso dos resultados estatsticos. No entanto, a seleo do conjunto final de itens aps a
realizao do teste piloto ou do teste experimental deve ser realizada
em conjunto entre os especialistas na rea em questo e a pessoa ou a
equpe responsvel pela qualidade geral do teste de avaliao nacional.
Quando terminar a verificao de todos os itens, clique em Next
para continuar.
170
PASSO 5: DIMENSIONALlDADE DO TESTE
Um dos pressupostos estatstcos da TRI, bem como um dos requisitos

para a interpretao vlida dos resultados de um teste, que o desempenho nos itens de teste deve representar um nico conceito ou
dimenso interpretvel. Idealmente, um teste nacional de desempenho em um conceito como a Matemtca ou as Cincias deve medir
o conceito ou dimenso individuais que tm como objetvo efetuar a
medio e no deve medir outros conceitos ou dimenses, tais como
a capacidade de leitura. A finalidade da interface de dimensionalidade
do teste detectar violaes desses pressupostos de que (a) uma nica
dimenso dominante influencia o desempenho no teste e de que (b)
o relacionamento entre o desempenho de pares ou grupos de itens
pode ser explicado por essa dimenso dominante. Na maioria dos
casos, o segundo pressuposto um produto do primeiro, mas para os
testes mais longos (com 50 ou mais itens), os pequenos grupos de
itens podem ser localmente dependentes sem terem um efeito perceptvel sobre a dimensionalidade geral do teste.
A anlise da dimensionalidade do teste determina at que ponto o
teste mede dimenses diferentes de aptido e a medida em que cada
um dos itens relaciona-se com cada uma das dimenses. Quanto menor
o nmero de dimenses que influenciam significativamente os itens
do teste, mais vlidas sero as interpretaes das pontuaes do teste.
Apesar de esses indicios serem insuficientes para confirmar a validade
de um teste, eles podem fornecer informaes importantes sobre o contedo de itens especficos. Outros aspectos de validade, como a validade
do contedo (muito importante no contexto da avaliao nacional), so
habitualmente considerados mais importantes do que os dados estatsticos para determinar a validade de um teste ou de um item. Anderson
e Morgan (2008) fornecem uma descrio dos procedimentos destinados a assegurar que um teste possui validade de contedo adequada.
Do ponto de vista estatstico, a estimativa dos parmetros e das pontuaes da TRI depende do conceito de verossimilhana, que assume
que a probabilidade de um evento (por exemplo, uma resposta correta) est condicionada a uma nica dimenso que representa a aptido. Se os itens esto condiconados a diferentes dimenses, as
pontuaes e parmetros estimados sero incorretos.
171
Na Figura 9.9, o grfico direita ilustra o diagrama de declividade

para o teste geral e os carregamentos fatoriais ao quadrado para o
primeiro item, MAlliCIOI9. No lado esquerdo da interface, encontra-se uma tabela semelhante tabela da interface de anlise de itens.
Os smbolos de resumo (descritos no Capitulo 8 deste volume) na
coluna F, junto coluna do item Name, descrevem a adequao geral
de um item em termos do seu relacionamento com a dimenso primria comum maioria dos demais itens do teste. A direita da coluna
Name, apresentada a facilidade clssica dos itens (pvaI), juntamente
com o carregamento do item na dimenso primria (Loading). O carregamento, que varia entre -1 e 1, a correlao entre o desempenho
de cada item e a dimenso primria do teste. Por exemplo, o valor de
0,34 para o item MAlliCI0l9 indica que as respostas pontuadas
para esse item tm uma correlao de 0,34 com a pontuao geral do
teste (percentagem de respostas corretas). No h um valor ideal!
mas os carregamentos perto do valor 1 so indicativos de itens com
melhor qualidade.
Dimensionalidade do Teste e do Item par. os dados PILOT1. MATHC1019

lATA Page S/lO
......11'." r
..
I
~
'"
'"
'"
* I
._1
.=
.~
172
Os resultados na tabela devem ser interpretados em conjunto com

os resultados grficos apresentados no lado direito da interface. O
principal resultado apresentado na janela do grfico o diagrama de
declividade, que descreve a proporo de varincia (autovalor) explicada por cada dimenso potencial (por exemplo, a capacidade de leitura). Os marcadores em forma de crculo ilustram a inHuncia
relativa de cada dimenso potencial (autovalor)3 nos resultados gerais
do teste, enquanto a linha contnua que liga os marcadores em fonna
de caixa descreve a inHuncia relativa de cada dimenso potencial nos

itens individuais do teste (carregamentos fatoriais ao quadrado). A
magnitude dos autovalores tem menos importncia do que o padro
do diagrama de declividade. O diagrama de declividade para o teste
geral deve ter um autovalor elevado, esquerda, seguido pelos demais
autovalores, que devem ser relativamente baixos e ter magnitudes
semelhantes (Figura 9.10). Esse padro em forma de L no diagrama,
com apenas dois segmentos de linha distintos, sugere que uma dimenso nica comum responsvel pelos resultados do teste PILOTl.
Result.dos d. Dlmenslon.lld.de dos Itens par. os D.dos PILOT1,

MATHC1035
lATA hge S/lO
...,.
."
:0
.. 1
00"
'"
'"
. !
.. JI&::~bI..-_---l

li
:o
..
..
'" "
..
"
I 173
Quanto maior o nmero de segmentos de linha distintos necessrios

para fazer a ligao entre o canto superior esquerdo e a linha relativamente horizontal na parte inferior do diagrama, maior deve ser o
nmero de dimenses subjacentes ao desempenho no teste.
Quando realizada a seleo de cada item na lista esquerda,
apresentado, direita, um diagrama de declividade especfico para
esse item. De maneira ideal, o diagrama para itens individuais deve
ser semelhante ao diagrama do teste geral; o valor mais alto na linha
do grfico para itens especficos deve estar localizado no canto
esquerdo (que corresponde dimenso principal do teste). No
entanto, as caratersticas para itens especficos podem introduzir
padres diferentes, que no so necessariamente problemticos. Por
exemplo, o item MATHCIOl9 na Figura 9.9 no problemtico;
apesar de alguns carregamentos no equivalentes a zero ocorrerem
em outras dimenses, o carregamento mais forte ocorre na dimenso
primria. De um modo geral, os resultados para itens especficos
devem ser consultados apenas se existir dimenso subjacente ao
desempenho no teste (isto , se mais de dois segmentos de linha
distintos forem visveis). Nesse caso, preciso identificar e examinar
os itens para os quais os diagramas de itens especficos tm valores
de carregamento fatorial ao quadrado correspondentes s mesmas
dimenses dos autovalores problemticos.
O efeito da facilidade dos itens algo que se deve levar em conta
na interpretao de diagramas de declividade. Nos testes em que a
maioria dos itens tem facilidades semelhantes, os itens com facilidades muito superiores ou inferiores aos itens restantes tm tendncia a
produzir fatores de dificuldade artificiais, em particular com distribuies anormais da percentagem de respostas corretas nas pontuaes
dos testes. Os itens com facilidades extremas podem aparentar definir
um fator separado, simplesmente porque alguns alunos (por exemplo,
alunos com desempenho alto ou baixo) vo gerar padres de resposta
que parecem ter uma relao extraordinariamente forte entre si, em
comparao com os relacionamentos que tm com outros itens de
teste. No entanto, esses fatores de dificuldade no so problemticos
por natureza. Uma reviso dos carregamentos dos itens pode ajudar a
determinar se os fatores secundrios so artificiais ou se so problemas verdadeiros. Para determinar se um fator secundrio um fator
174
de dificuldade, preciso examinar os carregamentos dos itens com

facilidades baixas 0.2) ou altas (> 0.8) (pVal). Se o carregamento
desses itens apresentar um pico que corresponde posio do fator
secundrio, provvel que este ltimo seja um fator de dificuldade
que pode ser ignorado.
Carregamento dos Itens
o modelo da TRI pressupe a existncia de uma independncia local

entre os itens, o que significa que as respostas de um item no devem
depender das respostas de outro item. O ideal, de acordo com a TRI,
que um teste tenha questes que sejam independentes em todas as
dimenses, exceto para a dimenso primria do teste. Uma dependncia local significativa dos itens pode resultar em estimativas pouco
precisas de parmetros de itens, estatisticas de itens e da aptido dos
alunos. Por exemplo, um teste de Matemtica que inclu uma questo
complexa de resoluo de problemas pode atribuir um conjunto de
pontuaes diferentes para cada um dos passos lgicos necessrios
para calcular a resposta final. Se o respondente der uma resposta
incorreta ao passo 1, vai influenciar a probabilidade de uma resposta
correta em cada um dos passos seguintes. Esse conjunto de itens de
teste dependentes no seria adequado para a modelagem da TRIj
nesse caso, o item deve ser tratado de forma adequada como um item
nico de crdito parcial.
Uma vez que a dependncia local habitualmente problemtica
apenas em itens que tenham um relacionamento fraco com a dimenso primria, a forma mais eficaz de utilizar essa interface por meio
da ordenao dos itens na coluna Loading, clicando uma vez no cabealho da coluna4 (consultar Figura 9.10) e fazendo uma comparao
dos itens com carregamentos fracos para identificar os picos comuns
nos respectivos grficos de carregamento dos itens. Se muitos itens
com carregamentos fracos apresentarem picos nos diagramas de carregamento correspondentes mesma dimenso, esses podem ter
alguma dependncia local. Uma vez que essas estatisticas tm tendncia a ser sensveis ao erro de amostragem, quaisquer resultados da
anlise estatistica devem ser utilizados para motivar uma anlise mais
detalhada do contedo do item, em vez de gerar decises definitivas.
I 175
Aps ordenar os itens, o item selecionado o MATHCI075. Uma

vez que esse item tenha sido removido da anlise no passo anterior da
anlise de itens, o carregamento tem o valor NaN e no so apresentados valores para ele (o grfico apresenta apenas o diagrama de declividade para o teste completo). O lATA atribui um smbolo triangular
de aviso a qualquer item que tenha uma dimensionalidade problemtica e que afete a estimativa de outras estatisticas. Vale ressaltar que o
lATA assinalou apenas outro item (MATHC1035) com o smbolo
triangular de aviso (Figura 9.10). O item tem um relacionamento
relativamente fraco com a dimenso primria e um relacionamento
visivelmente mais forte com a dimenso secundria, o que sugere que
pode estar medindo uma dimenso diferente da maioria dos outros
itens. Contudo, esses resultados, por si s, no fornecem dados suficientemente conclusivos para justificar a remoo desse item do teste.
Os especialistas na rea curricular e os professores com mais experincia devem analisar os itens estatisticamente problemticos para
determinar se um problema relacionado com o contedo justifica a
remoo ou a reviso dos mesmos.
O lATA atribui um smbolo de aviso em forma de losango a itens
que tenham um carregamento mais forte na dimenso secundria do
que na dimenso primria do teste; esses itens no vo ser problemticos nos clculos seguintes. Um exemplo comum apresentado na
Figura 9.11 para o item MATHCI002. Esse item est relacionado
com diferentes dimenses, mas, uma vez que essas dimenses tm
pouca influncia nos resultados gerais do teste, como indicado pelos
autovalores relativamente baixos Oinha tracejada) que correspondem
aos picos dos carregamentos fortes (linha continua), o fato de o processo de determinao acerca da dimensionalidade do item ser aceitvel ou no deve ser uma questo de contedo do teste, em vez de uma
questo estatistica.
At certo ponto, todos os testes so multidimensionais, uma vez
que os testes no podem todos testar exatamente a mesma coisa. Por
isso, se o diagrama de declividade geral no indicar problemas, os efeitos de uma multidimensionalidade ou codependncia no nvel dos
itens sero provavelmente insignificantes. Neste exemplo, todos os
itens so retidos para anlises adicionais porque o diagrama de declividade geral no indica quaisquer problemas.
176
R....II.dos d. Dlmenslon.lld.d. dos Itens par. os D.dos PILOT1,

MATHC1002
lATA hge S/lO
shao'p diff Wlth a nght angIe at ttle bot1om
thefe os
,.
~
,.
0 11
r
,
,.
u,
"
! ".
,.
, j
,. Th::::&~
'"
'"
I.,.
..
_ _- - l ,.
..
,..
....
'"
Aps tenninar a anlise dos itens, clique em Next para abrir a

interface de anlise do funcionamento diferencial dos itens (FDI).
PASSO 6: FUNCIONAMENTO DIFERENCIAL DOS ITENS
A anlise do FOI examina a extenso em que a FRI de um item

estvel ao longo dos diferentes grupos de alunos. Se a FRI difere entre
dois grupos (por exemplo, o sexo masculino e o sexo feminino), as
pontuaes que so estimadas mediante sua utilizao podem ser tendenciosas a favor de um grupo ou de alunos com um grau especfico
de aptido. A anlise do FOI controla as diferenas na aptido mdia
dos grupos, o que sigoifica que as vantagens e as desvantagens relativas
expressas nos resultados do FOI so independentes das diferenas na
aptido mdia nos grupos. Por exemplo, se algum estiver interessado
em conhecer at que ponto existe tendenciosidade referente ao
gnero em um item especifico do teste, os resultados da anlise do
I 177
FD I indicariam se o item tendencioso a favor dos meninos ou das
meninas aps levar em conta a diferena nas pontuaes gerais do

teste entre ambos os gneros.
A interface de anlise do FOI apresentada na Figura 9.12.
esquerda encontra-se o conjunto de quatro controles utilizados para a
especificao da anlise. O menu suspenso no topo da pgina permite
selecionar uma varivel da lista nos dados de resposta que no so
itens de teste. Aps selecionar a varivel, o lATA cria uma lista dos
valores nicos na tabela Possible Values, assim como a percentagem
(no ponderada) de alunos com cada valor. Para selecionar os grupos
que deseja comparar, clique primeiro no valor para o grupo alvo desejado e, em seguida, clique no valor que representa o grupo de referncia. A especificao do grupo alvo e do grupo de referncia determina
de que forma as estatstcas descritivas so calculadas; as estimativas
utilizam a distribuio da amostragem de aptido do grupo alvo para
o clculo das estatsticas referentes tendenciosidade mdia e estabilidade. Para mudar o grupo alvo e o grupo de referncia, clique nos
Resultados da An"'" do FDI para os Dados PlLOT1 por Glnero.

MATHC1046
LA1AP-sle6/10
-_
. -."""""'.....
......"...-
1~ 1~
_llll
".
_11'1
1201
11 15
111'
1111
.,
.
lV~
,,~
,."
".
..'" ..".
..
IH'
,
,
..
.
i,.
178
valores da tabela Possible Values; os valores atribudos ao grupo alvo

e ao grupo de referncia so atualizados nas caixas de texto no canto
inferior esquerdo. As estatisticas do FDI so mais sensveis ao grupo
alvo; assim sendo, a prtica recomendada assegurar que o grupo alvo
representa uma minoria ou um grupo historicamente desfavorecido.
Neste exemplo, a anlise do FDI realizada utilizando a varivel
Sex para verificar se os alunos do sexo feminino (com o cdigo 1) so
desfavorecidos em relao aos seus homlogos do sexo masculino
(com o cdigo 2). Para especificar esta anlise e analisar os resultados,
siga os seguintes passos:
1. No menu suspenso esquerda selecione a varivel Sexo A tabela

abaixo ser preenchida com os valores 1.00 e 2.00, com valores
de 50% por cada valor, indicando que a amostra tem um nmero
igual de alunos dos sexos masculino e feminino.
2. Na tabela de valores, clique no valor 1.00. Isso vai fazer com que
o valor 1.00 (que representa os alunos do sexo feminino) seja
introduzido como o grupo alvo na caixa de texto abaixo.
3. Na tabela de valores, clique no valor 2.00. Isso vai fazer com que
o valor 2.00 (que representa os alunos do sexo masculino) seja
introduzido como o grupo de referncia na caixa de texto abaixo.
4. Clique em Calculate e aguarde at que o clculo esteja
concludo.
5. Quando o clculo estiver completo, na lista de itens, clique no
cabealho da coluna S-DIF para ordenar todos os itens pelo valor
das estatisticas S-DIF.
Aps completar esses passos, apresentada uma interface semelhante figura 9.12. Neste exemplo, o lATA sinaliza 15 itens com
smbolos de aviso ou de cudado. So calculadas duas estatisticas para
cada item, S-DIF e U-DIF. S-DIF descreve a diferena vertical mdia
entre os grupos (o grupo alvo menos o grupo de referncia) e U-DIF
descreve as diferenas absolutas mdias entre os grupos. O valor da
estatistica U-DIF sempre positivo e tem sempre um valor absoluto
maior do que a estatistica S-DIF. Mesmo que um grupo no revele
179
uma vantagem sistemtica (se o valor de S-DIF prximo de zero),

um item pode ter um relacionamento mais forte com a aptido em
um grupo, o que vai produzir uma estatstica de U-DIF maior.
O item MATHCI035 um exemplo de um item com um FDI
consistente, em que os valores absolutos de S-DIF e U-DIF so idnticos (consultar Figura 9.13). Para esse item, a vantagem do sexo fennino aparente ao longo de todo o intervalo de aptido. A diferena
consistente sugere que os alunos do sexo feminino tm maior probabilidade de conseguir um melhor desempenho nesse item do que os
alunos do sexo masculino, mesmo que tenham exatamente o mesmo
nivel de aptido. A estatstica S-DIF indica que, em mdia, a probabilidade de resposta correta para os alunos do sexo feminino mais de
23 pontos percentuais superior dos alunos do sexo masculino com
aptido semelhante.
Com a anlise do FDI, as estatsticas e os valores tendem a ser
muito sensveis ao erro de amostragem, o que pode levar a que os
itens aparentem ter diferenas que podem no estar presentes na
Resultado. da Anilise do FDI para OI Dadoo PlLOT1 por Ginero.
MATHC1035
LA1AP-sle6/10
-_..-."""""'
..... ......"...-
'"
,....
o.
o
"
..
.
i,.
'"
"
180
amostra maior. O lATA atribui um smbolo de aviso quando o

coeficieote de variao da amostra' para a estatstica S-DIF meoor
do que 0,2 (o que odica que a diferena observada no se deve provavelmeote a um erro de amostragem) ou quando ocorre uma diferena muito grande nas estatsticas S-DIF ou U-DIF, que devem ser
examinadas mesmo em amostras pequenas.
Por vezes, os resultados podem ser eoganosos devido seosibilidade

em relao ao erro de amostragem. Quando o nmero de respondentes nas extremidades superior e oferior da escala de aptido baixo,
as respostas de um ou dois alunos podem ditar a aparncia do grfico
nessas extremidades. Uma vez que as estatsticas descritivas efetuam
o clculo atravs do nmero de alunos no grupo alvo em cada nvel de
aptido, essas no so afetadas de forma to significativa por erros
aleatrios, como acontece com os grficos. O grfico para os resultados do item MATHCI042 na Figura 9.14 represeota um exemplo de
como os resultados grficos podem, por vezes, ser enganosos. Apesar
de o grfico sugerir uma desvantagem muito significativa para os alu-
nos do sexo feminoo (a zona sombreada), a estatstica S-DIF
Resultados da Anlise do FDI para os Dados PlLOT1 por Gnero.

MATHC1042
LATAP~e6ll0
__ 10_.'""""'. . . _._
..
.
.
--
.:,
_tO.o .... ,.,
...ii.:
'--.:~!!7.======"""
.
_ti _"
lO "
li "
, . lO
I 181
verdadeira (-2,01) indica que essa , na verdade, uma desvantagem

relativamente fraca.
Indicios do FDI podem tambm ser encontrados quando o
contedo especifico dos itens no est to alinhado com a dimenso
primria do teste como outros itens. Por exemplo, na Matemtica, um
objetivo comum de aprendizagem para os alunos mais novos o reconhecimento de ferramentas de medio para diferentes unidades (tais
como os centimetros, os quilogramas ou os graus centigrados). Mesmo
que sejam fortes em Matemtica, os alunos em reas remotas ou desfavorecidas podem no ter o mesmo nvel de exposio a essas ferramentas que os alunos em reas urbanas. Consequentemente, podem
ter uma desvantagem sistemtica em itens de teste que requerem esse
conhecimento especifico. No entanto, essa desvantagem no uma
propriedade dos itens de teste, mas uma consequncia de uma desvantagem especfica na aptido. Antes de chegarem a qualquer concluso sobre a tendenciosidade contra alunos especficos, os
especialistas no contedo curricular, que so sensveis a possveis diferenas tnicas, geogrficas ou de gnero, devem examinar os itens do
teste para confirmar que os indcios de tendenciosidade dos dados
estatsticos so semelhantes aos indcios verificados em uma anlise
do contedo.
A anlise do FDI deve ser realizada para todas as caratersticas e
grupos demogrficos que sero comparados em uma anlise principal
dos resultados. A presena do FDI no que diz respeito a uma carateristica no est habitualmente relacionada com a presena ou a ausncia do FDI no que diz respeito a outra carateristica. Em geral, as
variveis mais importantes a considerar para o FDI so as variveis de
estratificao da amostra (tais como a varivel Region) ou as variveis
do questionrio de referncia. Os dados PILOTl tm trs variveis
demogrficas: Sex, Language e Regioo. Como um exerccio individual, possvel realizar anlises de FDI semelhantes para as variveis
Laoguage e Regioo, executando os mesmos passos indicados anteriormente para a anlise do FDI da varivel Sex, certificando-se de selecionar o grupo minoritrio como grupo alvo e de clicar em Calculate
para atualizar os resultados.
A Figura 9.15 ilustra um resultado comum do FDI quando um
teste se encontra no idioma falado nas casas de alguns alunos, mas no
182
Resultados da An..... do FDI para OI Dadol PlLOT1 por Idioma Utilizado

nal Casal dOI Alun.... MATHC1006
lV1!
".
-11.
""
".
".
"..
1211
"
de outros. Os resultados representam uma anlise do FOI para o item

MATHCI006. Esse item um exemplo extremo de um FOI em que
a resposta correta est fortemente relacionada com a aptido linguistica de uma populao (nesse caso, Language = 2) e tem um relacionamento fraco ou inexistente em outras (Language = 1).
A anlise do FD I no lATA pode servir como uma ferramenta de
pesquisa para determinar se grupos especificos de alunos tm problemas com subdomnios especficos. A anlise do FOI pode tambm
facilitar a compreenso de diferenas que podem ser introduzidas nas
verses em diferentes idiomas de um teste que foi traduzido. Os indicios estatisticos do FOI podem ser utilizados para ajudar os tradutores
a corrigir erros de traduo revelados durante a realizao do teste
piloto ou do teste de amostra.
O principal objetivo da anlise do FDI fomentar o debate e a
anlise dos itens do teste piloto e levar interpretao de resultados.
O lATA salva em uma tabela de dados os resultados de cada anlise
realizada ao FDI.6 Esses resultados, assim como qualquer
I 183
grfico particularmente interessante, devem ser copiados 7, salvos e

partilhados com os especialistas em contedo curricular para determinar explicaes possveis para o padro de diferenas entre o grupo
alvo e o grupo de referncia. Se o consenso geral de que um item
tendencioso, este deve ser removido das especificaes da anlise na
pgina 2 do lATA e as anlises anteriores do lATA devem ser repetidas. Por ltimo, uma vez que os resultados das anlises do FDI so
reconhecidamente suscetiveis ao erro de amostragem, qualquer deciso sobre se um item especfico deve ou no ser includo na verso
final de um teste com base em uma suspeita de tendenciosidade deve
apresentar uma justificao slida em termos de currculo ou contedo. Esse tutorial realizado sem ser feita a remoo de nenhum
desses itens.
Aps realizar as anlises do FDI e examinar os resultados, clique
em Next.
PASSO 7: ANLISE DA ESCALA
A tcnica de desenvolver uma mtrica numrica para interpretar o

desempenho em um teste d-se o nome escalonamento. O lATA indica
os resultados de testes utilizando as seguintes pontuaes de escala:
PercentScore, Percentile, RawZScore, ZScore, IRTscore e TrueScore.
possvel encontrar mais detalhes sobre essas escalas na Tabela 8.1.
Nessas escalas predefinidas, o desempenho resumido em uma escala
de O a 100 ou na escala padro, que tem uma mdia de O e um desvio
padro de 1. Utilize a escala que seja mais til para o objetivo pretendido de comunicao de resultados. Partes interessadas diferentes
podem preferir tipos de escalas tambm diferentes. De um modo
geral, a IRTscore a mais til para a maioria dos objetivos, mas tem a
desvantagem comunicativa de cerca de metade dos alunos terem uma
pontuao inferior a zero. Uma vez que muitas partes interessadas
podem no saber como interpretar pontuaes negativas de escala,
prefervel criar uma nova escala de modo que nenhuma das pontuaes dos alunos tenha um valor inferior a zero.
A interface de anlise das pontuaes de escala e de criao de
escalas adicionais apresentada na Figura 9.16. A esquerda,
184
Interf... d. ""'li Deflnlio d. E.col.

lATA Ptge7/10
lI'ICkKIIng IRT
encontra-se um menu suspenso e uma janela de grfico. possvel

selecionar qualquer tipo de pontuao de escala a partir desse menu
suspenso, o que vai criar um grfico da distribuio da pontuao de
escala selecionada. A figura apresenta o grfico para a pontuao de
escala selecionada, PercentScore. A direita, encontra-se um painel
que mostra as estatisticas para a pontuao selecionada. No canto
inferior direito encontra-se um conjunto de controles para o reescalonamento da pontuao mTscore, atravs da aplicao de um novo
desvio padro e de uma nova mdia. O procedimento de reescalonamento aplica-se apenas pontuao mTscore, que a fonte primria
de pontuaes do lATA.
Distribuies das Pontuaes de Testes e Informaes sobra o

Teste
O lATA apresenta as distribuies de pontuaes em forma de

histograma, no qual cada barra representa um intervalo de pontuaes e a altura de cada barra representa a proporo de alunos com
pontuaes dentro desse intervalo. O lATA tambm cria diagramas da
I 185
funo de informao do teste em forma de linha continua para os

tipos de pontuaes expressas em escalas com mdias de aproximadamente Oe desvios padro de aproximadamente 1 (StandardizedZscore,
RawZScore, e mTscore). A funo de informao do teste descreve a
preciso do teste em diferentes niveis de aptido na escala padro em
que realizado o escalonamento dos itens. Est inversamente relacionada com o erro padro da medio; se o valor de informao do teste
for elevado, o erro padro da medio ser baixo. A funo de informao do teste deve ser interpretada em relao s necessidades ou
objetivos especificos do teste. Por exemplo, se o objetivo do teste
identificar os alunos com uma aptido baixa, um teste que mais
adequado para os alunos com uma aptido alta no seria adequado e
no serviria como uma medida apropriada para identificar os alunos
com uma aptido baixa. De modo geral, o erro mdio da medio
para todos os alunos minimizado se a funo de informao de teste
ligeiramente mais ampla, mas com a mesma forma e localizao da
distribuio de aptido para os alunos que realizam o teste. Fazer a
comparao entre a funo de informao e a distribuio das pontuaes dos testes pode indicar se o formato do teste beneficia-se da
modificao do equilibrio dos itens com maior preciso para os alunos
com desempenhos altos ou baixos.
Estatsticas Descritivas
o lATA produz as seguintes estatisticas descritivas para cada pontuao de um teste:

1. Mdia
2. Desvio padro
3. Assimetria
4. Curtose
5. Amplitude interquartil
6. 25. 0 percentil
7. Mediana
8. 75. 0 percentil
186
9. Taxa de resposta
10. Confiabilidade
11. Nmero total de respondentes
12. Nmero de itens no teste
13. Nmero de itens includos na anlise
As oito primeiras estatsticas descrevem a distribuio das pontuaes estimadas. Utilize a barra de deslocamento direita da caixa de
estatsticas e valores na Figura 9.16 para ver as ltimas cinco colunas.
Essas estatsticas ajudam a determinar se as pontuaes de escala so
adequadas para vrias finalidades (por exemplo, para a anlise estatstica secundria ou para os relatrios por quantis). As ltimas cinco
estatsticas descrevem as condies em que a anlise foi realizada e
fornecem uma classificao holstica do teste, que deve ser verificada
para confirmar que a anlise foi realizada com os dados adequados e
de acordo com as especificaes corretas. A taxa de resposta descreve
o nmero mdio de respostas vlidas (no inclui as respostas em falta)
para cada item. A confiabilidade uma medida descritiva geral da
preciso mdia de um teste para uma amostra especifica de alunos. A
taxa de resposta e a confiabilidade variam entre O e 1 e devem ter o
valor mais alto possvel. O nmero total de itens includos na anlise
reflete o fato de que alguns itens devem ser eliminados da anlise se
forem considerados inadequados devido m formulao de frases,
uma vez que provocam confuso nos alunos ou apresentam outros
problemas tcnicos. Para este tutorial, o nmero de respondentes
262, o nmero de itens 80 e o nmero de itens aceitveis 79.
(O item MATIICI075 foi removido da anlise).
A interface de escalonamento mais til para a aplicao da avaliao final do que para a aplicao de testes piloto. Uma vez que a
amostra do teste piloto no ponderado no representativa, as distribuies de resultados no devem ser generalizadas para o desempenho da populao. Alm disso, uma vez que as pontuaes de testes
no sero relatadas, no existe a necessidade de gerar pontuaes derivadas de escala. Os resultados adicionais da interface de escalonamento no so relevantes para a anlise dos dados PILOTl. Clique
em Next para continuar para a tarefa seguinte.
187
PASSO 8: SELEO DE ITENS DO TESTE
Utilizando o lATA, a seleo ideal de itens est disponvel sempre que

um arquivo de dados de itens for carregado ou criado durante uma
anlise dos dados de resposta. Para produzir o teste mais eficiente para
uma extenso e um objetivo de teste especficos, o lATA pode selecionar itens automaticamente, com base nas caratersticas estatisticas dos
itens. O princpio fundamental subjacente elaborao de um teste
baseado na TRI que a pessoa que cria o teste tem alguma expetativa
sobre o grau de erro de medio que o teste deva ter em diferentes
nveis de aptido, assim como das exigncias sobre o balano do contedo que deva ser includo no teste.
De modo geral, quanto mais itens existirem em um teste, mais
informaes este pode gerar sobre os nveis de aptido dos examinandos. No entanto, infelizmente, os testes que tm demasiados itens so
habitualmente pouco prticos e pouco desejveis, uma vez que
podem ser desnecessariamente perturbadores nas escolas e podem
resultar em fadiga por parte dos respondentes e na deteriorao da
motivao dos alunos, dando origem a resultados menos precisos. Os
testes demasiadamente longos tambm acarretam mais custos para
desenvolver, aplicar, pontuar e processar. Um teste deve incluir apenas
os itens de teste mais informativos do conjunto de itens disponvel.
O lATA pode ajudar a desenvolver um teste com o nmero mnimo
de itens necessrio para atingir os objetivos dos formuladores de polticas e das outras partes interessadas.
A determinao de um nvel aceitvel de erro padro depende do
objetivo de uma avaliao. Seria ideal a elaborao de um teste que
fornea um nvel elevado de preciso para todos os nveis de aptido.
No entanto, isso vai requerer muitos itens, o que pode aumentar o
tempo que cada aluno despende na realizao do teste. Isso pode dar
origem reduo da validade dos resultados dos testes, permitindo
que a fadiga e o aborrecimento influenciem as pontuaes dos testes.
Se um teste tem a norma como referncia, so necessrias informaes detalhadas (e uma margem de erro menor na medio) para
todos os nveis de aptido. Ao contrrio, se um teste tem o critrio
como referncia, apenas so necessrias informaes referente aos
limites de aptido em que as decises so tomadas.
188
No entanto, a seleo de itens na fase piloto no deve ser
detenninada unicamente pelos resultados da anlise estatstica. A

validade da interpretao de resultados a considerao mais importante na construo de testes de avaliao nacional. As pontuaes de
testes devem representar de forma adequada e precisa o dominio que
est sendo medido. As ferramentas mais importantes para manter a
validade de um teste so os enquadramentos tericos e a tabela de
especificaes ou modelo de teste. Um modelo ajuda a detenninar o
equih"brio do contedo e dos nveis de capacidade cognitiva que
devem ser includos em um teste (ver Anderson e Morgan 2008).
A interface onde pode ser feita a seleo dos itens de teste ideais
apresentada na Figura 9.1 7. A esquerda, um menu suspenso permite
selecionar uma fonte para a seleo de itens de uma lista de fontes de
dados disponveis que so produzidos automaticamente pelo lATA,
com base nos dados carregados e nas anlises realizadas anteriormente
(consultar Tabela 8.5). Neste exemplo, a tabela Itemal est disponvel
e contm os resultados da anlise atual.' Abaixo da seleo da fonte
de dados, encontram-se os campos que permitem especificar o nome
a ser aplicado ao item e o nmero total
de itens a selecionar entre os
Resultados d. Seleilo delte.1 paro OI Dadol PILOT1. 50 ite.1
. ~I-~-~;;!I_-===_~-, ..
---........ ,....."
'--
..
....--
-- --- ~ -
').0,,'
f.
"
":": I
.. I
'J
,;=:~,---':-.,--'.: --:---':---!...
189
dados dos itens. A tabela abaixo desses dados contm uma lista de
todos os itens calibrados da fonte de dados selecionada, assim como o
nvel de aptido (LeveI) e a rea de contedo (Content) associadas a
cada item. Apesar de os dois ltimos campos de dados serem habitualmente inseridos no lATA atravs de um arquivo de dados dos itens,
os dados podem tambm ser editados manual e diretamente na tabela.
O processo de seleo estatistica no necessita das especificaes
LeveI e Content, mas a existncia de informaes detalhadas sobre
cada item vai ajudar a otimizar a seleo de itens, ao mesmo tempo
que mantm a representao desejada do contedo. Clicar na caixa
esquerda do nome de um item fora o lATA a selecionar esse item,
independentemente das suas propriedades estatisticas.
Abaixo da tabela de itens, esto dois controles de deslocamento
que permitem especificar o intervalo de aptido dentro do qual se
deseja maximizar a preciso do teste. Os controles esto definidos de
modo a que o valor mnimo corresponda ao 2. 0 percentil de aptido e
o valor mximo corresponda ao 98. 0 percentil (o valor atualmente
selecionado apresentado direita de cada controle de deslocamento). possvel especificar um intervalo menor e maximizar as
informaes modificando os limites superior e inferior para refletir os
seus objetivos da avaliao. O lATA seleciona itens para minimizar o
erro padro mdio da medio no intervalo de aptido entre os limites inferior e superior, assumindo uma distribuio normal da aptido
na amostra de alunos a ser avaliada.
O principal objetivo da realizao de testes piloto de itens
determinar quais so os itens mais teis na aplicao final da avaliao nacional. Se a amostra piloto de alunos for identificada como
estando acima da aptido mdia, essa expetativa deve ser levada em
considerao quando da seleo dos itens. Tendo em mente que
deseja criar um teste final de 50 itens, insira as seguintes especificaes no lATA:
1. Na caixa Name of item selection, introduza 50Items (o nome
arbitrrio; o nome utilizado aqui para permitir a comparao
dos resultados produzidos com os resultados na pasta de dados de
amostra do lATA).
2. Na caixa Total number ofitems, insira o nmero 50.
190
3. Mova o controle de deslocamento para Upper bound, at o valor

80. Essa especificao indica que a seleo de itens no vai tentar
maximizar a preciso acima do 80 percentil na distribuio da
aptido da amostra. Essa configurao escolhida para compensar
a possibilidade de uma aptido mais elevada da amostra piloto em
relao populao geral.
4. Clique em Select Items.
Quando o lATA concluir a tarefa, a interface deve ser semelhante
Figura 9.17. A esquerda da lista de itens, possvel ver os 50 itens
atuais que foram selecionados. (O ltimo dos quais o
MATHCI041). A direita, o grfico apresenta as informaes coletivas e o erro de medio previsto para os itens selecionados, se
esses forem utilizados em forma de teste. Os resultados indicam
que a seleo de itens mais exata junto pontuao de aptido
zero (a aptido mdia na amostra atual). A tabela abaixo do grfico
resume a distribuio dos itens selecionados nas reas de contedo
e nos nveis cognitivos (para esses dados, foi atribudo um valor
padro de I a todos os itens; os valores podem ser editados diretamente na tabela de itens ou carregados no arquivo inicial de dados
de itens). Se os dados nessa tabela indicarem que a seleo estatisticamente ideal no se enquadra adequadamente no modelo, possvel modificar o balano do contedo selecionando ou apagando
manualmente itens especficos, utilizando as caixas ao lado do nome
de cada item, na tabela esquerda. Fazer a seleo manual de itens
vai atualizar automaticamente o resumo das propriedades de teste,
direita.
A seleo de itens tambm registrada no lATA, em forma de
tabela de dados de itens, com o nome CustomTestSOItemsA. Como
acontece com todos os resultados produzidos pelo lATA, possvel
ver e exportar essa tabela de dados avanando para a interface final do
fluxo de trabalho (ver "Passo 10: Ver e Salvar Resultados"). Os itens na
tabela so ordenados de acordo com a adequao dos critrios de seleo, com os itens mais adequados na parte superior.
Devido ao nmero reduzido de itens na anlise atual, um usurio
pode utilizar o lATA simplesmente para ordenar todos os itens de
I 191
acordo com a adequao para o intervalo de aptido desejado (isto ,

abaixo do 80 percentil na amostra atual). A equipe de desenvolvimento do teste deve depois rever o arquivo de dados de itens e,
quando da seleo de itens para o teste final, utilizar a classificao
dos itens em termos de adequao, assegurando que mantido o equilibrio apropriado do contedo. Para criar uma nova seleo de itens,
siga os seguintes passos:
1. Clique em Clear para eliminar todas as selees prvias da lista
de itens.
2. Introduza um nome novo para a seleo de itens, 79Items (se este
nome j foi utilizado, os resultados anteriores vo ser
substituidos).
3. Introduza o nmero mximo de itens disponveis (79) como o
nmero total de itens. Se introduzir um nmero superior ao
nmero de itens disponveis, o lATA vai selecionar apenas aqueles
que se encontram dentro do valor de itens disponveis.
4. Mantenha o limite superior no valor 80, uma vez que o intervalo
de aptido desejado no foi alterado.
A Figura 9.18 apresenta alguns resultados da anlise de um teste
piloto de 79 itens. A tabela de resultados (com o nome
CustomTest79Items) foi adicionada ao conjunto de resultados do
lATA e pode ser vista na interface final do fluxo de trabalho. Os responsveis pelo desenvolvimento do teste podem utilizar essas informaes para ajudar a melhorar a qualidade dos itens, atravs da
identificao e da correo dos itens menos eficazes.
O processo de seleo de itens depende da qualidade dos itens disponveis. O lATA no pode acrescentar preciso a regies especficas
de aptido se no existirem itens disponveis com informaes nessas
regies. O processo automtico pode ajudar a selecionar os melhores
itens disponveis, mas no pode melhorar a preciso desses itens.
Aps rever os resultados, clique Next para continuar.
192
R....II.dos d. Sel.io de ltenlptlr. OI O.dol PILOT1, 7911.nl
-....
--
,"
I" "."
"
.."
'
'
_.. ...
~'----,----:---:-~-_t_-_:
..
~
~
...
>.
PASSO 9: PADRES DE DESEMPENHO
Na fase de realizao de testes piloto, existem dados insuficientes para

sustentar a definio dos padres de desempenho. Apesar de existirem algumas informaes disponveis sobre as propriedades estatsticas e as especificaes que foram utilizadas na criao dos itens, no
existem ainda informaes detalhadas sobre a distribuio da aptido
na populao de alunos. Como tal, as tentativas de definio de
padres de desempenho na fase piloto seriam desnecessrias e potencialmente enganadoras.
Uma vez que a anlise dos dados do teste piloto dada como exemplo
neste tutorial no requer a definio dos padres, clique em Next
para avanar para a interface em que pode ver e salvar os resultados.
PASSO 10: VER E SALVAR RESULTADOS
o lATA produz uma srie de resultados diferentes em formato
de
tabela de dados para todos os fluxos de trabalho de anlise. Esses
193
resultados podem ser consultados e salvos na interface final de

cada fluxo de trabalho. Isso vai permitir fazer a reviso de todas as
tabelas de dados de resultados produzidas durante o fluxo de trabalho de anlise. A interface mostra a tabela de dados selecionada no
menu suspenso. Para alterar a fonte de dados, selecione uma tabela
diferente a partir do menu suspenso, como ilustrado na Figura 9.19.
(A tabela 8.5 disponibiliza uma lista e descrio completas das tabelas
de dados disponveis produzidas pelo lATA.)
Lembre-se de que a tabela PLevels criada automaticamente utilizando os valores de especificao padro, ainda que no tenba sido
especificada a criao de nenhum padro de desempenbo.
possvel salvar essas tabelas em um nico ou em vrios arquivos,
clicando em Save Data. possvel salvar uma tabela individual ou
todas as tabelas simultaneamente em vrios formatos. recomendada
a utilizao de dois formatos de arquivos para salvar os resultados do

lATA. Excel (*.xlsJ*.xlsx) e SPSS (*.sav).
De modo geral, prefervel salvar os resultados em formato Excel,
uma vez que todas as tabelas de dados podem ser salvas em um nico
Visualizaio dos Resultados da Anilisa dos Dados PILOT1
,.
...
o~
'"
o.
".
.
'""
......
,
,
,
--......
194
arquivo de dados. O formato Excel tambm pode ser aberto com software
gratuito como, por exemplo, o OpenOffice (disponvel para transferncia em http://www.openoffice.org). No entanto, as verses mais antigas
do Excel esto l.imitadas a um nmero mximo de 255 variveis. O lATA
salva apenas as primeiras 255 variveis no arquivo *.xls, caso o arquivo de
dados tenha um nmero superior de variveis. Utilize os formatos *.sav
ou *.x1sx para salvar arquivos de dados com mais variveis. Os arquivos
SPSS tm a vantagem de poder armazenar tabelas de dados maiores de
forma eficiente, assim como metadados (se esses forem editados no
pacote de software SPSS). No entanto, o SPSS tem uma grande limitao: cada tabela de dados ser salva em um arquivo individual.
Uma janela de arquivo pedir para especificar o nome e a localizao
do arquivo para os resultados, assim como o formato de exportao.
Escolha o formato de dados desejado e clique em Save para salvar as
tabelas. 9 O arquivo final contm todos os resultados tabulares produzidos durante o fluxo de trabalho completo da anlise, constituindo a
documentao da anlise.
Para referncia, os resultados deste tutorial de anlise da tabela de
resultados Itemsl esto incluidos no arquivo ItemDataAllTests.x1s.
Foi dado o nome ReferencePI folha de trabalho que contm os
dados da tabela Iteml na anlise atual. Nos resultados salvos, os valores "True" e "False" na Coluna E (OK) indicam quais os itens includos
na anlise final. Nesses resultados, apenas o item MATHCI075 apresenta o valor "False".
Para uma verdadeira anlise do teste piloto (isto , uma anlise que
no utilize dados simulados), as tabelas de resultados e os grficos que
foram copiados e colados durante o fluxo de trabalho da anlise
devem ser fornecidos aos responsveis pelo desenvolvimento do teste,
que podem utilizar essas informaes para modific-lo, selecionando,
ordenando e adicionando itens, conforme necessrio, de modo a maximizar a preciso e a utilidade do formulrio de teste final.
NOTAS
1. Consulte a Tabela 8.6 para uma descrio dos smbolos e dos respectivos
significados.
I 195
2. Um carregamento igual a 1 no razovel, uma vez que vai exigir que

cada respondente obtenha a mesma pontuao em todos os itens. Isso sugere
que o teste pode apenas produzir dois valores de pontuao distintos, algo
que no muito informativo.
3. Os valores exibidos no lATA foram normalizados para expressar a
proporo de varincia total representada por cada autovalor.
4. Se clicar duas vezes no cabealho, a coluna ordenada em sentido
decrescente.
5. O coeficiente de variao de amostragem calculado como o erro padro
da estatistica S-DIF dividido pelo valor absoluto dessa mesma estatistica.
6. Todos os resultados deste tutorial esto disponveis para referncia e
comparao na pasta de dados de amostra do lATA, na tabela Excel com o
nome ReferencePILOTl.xls. As tabelas de resultados do FDI encontram-se
nas folhas de trabalho cujo nome comea por FDC.
7. possvel copiar os grficos de anlise do FDI colocando o cursor sobre o
grfico e utilizando as funes Copy e Paste do menu acessado atravs do
boto direito do mouse.
8. Para as anlises que envolvam ligaes, faa a seleo a partir dos dados de
itens calibrados anteriormente (Items2) ou do conjunto de dados comuns a
duas fontes de dados de itens (MergedItems).
9. Se salvar todas as tabelas e selecionar o formato de exportao SPSS
(*.sav), cada tabela de resultados ser exportada em um arquivo de dados
*.sav individual, com o nome introduzido a ser utilizado como prefixo para
todos os nomes das tabelas.
REALIZAR UMA
ANLISE COMPLETA
DA ADMINISTRAO
DE DADOS DE UM
TESTE FINAL
Usar o conjunto de dados de amostra CYCLEl

para fazer este exerccio. A chave de respostas para este teste est no
livro de exercicios do Excel, ltemDataAllI'ests.xls, na folha denominada CYCLEl.
As anlises neste Captulo baseiam-se no desempenho de alunos
em uma avaliao nacional de Matemtica administrada a uma amostra nacional de alunos. O teste final tinha 50 itens, representando
cinco reas de contedo (conhecimento numrico, forma e espao,
relaes, resoluo de problemas, e incerteza) em propores determinadas pelas especificaes do teste. O desenho final da amostra era
uma amostra de aglomerado estratificado, tendo as escolas como uni-
dade primria de amostragem e uma amostra alvo de 30 alunos de

cada escola. A amostra continha 79 escolas, selecionadas para serem
representativas de cinco regies nacionais e estratificadas por estatuto
rural e idioma de instruo. O nmero total de alunos na amostra de
2.242, representando uma populao de aproximadamente 86.000.
Esta descrio passo a passo segue os mesmos passos que a anlise de
dados do teste piloto no Captulo 9. No entanto, como o teste final visa
primariamente a produzir e interpretar resultados, a anlise de item
tipicamente realizada sem a nfase exploratria presente na anlise de
197
198
dados do teste piloto. Da mesma forma, esta descrio concentra-se nos

aspectos nicos da anlise de dados do teste final que a distinguem da
anlise de dados do teste piloto. Alm das anlises feitas com dados
piloto, as anlises de dados do teste completo neste captulo envolvem
o clculo de resultados de escala e padres de desempenho. Quando os
passos de anlise forem idnticos aos descritos no Captulo 9, preciso
consultar as informaes l apresentadas.
Comear a anlise clicando Response data analysis do menu principal da Anlise de Item e de Teste (lATA).
PASSO 1: DEFINIR A ANLISE
Os procedimentos para definir a anlise so semelhantes aos descritos

no Captulo 9. Primeiro, carregar um arquivo de resposta, depois carregar um arquivo de dados de item, e depois especificar a anlise. Se
forem necessrias mais informaes, consulte o Captulo 9, passo 1 a
passo 3, para instrues detalhadas. A pasta de dados de amostra lATA
contm o seguinte:
O arquivo de dados de resposta para este Captulo CYCLEl.xls.
(Este arquivo tem 2.242 registros e 58 variveis.)
O arquivo de dados de item um arquivo Excel denominado
ltemDataAllTests.xls na tabela denominada CYCLEl. Assegure
que o nome correto da tabela seja selecionado na interface de carregamento de dados de item. (O arquivo de dados de item CYCLEl
tem 50 registros.)
Os itens do teste de avaliao nacional so um subconjunto dos itens
piloto descritos no Captulo 9.
As especificaes para a anlise so ligeiramente diferentes das referentes anlise de dados do teste piloto, principalmente devido ao uso
de amostragem de probabilidades na administrao completa da avaliao nacional. A primeira diferena o nome da varivel de identificao,
que CYCLEISTDID. A segunda diferena, que afetar os resultados
da anlise, a presena de um peso do modelo de amostragem, que
denominado CYCLElweight. Essas especificaes de variveis devem
ser selecionadas nos menus suspensos. Nesses dados, o valor de
REAl.JZAR UMAANAuSE COMPLETA DAADMINISTRAO DE DAOOS DE UM TESTE FINAL
199
E.pedfl.. de Anil... p.ro os Dodo. CYCLE1

lATA Page 3/ 10
MATHCI033
MATHC1074 B
MATHCI052 "
MATHC 1020 B
MATHC I OO9 "
MATHC1006 "
MAT HCI027 C
MATHC1059 B
MATHC 10S4
MAT HC1037 B
C
MATHC 1047 C
MATHC107&
MATHC1069 C
,
,
I,
,
,
,
,=
:
.........
........
........
........
.........
........
_
.
..........
.,...
9 representa respostas em falta, que so tratadas como incorretas. As

especificaes completas devem ficar conforme ilustrado na Figura 10.1.
Vale ressaltar que os dados de item para a avaliao final tambm
incluem dados no campo Nvel na terceira coluna da tabela do lado
esquerdo. Esses dados so nmeros naturais (1 ou maior) que representam o Ivel esperado de desempenho ou aptido que os especialistas de contedo do currculo atriburam a cada item de teste: o Nvel
1 representa o nvel mais baixo de desempenho (isto , competncia
minima) e o Nvel 4 representa o Ivel mais alto. Apesar de a cada
item ser atribudo um nvel, alguns alunos podem no atingir sequer
o IVel mais baixo.
Aps verificar que as especificaes e os dados esto corretos,
clique em Next
para continuar. A anlise comear automatica-
mente, atualizando a interface periodicamente com o progresso. Com

conjuntos de dados maiores ou computadores mais lentos, a anlise
pode parecer lenta no estgio de estimar parmetros, que o que

demora mais. No feche o programa; o lATA continuar a executar e
providenciar uma atualizao quando a anlise estiver completa.
200
PASSO 2: RESULTADOS DA ANLISE BSICA
Como foram identificados e removidos itens problemticos durante a

anlise de dados do teste piloto, j no h qualquer item problemtico
no conjunto de dados completo. Confirme que os itens esto se comportando adequadamente revendo (a) a anlise de item (Pgina 4/1 O
do lATA) e (b) os resultados da dimensionalidade do teste (Pgina
5/10 do lATA). Para instrues sobre como executar esses passos,
consulte o Captulo 9, passos 4 e 5. Observe que todos os itens listados na Pgina 4/10 do lATA tm crculos (verdes), com exceo de
MATHCI046, que foi identificado no Captulo 9 como sendo de
certa forma problemtico, mas que foi deixado no teste. Prossiga para
a interface de funcionamento diferencial dos itens (FDI) (Pgina 6/10
do lATA) quando terminar.
PASSO 3: ANLISE DO FUNCIONAMENTO DIFERENCIAL

DOS ITENS
Apesar de a anlise do FDI ter sido realizada nos dados do teste piloto,
boa prtica replicar as anlises com a amostra completa, porque os
resultados da anlise do FDI tendem a ser sensveis a erros de amostragem. Outras razes para fazer a anlise do FDI so que algumas
variveis podem estar disponveis na amostra completa e no na
amostra piloto e que a amostra providencia um nmero de casos mais
satisfatrio para a anlise do FDI.
Aqui, a anlise do FDI feita para examinar a possibilidade de
tendenciosidade urbana - se os alunos rurais esto em desvantagem
com relao aos seus homlogos urbanos. Para os dados CYCLEl, um
valor de 1 para esse indicador significa que um aluno frequenta uma
escola rural; um valor de O significa que um aluno frequenta uma
escola urbana. Para especificar essa anlise e rever os resultados, efetue
os seguintes passos:
1. Do menu suspenso do lado esquerdo, selecione a varivel Rural.
Em resposta, a tabela abaixo do menu suspenso ser preenchida
com os valores 0,00 e 1,00, com valores de 56% para 0,00 e 44%
REAl.JZAR UMAANAuSE COMPlflADAADMINISTRAO DE DAOOS DE UM TESTE FINAL
201
para 1,00, indicando que 44% dos alunos (no ponderado) na

amostra frequentam escolas rurais.
2. Na tabela de valores, clique em 1,00. Isso far com que o valor de
1,00 (represeotando os alunos rurais) seja inserido como grupo de
foco na caixa de texto abaixo.
3. Na tabela de valores, clique em 1,00. Isso far com que o valor de
1,00 (representando os alunos urbanos) seja inserido como grupo
de referncia na caixa de texto abaixo.
4. Clique em Calculate e espere que o clculo seja concludo.
5. Quando o clculo estiver completo, clique no cabealho da coluna
S-DIF na lista dos itens para ordenar todos os iteos pelo valor da
estatstica de S-DIF.
Quando esses passos estiverem completos, a interface aparecer
conforme ilustrado na Figura 10.2. A maior parte das estatsticas de

S-DIF e U-DIF inferior a 5, indicando que, aps controlar para as
Resultados da An"I.. do FDI poro os Dados CYCLE1 por Lo""nzaio,

MATHC1043
IATAP~6/10
'OF
." '"
-5
1~
...'"
." '"
-3
7~
..
I.
.
""
'"
'"
'"
".
'"
'"
202
diferenas de aptido entre os alunos rurais e urbanos, as diferenas

no desempenho referente aos itens entre alunos nessas localizaes
tendem a ser insignificantes.
O objetivo de realizar a anlise do FDI no estgio final do teste de
uma avaliao nacional determinar se um item deve ser considerado
inelegivel para calcular os resultados do aluno. Nesse estgio da anlise, seria apropriado partilhar os resultados da anlise estatistica com
o comit diretor da avaliao nacional; o comit determinar se itens
potencialmente problemticos podem ser removidos ou mantidos. Se
um item for removido, a anlise pode ser executada novamente aps
excluir a chave de respostas da interface de especificaes da anlise
ou desmarcar o item na interface de anlise de item. Para o corrente
exemplo, assumimos que todos os itens so mantidos.
Aps rever todos os itens, clique Next para continuar.
PASSO 4: ESCALONAMENTO
A escala usada por omisso para calcular os resultados das pontuaes

de escala da teoria de resposta ao item (TRI) a escala padro, ou
escala Z, que tem mdia de O e desvio padro de 1. Muitas partes
interessadas parecem ter problemas com as classificaes expressas
nessa escala, porque metade dos alunos tem classificaes negativas.
De forma semelhante, as classificaes limitadas por O e 100 apresentam problemas de comunicao; muitas pessoas tendem a supor que
uma classificao de 50 representa uma classificao de aprovado, o
que pode no ser o caso, dependendo das especificaes do teste.
Para efeitos de comunicao, pode no ser desejvel relatar resultados de teste com pontuao mdia inferior a 50% ou abaixo de o.
Algumas avaliaes de grande escala transformam suas classificaes
calculadas em escalas que tm mdia de 500, 100 ou 50 e desvios
padro de 100,20 e lO, respectivamente. Cada equipe de avaliao
nacional deve selecionar o tipo de classificao com maior probabilidade de facilitar uma comunicao eficaz de resultados.
possvel realizar dois tipos de operaes de escala no lATA: escalonamento e reescalonamento. O escalonamento permite especificar
a mdia e desvio padro desejados para as pontuaes de escala.
REAUZAR UMA ANLISE COMPLETA DAADMINISTRAO DE DADOS DE UM TESTE RNAL
203
o reescalonamento permite aplicar uma transformao linear simples

s pontuaes da TRI, o que til se as pontuaes de escala tiverem
que ser comparadas a uma escala estabelecida em uma anlise prvia.
Nesse caso, os parmetros de item do ciclo anterior podem ser usados
para estimar as pontuaes do teste ou estabelecer correspondncias
com os resultados dos dados dos alunos no novo ciclo de forma que as
pontuaes da TRI que o lATA calcula possam ser comparadas com
as pontuaes da TRI calculadas no ciclo anterior. Os valores calculados podem depois ser submetidos a um reescalonamento usando a
funo de reescalonamento, para que possam ser comparados com a
escala reportada do ciclo anterior.
Em ambos os casos, a nova pontuao de escala criada inserindo
o nome da nova pontuao e especificando o desvio padro e a mdia
nas caixas apropriadas. Quando o boto Calculate for pressionado, o
lATA produzir as novas pontuaes de escala e mostrar a distribuio e as estatisticas resumidas.
Em contraste com a anlise do teste piloto, cuja funo principal
instruir o desenho do teste, a funo principal da anlise dos dados do
teste de avaliao nacional produzir resultados. Consequentemente,
esta descrio passo a passo requer um exame mais minucioso e a especificao das propriedades das pontuaes do teste, ambos os quais
usam a interface de escalonamento. Em primeiro lugar, a comparao
da distribuio das pontuaes de aptido com a preciso do teste em
cada pontuao de aptido (tambm conhecido por informao do
teste) informa-nos sobre a qualidade da inferncia que pode ser feita
acerca de diferentes gamas de variao de aptido. Em segundo lugar, a
criao de uma escala para reportar os resultados do teste estabelece
uma mtrica para comunicar os resultados s partes interessadas.
O grfico na figura 10.3 indica que as informaes do teste, ilustradas pela linha preta continua, est bem distribuda no que tange
distribuio de aptido na amostra. O pico de frequncia no lado
esquerdo do grfico, em aproximadamente -3 na escala de aptido,
corresponde aos alunos que no responderam corretamente a
nenhum item no teste. O teste no tem informaes suficientes para
determinar precisamente quo baixos so os nveis de aptido desses
alunos; assim sendo, o mesmo valor arbitrariamente baixo atribudo
a todos.
204
Para rever a distribuio de pontuaes da TRI, selecione IRTscore

no menu suspenso no canto superior esquerdo da interface. A interface atualizar-se- com detalhes descritivos sobre as pontuaes da
TRI e as informaes do teste, conforme ilustrado na Figura 10.3.
A mdia da distribuio IRTscore -0,02, e o desvio padro I,OS.
Esses valores no tm significado por si s, porque representam a
escala arbitrria na qual os itens foram calibrados.
Compare esses resultados com a forma estatisticamente ideal da
funo de informao do teste em termos de maximizar a confiabilidade global do teste para uma populao normalmente distribuda,
que ilustrada na Figura 10.4. Para fins de comparao, a distribuio
normal padro est desenbada com tracejado. A informao ideal para
uma amostra deve providenciar o mximo de informaes nos nveis
de aptido que representem muitos alunos, mas tambm precisa de
informaes suficientes para distinguir entre alunos de aptido extremamente alta e extremamente baixa.
Esses resultados tambm indicam que o teste foi relativamente difcil
para os alunos. O pico da funo de informaes tende a estar
Distribuio d. Aptidio (Pontuao da TRI) Infonna do Test Dado.

CYCLE1
205
Uma Comparao da Informao Ideal do Teste e da Distribuio Normal
#
#
informao
relativa
-4
---
-3
-2
,,
,,
-1
densidade de
distribuio
relativa
~""
aptido
1- informao do teste -
- - . distribuio normal
localizado na regio de aptido onde os alunos tm maior probabilidade

de obter 50%. Na Figura 10.3, esse pico est ligeiramente acima do
resultado mdio de -0,02, o que indica que os alunos acima da mdia
tiveram tendncia a obter um resultado de apenas 50% correto.
Para produzir uma escala de relatrio mais til baseada na pontuao da TRI, use as funes Add New Scale Score no canto inferior
direito da interface (ver Figura 10.3). Para este exemplo, presuma que
o comit de direo nacional solicitou uma nova escala, o que requer
estabelecer que a mdia igual a 500 e o desvio padro igual a 100.
Essa escala vai ser definida no primeiro ciclo da avaliao nacional
e ser usada em ciclos subsequentes para relatar alteraes no desempenho ao longo do tempo. O nome desta pontuao ser NAMscore
(UN ational Assessment of Mathematics score", pontuao da Avaliao
Nacional de Matemtica). Para providenciar essas especificaes,
execute os passos seguintes:
1. Escreva NAMscore no campo debaixo da etiqueta Add New
Scale Score.
2. Insira o valor 100 para o desvio padro no campo Specify St.
Deviation.
206
3. Imrira o valor 500 para a mdia no campo Specify Mean.

4. Certifique-se de que a opo Set Scale estej a selecionada. Isso
garante que o valor de escala produzido ter uma mdia exatamente igual a 500 e um desvio padro exatamente igual a 100
para a amostra. A opo Rescale ir simplesmente ajustar o valor
da TRI existente mdia e desvio padro especificados.
s.
Clique em Calculate.
Quando o lATA acabar de processar o pedido, ele atualizar a

interface com o grfico e estatsticas resumidos para a recm-criada
pontuao de escala, conforme ilustrado na Figura 10.5.
Selecionar uma pontuao de escala derivada tem relativamente
poucas limitaes. Qualquer nome vlido pode ser usado para essa
pontuao, desde que no tenha sido usado nos dados de resposta (vd.
Captulo 8 para convenes
de nomenclatura e nomes de variveis
restritos). A mdia pode ser qualquer nmero real e o desvio padro
'iH'h','[-&)
Dlstrlbulio Estmlsticas Resumidas para a Nova Pontu.pio d. Escala
(NAMscorel. D.dos CYCLE1
IATAhge7/10
207
pode ser qualquer nmero real maior do que zero. No entanto,

importante garantir que os resultados de aluno mais baixos reportados no sejam menores do que zero. Como o resultado mais baixo
geralmente cerca de trs ou quatro desvios padro abaixo da mdia,
boa prtica estabelecer a mdia como sendo pelo menos quatro
desvios padro acima de zero. A escolha de escala de relatrio deve ser
discutida com o comit diretor da avaliao nacional nos estgios
iniciais de planejamento, de forma que todas as partes interessadas
compreendam como interpretar os resultados reportados.
Aps a nova pontuao de escala ter sido criada, clique em Next
para continuar.
PASSO 5: SELECIONAR ITENS DE TESTE
Os dados CYCLEl representam o ciclo inicial de um programa de

avaliao nacional. Se o teste for para ser usado em ciclos subsequentes para efeitos comparativos, ser necessrio estabelecer uma ligao
com os resultados do ciclo inicial. Para tanto, selecione um subconjunto de itens que sejam precisos e representativos do continuo de
aptido.
Uma prtica razovel para manter uma forte ligao entre testes
manter aproximadamente 50% dos itens comuns a avaliaes
adjacentes. Esses so conhecidos por itens ncora. Para facilitar o
processo de seleo de itens ncora, use a funcionalidade de seleo
de item do lATA para classificar cada item do teste atual de acordo
com a sua adequao para maximizar a preciso ao longo da amplitude de aptido. Para fazer essa seleo, execute os seguintes
passos:
1. Escreva o nome IternRanks no campo Name of item selection.
2. Escreva o nmero 50 no campo Total number of items para selecionar todos os itens.
3. Deixe os limites inferior e superior com os seus valores por
omisso, 2 e 98.
208
S.I.dono. ltenl. Dodol CYCLE1
~~~i:~':'.:-:"=
..
'--::A":'::::::::.".
I=- :- I
----
,,.
11
_'o
,
., ,
."I
" .."I
-----..
.. ---:----:----;----!"
,
....
'
OI
.~ --:.:-~
Os resultados completos so mostrados na Figura 10.6. Todos os

itens disponveis foram selecionados e categorizados por contedo e
nvel cognitivo identificado nas suas especificaes originais.

Os resultados produzidos por essas especificaes so acrescentados ao conjunto de resultados da anlise corrente como uma tabela de
dados de item do lATA. Essa tabela deve ser disponibilizada para os
organizadores do teste que so responsveis por modificar o ciclo 2
(ou seguinte) da avaliao nacional, para que possam selecionar um
conjunto de itens comuns, levando em considerao informaes
sobre o contedo e valor psicomtrico de cada item de teste usado no
ciclo I (ou primeiro) da avaliao nacional. O ideal que um conjunto de itens ncora tenha a metade do nmero de itens do teste
completo e represente o contedo e especificaes do teste cognitivo
nas mesmas propores do teste completo. Via de regra, qualquer

ligao estatistica em que os itens de ligao constituam menos de
20% do teste total no providenciar provavelmente uma ligao com
significado, independentemente da preciso ou representao do contedo dos itens de ligao. Um mtodo pragmtico de selecionar itens
I 209
seria comear com os itens mais desejados e alocar itens s clulas das
novas especificaes de teste de acordo com o seu contedo e nveis
cognitivos at o nmero desejado ser atingido em cada clula ou at a
lista de itens ser esgotada.
Assim que o lATA tiver completado essa anlise, clique em Next
para continuar.
PASSO 6: ESTABELECER PADRES DE DESEMPENHO
As avaliaes mais contemporneas reportam os resultados em termos de nveis. Avaliaes internacionais tais como Estudo Internacional
de Progresso na Compreenso de (PIRLS), Programa de Avaliao
Internacional de Alunos (PISA), e Tendncias Internacionais no
Estudo da Matemtica e das Cincias (TIMSS), assim como muitas
avaliaes nacionais, tais como a Avaliao Nacional do Progresso
Educacional nos E.U.A. ("National Assessment of Educational
Progress", NAEP pela sua sigla em ingls), reportam os resultados de
desempenho dos alunos em termos de desempenho ou nveis de referncia (vd. Greaney e Kellaghan 2008; Kellaghan, Greaney, e Murray
2009). O TIMSS, por exemplo, usa quatro nveis de referncia: baixo,
intermdio, alto, e avanado (Martin, Mullis, e Foy 2008). Os padres
de desempenho devem ser limiares estatisticos significativos em vez
de arbitrrios, tais como percentis, porque so a principal ferramenta
usada para resumir e reportar o desempenho dos alunos. O processo
de definir padres de desempenho significativos conhecido por
normalizao.
O lATA facilita os procedimentos de normalizao especificando
primeiro as probabilidades de resposta (PRs) em termos de resposta
correta para cada item, e depois calculando os nveis de aptido (valores de PR) associados PR especificada. Por exemplo, se uma PR for
estabelecida em 50%, o valor de PR para um item seria o nvel de
aptido associado a 50% de hipteses de responder corretamente.
Uma grande variedade de PRs, tipicamente variando de 50% a 80%,
usada em avaliaes de grande escala. Uma prtica comum usar
67%, o que tende a ser estatisticamente ideal para classificar itens. No
entanto, a escolha de PR tambm deve ser instruda por definies
210
normativas sobre qual a probabilidade de sucesso que corresponde

mestria em um particular nvel acadmico e pelo conhecimento das
consequncias da forma como os padres sero usados. Por exemplo,
em um contexto educacional, onde as consequncias de reportar
insucessos tendem a ser maiores do que as de reportar sucessos, PRs
mais baixas podem ser preferidas.
Antes de analisar os dados, um painel de partes interessadas,
incluindo especialistas de currculo e educao, em consulta com o
comit diretor da avaliao nacional, devem decidir acerca do nmero
de nveis de aptido a usar. Algumas avaliaes nacionais escolhem
dois nveis, tais como aceitvel e inaceitvel; outras escolhem trs
nveis, tais como pobre, adequado e avanado, enquanto outras usam
quatro ou mais. Se o painel de partes interessadas decidir-se por mais
de dois nveis, cada nvel, exceto o mais baixo, deve ser definido por
um conjunto de itens que so considerados passveis de resposta por
alunos demonstrando aquele nvel de desempenho. Geralmente, a no
ser que uma avaliao inclua centenas de itens (requerendo um
modelo de cadernos de prova rotativos), apenas estaro disponveis
itens suficientes para definr adequadamente trs ou quatro nveis.
A interface para fazer essa anlise est ilustrada na Figura 10.7. Do
lado esquerdo, um menu suspenso permite selecionar uma fonte de
itens para cada seleo. Tal como na interface de seleo de item,
existe a opo de selecionar qualquer uma das fontes de dados de
item disponveis no atual fluxo de dados. Para as anlises correntes,
apenas a tabela [temal est disponve1.! Os itens da fonte selecionada
esto listados na tabela abaixo do menu suspenso. Os valores da
coluna Nvel podem ser editados diretamente em cada linha. Para
estimar os limites estatisticamente ideais com base na corrente
classificao de itens, mova o indicador vertical no centro da interface
at a PR desejada. Quando a interface aberta, a PR por omisso de
67%, indicando que o critrio usado para classificar os itens ou estimar mites ideais tem 67% de probabilidade de resposta correta em
cada item.
Quando o usurio clicar e arrastar o indicador vertical para ajustar
o seu valor, o lATA atualizar os limites ideais e produzir os resultados na janela do grfico do lado direito e na tabela abaixo. O grfico
ilustra a posio de cada limiar com linhas verticais relativas
211
I_rf... de Pedrel d. De..mpenho por Omluo, D.dol CYCLE1
...
1::::
-- :,
- - ;:=='-~-..."--,-.----,,
".
.. ,
.....TlC!(lll 2
,:
.....TlCI(I7. 2
: :
o,.
O"
:: f
.....nclOSl l
..
.....THCnu(l l
.....nclOO9 l
,...,..
~cd:LLWJ.Lillh:~ '
.,
-:
o
..... ncUXI6 l
..... nc!1Xn
.....TK10500 ,
.....ncTCl1.
w.nc:!07t
.....
TK!0I1 ,
-i~~~
W.llJ:lle 2
.~
,~
distribuio de aptido e funo de infonnaes do teste. Essas

infonnaes ilustram a utilidade dos nveis. Por exemplo, se um nvel
tem muito poucos respondentes, qualquer estatstica resumida des-
crevendo os alunos nesse nvel tambm ser demasiadamente pequena

ou instvel para poder ser interpretada. De fonna semelhante, se o
teste no for exato no limiar de um nvel, a classificao dos alunos
nesse nvel ser imprecisa.
A tabela abaixo da janela do grfico na Figura 10.7 descreve os

itens representando cada nvel com os parmetros de mdia e desvio
padro do item b. A coluna mais direita na tabela contm o limiar
que foi estimado para cada nvel. Por exemplo, os parmetros de
mdia e desvio padro de b para o Nvel 4 so 0,77 e 0,38, respectivamente. O valor de 0,77 indica que a mdia dos parmetros de b
para os itens do Nve14 corresponde a uma pontuao de aptido de
0,77 na escala da TRl. O limiar PR67 para o Nvel 4 de 1,32. Essas
estatisticas so teis para deterrnoar se a atribuio de itens razovel. Por exemplo, se o desvio padro de itens em um nvel for superior
distocia entre as mdias ou limiares de nveis adjacentes, a base
212
estatistica para defirilr os nveis pode ser fraca. Nesses resultados, o

desvio padro intra-nveis tende a ser cerca de 0,35, enquanto a distncia entre nveis adjacentes varia entre 0,17 e 0,53, indicando que
os nveis esto razoavelmente bem defindos.
Diversos mtodos so usados para determinar os pontos de corte
ou limiares mais apropriados entre nveis de aptido. Um designado "boolanarking", um procedimento baseado na TRI que
beneficia-se de ter a dificuldade do item e a capacidade da pessoa na
mesma dimenso latente. Ele envolve um painel de peritos (tais
como especialistas em currculo e professores experientes) responsvel pelo processo de normalizao, que rev cuidadosamente todos
os itens de teste luz das informaes disponveis para eles a partir
das especificaes de teste, currculos, desempenho dos alunos no
teste e definies normativas sobre o que os alunos sabem e podem
fazer em cada nvel de aptido (vd. Karantonis e Sireci 2006; Mitzel
e outros 2001).
Os procedimentos que regem o modo como os painis funcionam
no tocante seleo, formao e interaes de membros de painel e o
uso que fazem de dados de diversas fontes, variam. No so considerados aqui. Em lugar disso, a nfase recai em como os dados gerados
pelo lATA podem contribuir para o estabelecimento de nveis de
aptido.
No incio, o painel prepara uma verso especialmente construda
do caderno do teste de avaliao nacional contendo itens de mltipla
escolha e de resposta construda, apresentados um por pgina, por
ordem dos seus valores de PRo A tarefa do painel identificar itens nas
fronteiras entre grupos de itens ou nveis cognitivamente distintos.
Depois, o painel aplica marcadores de livro ("boolanarks") ou marcadores de lugar nas fronteiras no caderno especialmente construdo. Os
itens selecionados para o grupo de nvel mais alto (Nvel 4, por exempIo) so os que tm maior probabilidade de ser respondidos de forma
correta pelos alunos desse nvel, mas muito menor probabilidade de
ser respondidos de forma correta por alunos de nveis inferiores. De
forma semelhante, os itens selecionados para o Nvel 3 tm maior
probabilidade de ser respondidos corretamente por alunos desse nvel
(e do Nvel 4), mas muito menor probabilidade de ser respondidos
corretamente por alunos de nveis inferiores.
213
Suponhamos, por exemplo, que o painel de peritos decidiu usar

uma PR de 50% para validar a classificao inicial de itens por quem
os elaborou. Para providenciar dados de validao, completar os passos seguintes:
1. Colocar PR a 50% clicando e arrastando o indicador conforme
ilustrado na figura 10.8.
2. Clicar em Save Bookmark data. O lATA produzir um dilogo de
confirmao para notificar-nos de que os dados foram gravados.
3. Clicar em Next
resultados.
para navegar para a tela de visualizao de
4. Selecionar a tabela BookmarkData do menu suspenso.

Os resultados da anlise de marcador de livro so apresentados na
Figura 10.9. Os dados incluem o nome do item (Name), os parmetros da TRl (a, b, c), a classificao original de Ivel (LeveI), o arquivo
fonte das estatisticas de item (Source), e valores PR 50 para cada
Interi.ce de P.dre. de De..mpenho. PR = 50%. D.do. CYCLE1
,.,'"... ,.,.
. ,.
,. "
.a
..... 1ffC1011 2
..
r"'' ' .,,.. ,."
..... HlCll15.2 ]
..... lltCl020 ]
MAlltClU _
..... lltCl11V
MAlltC11159
MAllfC111501
..... IItCUD1
..... IHC111n I
""'T1tC11117
fzlHC105l1 2
MATltCll11l 2
<
071
09!l
'"
o.
o.
o.
o
o.
o.
o.

,.
,. '",.'"
o.
'" ...
'" ,. o.
>
'U
p.t.,_el_
EJ
__ o
...
....
...- ,
..U..
--
."
., '
o..
~,
.~
.,
.,
.~
.m
214
item. Por exemplo, o terceiro item na Figura 10.9 (MA1HCI025)

tem valores para os parmetros a e b de 0,90 e -0,78, respectivamente, e foi inicialmente classificado como Nvel 1, com um valor PR
50 de -0,70 (indicando que tem 50% de probabilidade de ter uma
pontuao de aptido de -0,70). (Nesse caso, o item tem apenas uma
nica coluna de valor PR, mas uma tabela de dados de marcador de
livro pode incluir vrias colunas de valor PR.) A tabela de resultados
selecionada deve ser exportada e fornecida ao painel especialista.
Os valores na coluna RP50 informam sobre a ordem de apresentao
de itens no mtodo marcador de livro de classificar itens em nveis de
aptido e de definir pontos de corte.
Usando o procedimento de marcador de livro, os membros do painel reveem cada um dos itens por ordem do seu valor de PRo Quando
encontram um item que consideram representar um padro de
desempenho mais alto, adicionam um "marcador de livro' nesse local

no caderno especialmente construdo. Os valores de PR imediatamente anteriores s localizaes dos marcadores de livro representam
os limiares propostos para determinar nveis de aptido.
Dado. d. M.rcado.... d. Livro, PR - 50%, Dados CYCLE1
-~_
... _.
....
o.
o..
IlATHC111'1
~77
lIATHC 11167
o70
IlATHC10ll1l77
"O
,~
1(1501
IlATHC107. US
,~
IlATHC1~ 0~1
'"o.
IlATHC11l'J
O~
llATH:.ll1/a O!>l
IlATHC1111S
O~
IlATHC1/W n5'
llATH:.l0l10A
IATAP~1 0f 10
o.
,.
'",.
o.
o.
o
o
o.
o.
o.
o.
o.
o.
o.
o.
o.
o.
,
,
12
,
,
_o
_o
_o
_o
_o
o_o
_o
_o
_o
_o
_o
_o
_o
_o
..,.'"
".
'"
1 ,.
o.v
,.
'"
O"
,.
05
I 215
Uma combinao de discusso de grupo e mdia estatstica tipicamente usada para combinar os limiares produzidos por diferentes
revisores para produzir os limiares finais, mesmo que esses no sejam
estatisticamente ideais. Para o desenvolvimento de descries qualitativas de cada nvel de aptido, os itens so classificados pelos limiares
finais.
Muitos tipos de informao, incluindo especificaes de item, referncias de currculo, e definies normativas sobre o que os alunos
sabem e podem fazer em cada nvel de aptido, devem ser disponibilizados simultaneamente ao painel responsvel pela normalizao. O
painel deve conciliar as diferentes fontes de informao para determinar o que mais til em termos de pontos de corte e atribuio dos
itens de teste aos nveis. A seu critrio, os membros do painel podem
decidir usar classificaes de item definidas antecipadamente pelos
elaboradores de item em vez de reclassificar os itens com base nos
resultados do procedimento de marcador de livro. Em ambos os casos,
os limiares calculados pelo lATA representam os limiares estatisticamente ideais para as classificaes de item especificadas. Para gerar
limiares estatisticamente ideais, basta ajustar a PR percentagem
desejada, e o lATA far automaticamente o clculo, usando a PR e a
classificao de nivel de item e gravar os resultados na tabela PNveis
no conjunto de resultados da anlise. Por padro, a no ser que o usurio insira manualmente os valores na tabela, o lATA grava os limiares
correspondendo a uma PR de 67%. Observe que o lATA no atualiza
automaticamente o nvel no qual um item foi incluido; se um procedimento de marcador de livro ou outro procedimento de classificao
de item modificar a classificao de um item, o novo nivel de classificao deve ser inserido nos dados de "input" do item ou diretamente
no lATA.
possvel alterar manualmente o nvel de limiar editando os limiares diretamente na tabela de resultados. Aps os valores serem alterados, o grfico automaticamente atualizado. Os ajustes mais comuns
incluem pr os limiares igualmente espaados ou atribuir limiares que,
aps a aplicao de constantes de escala, ocorrero em incrementos
inteiros (por exemplo, 5 ou 10). Deve haver bom senso profissional ao
conciliar os dados da anlise estatstica e de contedo com a necessidade de comunicar resultados a no especialistas. A simplicidade deve
216
ser equilibrada com a comunicao precisa de diferenas significativas

no desempenho dos alunos.
Para o corrente exemplo, suponha que o painel, aps considerar os
dados iniciais de marcadores de livro e outras fontes de informao,
prope definir os niveis usando o seguinte conjunto de pontos de
corte: -0,85, -0,25, 0,35 e 0,95. Os alunos com pontuaes abaixo de
-0,85 seriam classificados abaixo do Nvel 1; os alunos com pontuaes na categoria de -0,85 a -0,24 seriam classificados como Nvel 2,
e assim sucessivamente.
Clique em Back para regressar interface dos padres de desempenho, onde esses pontos de corte podem ser registrados no arquivo
de dados de resultados e os alunos podem ser incluidos em niveis
apropriados. Execute os seguintes passos:
1. Inserir os valores recomendados produzidos pelo painel de partes
interessadas nas linhas apropriadas na coluna intitulada Threshold.
Pressionar a tecla Enter aps a ltima entrada para garantir que o
lATA atualiza a interface corretamente.
2. Carregar no boto Add leveIs. O lATA incluir os alunos no nvel
apropriado, com base nas suas pontuaes da TRI.
A figura 10.10 ilustra a atribuio de limiares aos nveis de desempenho. Os nveis esto igualmente espaados, atribuindo uma proporo razovel de alunos a cada nvel. Apesar de no existir razo
matemtica para o espaamento igual, a prtica comum na maioria
das avaliaes nacionais e internacionais usar limiares igualmente
espaados porque parecem mais intuitivos para no conhecedores,
que so os principais destinatrios dos resumos de nvel de aptido.
Na tabela de dados Scored, que pode ser vista na tela final do fluxo
de trabalho da anlise, o registro para cada aluno tambm contm
uma varivel designada LeveI. Essa varivel contm o nivel de desempenho padro em que cada aluno incluido, com base nos limiares
apresentados na Figura 10.10. Por exemplo, o primeiro aluno listado
sob CYCLEISIDID foi classificado como Nvel 4, teve um valor de
percentil de 85,13, e teve uma pontuao da TRI de 1,06. Vale ressaltar que, neste exemplo, as mdias e os desvios padro dos parmetros
b para cada nivel na tabela de resumo no mudaram. Como esses
217
I_rf... de Pedre. d. De..mpenho com Llml.... Est.belecldOl

M.nu.lmente, Dados CYCLE1
LATAP~t9/10
-- - ,*
1::::
-:
-" r==""-~T,
-,-.--,---,----"."
.-
o~
N111lC!(I7' 2
O"
:: f
NIITJ.C IC52 3
NIITIC IIl2(I l
N111lC TC09 l
N111lC!1X11
.....TK1050t ,
NIITKI07t
N111lC TCl1 ,
.....TK10H'
NIITK11e 2
..
~odl.J.JUJW.WJ:b......:::1
'
..
.,
o
..... 11(: 100) l
_~~~~
.~
valores so resumos de estatsticas de item e no resultados de aluno.

eles s mudam se a classificao de itens for atualizada, o que pode ser
feito tanto no arquivo da chave de itens como diretamente na tabela
apresentada do lado esquerdo da Figura 10.10, na coluna intitulada
Nvel.
Tendo usado limiares para classificar itens em nveis de aptido ou
desempenho, o painel especialista deve desenvolver descries qualitativas dos nveis, especificando os conhecimentos e capacidades indi-
cativos da competncia a cada nvel. possivel examinar exemplos de

descries e competncias em termos de nvel em outros volumes
desta srie, especificamente no Volume 1, Avaliafo dos Nveis de
Desempenho Educacional para o PISA, Figura B3.3 (Greaney e
Kellaghan 2008), e no Volume 5, O Uso dos Resultados da Avaliafo
do Desempenho Educacional para a NAEp' Tabela 2.6; Vietn, Tabela
2.7; e Moambique, Tabela 6.2 (Kellaghan, Greaney, e Murray 2009).
Aps definir os limiares dos padres de desempenho e de aplic-los
s pontuaes dos alunos, clique em Next para continuar para a
interface para ver e salvar os resultados.
218
PASSO 7: GRAVAR OS RESULTADOS
Na interface para ver e gravar os resultados, possvel ver os resultados produzidos pela descrio passo a passo do presente exemplo.
Todas as tabelas devem ser gravadas, tanto para a documentao do
projeto como para a facilitao da ligao do teste com subsequentes
ciclos de dados. Para referncia, os resultados dos dados de item desta
anlise detalhada esto includos no arquivo ltemDataAllTests.xls, na
folha de trabalho denominada ReferenceCl.
NOTA
1. A tabela ltem2 tambm est disponvel para fluxos de trabalho de anlise
que usam ligaes.
ANLISE DOS
CADERNOS DE
PROVA ROTATIVOS
utilize o conjunto de dados da amostra PILOT2

para realizar este exercicio. A chave de respostas para este teste
encontra-se no livro de exercicios Excel ItemDataAllTests, na folha
com o nome PILOT2.
Os modelos que utilizam cadernos de prova rotativos permitem que
um nmero elevado de itens seja testado atravs do agrupamento dos
itens em diferentes cadernos. Os testes so aplicados aos alunos utilizaodo diferentes cadernos, de modo que no sejam aplicados todos os
itens a nenhum aluno. Alm das especificaes de aolise iniciais, o restante do fluxo de trabalho segue os mesmos procedimentos descritos
nos tutoriais anteriores.
PASSO 1: CARREGAMENTO DOS DADOS

A aolise comea com o fluxo de trabalho Response data analysis.
Selecione o arquivo de dados de amostra PILOT2 na interface dos
dados de resposta do examinaodo. Esses dados representam um modelo
de trs cadernos aplicados a 712 respondentes. O arquivo de dados
contm um total de 107 variveis, que incluem 99 itens. Nem todos os
219
220
itens esto iocludos em cada um dos cadernos. Esse tipo de situao

pode surgir caso o comit diretor de avaliao nacional solicite que o
teste sej a bastante longo para cobrir um currculo extenso. De modo a
reduzir a fadiga dos alunos, deve ser aplicado a cada aluno um caderno
que contenha um subconjunto de itens. Nos dados apresentados na
Figura 11.1, a terceira coluna contm uma varivel com o nome
BOOKLETlD. Essa varivel contm os valores 1,2 e 3, que identificam o caderno atribudo ao aluno. Alm das respostas de itens alfabticos e dos cdigos de resposta em falta com o valor 9 (no apresentados
na figura), o valor 7 ocorre frequentemente e iodica que um item especifico no estava presente no caderno atribudo a um determinado
aluno. Por exemplo, os dados na figura iodicam que o caderno para o
aluno com o valor PILOT2SIDID = 2 no contm o item MATHC2058.
O cdigo 7 tratado como um valor omitido e no afeta os resultados
dos alunos no teste. Clique em Next: para continuar.
Na ioterface de carregamento de dados dos itens, faa o carregamento
dos dados dos itens PILOT2 a partir do arquvo ItemDataAllTests.xls.
A tabela PILOT2 contm 99 registros e quatro variveis. (Note que o
Respostas dos Alunol. Dados PIL0T2
ANLISE DOS CADERNOS DE PROVA ROTATIVOS
221
item MA1HC2047 tem os seguiotes valores: Key = C, levei = 1.00 e

Content = number knowledge item.)
Confirme que os dados de resposta correta e os dados dos itens
foram carregados e clique em Next: para continuar para as especificaes da anlise.
PASSO 2: ESPECIFlCAOES DA ANLISE
Em Select 10 (optional), selecione PILOT2STDIO. Nas especificaes SpecifY rnissing treatment (optional) dos exemplos anteriores, a
caixa na coluna com o nome Incorrect foi apenas marcada quando os
dados estavam em falta. Devido ao modelo de cadernos de prova rotativos, deve ser incluido um cdigo de omisso na tabela SpecifY missing treatment (optional), de forma a indicar que algumas respostas
no devem ser incluidas na pontuao. Marque o valor 7 na coluna
Do Not Score, conforme apresentado na figura 11.2. Sempre que o
valor 7 encontrado nos dados de resposta de um aluno especifico,
Esp.dflm.s d. Anll.., C.d.rnos d. prov. rotmlvos, Dados 'ILOT2

lAlAPage3Jl0
,
,
,
222
o saftware de Anlise de Item e de Teste (lATA) vai ignorar esse item

para que ele no afete os resultados do aluno. Da mesma forma, a existncia de participantes com cdigos de resposta 7 para um item no
afetar a estimativa de estatisticas ou de parmetros para esse item.
Aps inserir as especificaes da anlise, clique em Next para
continuar; a anlise ser iniciada automaticamente. A anlise vai
demorar mais tempo a ser realizada em comparao com os tutoriais
anteriores, uma vez que o tempo de processamento mais influenciado pelo nmero de itens do teste do que pelo nmero de alunos.
PASSO 3: RESULTADOS DA ANLISE DOS ITENS
Quando o lATA concluir a realizao da anlise, os resultados sero

apresentados como na Figura I 1.3, em que a tabela esquerda foi
deslocada para baixo para apresentar o item MA1HC2003, ao qual
foi atribudo um smbolo de aviso. Os resultados indicam que esse
item tem um relacionamento fraco com a aptido; os alunos tendem
R....It.dos d. Anill.. de Itens, Dedos PILOT2, MATHC2003
. ......
.m
"

."
,".
..
"
,.12
J~;I
, .cI~ ,GO
.11 100
.."
.P
~7
l I'
ANLISE DOS CADERNOS DE PROVA ROTATIVOS
I 223
a alcanar uma probabilidade de 0,61 de fornecerem a resposta correta, independentemente do nvel de aptido. O lATA sugere que essa
fragilidade pode estar relacionada com requisitos enganadores, que
esto normalmente associados ao funcionamento incorreto dos distratores. Os alunos tendem a tentar adivinhar a resposta quando no
compreendem os requisitos de um item ou quando no existe uma
resposta inequivocamente correta. A direita da interface, a tabela de
anlise de distratores apresenta os dados subjacentes a esse resumo,
que indicam que a opo D o nico distrator que provoca o comportamento desejado. (A coluna vazia com o nome Omit no cabealho
serve para relembrar que no foi permitido que o cdigo 7 influenciasse a estimativa.) De modo a evitar que o item MATHC2003 possa
reduzir a preciso dos resultados da anlise, remova a marca de verificao junto ao nome do item na coluna Use e clique em Analyze para
atualizar os resultados.
Depois de examinar os resultados da anlise, faa a replicao das
anlises demonstradas nos captulos anteriores. As especificaes e a
interpretao das tarefas restantes do fluxo de trabalho so muito
semelhantes s que foram apresentadas nos tutoriais anteriores.
Se a aplicao do teste utiliza vrios cadernos que contm conjuntos diferentes de itens, o lATA pode realizar a anlise dimensional
apenas no caso de os diferentes cadernos partilharem um nmero suficiente de itens. Por exemplo, com trs blocos de itens de teste (A, B, C)
e trs formulrios de teste (1, 2, 3), o formulrio de teste 1 deve conter
os blocos AIB; o formulrio de teste 2 deve conter os blocos B/C; e o
formulrio de teste 3 deve conter os blocos C/A. Como os blocos
so completamente rotativos, nenhum item deixado rfo. Por outro
lado, caso o formulrio de teste 1 contenha o bloco AIB e o formulrio
de teste 2 contenha o bloco B/C, o bloco C fica rfo do bloco A e, por
isso, as correlaes entre os itens do bloco A e do bloco C no podem
ser estimadas. Se existirem blocos de itens rfos e desejar realizar
uma anlise dimensional, preciso eliminar os itens rfos da anlise
ou realizar a anlise dimensional em cada formulrio de teste individualmente. No entanto, assim que dados suficientes confirmarem que
um conjunto de itens est avaliando uma nica dimenso, deve-se
incluir todos os itens da anlise no clculo das estimativas para os
parmetros e pontuaes da teoria de resposta ao item.
224
Caso a rotao seja complexa, o princpio geral para um modelo

bem-sucedido assegurar que nenhum item do teste aparea apenas
em um caderno. Caso um item aparea apenas em um caderno, as
estimativas dos parmetros desse item podem estar sujeitas a um
maior erro de amostragem, uma vez que as estimativas estaro associadas apenas aos itens especficos desse caderno e aos alunos que
realizaram os testes desse caderno. A preciso das estimativas dos
parmetros de um item vai aumentar proporcionalmente ao nmero
de cadernos em que esse item aparece.
Como um exerccio individual opcional, possvel repetir as anlises mencionadas nos captulos anteriores com os dados PILOT2. Para
referncia, os resultados dos dados dos itens deste tutorial de anlise
so includos no arquivo ItemDataAllTests.x1s, na folha de trabalho
com o nome ReferenceP2.
ANLISE DE ITENS DE
CRDITO PARCIAL
Use o conjunto de dados de amostra

PILOT2PartiolCredit para fazer este exercicio. A chave de respostas
para este teste est no livro de exerccios do Excel ltemDataATlTests
na follia chamada PILOT2PartiolCredit.
Tal como no cenrio de avaliao nacional descrito em captulos
anteriores deste volume, esta descrio passo a passo segue o desenvolvimento contnuo do instrumento de teste com a introduo de anlises
para os itens de teste de resposta curta que foram classificados usando
crditos parciais. Excetuando as especificaes iniciais de anlise, para os
ltimos quatro itens em PILOn (discutido abaixo), o resto do fluxo de
trabalho segue os procedimentos que foram descritos em tutoriais anteriores. Esta descrio passo a passo enfoca os requisitos nicos da anlise
de itens de crdito parcial (vd. Anderson e Morgan 2008).
PASSO 1: CARREGAR OS DADOS
A anlise comea com o fluxo de trabalho Response data analysis.

Na interface de dados de resposta do examinando, selecione o
arquivo de dados de amostra PILOT2PartialCredit. Esses dados
225
226
I ANLISE DE DADOS DE UMAAVALJAO NACIONAL DE DESEMPENHO EDUCACIONAL
contm 111 variveis e 712 respondentes. Os dados representam

um modelo de trs cadernos com 103 itens de teste, que so os
mesmos que os utilizados na anlise do modelo equilibrado de
cadernos de prova rotativos no Captulo 11, com a adio de quatro
itens de crdito parcial. Para cada um desses itens, os alunos podem
ter sido classificados com as pontuaes de O, 1, 2 ou 3, dependendo da qualidade das suas respostas. A Anlise de Item e de Teste
(lATA) produzir estatisticas para qualquer classificao superior a
O. Os nomes dos itens adicionais so MATHSAOOI, MATHSA002,
MATHSA003 e MATHSA004. Clique em Next para continuar.
Na interface para carregamento de dados de item, carregue os dados
de item PILOT2PartialCredit do arquivo ltemDataAllTests.xls, conforme ilustrado na Figura 12.1, na qual o painel de dados foi puxado
para baixo. As quatro linhas de baixo do arquivo de dados contm
dados sobre os itens de crdito parcial. A chave de classificao para
esses itens contm a informao requerida para atribuir diferentes
valores numricos aos vrios cdigos no arquivo de resposta, depen-
dendo da qualidade da resposta do aluno. Neste exemplo, a chave de

classificao reflete a classificao manual de cada item: o cdigo de
Ch..... de RelpoltM eGO Itens e Meted.doo, D.dol PILOT2
W.l~l'1
.~
w.'~"
....lHCl'017 ..
.~
.... ncl_ ..
.~
.~
.... ',.l017
.~
~~.
.~
W.l>Oo11O
.~
.... 'HC201l C
.... '1C2III1 C
.~
~~,
.~
w.nc'O:II
....,~! .
.... ncs.oaJ' . 'I2US
....r . - 11;22.33
. ~
.~
.~
.~
,~
,~
.-.-..----
---
--~
ANLISE DE ITENS DE CR~DITO PARCIAL
227
I classificado como lJ 2 como 2 e 3 como 3. No necessrio provi-
denciar uma especificao de classificao para um valor de o. Se um

cdigo de resposta no estiver na chave de resposta e no for tratado
como estando em falta, receber um valor de o.
Confirme que foram carregados os dados de resposta e os dados de
item corretos e clique em Nex1 para continuar com as especificaes
da anlise.
PASSO 2: ESPECIFICAOES DA ANLISE
Como esses dados so na sua maioria idnticos aos utilizados no
Captulo 11, use as mesmas especificaes de anlise. Sob Select ID

(optional), escreva PILOT2SIDID, e na seo SpecifY missing treatment (optional), selecione o valor de 7 na coluna Do Not Score, conforme ilustrado na figura 12.2. Vale ressaltar que todos os valores de
item para os itens de crdito parcial tambm aparecem na tabela de
valores de item.
Espedftc.e. da Anll.., Cadernos Rot:atlvos com Itens de Crdito Parcial,
Dados PIL0T2
Wl IIICl'05:>
WI ~'A
~ ~o
&.\IITltC1017
""' I~O
... n.:::2C1I
"" _10
C
...TltC1(1ll) 111
... lIC1m:l A
... 11tQI;I:D A
~ ~o
~ ~o
... 1ttC!013
~~
""' TltC111
,,
,,
,,
,,
----------
Cf
D
Lf
Cf
228
ANLISE DE DADOS DE UMAAVALJAO NACIONAL DE DESEMPENHO EDUCACIONAL
Aps inserir as especificaes da anlise, clique em Next para

continuar; a anlise comear automaticamente. Como o tempo computacional mais afetado pelo nmero de itens de teste do que pelo
nmero de alunos nos dados, a anlise demorar mais do que em descries passo a passo anteriores.
PASSO 3: RESULTADOS DA ANUSE DE ITEM
Quando o lATA acabar de executar a anlise, os resultados indicaro

que MATIIC2003 problemtico (Figura 12.3). Apague o item da
anlise, removendo a marca ao lado do nome do item na coluna Use
e clicando em Analyze para atualizar os resultados. O lATA vai perguntar se deve recalibrar os itens de crdito parcial; clique em Yes
para continuar.
Na tabela da esquerda na Figura 12.4, pode-se ver as linhas que
foram criadas automaticamente pelo lATA para cada valor de item
para cada item de crdito parcial. Para as linhas que representam valores de itens de crdito parcial (onde a coluna Name contm o
'H'','fi'
R....II.dos d. An..... d. Item, Dodos PIL0T2, MATHC2003
~_
-=~
o.
O"
..
o.
H'
,.
o.
o. '"
o. O" o.
o~
0.'1 0.41 o. <"
o o o.
'" n
o. o.
o. o. '"
o. '"
o. '"
ou ou o. o. o.
o. o~ O"
o~
,<
,
,
,.
'"
'.
... __ .,..._a-.
o~
o~
o~
o~
o~
o~
=
'"
..".
...
229
Funo d. R.sposta ao Item d. Crdito '.reial. Dados CYCLE2.

MATHSA001. Valor. 2
031
'"
O"
O"
O.
lJl!i
012 -20'/
~,
0'
0*
O.
O"
O
,. ,.
,.u,
,~
e~
0(11
O"
..
",
m
'"
~,
~,
'H
...
O,.~
OU
snbolo @ seguido de um nmero inteiro), as estatsticas so estimadas

como se cada valor fosse um nico item correto/incorreto, no
qual a
resposta correta qualquer valor maior ou igual ao valor selecionado.

O lATA vai criar um conjunto adicional de resultados estatsticos para
cada valor de crdito parcial que indicado na chave de classificao
para um item. Por exemplo, com um item de crdito parcial com valores no nulos de 1 e 2, a facilidade de item para o valor de
I (ItemNamel) descreveria a proporo de alunos com valores
de item maiores ou iguais a I e a facilidade de item para o valor de 2
(ItemName@2) descreveria a proporo de alunos com valor 2.
Na tabela de anlise de distrator na Figura 12.4, observe que
MATHSAOOl@2 usa cdigos tanto de 2 como de 3 como respostas
selecionadas; para MATHSAOOl@I,oscdigos 1,2 e 3 seriam usados
como respostas selecionadas. As facilidades de item so sempre mais
elevadas para valores mais baixos de um item porque incluem todos
os alunos que tveram valores mais altos. Por exemplo, a Figura 12.4
destaca os resultados para MATHSAOO I com o valor de 2 selecionado. Para esse item, o valor de 1 (MATHSAOOI@I) tem um PVal
230
(facilidade de item) de 0,90, o valor de 2 (MATHSAOOl@2) tem um

PVal de 0,77, e o valor de 3 (MATHSAOOl@3)tem um PVal de 0,45.
Apesar de as estatisticas descreverem cada valor separadamente, as
funes de resposta ao item (FRIs) para itens de crdito parcial refletem o fato de um aluno poder ter apenas um nico valor de pontuao. A FRI para um item de crdito parcial representada por um
conjunto de curvas caracteristicas de categoria de item (CCCIs), uma
para cada valor de item. Quando a linha correspondente a um valor
especfico selecionada, o grfico ilustra a CCCI do valor selecionado
em negrito. Em cada nvel de aptido, uma CCCI exprime a probabilidade de um respondente com um nvel particular de aptido receber
um valor particular, exclusivo de todos os outros valores. Conforme
ilustrado na figura 12.4, medida que a aptido aumenta, a probabilidade de cada valor de pontuao primeiro aumenta e depois diminui, porque os alunos passam a ter maior probabilidade de atingir
valores de pontuao mais elevados.
Apesar de no haver regras simples para analisar uma FRI para um
item de crdito parcial, um esquema til para classificar o crdito
parcial tende a ter a propriedade de que cada valor de pontuao
ter a maior probabilidade de ser selecionado dentro de uma certa
gama de aptido. Por exemplo, o primeiro valor de pontuao para
MATHSAOOl recebeu um smbolo de cuidado. A CCCI indica que
a probabilidade de lhe ser atribudo um valor de 1 no superior a
qualquer outro valor em qualquer nvel de aptido. O valor de pontuao para MATHSAOOl, ilustrado pela curva em forma de sino com
um pico em torno de -0,5, o mais provvel para todos os alunos
com aptido abaixo da mdia. teis porque estatisticamente indistinguvel do valor de pontuao de 2. Com a maioria dos itens de
crdito parcial, a categoria mais elevada tipicamente a mais til,
porque os classificadores humanos tendem a ser capazes de identificar
claramente respostas completamente corretas ou completamente
incorretas, mas tm menos capacidade de distinguir com preciso os
nveis de correo parcial.
Uma das principais tarefas da anlise de itens de crdito parcial em
testes piloto determinar se todos os valores de pontuao so teis
e como melhorar o processo de classificao. Por exemplo, se uma
categoria de valor (como 1) tem baixa probabilidade de ser atribuda,
I 231
existem duas possibilidades principais: ou nenhum respondente (ou

muito poucos) produziu respostas que correspondem quele valor, ou
os avaliadores no so capazes de identificar a quais respostas devem
atribuir o valor. No primeiro caso, as respostas associadas ao valor
devem ser consolidadas com uma categoria de valor adjacente (como
fundir os valores de I e 2 em uma s categoria de valor de I ou 2). No
segundo caso, o problema pode ser remediado com treinamento mais
intensivo ou padronizado dos avaliadores. Assim, apesar de os resultados de anlises de item dicotmicas serem principalmente relevantes
para quem cria os itens e desenvolve os testes, os resultados da anlise
de crdito parcial devem tambm ser partilhados com as equipes
responsveis pela classificao dos cadernos dos alunos.
Aps rever os resultados, continue a replicar as anlises que foram
demonstradas em captulos anteriores. A especificao e interpretao
das tarefas restantes do fluxo de trabalho so praticamente as mesmas
que foram apresentadas em descries passo a passo anteriores. A nica
diferena reside na especificao requerida para itens de crdito parcial
na interface de seleo de item do lATA.
Para executar a seleo corretamente com itens de crdito parcial,
preciso primeiro incluir manualmente todos os valores de itens de
crdito parcial selecionando os valores de item para um item e depois
contando cada valor de pontuao como um item individual ao inserir o nmero total de itens. Assim, se desej ar selecionar 10 itens e um
desses itens for um item de crdito parcial com duas categorias de
valor, ser preciso especificar uma seleo de 11 itens e pr-selecionar
manualmente os resultados de valor de item para o item de crdito
parcial desejado. Como um exerccio individual opcional, pode-se
repetir as anlises discutidas em captulos anteriores com os dados
PILOT2.
Para referncia, os resultados dos dados de item desta anlise passo
a passo esto includos no arquivo ItemData.AlITests.xls, na folha de
clculo designada por ReferenceP2PC.
COMPARAR
AVALIAES
Use o conjunto de dados de amostra CYCLE2

para fazer este exerccio. A chave de resposta para este teste est no
livro de exerccios do Excel ltemDtaaAl1Tests na folha chamada
CYCLE2.
Os itens comuns so usados para ligar a teoria de resposta ao item
(TRI) e escalas pblicas de relatrio dos dados CYCLE2 s respectivas escalas usadas nos dados CYCLEl. Os resultados ligados so
utilizados para o escalonamento dos valores e aplicao dos padres
de desempenho.
Os governos e outros atores esto sempre interessados em determinar se os nveis de desempenho dos alunos subiram, caram, ou
permaneceram constantes ao longo do tempo. O interesse em

padres cambiantes particularmente importante em tempos de
alterao de curriculo ou reforma substancial no sistema (por
exemplo, uma alterao nos nveis de financiamento). Os governos
tambm podem estar interessados nos efeitos sobre o desempenho
dos alunos de um rpido aumento em inscries causado pela
implementao de programas como Education for AU (Educao
para Todos) ou Fast Track lnitiative (Iniciativa Via Rpida), agora
233
234
conhecida por Global Partnershp for Education (Parceria Global

para a Educao). Com uma ligao forte, os resultados de uma
avaliao nacional podem ser comparados com uma avaliao que
foi conduzida anteriormente, permitindo-nos concluir se ocorreu
uma mudana concomitante no desempenho dos alunos (vd.
Mislevy 1992).
Ligar os resultados dos testes til ern outras situaes. Alm de
comparar os resultados de uma avaliao nacional entre vrios ciclos, os
cenrios a seguir so comuns. Um pas com vrias jurisdies educacionais pode criar um teste para cada jurisdio que contenha contedo de
currculo especifico para aquela jurisdio. Se os testes para as diferentes
jurisdies partilharem itens comuns, as pontuaes nos diferentes testes podem ser usadas para comparar o desempenho em vrias jurisdies. A ligao entre testes tambm pode ser usada para comparar os
resultados de uma avaliao nacional com uma avaliao internacional
se a avaliao nacional incluir itens previamente utilizados e calibrados
ern uma pesquisa internacional. Por exemplo, se um pas tiver previamente participado no estudo Tendncias Internacionais no Estudo da
Matemtica e das Cincias (TIMSS), incluir um nmero de itens do
TIMSS em uma subsequente avaliao nacional pode ajudar a detectar
se o desernpenho mudou desde a anterior adrrtinistrao do TIMSS.
Nesse cenrio, o procedimento de ligao usaria os parmetros nacionais de item do TIMSS no arquivo de dados de item de referncia que
foram calculados usando os dados de resposta do aluno do pais especifico. Alternativamente, um procedimento de ligao pode ajudar a identificar como o desempenho do pas na avaliao nacional se compara
com o desempenho de outros pases no TIMSS. Neste caso, o arquivo de
dados de item de referncia deve incluir os parmetros de item do
TIMSS que foram estimados a partir dos dados internacionais do TIMSS.
A descrio passo a passo neste captulo apresenta os mtodos
requeridos para implementar um ciclo de seguimento ("follow-up")
em um programa de avaliao nacional. Aps abrir o programa, ser
preciso seguir esse fluxo de trabalho para certificar-se de que as interpretaes que as partes interessadas fazem usando os resultados de
um novo ciclo de avaliao sejam consistentes com as feitas no primeiro ciclo e comparveis a elas. Os dados CYCLE2 neste exemplo
representam o segundo ciclo de uma avaliao nacional, seguindo-se
COMPARARAVALlAOES
235
An..... d. D.do. d. Rposto com Fluxo d. Tr.bolho d. Llg.io
ao primeiro ciclo, CYCLEl, que foi analisado no Captulo 10. Uma

ligao entre essas duas avaliaes possvel porque o teste CYCLE2
contm diversos itens ncora que tambm estavam no teste CYCLEl.
A ligao pennite-nos monitorar as mudanas no desempenho do
aluno ao longo do tempo. Se os diferentes ciclos de avaliao estiverem ligados a itens comuns, os nomes de item nicos pennanentes
ajudaro a manter o controle sobre quais so os itens usados em cada

ciclo de avaliao para efeitos de ligao.
O contedo do captulo concentra-se nas interfaces e especificaes exclusivas desse fluxo de trabalho. Revise os captulos anteriores para explicaes mais detalhadas das interfaces de fluxo de
trabalho comuns.
No menu principal, clique na primeira opo de menu, Response
data analysis with linking, para entrar na anlise de fluxo de trabalho,
conforme ilustrado na Figura 13.l. Esse fluxo de trabalho requer
dados de resposta, dados de item (chaves de respostas) para os dados
de resposta sob anlise e um arquivo de dados de item de referncia
que usado para ancorar os resultados ligados.
PASSO 1: DEFINIR A ANLISE
O fluxo de trabalho comea com os mesmos passos iniciais de carregamento de dados que a anlise de dados de resposta.
l. Na primeira interface no fluxo de trabalho, carregue os dados de
resposta do arquivo denominado CYCLE2.x1s na pasta de dados
de amostra da Anlise de Item e de Teste (lATA). Esses dados
incluem 2.484 registros e 61 variveis. O primeiro caso tem os
seguintes valores: SchoolID = 2; Sex = 2; SchoolSize = 21; e
Rural = O. Clique em Next .
236
2. Na segunda interface, carregue os dados de item correspondentes.

Ao abrir o arquivo ltemDataAllTests.xls, certifique-se de que a
tabela CYCLE2 esteja selecionada. A tabela tem 53 registros e
quatro variveis, incluindo trs itens de crdito parcial.
MATHC2047 tem os seguintes valores: Key = C, LeveI = 1,00, e
Content = conhecimento de nmeros. Clique em Next .
3. Use uma nova interface de carregamento de dados que no tenha
sido usada nas descries passo a passo anteriores. A interface
requer um arquivo contendo dados de item de referncia. Os
dados de item de referncia contm os parmetros de TRI a, b e c
(se for uma opo), que foram estimados a partir de uma amostra
de referncia, tal como o ciclo anterior de uma avaliao nacional
ou internacional.
O arquivo de dados de item de referncia tem que conter dados
para pelo menos alguns itens que esto incluidos na atual avaliao
nacional. Para este exemplo, use os resultados produzidos na anlise do
arquivo de dados CYCLEl. Esses resultados esto disponibilizados na
pasta de dados de amostra do lATA no arquivo denominado
ltemDataAllTests.xls na folha denominada ReferenceCl (os resultados dos exerccios do Captulo 10 podem tambm ter sido gravados).
Ao abrir esse arquivo, certifique-se de que a tabela selecionada seja a
tabela chamada ReferenceCl. Essa tabela, que tem 50 registros e
11 variveis, contm o resultado estatistico descrevendo todos os itens
do primeiro ciclo da avaliao nacional. Esses dados de referncia esto
ilustrados na Figura 13.2. No presente exemplo de avaliao nacional,
o teste CYCLE2 inclui 25 itens que tm parmetros de item no arquivo
de dados de item de referncia CYCLEl. importante manter os
nomes dos itens consistentes em todos os arquivos de dados porque o
lATA emparelha itens no procedimento de ligao usando os nomes
dos itens.
Observe que esse arquivo tambm inclui diversos campos de
dados que foram calculados durante a anlise dos dados CYCLEl
alm das variveis a, b e c (por exemplo, LeveI, Content, Discr, PVaI,
PBis e Loading). Essas variveis podem ficar no arquivo de dados,
COMPARARAVALlAOES
237
o.d... d. Item de Refertnde d. CYCLE1 pere Ugeio com ... o.d...

CYCLE2
LA1APage3/12
- . - ,....
gifiN'
w.1l'IC1tW16 A
IoI.\.T1<lIm c
.....Tl4C101l1 ...
II,.\.THC10C1j A
.....THC101l B
W.TK::l 01' A
illATHC 1015 D
AA1'IIC10n D
II,.I.THC1017 C
II,\,TH101 ' D
IlATHC1020
ICATHCU12' D
,,
,
,
,
_w
.... n
.... n, ,
_w
---......
,.'"
- .,.,'"."
,.,.'"'"
--.
_w
.... n'
.... n'
.. .
o..
OQ
o
o.
o
o.
O"
o.
O"
O"
O"
O.
,.,.,'"
,.
,.'"
..,.
'"
,.
,~
on
on
o.
o.
o.
,.
'"
o
o.
o.
o.
o.
O"
'"
'"
,a
..,.,.
.n
'"
,.
'"
o.
o.
o.
o.
o.
o.
o.
o.
o.
o.
o.
o.
o.
o
,.-.
,.
'"
,.
,.
,.,
...
'U
,.
'"
,.
'"
."
mas no so usadas na anlise de ligao. Da mesma forma, apesar de

os dados de item de referncia conterem infonnaes para a totalidade dos 50 itens no teste do primeiro ciclo, apenas as informaes
dos 25 itens comuns ao teste do segundo ciclo so usadas para
calcular a ligao.
Aps carregar os trs arquivos de dados, clique em Next para
continuar a interface de especificaes da anlise (pgina 4/12 do
lATA). As especificaes da anlise so semelhantes s dos dados
CYCLEl. Insira ou selecione os seguintes detalhes na interface de
especificaes da anlise, e clique em Next para completar a anlise
e ver os resultados:
A varivel de identificao do aluno CYCLE2STDID.
A varivel de ponderao CYCLE2Weight.
O cdigo 9 tratado como incorreto.
Avanar para a interface de anlise de item (Pgina 5/12 do lATA)
ir automaticamente dar incio anlise. No h itens
238
problemticos nos dados. Ao rever cada um dos itens, note que, apesar
de os itens de crdito parcial terem mltiplos valores, alguns ainda

podem ser "fceis", nos quais muitos respondentes atingem as catego-
rias de valor mais elevado (tal como para MATHSA004), e outros

podem ser "difceis", nos quais relativamente poucos respondentes
atingem as mais altas categorias de valor, tal como para MATHSAOO5
(Figura 13.3).
Continue atravs do fluxo de trabalho para rever os resultados
da dimensionalidade do teste e execute quaisquer anlises do funcionamento diferencial dos itens (FOI) que possam ser de interesse,
considerando as variveis demogrficas disponveis (localizao,
gnero, lngua), seguindo os mesmos procedimentos descritos em
captulos anteriores. Apesar de muitos dos itens terem smbolos de

perigo para uma ou mais anlises do FOI, para efeitos deste exemplo, todos os itens so considerados sem problemas. Aps rever a
anlise do FOI, clique em Next para avanar para a interface
de ligao.
Resultados d. An"1se d. Item para os Dados CYCLE2, MATHSAOOS,

Valor = 1
LATAP~e5J12
..""
.,
.,
.,y
.7
"'
"'
'"
.7
.."'"
COMPARARAVALlAOES
I 239
PASSO 2: LIGAR OS ITENS COMUNS
Clique em Calculate no lado esquerdo da interface (Figura 13.4). Isso

ir automaticamente selecionar e listar uma tabela de todos os 25 itens
comuns aos dados de item de referncia e aos novos dados da atual
avaliao nacional. Na tabela de itens, a primeira coluna, Use, especifica se o item deve ou no ser inchdo no clculo das constantes de
ligao (por padro, todos os itens que aparecem nos dados de referncia e nos novos dados so includos). A coluna L contm um STIbolo
de diagnstico resumido para cada item; o snbolo de perigo por omisso (o losango amarelo) atualizado aps o lATA calcular os resultados
de ligao. A forma mais eficaz de usar essa interface primeiro calcular os resultados com todos os itens e depois examinar as informaes
de diagnstico para identificar e remover quaisquer itens com resultados anmalos. Repetir esses dois passos at a ligao ser estvel.
Pressione o boto Calculate para calcular as constantes de ligao
e para avaliar a qualidade estatistica da ligao. Quando o clculo
termina, o lATA mostra um resumo da qualidade da ligao no
R....ltado. de Ugeio d. lten. Comun., CYCLE2
pIO"
CYCLE1
lATA Page 8/ 12
1:-.: r; I
" r--------~--~----~---=~~ 01
011
..1
"J
~.
oe
01
05
~ 0.5
"DO
OJ ~
O.
OJ
~2
01
DI
.,
DO
240
grfico do lado direito e atualiza os smbolos de diagnstico resumido

na tabela de item do lado esquerdo (Figura 13.4). O grfico mostra
trs linhas: uma linha continua, uma linha tracejada e uma linha pontilhada. As linhas continua e tracejada mostram curvas caractersticas
de teste (CCTs). A CCT de um teste resume o comportamento estatistico do conjunto inteiro de itens, fornecendo informaes semelhantes s fornecidas por uma funo de resposta ao item (FRI) ,
porm para muitos itens simultaneamente. Idealmente, as CCTs de
ligao e de referncia devem ser idnticas (se apenas uma linha parecer visvel, as duas esto provavelmente perfeitamente sobrepostas),
indicando que as diferenas de magnitude e variabilidade entre a
escala de ligao e a escala de referncia so levadas em considerao
em toda a amplitude de aptido apresentada. A linha pontilhada mostra a diferena absoluta entre as duas CCTs, expressa como uma proporo do resultado total do teste. O valor da diferena varia
tipicamente ao longo de toda a amplitude de aptido, indicando que
a ligao pode no ser estvel para todas as gamas de pontuaes. Para
gamas de pontuaes com grandes diferenas, os resultados ligados
no estaro na mesma escala que os dados de referncia e, consequentemente, no sero comparveis. No entanto, se a mdia da diferena
for pequena (por exemplo, < 0,01), o erro pode ser considerado
insignificante.
Na Figura 13.4, a curva alvo (continua) representa os itens de teste
CYCLEl, e a curva de ligao (tracejada) representa os itens de teste
CYCLE2 aps a aplicao da ligao. Ver ambas as curvas na figura
difcil porque as CCTs alvo e de ligao so praticamente idnticas,
algo que tambm indicado pela curva de erro, que tem um valor
constante de aproximadamente zero em toda a gama de aptido
apresentada. I
Abaixo do grfico, as constantes de ligao estimadas so apresentadas nas duas caixas de texto. A constante de localizao leva em
conta as diferenas de magnitude nas escalas originais dos novos
dados (a atual avaliao nacional) e dos dados de referncia (a avaliao anterior), e a constante de escala leva em conta as diferenas na
variabilidade entre as escalas. De forma geral, as duas constantes
podem ser interpretadas em conjunto, de modo que dividindo qualquer valor expresso na escala crua CYCLE2 da TRI (por exemplo,
COMPARAR AVALlAOES
I 241
o valor da TRI de um aluno retirado dos resultados da anlise atual)

pela constante de escala e adicionando a constante de localizao tornar o resultado de ligao diretamente comparvel com os valores
da escala CYCLEl da TRI. Essa comparabilidade significa que, aps a
ligao de escala ter sido aplicada, quaisquer diferenas remanescentes entre os resultados de CYCLEl e os resultados transformados de
CYCLE2 representam diferenas de desempenho no teste, em vez de
diferenas nos prprios testes.
Na tabela de itens do lado esquerdo da Figura 13.4, os smbolos de
diagnstico so atualizados aps o clculo para indicar quaisquer ligaes potencialmente problemticas ao nvel dos itens. Um item ligado
problemtico se a sua FRI de ligao for muito diferente da FRI de
referncia. Clicar em qualquer item da lista de itens permite-nos ver
os resultados da funo de ligao aplicados a cada item de teste.
Tal como com as comparaes globais de CCT, a FRI de ligao deve
ser semelhante FRI alvo. 2 Mesmo que os resultados do teste global
paream muito bons, a funo de ligao pode no funcionar bem
para alguns itens. No entanto, como h mais erros de amostragem ao
nvel dos itens, as diferenas entre FRIs so tipicamente problemticas
apenas se o erro entre as FRIs de ligao e de referncia for superior a
0,05 3 (ver exemplo para MAlliCI052 na figura 13.5).
Um exemplo comum de uma situao que levaria um item de teste
individual a ter um comportamento idiossincrtico em uma anlise
de ligao acontece quando uma rea especfica de contedo medida
por um item de ligao usada como base de intervenes de ensino
entre os dois perodos de teste (tal como maior nfase na utilizao de
uma forma particular de grfico em matemtica ou em um aspecto
de gramtica em lnguas). Como o desempenho nesse item especfico
de teste melhora provavelmente de forma idiossincrtica, as constantes de ligao estimadas para todos os itens em conjunto no explicaro as alteraes especficas dos itens entre a primeira e a segunda
administrao.
MAlliCI052, assinalado com um smbolo de cuidado, um
exemplo moderado deste fenmeno. Os resultados para o item so
apresentados na Figura 13.5. Apesar de as constantes de ligao parecerem ter-se ajustado com xito diferena de localizao do item
(isto , a dificuldade do item relacionada amostra dada), existem
242
R....It.dos do Ligaio d. Itens Comun CYCLE2 para CYCLE1.

MATHC1052
lATA
8/12
.....
tI!!]'"'c-' MATHC1020
I<l
I<l
I<l
I<l
I<l
i;,]
I<l
I<l
I<l
I<l
~ MATHC1051
10
I<l
l<J
Updat~
algumas lacunas entre as duas linhas, particularmente no nvel de

aptido mais alto. A FRI alvo e a FRI de ligao so distintas uma da
outra e a linha pontilhada embaixo, que exprime a diferena entre as
duas, alcana 0,08, mas est geralmente abaixo de 0,05. Essas diferenas so irrelevantes e, na maior parte das situaes prticas, esse valor
de erro no problemtico.
No caso de as diferenas entre as FRIs alvo e de ligao serem suficientemente grandes para serem problemticas (por exemplo, se
forem consistentemente superiores a 0,05 em uma vasta gama de
aptido), o item "ofensivo" deve ser removido desmarcando a caixa ao
lado do nome do item na coluna Use e clicando em Calculate. Apesar

de um ou dois itens poderem ser removidos sem a introduo de
questes de validade, se muitos itens forem removidos do clculo
de funes de ligao, a validade da ligao pode tornar-se fraca, porque os itens ncora podem no refletir adequadamente o equih"brio de
contedo pretendido. No esquecer que a validade da ligao depende
tanto da estabilidade estatistica dos itens como da consistncia na
COMPARAR AVALlAOES
243
representao de contedo entre as duas avaliaes. Se a anlise estatistica dos resultados sugerir que alguns itens devem ser removidos da
ligao, a recomendao deve ser levada ateno do comit diretor
da avaliao nacional antes de ser tomada uma deciso. Quanto menos
itens forem comuns entre as duas avaliaes a serem ligadas, mais
fraca ser a ligao. Os resultados indicam uma ligao muito estvel
no caso da amostra atual. Consequentemente, a equipe de avaliao
nacional pode estar certa de que o teste usado na avaliao atual
(CYCLE2) apropriado para monitorar as alteraes nos nveis de
desempenho dos alunos desde a avaliao nacional anterior.
Dois controles alm das constantes de ligao - um menu suspenso e um boto chamado Update - permitem-nos aplicar as constantes de ligao diretamente aos resultados da anlise atual. Consulte
os resultados da anlise na interface final (Pgina 12/12 do lATA) do
fluxo de trabalho da anlise. Para aplicar as constantes aos parmetros de item nos resultados atuais (Pgina 8/12 do lATA), execute os
seguintes passos:
1. Selecione Itemsl no menu suspenso em baixo.
2. Clique em Update. O lATA adicionar os parmetros de itens
ligados, cuja escala representa agora a escala estabelecida pelos
parmetros de item CYCLEl, tabela ltemsl nos resultados da
anlise. Os parmetros de itens ligados so identificados como
a_link e b_link. O lATA indica quando os resultados tiverem sido
atualizados.
Para atualizar os valores estimados da TRI nos resultados atuais,
executar os seguintes passos:
1. Selecione Scored do menu suspenso.
2. Clique em Update. O lATA adicionar uma varivel de resultado,
identificada como LinkedScore, tabela Scored nos resultados da
anlise. Este valor exprimido na escala estabelecida pelos
parmetros de item CYCLEl.
Aps atualizar os resultados de Itemsl e Scored, clique em Next
para continuar.
244
PASSO 3: REESCALONAMENTO DOS RESULTADOS LIGADOS
Se tiver aplicado as constantes de ligao tabela de dados Scored

conforme descrito no passo 2, a interface Scale Review and Scale
Setting do lATA (Pgina 9/12 do lATA) incluir o nome LinkedScore
no menu suspenso no canto superior esquerdo. Selecione LinkedScore
para mostrar os resumos grficos e estatsticos para os resultados ligados CYCLE2, que so expressos na escala estabelecida pelos dados de
item de referncia CYCLE1. O LinkedScore para este exemplo tem
uma mdia de 0,10 e um desvio padro de 1,07. Note que os resultados por omisso podem mostrar as estatsticas resumidas para os
resultados PercentScore; para mostrar os resultados LinkedScore corretos, selecione-os usando o menu suspenso.
Para converter o valor ligado da TRI em um valor de escala que
possa ser comparado com a varivel NAMscore que foi produzida
durante a anlise de dados CYCLE1, execute os seguintes passos:
1. Insira NAMscore na caixa de texto abaixo da etiqueta Add New
Scale Score.
2. Insira 100 na caixa Specify St. Deviation, o valor originalmente
especificado para os dados CYCLE1.
3. Insira 500 para Specify Mean, o valor originalmente especificado
para os dados CYCLE1.
4. Selecione a opo Rescale. Essa opo assegura que o valor da
nova escala retm a ligao que foi estimada na interface
anterior.
5. Clique em Calculate. O lATA vai criar o valor da nova escala e
mostrar as estatsticas de distribuio e descritivas, conforme ilustrado na Figura 13.6. A mdia de 510,36 indica que os resultados
do ano corrente mostram uma melhoria de 10,36 pontos em relao avaliao anterior.
Como o atual fluxo de trabalho especfico da ligao, o lATA
produz automaticamente o valor da nova escala usando o valor ligado
da TRI. Por existirem itens de ligao apropriados, o procedimento
de ligao do lATA capaz de produzir NAMscores para duas
COMPARARAVALlAOES
245
Resultado. do Teste CYCLE2 Exp.....o. n. E.aol. CYCLE1 (NAM.co...)

lATA
9/12
l!IIso prod\lC6s $eY6rIII $cale S(:(lfes, ncIuding IAT seaIe soores, percende rank, l'IOIfI\aI
(ZScore$l . $1lIndard:ed peroenlllge $001"" (RlIwZS<:lor&5) , anel RT True Soo<es,
M,..,Meoo
avaliaes individuais que podem ser comparadas tal como so em

uma escala comum.
Aps adicionar o valor da nova escala aos resultados, clique em

Next para continuar.
PASSO 4: ATRIBUIR PADROES DE DESEMPENHO
A maioria das tarefas no fluxo de traballio Response data analysis

with linking especificada da mesma forma que em fluxos de traballios anteriores. As anlises de seleo de item nas Pginas 10/12 do
lATA podem ser feitas como um exercicio independente. No entanto,
os padres de desempenho so tratados de forma diferente. Aps a
primeira avaliao nacional, o processo de normalizao deve ser feito
apenas como um exerccio de validao. til rever os limiares periodicamente para determinar se novos padres de desempenho precisam ser definidos (por exemplo, se a qualidade de educao estiver
aumentando)J mas a criao de novos limiares para nveis de aptido
246
deve coincidir tipicamente com grandes mudanas de poltica, como

uma reforma de currculo.
Quando entrar na interface Developing and assigning performance
pattems no lATA (Pginas 11/12 do lATA), duas fontes de parmetros
de item podem ser usadas para guiar o processo de normalizao: os
itens usados na atual avaliao (Itemsl) ou os itens de referncia usados na avaliao anterior (Items2). Essas fontes de parmetros de item
esto disponveis no menu suspenso acima da tabela do lado esquerdo.
Estatisticas resumidas descrevendo parmetros de item e limiares so
apresentadas na tabela no canto inferior direito, de acordo com a fonte
de parmetros de item selecionada. As estatisticas resumidas apresentadas ao entrar nessa interface descrevem as estimativas dos dados atuais (CYCLE2) na tabela ltemsl. A melhor prtica usar a fonte de
ltemsl, que selecionada por padro, porque a tabela ltems2 contm
todos os itens usados para produzir as pontuaes dos testes atuais.
O exerccio de normalizao deve ser feito apenas se: (a) um procedimento de normalizao j no tiver sido feito em um ciclo de
avaliao anterior ou (b) existe uma razo para suspeitar que os
padres de desempenho tm sofrido alteraes, no sentido em que
expectativas normativas sobre os tipos de competncias ou qualidade
de aprendizagem podem ter mudado ao longo do tempo. No se
esquea de que o desempenho dos alunos difere dos padres de
desempenho. Por exemplo, o desempenho dos alunos pode estar
aumentando se os alunos tiverem melhor desempenho nos testes, mas
os padres de desempenho podem estar diminuindo se as partes interessadas tiverem expectativas mais baixas do que o que constitui um
desempenho "aceitvel". Replicar o processo de normalizao usando
os diferentes conjuntos de parmetros de item pode ajudar a identificar se os padres de desempenho so estveis ao longo das diversas
avaliaes. Se os padres forem estveis, replicar o procedimento de
normalizao usando diferentes conjuntos de itens deve produzir
conjuntos semelhantes de limiares. No se esquea que, ao replicar
qualquer procedimento de normalizao, os parmetros de item na
tabela ltemsl referem-se distribuio de aptido na atual avaliao
antes de aplicar qualquer ligao e que os parmetros de item na
tabela Items2 referem-se distribuio de aptido na avaliao anterior. Para comparar os limiares produzidos ao analisar diferentes
COMPARARAVALlAOES
247
fontes de parmetros de item, aplique as constantes de ligao (por

exemplo, ilustradas na Figura 13.5).
Como o desempenho tem aumentado em relao aos dados
CYCLEl, as mdias dos parmetros do item b sero menores que as
dos dados CYCLEl para itens classificados no mesmo nivel. No
entanto, no devemos estimar novos limiares no atual fluxo de trabalho, porque os padres de desempenho foram inicialmente estabelecidos e atribudos na anlise dos dados CYCLEl. Os limiares a seguir
(que foram estabelecidos na primeira avaliao nacional) so usados
para essa avaliao nacional:
Nvel 4: 0,95
Nvel 3: 0,35
Nvel 2: -0,25
Nvell: -0,85
Aplique os padres de desempenho aos dados CYCLE2 inserindo

manualmente os limiares na tabela na coluna Threshold, conforme
ilustrado na Figura 13.7, e pressionando o boto Add leveis. Para
Atribuir Padres d. Desempenho, Dados CYCLE2

IA TAPage 11/12
.....TH;\~
W,TK11M
.....TlC2IlI5
.....TtC2Q2!I
-r.-- '7t~, ...
248
atualizar esses miares, ajuste primeiro a probabilidade de resposta

usando o indicador deslizante no meio da interface; isso far o lATA
gerar uma tabela com valores por padro, que podem ser substitudos
pelos valores atribudos na anlise passo a passo do CYCLEl. A varivel Levei ser ento adicionada tabela de dados dos alunos Scored.
Apesar de as especificaes dos padres de desempenho no mudarem com base no fluxo de trabalho, essa interface, como a interface de
escalonamento, reconhecer que um fluxo de trabalho de ligao est
sendo usado e atribuir os alunos aos nveis, com base no valor ligado
da TRI e no no valor bruto da TRI.
Os resultados dos dados de item dessa descrio de anlise passo a
passo so includos no arquvo ltemDataAllTests.x1s na folha de trabalho denominada ReferenceC2.
NOTAS
1. Para resultados mais interessantes com maior erro, replique essa anlise
com os resultados PILOTl e PILOT2 como um exercicio independente; no
esquea que, para atingir o objetivo de minimizar os erros nas ligaes, os
testes ligados devem ter um nmero suficiente de itens ncora e tamanhos de
amostra suficientes para produzir estatisticas precisas.
2. Se tiver dados de resposta de ambas as avaliaes, pode realizar uma
anlise mais sensvel analisando o FDI no fluxo de trabalho Response data
analysis nos arquivos de dados de resposta combinada, usando o identificador
da fonte de dados como varivel FDI. Os valores da TRI produzidos sero
automaticamente ligados, mas no sero interpretveis na escala de nenhum
dos testes a no ser que os parmetros de item sejam ancorados.
3. Uma exceo acontece apenas com itens muito discriminadores. Grandes
diferenas (por exemplo, quando a linha de erro superior a 0,05) entre as
FRls indicam tipicamente problemas. Se essas diferenas ocorrerem apenas
em uma pequena amplitude de aptido (por exemplo, em uma gama inferior
a 0,4 pontos de aptido - duas marcas no eixo dos xx do grfico por omisso),
no vo afetar negativamente a qualidade da ligao.
MTODOS
ESPECIALIZADOS
EM lATA
Este captulo descreve o uso de quatro aplicaes

especiais dos fluxos de trabalho da Anlise de Item e de Teste (lATA).
Cada interface foi descrita em maior profundidade em captulos anteriores neste volume. As trs primeiras partes deste captulo - "Ligar
dados de item", "Selecionar itens de teste ideais" e "Desenvolver e
atribuir padres de desempenho" - apresentam uma introduo aos
trs fluxos de trabalho que usam os arquivos de dados de item do

lATA como os seus principais dados de entrada. Esses fluxos de trabalho so mais apropriados quando os dados de resposta dos alunos j
tiverem sido analisados e os parmetros de item do teste estimados.
Permitem-nos fazer algumas anlises usando os parmetros de item
sem requerer reanlise dos dados originais de resposta dos alunos.
A capacidade de fazer anlises usando dados de item til em situaes nas quais os dados de resposta dos alunos podem estar inacessveis (como, por exemplo, por razes de segurana ou quando a
capacidade de transferncia de dados limitada), mas os parmetros
de item esto facilmente disponveis em fontes como relatrios tcni-
cos ou pequenas tabelas de dados. Na seo final, "Anlise de dados de

J
resposta com parmetros de item ancorados/ os parmetros de itens
ncora de uma avaliao nacional anterior so usados para analisar os

249
250
dados de resposta dos alunos de uma avaliao subsequente que contm muitos itens comuns a ambas as avaliaes.
Como as principais interfaces do lATA usadas para acessar essas
funes j foram descritas em captulos anteriores, este captulo
concentra-se em passos especficos de cada um dos tpicos seguintes,
em vez de oferecer descries passo a passo completas.
LIGAR DADOS DE ITEM
o Captulo 13 deste volume mostrou como os parmetros de ligao

foram calculados no mesmo fluxo de trabalho que a anlise de dados
de resposta aos itens. No entanto, na prtica, estas duas atividades
podem ocorrer em momentos diferentes. Um ministrio de educao,
por exemplo, pode conduzir uma avaliao nacional inicial (CYCLE1),
no primeiro ano e uma avaliao nacional de seguimento (CYCLE1), no
quinto ano e depois realizar ou comissionar um exerccio de ligao
usando estimativas de parmetro de item de ambas as avaliaes no
sexto ano. Os analistas podem usar as constantes de ligao calculadas
pelo lATA e atualizar os dados CYCLEl produzindo novos valores e
parmetros ligados. Esses novos valores podem mostrar a dimenso da
mudana nos nveis de desempenho do aluno entre os anos um e cinco.
Para ligar dados de item usando essa abordagem, tem de haver itens
ncora comuns de duas anlises individuais dos dados de avaliao
nacional. Para este exemplo, os resultados das avaliaes nacionais
CYCLEl e CYCLEl vo ser ligados. Eles tm 25 itens em comum. O
processo semelhante ao fluxo de trabalho Response data analysis
with link descrito no Captulo 13.
No Captulo 10, os dados da primeira avaliao nacional (CYCLE1)
foram analisados. Antes de fazer a ligao das duas avaliaes, tem de
analisar os dados CYCLEl seguindo os procedimentos descritos no
Captulo 10. Podem resumir-se da seguinte forma:
1. Clicar em Response data analysis.
2. Carregar os dados de aluno CYCLEl (2.484 registros).
3. Carregar os dados de item CYCLEl (53 registros).
M~TODOS ESPECIALIZADOS EM lATA
251
4. Selecionar 9 para representar os dados em falta marcados como

incorretos, e usar as setas suspensas para realar os valores de
amostra e peso para CYCLEl (Pgina 3/l0 do lATA). Recordar
do Captulo 13 que os valores numricos adcionais (O, 1, 2, 3)
presentes na coluna de valores representam os valores de itens de
crdto parcial.
5. Na interface de anlise de item (Pgina 4/l O do lATA), no apagar
nenhum item.
6. Saltar as anlises da Dimensionalidade e do Funcionamento
Diferencial dos Itens, assim como as funes de Anlise da Escala
e Definio da Escala (Scale Setting), Seleo de Item, e
Normalizao (pgina 5/lO--Pgina 9/10 do lATA) para o
propsito deste exerccio.
7. Na interface final (Pgina 1O/l0 do lATA), para confirmar a correta concluso da anlise, selecionar Scored do menu suspenso e
ir at ao fim. O primeiro aluno listado (CYCLE2STDID) recebeu
um IRT (TRI, teoria de resposta ao item) score de 2,58, um
percentile score de 99,37, e um TrueScore de 93,26.
8. Salvar o conjunto completo de resultados como CYCLE1_
UNLINKED.xls.
Tendo completado a anlise dos dados CYCLE1, selecionar Linking
item data do menu principal. Executar os seguintes passos:
1. Carregar um arquivo de dados dos alunos dos resultados da avaliao atual (neste exemplo, CYCLE1) que ser ligado aos resultados da avaliao anterior (neste exemplo, CYCLEl). O arquivo
de dados tem de conter a varivel denominada IRTscore. No
entanto, se ligar resultados usando resultados que foram modficados, garanta que a varivel contendo o valor no escalonado da
TRI tenha o nome IRTscore. 1 Para este exemplo, use o arquivo de
dados denominado CYCLE1_UNLINKED.xls e carregue a tabela
chamada Scored. (O primeiro aluno listado, CYCLE2STDID = 1,
tem um IRTscore de 2,58 e um Percentile score de 99,37 no fim
do registro.) Clicar em Next.
252
2. Na Pgina 2/5 do lATA, carregar os parmetros de item estimados

a partir dos resultados da avaliao atual ou mais recente. A tabela
de dados deve conter os nomes dos itens assim como os parmetros da TRI. Neste exemplo, para ligar os resultados CYCLEl
escala CYCLEl, carregar a tabela ltemsl do arquivo CYCLE1_
UNLINKED.xls. Essa tabela contm os parmetros de item da
avaliao nacional CYCLE1. Esses dados tambm esto disponveis
na tabela ReferenceCl do arquivo de dados de amostra do lATA
ltem.DataAllTests.xls. O primeiro item listado, MATHCI008,
tem os seguintes valores: Key = A, Levei = 3, a = 0,58, b = 0,20.
Clicar em Next.
3. Na Pgina 3/5 do lATA, carregar os parmetros de item dos resultados da avaliao anterior CYCLEl. O arquivo deve conter os
nomes dos itens assim como os parmetros da TRI. Neste exemplo, para ligar os resultados CYCLEl escala CYCLEl, carregar
a tabela ReferenceCl do arquivo ltem.DatoAlfTests.xls. O primeiro item listado, MATHCI005, tem os seguintes valores:
Key = B, Levei = 3, a = 0,63, b = 0,21. Clicar em Next.
4. Clicar em Calculate para estimar as constantes de ligao da TRI
(pgina 4/5 do lATA). As duas constantes de ligao, Location e
Scale, descrevem a transformao linear que converte a escala da
TRI CYCLEl na escala da TRI CYCLEl. Rever a qualidade da
ligao, em particular, quaisquer itens com funes de resposta ao
item (FRls) idiossincrticas ligadas. Neste exemplo, a maioria dos
itens apresenta boas ligaes, indicadas por crculos verdes. Rever
os itens problemticos; esses tm indicadores de cuidado ou aviso
Oosangos amarelos ou tringulos vermelhos). Examinar os grficos para os itens individuais, especificamente as linhas de erro
azuis tracejadas. Remover qualquer item listado no clculo de
uma ligao (do lado esquerdo) que seja consistentemente superior a 0,05 (no eixo do lado direito) na gama de -2,0 a +2,0
(no eixo da aptido). Se mais de um item problemtico for identificado, remover um nico item de cada vez. Recalcular as constantes de ligao aps cada remoo, clicando em Update.
Remover um pequeno nmero de itens problemticos pode ser
suficiente para melhorar o clculo de ligaes para os restantes
253
itens. Inversamente, remover muitos itens pode melhorar o clculo estatistico, mas pode reduzir a validade global da ligao.
Aplicar as constantes de ligao aos parmetros de item e resultados dos testes. Para este exemplo, as constantes de localizao e
escala estimadas usando o conjunto completo de itens comuns
so 0,106 e 0,988, respectivamente. Essas constantes de escala
podem ser usadas para converter um valor da TRI da avaliao
CYCLE2 para a escala dos valores da TRI da avaliao CYCLEl
multiplicando o valor da TRI CYCLE2 por 0,988 e adicionando
0,106. Essas constantes de ligao indicam que os resultados dos
testes CYCLE2 so ligeiramente menos variados e tambm ligeiramente mais elevados, em mdia, do que os resultados CYCLEl.
Clicar em Next.
5. Notar que os parmetros de ligao a e b para MATHCI008 so
0,58 e 0,20, respectivamente. Os parmetros de ligao descrevem
o comportamento estatistico de cada item CYCLE2 na escala
CYCLEl. Esta informao pode ser til se uma equipe de avaliao nacional quiser fazer um processo de normalizao ou desenvolver um novo teste usando o conjunto combinado de itens. As
prximas sees deste captulo discutem como executar essas
duas funes usando apenas dados de item. Gravar os resultados
da anlise (Pgina 5/5 do lATA).
SELECIONAR ITENS DE TESTE IDEAIS
At este ponto, os itens de teste tm sido selecionados durante a

anlise de dados de resposta dos alunos. No entanto, um ministrio
da educao pode razoavelmente requerer que um conjunto de
itens de uma avaliao completa seja identificado para avaliaes
futuras. Essa solicitao pode vir muito depois de os dados de resposta dos alunos terem sido analisados e as atividades do ciclo de
avaliao nacional concludas. Os elaboradores de testes e os analistas podem identificar e selecionar itens ncora da avaliao anterior
sem ter de recorrer localizao e reanlise do conjunto completo
de dados dos alunos desta avaliao. Esses itens ncora formaro o
254
ncleo ou, pelo menos, um dos principais componentes da nova

avaliao qual novos itens sero adicionados. Os itens ncora
sero usados para ligar os resultados da nova avaliao aos resultados da avaliao existente. Para providenciar a base para um teste
preciso e uma ligao estvel entre os dois testes, os itens ncora
devem oferecer a maior preciso possvel em toda a amplitude
esperada de aptido dos alunos. Neste exemplo, a tarefa de seleo
de itens requer apenas parmetros de item existentes na avaliao
anterior.
O exerccio seguinte demonstra como selecionar itens ideais para
ligar duas avaliaes usando resultados de parmetros de item gravados dos dados da anlise da avaliao anterior.
I. Selecionar o fluxo de trabalho Selecting optimal test items do
menu principal.
2. Carregar o arquivo de dados de item, a tabela ReferenceCl do
arquivo ltemDataAllrests.xls na pasta lATA no ambiente de trabalho (pgina 113 do lATA). Esses dados devem incluir os nomes
dos itens e os parmetros da TRI. Os dados tambm devem incluir
informao sobre Levei e Content dos itens. (O primeiro item
listado, o item com o nmero mais baixo, deve ser MA1HCI005,
que tem os seguintes valores: Key = B, Levei = 3, a = 0,63 e b =
0,21.) Clicar em Next.
3. Para providenciar os resultados mais teis para a seleo de itens,
o nmero especificado de itens deve ser igual ao nmero total de
itens no arquivo de dados de item. Neste exemplo, como a tabela
de dados de item ReferenceCl tem 50 itens, 50 itens devem ser
especificados para seleo. O lATA produzir uma tabela na
qual todos os itens disponveis so classificados com base na sua
adequao para medir alunos dentro dos limites superior e inferior especificados. Os limites superior e inferior descrevem as
classificaes em percentil aproximadas da amostra original a
partir da qual os itens foram calibrados (O representa o aluno
com o pior desempenho, e 100 representa o aluno com o melhor
desempenho). Em geral, manter os valores por padro, de 2 e 98.
No entanto, caso se preveja que a distribuio de aptido na
255
populao de alunos na nova avaliao nacional seja significativamente diferente da avaliao anterior, os limites superior e
inferior podem ser ajustados para minimizar a incluso de itens
desnecessariamente fceis ou difceis. Por exemplo, se voc
espera que a nova populao de alunos tenha uma aptido muito
maior do que a populao original, ajuste o limiar inferior para
cima, para um valor, x, superior a 2, para refletir que o aluno
com o pior desempenho na nova populao pode ter um resultado equivalente ao desempenho de um aluno na categoria de
percentil x da populao original. Fazer isso reduzir as hipteses de selecionar itens inadequadamente fceis para a nova populao. Inserir um titulo como Ancltems50 (para Itens ncora)
na caixa Name of item selection e 50 para o nmero total de
itens. Clicar em Select Items. O lATA produzir uma tabela de
nvel de contedo X para os 50 itens (Pgina 2/3 do lATA).
Clicar em Next. Note-se que (Pgina 3/3 do lATA, ilustrado
na figura 14.1) MATHCI029 tem os seguintes valores: a = 1,33,
b = 0,17, Levei = 4 e Key = D.
S.I.donar os Itens d. T.st. Ideais. Dados CYCLE1
o~
.~
o~
.. 1oM1ICKDI 017
ou
o~
~ .... rHIC'(.. 5 Oto
.~
o~
o~
o~
.... TlC'04S
oa
.. ..... ncl(l:Zt ato

.. .... TlCIDI70A
""l ....TI1CIOiO
O.
o71
.. ",,'HlCIOOI 071
.... 1l1C lO3S
" .... rHIC_ a.'"
...
o~
.~
o~
o.
o~
,
,
,,
o~
o~
04
O~
.:!l .... TlC_ ' O~

.. .... Il1CIDII oa
o.
o
.~
.... IMITlC1IIl1 '01l9
O.
o~
,'!'l .....ICIOU 'oa
ov
.~
,o
,
-----'
,
,
----'
-,
,
__ o
,
,
.~
--'
--'
256
4. Clicar em Save Data. O lATA atribui s tabelas de seleo de itens

o prefixo de CustomTest seguido do nome nico especificado
para um exerccio particular de seleo de itens. Neste exemplo,
o arquivo de dados de 50 itens ser gravado com os outros dados
do lATA como CustomTestAncltemsSO.
possvel fazer experincias com o nmero de itens selecionados
usando essa interface (tal como 30 ou 40). Atribua um nome dife-
rente a cada seleo de item (na caixa Name of item selection) se

quiser salvar os resultados.
DESENVOLVER E ATRIBUIR PADROES DE DESEMPENHO
Estabelecer padres de desempenho (tais como abaixo de bsico;

bsico; proficiente; avanado; ou niveis 1, 2 e 3) um passo importante para tornar os resultados da avaliao nacional acessveis a uma
variedade de partes interessadas. O Captulo 10 deste volume descreveu a tarefa de definir padres de desempenho como um exerccio
relativamente fcil. Na prtica, no entanto, requer tipicamente trabalho iterativo relacionado com a reviso tanto do contedo dos itens
como dos resultados estatisticos. Isso deveria incluir a contribuio de
mltiplas fontes (tais como o pessoal ao nvel do currculo) e muitas
podem ter tido pouca experincia com anlise de dados ou estatistica.
A anlise dos dados de resposta deve estar completamente concluda
antes de comear o processo de normalizao. O painel deve usar os
parmetros de item finais ao fazer este exerccio.
O fluxo de trabalho Developing and assigning performance patterns no lATA permite o uso de resultados de anlises anteriores
para facilitar o processo de normalizao. Nesta seo, so estabelecidos padres de desempenho para os dados CYCLE1, usando parmetros de item da avaliao CYCLE1. Para usar este fluxo de
trabalho, preciso ter concludo uma anlise de dados de resposta
aos itens e ter gravado as tabelas de resultados ltemsl e Scored. Se
os dados no tiverem sido gravados, repita a anlise descrita no
Captulo 10. Preferencialmente, a partir da perspetiva de desenvolver padres de desempenho, tanto os parmetros de item como os
257
valores da TRI devem ser carregados para o lATA. No entanto, os

valores so usados apenas para referncia no clculo dos limiares e a
anlise pode ser conduzida usando apenas parmetros de item sem
carregar quaisquer valores da TRI. Examine a distribuio de valores
por nvel de limiar para determinar as propores de alunos classificados em cada nvel de aptido. A normalizao, conforme notado
anteriormente (ver descrio de "bookmarking" no Captulo lO),
um procedimento iterativo relacionado com a reviso de itens de
teste por peritos ao nvel do currculo e professores experientes
luz dos dados estatisticos disponveis. Como foi o caso na discusso
do Captulo lO, o objetivo da normalizao neste captulo no
justificar pontos de corte existentes ou forar os dados para nveis de
aptido previamente estabelecidos, mas determinar os nveis de
aptido e pontos de corte correspondentes mais teis, com base nos
itens disponveis. Diversas sesses de reviso e discusso podem ser
necessrias para estabelecer nveis de limiar. Aps os limiares terem
sido finalizados, carregar os valores da TRI no lATA facilitar que se
acrescentem nveis de aptido diretamente aos resultados da avaliao dos alunos.
Para completar este fluxo de trabalho, execute os seguintes passos.
Note que os passos 1-4 podem ser repetidos vrias vezes antes de
finalizar o conjunto de limiares de nvel de desempenho.
1. Selecionar o fluxo de trabalho Developing and assigning performance patterns do menu principal. A primeira pgina (Pgina 1/4
do lATA) pede que sejam carregados os dados de resposta classificados dos alunos. Esse passo opcional, porque o exerccio de
normalizao pode ser realizado usando apenas dados de parmetros de item. Se os dados classificados dos alunos estiverem
disponveis, eles podem informar acerca da utilidade de um conjunto proposto de pontos de corte, permitindo-nos estimar a proporo de alunos que recai em cada nvel de aptido proposto. No
entanto, os dados classificados dos alunos s so teis depois de as
principais iteraes do procedimento de normalizao estarem
finalizadas.
2. Como as definies de pontos de corte ainda no foram finalizadas, clicar em Next para saltar para a Pgina 2/4 do lATA.
258
3. Carregar o arquivo de dados de item contendo os parmetros da

TRI e o nvel previamente atribudo a cada item. Neste exemplo,
os resultados so usados na tabela de dados de item ltemsl produzida automaticamente pelo lATA. (Os dados so idnticos aos
dados em ReferenceCl em ltemDataAllTests.xls.) Note que cada
item tem um nvel de desempenho previamente atribudo. Clicar
em Next.
4. Executar os procedimentos de normalizao de marcador de livro
descritos no Captulo 10, que incluem estabelecer o valor da
probabilidade de resposta (PR), salvar os dados de marcador de
livro, e usar esses dados para facilitar a reviso dos itens de teste
por professores, especialistas de currculo, e outras partes interessadas em educao. Note que, em um cenrio do mundo real,
possvel fazer experincias com uma variedade de valores de PR,
tipicamente na gama de 0,50 a 0,80. Durante o processo de estabelecimento de desempenho, as atribues no nvel dos itens
podem (e certamente iro) ser modificadas durante as discusses
da equpe de avaliao nacional. Os passos 1-4 podem precisar
ser repetidos vrias vezes, usando o procedimento de marcador de
livro, at os participantes do exerccio de normalizao considerarem que os limiares acordados facilitaro uma interpretao com
significado dos resultados da avaliao.
5. Aps o acordo entre as partes interessadas do painel responsveis
pelo estabelecimento dos padres de desempenho, repetir os passos 1-4, certificando-se de carregar os dados dos alunos referentes
pontuao da TRI no passo 1. Para este exemplo, carregar os
dados dos alunos CYCLEl com os valores da TRI que devem ter
sido gravados no fim do Captulo 10 (Pgina 1/4 do lATA).
Quando o lATA grava resultados dos alunos, o valor da TRI fica
contido em uma varivel denominada IRTscore, que se encontra
na tabela de dados denominada SCORED. Essa varivel contm
valores que o lATA calculou diretamente a partir dos parmetros
de item, sem aplicar qualquer mudana de escala ou ligao. Aps
carregar os dados, reveja as respostas dos alunos aos itens individuais (Pgina 1/4 do lATA) para ver os valores da TRI individuais.
(O segundo aluno listado, CYCLEISTDID, teve um valor da TRI
259
de 1,764.) Inserir os pontos de corte finais na coluna Threshold

no canto inferior direito da tela (Pgina 3/4 do lATA). Verificar,
por comparao dos pontos de corte verticais com a rea da distribuio de resultados, que cada nvel de aptido inclua uma proporo relatvel de alunos. Nos casos em que muito poucos alunos
estejam nos nveis de aptido mais elevado ou mais baixo, combinar nveis de aptido adjacentes mais til para efeitos de
relatrio. Opcionalmente, os limiares dos dados classificados
podem ser aplicados atravs da interface de padres de desempenho clicando no boto Add Leveis. Clicar em Next.
6. Salvar os resultados (Pgina 4/4 do lATA) usando um nome de
arquivo distinto tal como NAMPerfStand. Em geral, salvar todas
as tabelas contendo dados modificados. Estas incluem a tabela
PLevels, que foi atualizada com novos limiares; a tabela ltemsl,
que pode ter itens atribuidos a novos nveis; e a tabela Scored,
com nveis de desempenho dos alunos.
ANLISE DE DADOS DE RESPOSTA COM PARMETROS DE

ITEM ANCORADOS
Em captulos anteriores, assumiu-se que todos os parmetros de item

da TRI eram desconhecidos e tinham que ser calculados a partir dos
dados de resposta dos alunos. Os parmetros de item de teste foram
calculados para cada avaliao nacional (como CYCLEl e CYCLE2)
e foram usados para calcular constantes de ligao.
O lATA tambm disponibiliza um meio para importar parmetros
de item fixos de uma avaliao anterior, que podem ser usados para
ligar os resultados da avaliao a uma avaliao subsequente.
lncialmente, estima os parmetros para a avaliao atual e liga-os aos
parmetros no ajustados da avaliao anterior. Os itens usados no
processo de ligao so chamados parmetros de item ancorados.
Os parmetros de item ancorados so os parmetros a, b e
(opcionalmente) c aos quais foram atribuidos valores em um arquivo
de dados de item para alguns itens de teste antes da anlise de um
determinado arquivo de dados de resposta, semelhana dos itens
260
ncora usados em uma ligao formal. Quando os dados de resposta

so analisados usando parmetros de item ancorados, os parmetros
dos itens novos ou no ancorados so calculados, enquanto os parmetros de item ancorados permanecem fixos nos seus valores previamente especificados. Os resultados recentemente estimados, tais
como os parmetros da TRI para itens no ancorados e valores da TRI
dos alunos, so expressos na escala definida pelos parmetros de item
ancorados. Esse mtodo prefervel em relao ao processo de ligao formal quando as estimativas de parmetro de item produzidas
usando os atuais dados de resposta possam ser inferiores em qualidade s produzidas pelas estimativas j existentes. Essa situao pode
ocorrer se a amostra atual for muito mais pequena ou menos representativa do que a amostra usada para calcular os parmetros de item
existentes. Esse mtodo tambm apropriado quando a maioria
(mais de 70%) dos itens na atual avaliao j tenham estimativas de
parmetro existentes. A nica diferena entre o uso de itens ancorados e as descries passo a passo apresentadas em captulos anteriores
que alguns itens j tero parmetros de item no arquivo de dados
de item de entrada.
Considere um cenrio onde o comit diretor da avaliao nacional
decidiu usar um teste de um ciclo de avaliao nacional anterior apenas com modificaes menores ao conjunto de itens de teste. Nesse
caso, no necessrio executar o procedimento completo de ligao
que foi descrito no Captulo 13. Para os novos e relativamente poucos
itens usados na avaliao atual, o lATA ir automaticamente calibrar
os seus parmetros da TRI e coloc-los na mesma escala que os parmetros de item ancorados. Os valores da TRI finais dos alunos sero
baseados tanto nos parmetros de item ancorados como nos itens
recentemente calibrados e ser expresso na mesma escala que os parmetros de item ancorados.
Use o conjunto de dados de amostra CYCLE3 para fazer este exerccio. Os dados de item para este teste esto no livro de exerccios do
Excel, ltemDataAllTests. Esses dados representam o terceiro ciclo do
programa de avaliao nacional que foi analisado em captulos anteriores. Para este terceiro ciclo, o comit diretor da avaliao nacional
decidiu usar os itens do teste CYCLE2 aps fazer pequenas modificaes ao contedo de alguns itens e substituir apenas oito dos itens de
261
mltipla escolha e todos os itens de resposta curta. Em vez de recalcular novos parmetros e constantes de ligao, o comit decidiu usar
os parmetros de item CYCLE2 para ancorar as estimativas de parmetros de item para os novos itens.
Para fazer a anlise com itens ancorados, complete os seguintes
passos.
1. Selecionar o fluxo de trabalho Response data analysis do menu
principal.
2. Carregar os dados de resposta dos alunos CYCLE3.xls (contendo
2.539 registros e 61 variveis) da pasta de dados de amostra do
lATA (pgina 1/10 do lATA). Verificar que o primeiro aluno listado no arquivo de dados tem os seguintes valores: SCHOOLID =
30, Sex = 2, SchoolSize = 21, MATHC2047 = C. Clicar em Next.
3. Carregar o arquivo ltemDataAllTests.xls, e selecionar a tabela
CYCLE3 como dados de item (Pgina 2/10 do lATA). A tabela
contm 53 registros e sete variveis. Note que MATHC2047, um
item de conhecimento numrico, tem valores de 0,80 e -0,75
para os parmetros a e b, respectivamente. Ao contrrio dos arquivos de dados usados em anlises anteriores, os valores dos parmetros a e b esto presentes para alguns itens, mas no todos,
conforme ilustrado na figura 14.2. Os parmetros de item que
tm valores atribudos so os parmetros de item ancorados. Esses
valores foram produzidos durante a anlise dos dados CYCLE2 e
foram ligados escala original estabelecida para a avaliao
CYCLEl. Foram atribudos novos parmetros de item calculados
a partir dos dados de resposta a diversos itens com chaves de respostas especificadas que no tm parmetros de item (tal como
MATHC2069). Como os parmetros ancorados j estavam ligados escala CYCLEl na anlise anterior, os parmetros recentemente estimados na anlise atual dos dados CYCLE3 tambm
foram ligados escala CYCLEl. Clicar em Next para avanar
para as especificaes da anlise.
4. Definir a varivel de identificao como CYCLE3STDID, a
varivel de ponderao como CYCLE3Weight, e assinalar o valor
9 como incorreto (Pgina 3/10 do lATA). Note que os valores
262
Dado. d. Item para CYCLE3 com Parlmetro. de Item ancoradOl
,~
,~
,~
_ne.oel D
,~
....T~1I I
,~
*~,
,~
_ neUDO,
_''''::'0112 ..
,~
,~
..... >C20:!3 ..
,~
.... l'HC11137 B
....lHC:2OIl7 e
.... n<C'o&< D
.~
....oc,_ B
_,1<QO.5 ..
*~.
*~,
.~
.~
.~
.~
,~
,~
---..
-.---
,,..
~n.l'<
~n,12
--
,,,,.~
,",
._.
.o_SS,_,
,~
,~
,~
.o_'~'2'~""
,~
,~
0_'_'1&"
0'_71n7 _
0,s"._2t.
__
.oDl"~'
.oe_.
ODol.......:l'71_
,~
,~
,~
,~
.~
.~
O,!o,)I1~'?'4l'>"MaIIf
,~
O_,nM
.~
O~~_
.~
,~
,~
numricos adicionais (O, 1,2,3) na coluna de valores representam

valores para itens de crdito parcial. Clicar em Next para
comear a anlise.
S. Os resultados produzidos so apresentados na figura 14.3. Note
que agora todos os itens tm parmetros de item, mas os itens
ncora mantm os seus valores originais (ver valores a e b para
MATHC2047 nas figuras 14.2 e 14.3). Ao contrrio da ligao a
nvel de teste, possvel agora ver como os parmetros de item
ancorados se ajustam aos dados de resposta atuais comparando as
FRIs terica e emprica para cada item. Por exemplo, o item
MATHC2047 usou parmetros de item ancorados; a FRI denominada Theoretical na figura 14.3 derivada dos dados CYCLE2,
enquanto a FRI denominada Emprical derivada dos dados
CYCLE3. Em geral, o ajuste dos itens ancorados tende a ser pior
do que o dos novos itens, cujos parmetros so calculados a partir
dos dados atuais. Se o ajuste entre as FRIs terica e emprica individuais for fraco (isto , a magnitude da lacuna vertical entre as
FRIs terica e emprica for consistentemente superior a 0,05) e a
amostra dos novos dados de resposta for grande, os itens no
263
Resultado. do An"'" d. ltam com Por.metro. d. Item Ancorados. DodOl

d. CYCLE3. MAlHC2047
a.....- .... _ _ ............. _ a . . .
o.
on o.
o. o.
O" o.
o.
ou
o. ..o
o.. o.
o. o.
O" o.
o
o.
o.
o.
.., '"
o.o.
n,
,. o.
o. o.,
o,
o. ou
O"
O"
o o.
o ou
o. ..,
o.
o.
..
""
"
'"
.,
.,
devem ser usados como parmetros ancorados. SeJ no entantoJ a

amostra for pequena (tal como menos de 500), ento a falta de
ajuste entre as FRIs terica e emprica pode simplesmente ser
causada por erro aleatrio e pode ser ignorada.
Alguns itens (tais como MAlliCI046 e MAlliC2034) tm

avisos (amarelos) em forma de losango. Esses itens tendem a estar
fracamente relacionados com a aptido, mas foram mantidos para
efeitos deste exercicio. Note que o valor de 1 para o item de crdito parcial MAlHA006 (MAlHA006@1) tem um aviso (vermelho) triangular. Quase 99% dos alunos atingiram um valor de 1
ou mais neste item. No entanto, manter o valor de 1 no tem
grande efeito na qualidade dos resultados. O aviso simplesmente
indica que o valor no claramente distinguvel de O, enquanto os
valores de 2 e 3 para este item (MAlHA006@2 e MAlHA006@3,
respectivamente) so claramente distintos dos outros valores de
pontuao. Em geral, a melhor prtica seria rever o esquema de
classificao deste item para tratar valores de 2 e 3 como valores
vlidos (a entrada correspondente da chave no lATA seria
264
"2: 1;3:2"). No entanto, neste exemplo, manter o esquema de classificao existente no tem desvantagens, porque o lATA ajustou
o clculo de valores para refletir a baixa aptido associada ao valor
de crdito parcial de 1.
6. A Pgina 5110 do lATA e a Pgina 6110 do lATA, que fazem
anlises de dimensionalidade de teste e de funcionamento diferencial dos itens, podem ser saltadas; ambas as tarefas so idnticas a outras feitas em descries passo a passo anteriores. Clicar
em Next.
7. Como os resultados so automaticamente ligados escala
CYCLE1, a mdia e desvio padro de IRTscore (pgina 7110 do
lATA) dos dados CYCLE3 podem desviar-se significativamente
de O e 1 na amostra atual (neste caso, mdia = 0,02, desvio
padro = 1,04). Uma considerao importante para definir a
escala dos resultados que usam parmetros de item ancorados
que como os valores da TRI esto ancorados aos parmetros ligados CYCLE2, tem de usar a opo Rescale para produzir valores
de escala, especificando os valores de mdia e desvio padro usados ao estabelecer a escala NAMscore em CYCLE1. Inserir
NAMscore e os valores originais para o desvio padro (100) e a
mdia (500). Clicar em Calculate. Os valores da mdia e do desvio padro na nova escala para NAMScore so 501,71 e 103,96,
respectivamente. Clicar em Next.
8. Saltar a seleo de itens (pgina 8110 do lATA). Como os valores da

TRI esto expressos na escala estabelecida com os dados CYCLE1,
aplicar os limiares de padres de desempenho CYCLEl (Nvel 4 =
0,95, Nvel 3 = 0,35, Nvel 2 = -0,25, Nvel 1 = -0,85) ao conjunto
de dados CYCLE3 (Pgina 9110 do lATA). O nvel de PR no precisa de ser definido porque os pontos de corte j foram estabelecidos. Isto vai ajudar a garantir que os alunos CYCLE3 esto sendo
classificados com limiares CYCLE1. Pressionar Enter aps inserir
os valores dos limiares. Clicar em Add Leveis para atribuir padres
ou nveis de desempenho aos alunos. Clique em Next.
9. Clicar em Save Data, e salvar todas as tabelas de resultados para a
avaliao CYCLE3. Note que, nos arquivos de dados SCORED,
I 265
o resultado do primeiro aluno tem valores IRT e NAM de 1,41 e

641,10, respectivamente. Para referncia, os resultados de dados
de item desta anlise (Itemsl) esto incluidos no arquivo
ltemDataAllTests.xls na folha de trabalho denominada
ReferenceC3.
Finalmente, note que os parmetros de item ancorados so particularmente teis em situaes em que o tamanho da amostra na nova
avaliao nacional pequeno, os testes tm muito em comum, ou
dados de resposta de ambos os testes esto disponiveis. No ltimo
cenrio, os dados de resposta devem incluir todos os respondentes de
ambos os ciclos para facilitar a anlise de funcionamento diferencial
dos itens entre os dois testes; os dados de item incluiriam chaves de
respostas para todos os itens, e seriam apenas atribudos valores aos
parmetros dos itens usados no ciclo anterior.
Durante a execuo de diversas anlises do tipo acabado de apresentar, a equipe de avaliao pode fazer modificaes, tais como
remover itens ou ajustar os nveis de aptido ou as categorias de contedo do currculo. Quando o nmero ou a extenso das modificaes
for substancial, a ligao de item no deve ser usada.
Dada a probabilidade de os analistas e outro pessoal-chave mudar
entre avaliaes nacionais, importante gravar todas as tabelas de
dados, assim como ter uma clara explicao das decises chave e principais alteraes feitas aos arquivos de dados de item. Para auxiliar
futuras avaliaes nacionais, o analista deve escrever uma breve descrio de qualquer mudana feita a um arquivo de dados de
item durante a anlise atual em um arquivo de texto ReaMe
(vd. Freeman e O'Malley 2012).
NOTA
1. Carregar esses dados opcional, porque o clculo da ligao estatstica
requer apenas parmetros de item. Se no carregar os valores da TRl nessa
altura, aplique os resultados da ligao usando um pacote de software diferente
(tal como SPSS [Pacote Estatstico para as Cincias Sociais1ou Excel).
RESUMO DOS
TUTORIAIS DO lATA
Os exemplos dos tutoriais concludos na Parte II

deste volume fornecem descries detalhadas acerca dos procedimentos estatsticos mais comuns necessrios para criar, implementar e manter um sistema de avaliao nacional. Aps concluir
esses tutoriais, o usurio dever ter aprendido a realizar as seguintes
tarefas:
o Carregar os dados de resposta dos alunos
o Carregar os dados de parmetro de item
o Especificar as chaves de respostas, os nveis de desempenho nos
itens e as classificaes do contedo dos itens
o Especificar os tratamentos dos dados em falta
o Analisar as estatsticas clssicas dos itens
o Interpretar as funes de resposta ao item e as anlises de erros dos
itens
o
o
o
o
Interpretar os resultados da dimensionalidade dos testes

Interpretar as estatsticas descritivas dos testes
Produzir pontuaes de escala para a elaborao de relatrios
Gerar e interpretar anlises do funcionamento diferencial dos itens
267
268
Efetuar a estimativa ou definir categorias para os nveis de aptido

Selecionar subconjuntos de itens para objetivos especficos de
medio
Salvar os resultados em um computador
Essas tarefas representam praticamente todos os requisitos normais
para a anlise de testes durante a implementao de uma avaliao
nacional. No entanto, fazer simplesmente a replicao dos exemplos
exatamente conforme fornecidos nestes captulos no significa necessariamente j ter a capacidade de realizar essas funes com os seus prprios dados de avaliao nacional. Nos prximos passos do seu processo
de aprendizagem, voc deve realizar vrias vezes a anlise de cada um
dos exemplos, seguindo as instrues exatas indicadas nos captulos.
Quando conseguir dominar a interface do software Anlise de Item
e de Teste (lATA), voc deve estar pronto para fazer experincias com
algumas das opes que fazem parte da estrutura das anlises no
lATA. Para tal, deve rever novamente cada um dos tutoriais, mas, em
vez de segur todas as instrues, deve fazer experincias com as
opes disponveis. Por exemplo, o que acontece aos resultados da
anlise quando o nmero de itens de um teste muito baixo? O que
acontece aos resultados semelhantes quando o conjunto de itens
comuns de ligao entre dois testes incluem apenas itens muito fceis
ou muito difceis? Existem muitas outras abordagens para realizar a
anlise de dados de testes que no esto englobadas no mbito deste
volume. No entanto, se realizar experincias com os dados de amostra
do lATA e fizer a comparao entre os seus resultados e aqueles que
foram obtidos anteriormente durante os vrios exerccios dos tutoriais, voc pode ter uma compreenso muito mais ampla das escolhas
mais adequadas para as diferentes situaes.
Em primeiro lugar, ao fazer a anlise dos seus dados da avaliao
nacional, voc deve identificar o fluxo de trabalho mais adequado
para a situao a partir do menu do lATA. muito provvel que essa
situao seja muito semelhante a um dos exemplos de tutoriais apresentados em um dos captulos anteriores. Algumas situaes podem
requerer a combinao de diferentes fluxos de trabalho, em que os
resultados de um fluxo de trabalho ou de uma anlise so utilizados
como dados de entrada no(a) outro(a).
RESUMO DOS TUTORIAIS DO lATA
I 269
Em ltima anlise, conforme desenvolve seus conhecimentos na rea,

voc vai chegar concluso de que raramente existem respostas ou
solues nicas e perfeitas para os problemas de urna avaliao nacional. Na melhor das hipteses, os mtodos estatsticos utilizados nas avaliaes modernas servem para minimizar a influncia de erros que
resultam inevitavelmente das dificuldades reais para a realizao de
urna medio na rea da educao. O modo como as equipes nacionais
escolhem e implementam esses mtodos estatsticos depende dos respectivos objetivos. Quais so as necessidades das partes interessadas?
Quais so as consequncias das decises tomadas com base nos resultados? O lATA apenas urna ferramenta (ainda que til) para a reduo
da carga desses mtodos estatisticos e para o esclarecimento dos compromissos das opes analiticas disponiveis em urna avaliao nacional.
ANEXO
TEORIA DE RESPOSTA
AO ITEM
No Captulo 9, foram descritos dois aspectos da

abordagem que a teoria clssica dos testes (Ter) faz medio da
aptido, nomeadamente no que se refere facilidade (ou dificuldade)
e discriminao dos itens. Neste anexo, centramo-nos em uma abordagem alternativa, a teoria de resposta ao item (TRI), que une os
conceitos de facilidade e discriminao dos itens. A TRI tambm
habitualmente referida como teoria do trao latente. a abordagem
mais frequentemente utilizada nas avaliaes em grande escala.
Analisar as diferenas entre o que constitui um bom item de teste
nas perspetivas da TCT e da TRI um bom ponto de partida para
compreender a TRI. As estatsticas clssicas da facilidade e da discriminao dos itens concentram-se na estimativa e na comparao da
probabilidade de resposta correta para diferentes alunos. Em contrapartida, a TRI carateriza os alunos pelo tipo de resposta ao item que
eles provavelmente produziro e tenta descrever as distribuies da
aptido para os alunos que respondem de formas diferentes. Apesar
de um bom item de teste na perspetiva da TCT apresentar grandes
diferenas na probabilidade de resposta correta para os alunos de diferentes Iveis de aptido, um bom item de teste na perspetiva da TRI
aquele em que a distribuio da aptido para os alunos que
271
272
responderam corretamente diferente da distribuio da aptido

para os alunos que responderam incorretamente. Enquanto a TCT
concentra-se na probabilidade de resposta correta, a TRI enfoca a estimativa das distribuies da aptido. Apesar de as duas perspetivas
estarem normalmente de acordo, a perspetiva da TRI descreve os
itens de uma forma muito mais completa e til.
O software Anlise de Item e de Teste (lATA) calcula os resultados
utilizando vrios mtodos estatisticos. A maioria dos clculos usa
equaes de forma fechada, o que significa que o clculo utiliza os
dados de resposta dos alunos em uma progresso ordenada de passos
para produzir a estatistica desejada, tal como a mdia aritmtica.
Mesmo que os clculos tenham vrios passos, nas equaes de forma
fechada, os valores em cada passo so baseados nos dados originais e
nos resultados dos passos anteriores. Na maioria dos livros de estatisticas (por exemplo, Crocker e Algina 2006), esto disponveis descries detalhadas de mtodos de forma fechada para o clculo de
estatisticas clssicas dos itens e outras estatisticas descritivas bsicas.
Alguns clculos requerem que o lATA faa a estimativa de uma
estatistica, x, que tem como base outra estatistica, y, mas em que o
valor y tambm tem como base o valor x. Nesses casos, uma vez que
x e y no podem ser estimados em conjunto, o lATA tem de usar um
algoritmo iterativo. De um modo geral, o algoritmo iterativo assume
primeiro alguns valores iniciais razoveis para y e utiliza esses valores
para fazer a estimativa dos valores x. Em seguida, o algoritmo utiliza
os resultados x para calcular novos valores para y. Os novos valores y
so depois utilizados para atualizar os valores x e o processo repetido at que as novas iteraes no alterem significativamente os valores das estimativas. Essa abordagem de clculo utilizada na anlise
da dimensionalidade de itens e testes, assim como na estimativa dos
parmetros de item da TRI (consultar Lord e Novick 1968). Esses
dois clculos requerem que seja feita a estimativa das propriedades
dos itens, tais como os carregamentos e os parmetros da TRI.
A anlise da dimensionalidade utiliza um algoritmo iterativo
comum, conhecido como decomposio em valores singulares ou
SVD (singular value decomposition, em ingls) (consultar http://
en.wikipedia.org/wikilSingular_value_decomposition), mas a estimativa dos parmetros da TRI requer algoritmos iterativos
TEORIA DE RESPOSTA AO ITEM
I 273
especializados (consultar Baker e Kim 2004). Em primeiro lugar, esses

algoritmos devem fazer a estimativa da probabilidade de cada aluno
responder corretamente a cada um dos itens e, em seguida, identificar
os parmetros de item que reproduzem melhor essas probabilidades.
Os novos parmetros so depois utilizados para a atualizao das probabilidades estimadas, que, por sua vez, so utilizadas para a atualizao das estimativas dos parmetros de item e assim sucessivamente,
at que as estimativas em cada fase no melhorem perceptivelmente
as estimativas anteriores. A estimativa de parmetros do lATA utiliza
uma variao desta abordagem geral que tem um processamento mais
rpido e estatisticamente mais robusta em comparao com outros
algoritmos. Permite que os mtodos da TRI sejam utilizados em um
maior intervalo de dados de amostra do que aquele que habitualmente permitido pelos outros softwares.
Com o algoritmo do lATA, a primeira fase (a estimativa das probabilidades) requer o clculo de duas distribuies da aptido para cada
item: a distribuio para os respondentes corretos e a distribuio
para os respondentes incorretos. Parte-se do pressuposto que estas
distribuies tenham uma forma normal e as duas distribuies partilhem a mesma varincia para cada item, mas sejam diferentes nas
mdias e nas magnitudes relativas. Por exemplo, se um nmero maior
de alunos responde corretamente em relao aos que respondem
incorretamente, a magnitude da distribuio para os respondentes
corretos ser maior do que para os respondentes incorretos. A soma
dessas duas distribuies em cada nvel de aptido descreve a distribuio da aptido para todos os alunos e a relao entre a distribuio
dos respondentes corretos e a distribuio dessa soma produz as estimativas da probabilidade de resposta correta em cada nvel de aptido. Esta abordagem tem vantagens em relao a outros mtodos por
duas razes: (a) descreve a probabilidade de resposta em todos os
nveis de aptido, em vez de uma amostra arbitrria dos nveis de
aptido, e (b) as distribuies para os respondentes corretos e os respondentes incorretos podem ser descritas utilizando a mdia para os
respondentes corretos e a proporo de respostas corretas a um item,
uma vez que a mdia total da amostra restrita de modo a ser equivalente a zero e a proporo de respostas incorretas equivale ao valor
de um menos a proporo de respostas incorretas. Por outro lado, a
274
Distribuies da Aptido para os Respondentes Corretos e Incorretos a Um nico Item

de Teste (Facilidade 0.50. Aptido Mdia dos Respondentes Corretos O)
0,30
0,25
0,20
ou
li
;g
:a
.!o
0,15
a.
0,10
0,05
O
-3
-2
-1
O
aptido
1- incorretos - - - -
corretos
maioria dos outros mtodos descreve as probabilidades apenas para

uma amostra de nveis de aptido definidos de forma arbitrria e pode
exigir centenas de estatisticas calculadas individualmente para fazer a
estimativa das diferentes probabilidades. Habitualmente, esses mtodos tambm requerem a especificao de restries ou regras arbitrrias para a correo dos erros de estimativa.
As duas distribuies na Figura II.A.l ilustram algumas caratersticas fundamentais da TRI. As duas curvas representam distribuies de
aptido! para os respondentes a um nico item de teste. A linha continua esquerda descreve a aptido dos alunos que responderam
incorretamente e a segunda linha curva tracej ada (---------) descreve a
aptido dos alunos que responderam corretamente. Esse item tem
uma facilidade de 0,50, que reflete a altura idntica das duas distribuies ao longo do eixo vertical; existe um nmero igual de respondentes corretos e incorretos. A aptido mdia dos respondentes
corretos de 0,10, algo que refletido no grfico quando o pico da
I 275
Distribuies da Aptido para os Respondentes Corretos e Incorretos a Um

nico Item de Teste (Facilidade 0,50, Aptido Mdia dos Respondentes
Corretos = 0,99)
1,6
.'
1,4
1,2
:2
:s
ou
1,0
til
til
0,8
.a
a. 0,6
0,4
0,2
-3
-2
-1
,,
,,
aptido
1- incorretos - - - - , corretos
distribuio para os alunos corretos encontra-se diretamente acima do

valor 0,10 no eixo da aptido. Uma vez que a mdia geral de ambas as
populaes O e estas tm o mesmo tamanho, a aptido mdia de
respondentes incorretos simtrica em -0,10. As duas distribuies
so muito semelhantes em termos de tamanho e localizao, o que
indica uma diferena muito pequena na aptido entre os tipos de
alunos que respondem correta e incorretamente. Se no houvesse
qualquer diferena, ambas as distribuies seriam idnticas, com
mdias iguais a O, e as respostas aos itens no estariam relacionadas
com a aptido.
A figura I1.A.2, ilustra um item de teste muito mais exato, tambm
com uma facilidade de 0,50. Esse item ilustra o relacionamento mais
forte entre a resposta a um item e a aptido, em que a aptido mdia
dos respondentes corretos de aproximadamente 1 e a aptido mdia
dos correspondentes incorretos de aproximadamente -1. No existe
276
Distribuies da Aptido para os Respondentes Corretos e Incorretos a Um nico Item

de Teste e Probabilidade Condicional de Responder Corretamente (Facilidade = 0,60,
Aptido Mdia dos Respondentes Corretos = 0,40)
-- ---
1,0
0,9
0,8
ou
0,7
li
0,6
:a
0,5
;g
.!o
0,4
a. 0,3
0,2
0,1
-3
-2
-1
aptido
-
incorretos - - - - 'corretos , limiar

inclinao
funo de resposta ao item
sobreposio das distribuies, o que indica que, em termos da aptido, os respondentes corretos so completamente distintos dos respondentes incorretos.
Na prtica, extremamente raro os respondentes corretos serem
completamente distintos dos respondentes incorretos. Habitualmente,
existe uma vasta regio de aptido em que as duas distribuies se
sobrepem. Uma transio suave ocorre quando os alunos com uma
aptido em crescimento reduzem a probabilidade de serem identificados como membros da distribuio incorreta e aumentam a probabilidade de serem membros da distribuio correta. Essa transio
ilustrada na figura ILA.3 para um item com uma facilidade de 0,60
(que indica que a distribuio para os respondentes corretos maior
do que para os respondentes incorretos) e uma aptido mdia de 0,40
para os respondentes corretos. A linha tracejada curva, tambm
conhecida como a funo de resposta ao item (FRI), descreve o tamanho da distribuio dos respondentes corretos em relao ao tamanho
da distribuio dos respondentes incorretos.
277
Em outras palavras, em regies da aptido em que a altura da distribuio correta menor do que a altura da distribuio incorreta, a
FRI inferior a 0,5; na situao inversa, o valor superior a 0,5. A
transio de correto para incorreto marcada por um limiar (a linha
tracejada vertical na figura 1I.A.3) que corresponde ao ponto em que
a distribuio dos respondentes incorretos intercepta a distribuio
dos respondentes corretos.
A FRI pode ser interpretada como a probabilidade de que um respondente com um determinado nvel de aptido v pertencer ao
grupo dos respondentes corretos. Os valores exatos da FRI podem ser
calculados dividindo a probabilidade da distribuio dos respondentes corretos pela soma das probabilidades de ambas as distribuies.
Por exemplo, em um valor de aptido de -I, o valor da probabilidade
de respondentes corretos de aproximadamente 0,06 e o valor para
os respondentes incorretos de aproximadamente 0,15; 0,06/(0,06 +
0,15) = 0,29. Uma vez que a proporo de respondentes incorretos
o inverso da proporo de respondentes incorretos e a aptido mdia
dos respondentes incorretos pode ser calculada a partir da aptido
mdia dos respondentes corretos O que a mdia geral igual a O), a
FRI ento uma funo da facilidade dos itens e da aptido mdia dos
respondentes corretos.
Uma FRI pode ser descrita utilizando um modelo estatistico com
trs parmetros, a, b e c:
P(u
= I) = c + (I -
c)/(I + Exp(D * a * (teta - b))),
em que P(u = I) a probabilidade de um aluno alcanar uma resposta

correta. D representa uma constante utilizada para escalonar os parmetros de item; normalmente, definida para ter um valor igual a
-1.7, de modo que a escala corresponda escala normal padro. A
varivel teta representa a aptido dos alunos. O mesmo modelo descreve os itens de crdito parcial, em que P(u <?: x) representa qualquer
pontuao maior ou igual a uma pontuao de crdito parcial especfica, x. No caso do crdito parcial, cada valor superior a zero vai ter
um conjunto de parmetros.
Apesar de todos os parmetros interagirem para a descrio do
comportamento estatistico de um item, o parmetro a reflete
278
primordialmente a distncia entre as mdias das distribuies correta

e incorreta; o parmetro b reflete primordialmente a facilidade de um
item; e o parmetro c reflete a probabilidade de um aluno da distribuio incorreta ser incluido por engano na distribuio correta (por
exemplo, um aluno que adivinha a resposta correta).
Uma vez que o processo da TRI iterativo e computacionalmente
intensivo, os diferentes pacotes de software podem produzir estimativas ligeiramente diferentes e exigir quantidades diferentes de tempo
para concluir os clculos. O algoritmo de estimativa do lATA tem
tendncia a ser mais robusto em vrios tamanhos de amostras e significativamente mais rpido do que outros programas de estimativa
da TRI. Enquanto outros mtodos utilizam algoritmos de aproximao iterativa para realizar o passo da estimativa dos parmetros de
item, o lATA calcula os parmetros de item algebricamente, utilizando as seguintes equaes:
a=- (.u:""'" I
(-1 + p' + p'.u:""'" 2 )) /lo 7(1 +q I (q+qromtos))
b=(.uinromtos +.u:""'" -(2' 0"2'LOG(q' I p.)) I (.uinromtos -.u:"-)) 12

c=q I (q + qoomtos) ,
em que
p' =(1-(1- p) I (l-c))
q = q + q""""""
.u:""'" = (-.uinromtos (1- p' )) I p'

0"2
= 1-(p'
.u:""'" 2 +(q' .uinromtos 2 +p'.u:""'" +(q' ).uinromtos )
a aptido mdia dos alunos que responderam

corretamente
7J7W07TeIDs = a aptido mdia dos alunos que responderam
incorretamente
p = a proporo de alunos que responderam corretamente
q = a proporo de alunos que responderam incorretamente
qcol'TOtos = a proporo de alunos que no conseguiram responder
questo, mas que adivinharam a resposta correta (a estimativa
7JCOI"I'OtIJs
I 279
dessa estatistica deve ser feita pela aproximao da assntota inferior da funo de resposta ao item emprica). Tenha em mente que
se o parmetro c estiver restrito de modo a ser igual a zero (que
a prtica recomendada para a grande maioria das situaes de avaliao), no necessrio fazer a estimativa do qcorrotw;.
As novas estimativas dos parmetros so utilizadas em cada ciclo
de estimativas para a produo de funes de aptido atualizadas para
cada aluno, utilizando os mtodos descritos por Baker e K.i.m (2004).
Apesar de o algoritmo ainda necessitar de muitos ciclos iterativos para
produzir as estimativas finais, a robustez das equaes obtidas anteriormente no passo da estimativa dos parmetros reduz significativamente o tempo de processamento e aumenta a estabilidade das
estimativas.
NOTA
1. Na TRI, a aptido dos alunos descrita em uma escala (muitas vezes
conhecida como teta) semelhante a uma escala de pontuao Z: O nvel
mdio de aptido terica O e o desvio padro 1. Habitualmente, a maioria
dos alunos alcana pontuaes entre -2 e 2 e menos de um em cada mil
alunos vai alcanar pontuaes inferiores a -3 (ou superiores a 3).
REFERNCIAS
Anderlion, P., e G. Morgan. 2008. Desenvolvimento de Testes e Questionrios

para Avaliao do Desempenho Educacional. Washington, DC: Banco MWl<lial.
Baker, F. B., e S.-H. Kim. 2004. Item Response Theory: Parameter Estimation
TechnUp..es. 2.' ed. Nova Iorque: Mareei Dekker.
BuIlock, 1. G., D. P. G.reen, e S. E. Ha. 2010."Yes, butWhat's tbe Mecbanism?
(Don't Expect an Easy Answer)." JoumaJ. of PersonaIiZy and Social Psychology
98 (4): 550-58.
Crocker, L., e 1. Algina. 2006. Introduction to Classical and Modem Test Theory.
Pacific Grove, CA: Wadswortb.
Cronbacb, L. 1. 1970. ''Test Validation." Em Educational Measunmumt, 2.' ed.,
editada por R. L. Tborndyke, 443-507. Washington, DC: Conselho
Americano de Educao.
De Ayala, R. J. 2009. The Theory and Practice o/ Item Response Theory. Nova
Iorque: GuiIford Press.
DeMars, C. 2010. Item Response Theory. Nova Iorque: Oxford Univemty
Press.
Dumais, 1., e 1. H. Gougb. 2012a. "Scbool Sampliog and Metbodology." Em
Implementao de uma Avaliao Naciotud de Desempenho Educaciorud,

editado por V Greaney e T. Kellagban, 57-106. Washington, DC: Banco
Mundial.
281
282
- - o 2012b. 'Weighting, Estimating, and Sampling Error." Em

Implementao de uma Avaliao Nacional de Desempenho Educacional, editado
por V Greaney e T. Kellaghan, 181-257. Washington, DC: Banco Mundial.
Fan, X. 1998. "Item Response Theory and Classical Test Theory: An Empirical
Comparison ofTheir Item/Person Statistics." Educational and Psychological
Measurement 58(3): 357-81.

Freeman, c., e K. O'Malley. 2012. "Data Preparation, Validation and
Management." Em Implementao de uma Avaliao Nacional de Desempenho
Educacional, editado por V Greaney e T. Kellaghan, 107-79. Washington, DC:
Banco Mundial.
Goldstein, H., e R. Wood. 1989. "Five Decades ofItem Response Modelling."
British Journal of Mathematical and Statistical Psychology 42 (2): 139--67.

Greaney, V, e T. Kellaghan. 2008. Avaliao dos Nveis de Desempenho
Educacional. Washington, DC: Banco Mundial.
- - , ed. 2012. Implementao de uma Avaliao Nacional de Desempenho
Educacional. Washington, DC: Banco Mundial.
Haladyna, T. M. 2004. Developng and Valdating Multiple-Choce Test Items.
3." ed. Mahwah, NJ: Lawrence ErlbaumAssociates.
Hambleton, R. K., H. Swarninathan, e H. 1. Rogers. 1991. fundamentais of
Item Response Theory. Newbury Park, CA: Sage.
Hutcheson, G., e N. Sofroniou. 1999. The Multivariate Social Scientist.
Londres: Sage.
Karantonis, A., e S. G. Sireci. 2006. ''The Bookmark Standard Setting Method:
A Literature Review." Educational Measurement: Issues and Practice 25 (1):
4-12.
Kellaghan, T., e V Greaney. 2001. UsngAssessment to Improve the Quality of
Education. Paris: Organizao das Naes Unidas para a Educao, Cincia e
Cultura, Instituto Internacional para o Planeamento da Educao.
Kellaghan, T., V Greaney, e T. S. Murray. 2009. O Uso dos Resultados da
Avaliao do Desempenho Educacional. Washington, DC: Banco Mundial.
Lord, F. M., e M. R. Novick. 1968. Statistical Theories ofMental Test Scores.
Reading, MA: Addison-Wesley.
Martin, M. O., r. V S. Mullis, e P. Foy (com 1. F. Olson, E. Erberber, C.
Prewschoff e 1. Galia). 2008. TIMSS 2007 International Science Report:
Findings from lEA's Trends in International Mathematics and Science Study at
REFER~NCIAS
I 283
the Fourth and Eighth Grades. Chestnut HiIl, MA: TIMSS & PIRLS
Intemational Study Center, Boston College.
Mislevy, R. 1. 1992. Linking EducationalAssessments: Concepts, Issues, Methods,
and Prospects. Princeton, NJ: Educational Testing Service.
Mitzel, H. c., D. M. Lewis, R. 1. Patz, e D. R. Green. 2001. "The Bookmark
Procedure: Psychological Perspectives." Em Setting Performance Standards:
Concepts, Methods, and Perspectives, editado por G. 1. Cizek, 249-81. Mahwah,
NJ: Lawrence Erlbaum Associates.
OCDE (Organizao para a Cooperao e Desenvolvimento Econmico).
2007.
PISA 2006: Science Competencies for Tomorrow's World. Volume 1: Analysis.

Paris: OCDE.
Raudenbush, S. w., e A. S. Bryk. 2002. Hierarchical Linear Models:
Applications and DataAnalysis Methods, 2." ed. Thousand Oaks, CA: Sage.
Snijders, T. A. B., e R. 1. Bosker. 1999. Multil.evel Analysis: An Introduction to
Basic and Advanced Multil.evel Modeling. Thousand Oaks, CA: Sage.

Banco Mundial - Análise de Dados de Avaliação Educacional

Uploaded by

Document Information

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Banco Mundial - Análise de Dados de Avaliação Educacional

Uploaded by

Copyright:

Available Formats

Gerry Shiel I Fernando Cartwright

ANLISE DE DADOS DE UMA

Pesquisas do Banco Mundial sobre Avaliaes de

GRUPO BANCO MUNDIAL

@2015 Banco Internacional para Reconstn.tio e DesenvolvimentolBanco Mundial

Alguns cUrcitos rese"",""

a. hsqu;sas do Bana> MundUd mbmAvaUap;es a. n.s.mpenho EducacKmak Anlire a. Dados a.

umaAvaliao Nacional de n.s.mpenho Educaciona1, editado por Vmcent Greaney e Thomas

Contedo de tercei:tos O Banco Mundial no necessariamente proprietrio de todos os

SOBRE OS AUTORES E EDITORES

1. O BANCO DE DADOS PARA ANLISES

Salvar os arquivos do CD no seu disco rgido ou servidor

2. EXPLORAO DE DADOS DA AVALIAO NACIONAL

Medidas de tendncia central

3. UMA INTRODUO AO WESVAR

Configurar um arquivo de dados no WesVar

Anlise da diferena entre duas pontuaes mdias

categorias de percentl nacionais

7. APRESENTAO DE DADOS UTILIZANDO DIAGRAMAS

I.A. ANLISE DE DADOS NAEA: ESTRUTURA DO DIRETRIO

I.B. ANLISE DE DADOS NAEA: SUBPASTAS E ARQUIVOS

I.C. ABRIR UM ARQUIVO SPSS NO WESVAR

Passo 1: Carregamento dos dados de resposta

Passo 1: Definir a anlise

Passo 1: Carregamento dos dados

12. ANLISE DE ITENS DE CRDITO PARCIAL

Passo 1: Carregar os dados

13. COMPARAR AVALlAOES

Passo 1: Definir a anlise

Ligar dados de item

6.1 Variveis da Regresso Padro

1.1 Executar estatisticas descritivas em SPSS e salvar os arquivos

1.1.A Caixa de dilogo de classes de peso

2.l.A Diagrama de caule e folhas para as pontuaes da escala

5.4.A Captura de tela do livro de exeros WesVar antes do

7.2.C Percentagem de alunos por nvel de aptido em

2.l.A Uma Sntese do Processamento de Casos

Distribuio normal apresentando as unidades do desvio

Lista de variveis disponveis no arquivo de dados WesVar

Visualizao dos resultados da anlise dos dados PILOT1

Atribuir padres de desempenho, dados CYCLE2

1.1 Teste de matemtica: distribuio de itens por reas de

formulao e implementao de programas para melhorar o ensino e

O volume 1 da srie descreve os principais objetivos e elementos

Fernando Cartwright especialista em psicometria, pesquisador de

nas avaliaes nacionais no nvel do ensino fundamental e liderou a

SOBRE OS AUTORES E EDITORES

Cooperao e o Desenvolvimento Econmico (OCDE) e do PISA.

Vincent Greaney foi especialista principal em educao do Banco

Diana Manevskaya (Banco Mundial) facilitou a preparao

Curva caracterstica de categoria de itern

Modelao linear hierrquica

A atual economia do conhecimento em mbito mundial requer que

2 I ANLISE DE DADOS DE UMA AVALlAO NACIONAL DE DESEMPENHO EDUCACIONAL

Alterao - referente alterao dos resultados educacionais ao

ANLISE DE DADOS DE UMA AVALlAO NACIONAL DE DESEMPENHO EDUCACIONAL

um anexo sobre a TRI. Note-se que o lATA funciona apenas em

no nvel dos itens e a ligao dos testes. Contudo, o pressuposto

ANLISE DE DADOS DE UMA AVALlAO NACIONAL DE DESEMPENHO EDUCACIONAL

imperativo que os responsveis pela elaborao de testes estabeleam

I ANLISE DE DADOS DE UMA AVALIAO NACIONAL DE DESEMPENHO EDUCACIONAL

descrevem medidas numricas que podem ser qualquer valor entre

o BANCO DE DADOS PARA ANLISES I

(estudantes agrupados em turmas, turmas nas escolas, escolas em