Professional Documents
Culture Documents
NO ENSINO SECUNDRIO
DGEEC
Fevereiro de 2017
COMPARAO DAS CLASSIFICAES INTERNAS NO ENSINO SECUNDRIO
NDICE
INTRODUO ........................................................................................................................................ 2
3.1 DESALINHAMENTOS POR CONCELHO (BRAGA, LISBOA, PORTO E SINTRA; TODAS AS DISCIPLINAS DE EXAME) ............. 9
3.2 DESALINHAMENTOS POR CONCELHO (BRAGA, LISBOA, PORTO E SINTRA; ENSINO PBLICO, TODAS AS DISCIPLINAS DE
EXAME) ..................................................................................................................................................... 11
1
COMPARAO DAS CLASSIFICAES INTERNAS NO ENSINO SECUNDRIO
INTRODUO
O indicador do alinhamento compara as classificaes internas atribudas pela escola aos seus alunos
com as classificaes atribudas pelas outras escolas do pas a alunos com resultados semelhantes nos
exames nacionais. Ao comparar alunos que obtm classificaes semelhantes nos exames, o indicador
mede possveis desalinhamentos, entre as escolas, dos critrios utilizados na atribuio das
classificaes internas.
A metodologia de clculo do indicador do alinhamento permite agrupar os alunos por critrios diversos,
alm da escola de origem, e assim estudar desalinhamentos entre outros agregados. Neste estudo
foram medidas as assimetrias existentes entre os quatro cursos Cientfico-Humansticos, entre os
subsistemas pblico e privado, e entre as diferentes regies de Portugal. Os dados so apresentados em
grficos e tabelas com sries temporais a vrios anos.
Agregando os alunos pelo curso secundrio que frequentam, constata-se que os alunos de Lnguas e
Humanidades obtm classificaes internas mais baixas do que os seus colegas de Cincias e
Tecnologias com resultados iguais nos exames nacionais. O desvio bruto entre os dois grupos foi cerca
de 0,27 valores em 2016.
Importa salientar, todavia, que estes desalinhamentos entre concelhos, cursos e subsistemas, no
devem ser atribudos de forma cega e transversal a todos os estabelecimentos de ensino pertencentes a
cada grupo. Tratamos aqui apenas de resultados agregados, ou valores mdios. Como se ver ao longo
da publicao, existem grandes diferenas entre as prticas de avaliao interna dos diversos
estabelecimentos de ensino pertencentes a um mesmo concelho ou subsistema.
Os resultados qualitativos desagregados das cerca de 500 escolas secundrias e colgios nacionais, em
termos do alinhamento das classificaes internas face mdia das outras escolas, esto disponveis no
portal InfoEscolas (http://infoescolas.mec.pt).
A principal preocupao levantada pelo fenmeno dos desalinhamentos entre escolas dos critrios de
avaliao interna , porventura, a questo da equidade entre alunos no concurso nacional de acesso ao
ensino superior. Esta foi tambm a motivao inicial para o nosso estudo deste fenmeno. Sendo a
classificao interna do secundrio uma componente importante da nota de candidatura ao superior,
desalinhamentos sistemticos e muito acentuados entre escolas podem desvirtuar o salutar princpio de
igualdade de oportunidades entre todos os candidatos. Com este estudo, cujo objetivo foi medir os
desalinhamentos a nvel nacional e seguir a sua recente evoluo temporal, procuramos contribuir para
um debate informado sobre esta matria.
2
COMPARAO DAS CLASSIFICAES INTERNAS NO ENSINO SECUNDRIO
Voltando a um registo mais tcnico, referimos que nos clculos do indicador do alinhamento das
classificaes internas so (potencialmente) consideradas todas as disciplinas sujeitas a exame nacional.
Assim, so tidas em conta no s as classificaes internas de Portugus e Matemtica A, mas tambm
as classificaes internas de Fsica e Qumica, Histria, Geografia, etc. Alm disso, so apenas
consideradas as classificaes dos alunos matriculados em cursos Cientfico-Humansticos que
realizaram exames nacionais na 1. fase, para aprovao, como alunos internos disciplina, e que,
adicionalmente, obtiveram uma classificao superior ou igual a 9,5 valores no respetivo exame
nacional.
Uma descrio pormenorizada da metodologia de clculo do indicador, bem como uma discusso das
escolhas e limitaes envolvidas no seu desenho, podem ser encontradas na nota tcnica da plataforma
InfoEscolas, ou diretamente no link http://infoescolas.mec.pt/secundario/NI09.pdf.
Esta publicao contm dois anexos. No Anexo A so apresentadas as tabelas com os valores numricos
do indicador do alinhamento subjacentes aos grficos apresentados no corpo principal da publicao.
Alm dos valores numricos deste indicador, so apresentados tambm os valores do desvio bruto
mdio das regies, cursos e subsistemas. O indicador do desvio bruto, embora estatisticamente
menos robusto do que o indicador do alinhamento, tem uma interpretao mais direta e compreensvel
para o pblico em geral, pois os resultados deste desvio so expressos na usual escala de valores entre
0 e 20.
No Anexo B da publicao, chama-se a ateno para alguns cuidados a ter quando se pretendem fazer
comparaes estatsticas sobre os alinhamentos ou desalinhamentos das classificaes internas, sejam
elas comparaes entre escolas, sejam comparaes entre subsistemas, cursos ou regies. Em
particular, neste anexo descrevem-se algumas fragilidades do indicador diferena mdia entre a
classificao interna e a classificao externa quando utilizado para a medio de desalinhamentos
entre diferentes agregados de alunos ou escolas. Muito embora seja um indicador fcil de calcular e
tradicionalmente utilizado em discusses sobre inflao/deflao de notas, a mdia de CIF CE
tambm um indicador sujeito a enviesamentos que, sempre que possvel, devem ser evitados.
3
COMPARAO DAS CLASSIFICAES INTERNAS NO ENSINO SECUNDRIO
Grfico 1.1 - Indicador do alinhamento das classificaes internas por curso (agregando todas as
disciplinas de exame) 2011 a 2016
Indicador
Todas as disciplinas de exame
Desalinhamento
(z-score)
30
20
10
0
2011 2012 2013 2014 2015 2016
-10
-20
-30
-40
Artes Visuais Lnguas e Humanidades
Cincias Socioeconmicas Cincias e Tecnologias
Dados tratados pela DGEEC a partir da fonte: Base de Dados ENES do Jri Nacional de exames (2011 a 2016)
O indicador do alinhamento das classificaes internas entre os cursos procura responder seguinte
questo: comparando alunos que obtiveram resultados semelhantes nos exames nacionais, mas que
esto matriculados em cursos diferentes, observam-se classificaes internas parecidas? Ou ser que,
apesar da igualdade de resultados nos exames, aos alunos do curso X so atribudas, em mdia,
classificaes internas mais elevadas do que aos alunos que frequentam o curso Y?
A anlise estatstica ilustrada no Grfico 1.1 sugere que existe um desalinhamento persistente entre os
diversos cursos. Aos alunos de Lnguas e Humanidades so, em mdia, atribudas classificaes internas
mais baixas do que aos seus colegas de Cincias e Tecnologias que obtm resultados iguais nos exames
nacionais. Este desalinhamento acentuou-se entre 2011 e 2014.
Os valores do desvio bruto mdio apresentados na Tabela A.1.1 mostram que, comparando alunos com
resultados semelhantes nos exames nacionais, as classificaes internas atribudas no curso de Cincias
e Tecnologias foram mais altas cerca de 0,27 valores, em 2016, do que as classificaes internas
atribudas no curso de Lnguas e Humanidades.
4
COMPARAO DAS CLASSIFICAES INTERNAS NO ENSINO SECUNDRIO
Grfico 1.2 - Indicador do alinhamento das classificaes internas por curso (agregando todas as
disciplinas de exame, apenas escolas pblicas) 2011 a 2016
Indicador
Todas as disciplinas de exame (ensino pblico)
desalinhamento
(z-score)
30
20
10
0
2011 2012 2013 2014 2015 2016
-10
-20
-30
-40
Dados tratados pela DGEEC a partir da fonte: Base de Dados ENES do Jri Nacional de exames (2011 a 2016)
Em termos de desvio bruto mdio, os valores apresentados na tabela A.1.2 mostram que, em 2016, no
subsistema pblico, os alunos de Cincias e Tecnologias receberam classificaes internas cerca de 0,23
valores mais altas do que os seus colegas de Lnguas e Humanidades que, posteriormente, obtiveram os
mesmos resultados nos exames.
5
COMPARAO DAS CLASSIFICAES INTERNAS NO ENSINO SECUNDRIO
Grfico 2.1 - Indicador do alinhamento das classificaes internas por subsistema (agregando todas as
disciplinas de exame) 2007 a 2016
-20
-30
Privado independente
Privado dependente do Estado
Pblico
Dados tratados pela DGEEC a partir da fonte: Base de Dados ENES do Jri Nacional de exames (2007 a 2016)
O ensino secundrio em Portugal est atualmente subdividido em trs grandes subsistemas, consoante
a natureza (pblica, privada dependente do Estado ou privada independente) do estabelecimento de
ensino.
O indicador do alinhamento das classificaes internas por subsistema procura responder seguinte
questo: os alunos de subsistemas diferentes, mas com resultados semelhantes nos exames nacionais,
obtm classificaes internas tambm parecidas? Ou ser que, apesar da igualdade de resultados nos
exames, aos alunos do subsistema X so atribudas, em mdia, classificaes internas mais elevadas do
que aos alunos que frequentam o subsistema Y?
A anlise estatstica ilustrada no Grfico 2.1 sugere que existe um desalinhamento persistente e
especialmente marcado entre os subsistemas pblico e privado independente. Aos alunos de
estabelecimentos pblicos so, em mdia, atribudas classificaes internas mais baixas do que aos seus
colegas do subsistema privado que, posteriormente, obtm resultados iguais nos exames nacionais. Este
desalinhamento acentuou-se entre 2011 e 2014, tendo-se posteriormente observado uma ligeira
correo nos anos de 2015 e 2016.
Os valores do desvio bruto mdio apresentados na Tabela A.2.1 mostram que, comparando alunos com
resultados semelhantes nos exames nacionais, as classificaes internas atribudas nos
estabelecimentos privados independentes foram mais altas cerca de 0,67 valores, em 2016, do que as
classificaes internas atribudas nos estabelecimentos pblicos.
Esta diferena global entre os subsistemas no deve, porm, ser tomada como uma realidade uniforme
e aplicvel a todos os estabelecimentos de ensino de cada subsistema. Como se ver no grfico
seguinte, existe uma grande heterogeneidade dentro do subsistema privado e tambm, em menor grau,
dentro do subsistema pblico.
6
COMPARAO DAS CLASSIFICAES INTERNAS NO ENSINO SECUNDRIO
Grfico 2.2 - Indicador do alinhamento das classificaes internas dentro dos subsistemas (todas as
disciplinas de exame, desagregando os 15 estabelecimentos mais desalinhados em cada subsistema)
2007 a 2016
-20
-30
Dados tratados pela DGEEC a partir da fonte: Base de Dados ENES do Jri Nacional de exames (2007 a 2016)
Em Portugal, os grandes subsistemas de ensino pblico e privado esto longe de serem realidades
homogneas. Dentro de cada subsistema existem grandes variaes em termos das caractersticas dos
alunos, professores e escolas. Como no podia deixar de ser, estas diferenas refletem-se tambm nas
prticas de avaliao interna, pelo que, mesmo comparando alunos com resultados semelhantes nos
exames nacionais, expectvel que existam desalinhamentos das classificaes internas entre as muitas
escolas que formam cada subsistema.
A questo relevante no , pois, constatar a existncia de desalinhamentos dentro dos subsistemas, mas
sim avaliar a magnitude e evoluo temporal destes desalinhamentos. Para procurar responder a esta
questo, nesta anlise os estabelecimentos de ensino pblicos foram divididos em dois subgrupos: 1) o
subgrupo dos 15 estabelecimentos com classificao internas mais desalinhadas para cima, em mdia,
nos ltimos seis anos; 2) o subgrupo dos restantes estabelecimentos pblicos, que representam a
grande maioria do subsistema pblico. Fez-se exatamente a mesma subdiviso, em dois subgrupos e
segundo os mesmos critrios, dos estabelecimentos do subsistema privado.
7
COMPARAO DAS CLASSIFICAES INTERNAS NO ENSINO SECUNDRIO
Fazendo o mesmo exerccio dentro do subsistema pblico, constata-se que as classificaes internas
atribudas pelos 15 estabelecimentos pblicos mais desalinhados foram cerca de 0,45 valores mais
elevadas, em 2016, do que as classificaes internas atribudas pelos restantes estabelecimentos
pblicos.
A magnitude dos desalinhamentos ilustrados no Grfico 2.2 indicia que os critrios de avaliao interna
utilizados nos subgrupos de escolas mais desalinhadas so significativamente diferentes dos critrios
utilizados nas restantes escolas do pas.
8
COMPARAO DAS CLASSIFICAES INTERNAS NO ENSINO SECUNDRIO
Grfico 3.1 - Indicador do alinhamento das classificaes internas por concelho (agregando todas as
disciplinas de exame) 2007 a 2016
Indicador
Desalinhamento Todas as disciplinas de exame
(z-score)
50
40
30
20
10
0
2007 2008 2009 2010 2011 2012 2013 2014 2015 2016
-10
-20
-30
-40
Dados tratados pela DGEEC a partir da fonte: Base de Dados ENES do Jri Nacional de exames (2007 a 2016)
Alm das assimetrias entre cursos e entre subsistemas, observam-se tambm assimetrias significativas
entre as diferentes regies do pas no que toca s prticas de avaliao interna. Estes desalinhamentos
regionais podem ser estudados por distrito ou por concelho.
Constata-se que os estabelecimentos do concelho do Porto atribuem aos seus alunos classificaes
internas mais altas, em mdia, do que os estabelecimentos de Lisboa atribuem a alunos que,
posteriormente, obtm resultados iguais nos exames nacionais. Este desalinhamento substancial e
acentuou-se de forma constante entre 2010 e 2014. No ano de 2015 observou-se uma correo
significativa, mas ainda insuficiente, dos desalinhamentos regionais, os quais voltaram a aumentar
ligeiramente em 2016.
Em termos de desvio bruto mdio, os valores apresentados na tabela A.3.1 mostram que, no concelho
do Porto, os alunos receberam classificaes internas cerca de 1,44 valores mais altas, em 2014, do que
os seus colegas de Lisboa que obtiveram os mesmos resultados nos exames nacionais. O mesmo desvio
situou-se em 1,31 valores no ano de 2016.
9
COMPARAO DAS CLASSIFICAES INTERNAS NO ENSINO SECUNDRIO
Esta forte assimetria regional, e sobretudo o seu agravamento muito acentuado at 2014, sugere a
hiptese de se ter estabelecido em algumas regies do pas uma dinmica competitiva local que
pressiona os estabelecimentos a atriburem classificaes internas cada vez mais elevadas aos seus
alunos, de forma a acompanharem as prticas dos estabelecimentos vizinhos e, assim, evitarem
potenciais perdas de alunos para os referidos estabelecimentos vizinhos.
Mais uma vez, estas diferenas globais entre regies no devem ser tomadas como uma realidade
uniforme que se aplica a todos os estabelecimentos de ensino de cada regio. Os desalinhamentos entre
estabelecimentos da mesma regio podem ser to ou mais fortes do que os desalinhamentos entre
regies. Esta heterogeneidade de uma mesma regio pode ser reconhecida analisando o grfico
seguinte.
10
COMPARAO DAS CLASSIFICAES INTERNAS NO ENSINO SECUNDRIO
Grfico 3.2 - Indicador do alinhamento das classificaes internas por concelho (agregando todas as
disciplinas de exame, apenas escolas pblicas) 2007 a 2016
Indicador
Desalinhamento Todas as disciplinas de exame (ensino pblico)
(z-score)
50
40
30
20
10
0
2007 2008 2009 2010 2011 2012 2013 2014 2015 2016
-10
-20
-30
Dados tratados pela DGEEC a partir da fonte: Base de Dados ENES do Jri Nacional de exames (2007 a 2016)
11
COMPARAO DAS CLASSIFICAES INTERNAS NO ENSINO SECUNDRIO
4 - DESALINHAMENTOS EXTREMOS
Ao estudar o fenmeno dos desalinhamentos entre as classificaes internas atribudas pelas vrias
escolas do pas, um facto importante a ter em mente que o nmero de escolas com desalinhamentos
elevados e temporalmente persistentes , apesar de tudo, relativamente reduzido.
A tabela abaixo mostra quantas escolas tiveram desvios brutos positivos e elevados em dois anos
consecutivos. Por exemplo, consultando a coluna X=1 valor da tabela, constata-se que no pas houve 33
escolas que, tanto em 2015 como em 2016, apresentaram desvios brutos superiores a 1 valor em
relao mdia nacional. Isto representa cerca de 5% do nmero total de escolas secundrias do pas.
Tabela 4.1 - Nmero de escolas com desvio bruto positivo, superior a X valores, em dois anos
consecutivos 2008-2007 a 2016-2015
Da leitura da tabela tambm manifesto que o nmero de escolas com desvios elevados e persistentes
tem vindo a aumentar nos anos mais recentes, embora no ltimo ano se tenha assistido a uma ligeira
correo. Enquanto no binio 2008-2007 existiram apenas quatro escolas no pas com um desvio
superior a 1,5 valores em ambos os anos, no binio mais recente de 2016-2015 existiram j 13 escolas
com desvios superiores a 1,5 valores nestes dois anos consecutivos.
Os casos de escolas com desvios persistentemente elevados das suas classificaes internas, casos que
refletem critrios de avaliao interna significativamente diferentes dos critrios utilizados nas restantes
escolas do pas, so aqueles que podero levantar mais preocupaes relativamente equidade e
igualdade de oportunidades de todos os alunos do pas no concurso nacional de acesso ao ensino
superior.
12
COMPARAO DAS CLASSIFICAES INTERNAS NO ENSINO SECUNDRIO
Tabela 4.2 - Nmero de escolas com desvio bruto negativo, inferior a X valores, em dois anos
consecutivos 2008-2007 a 2016-2015
13
COMPARAO DAS CLASSIFICAES INTERNAS NO ENSINO SECUNDRIO
ANEXO A
Tabela A.1.1 - Indicador do alinhamento das classificaes internas por curso (agregando todas as
disciplinas de exame) 2011 a 2016
Indicador do
Desvio Bruto Mdio alinhamento
Curso Ano de Exames Nmero de Provas
(valores) (unidades de desvio
padro amostral)
Dados tratados pela DGEEC a partir da fonte: Base de Dados ENES do Jri Nacional de exames (2011 a 2016)
14
COMPARAO DAS CLASSIFICAES INTERNAS NO ENSINO SECUNDRIO
Tabela A.1.2 - Indicador do alinhamento das classificaes internas por curso (agregando todas as
disciplinas de exame, apenas escolas pblicas) 2011 a 2016
Indicador do
Desvio Bruto Mdio alinhamento
Curso Ano de Exames Nmero de Provas
(valores) (unidades de desvio
padro amostral)
2011 7476 -0,05 -1,97
2012 8085 -0,10 -4,64
2013 8513 -0,15 -6,75
Artes Visuais
2014 8507 -0,17 -8,22
2015 8103 -0,18 -8,03
2016 7934 -0,13 -5,82
Dados tratados pela DGEEC a partir da fonte: Base de Dados ENES do Jri Nacional de exames (2011 a 2016)
15
COMPARAO DAS CLASSIFICAES INTERNAS NO ENSINO SECUNDRIO
Tabela A.2.1 - Indicador do alinhamento das classificaes internas por subsistema (agregando todas
as disciplinas de exame) 2007 a 2016
Indicador do
Desvio Bruto Mdio Desalinhamento
Subsistema Ano de Exames Nmero de Provas
(valores) (unidades de desvio
padro amostral)
2007 6327 0,57 23,63
Dados tratados pela DGEEC a partir da fonte: Base de Dados ENES do Jri Nacional de exames (2007 a 2016)
16
COMPARAO DAS CLASSIFICAES INTERNAS NO ENSINO SECUNDRIO
Tabela A.2.2 - Indicador do alinhamento das classificaes internas dentro dos subsistemas (todas as
disciplinas de exame, desagregando os 15 estabelecimentos mais desalinhados em cada subsistema)
2007 a 2016
Indicador do
Desvio Bruto Mdio alinhamento
Subsistema Ano de Exames Nmero de Provas
(valores) (unidades de desvio
padro amostral)
2007 74630 -0,08 -10,79
2008 92588 -0,08 -13,58
2009 105796 -0,08 -14,85
2010 98473 -0,09 -15,22
2011 92829 -0,08 -14,12
Restantes Pblicos
2012 93211 -0,11 -17,61
2013 82953 -0,13 -20,31
2014 101830 -0,13 -22,49
2015 109427 -0,11 -19,62
2016 114891 -0,08 -15,69
2007 9536 0,01 0,53
2008 11945 0,07 4,47
2009 13347 0,06 3,76
2010 12289 0,04 1,94
2011 12304 -0,04 -3,02
Restantes Privados
2012 12570 -0,05 -3,53
2013 11238 -0,04 -2,68
2014 13546 -0,09 -6,10
2015 14961 0,00 0,43
2016 16230 -0,04 -3,20
2007 4672 0,43 14,96
2008 5639 0,47 19,06
2009 6409 0,54 23,40
2010 6030 0,62 25,88
2011 5895 0,61 25,69
15 Pblicos +
2012 6586 0,51 22,33
2013 6005 0,62 25,10
2014 7292 0,65 29,91
2015 7697 0,56 26,64
2016 7739 0,37 17,69
2007 2430 1,48 38,03
2008 3176 1,28 39,29
2009 3700 1,23 41,43
2010 3652 1,26 42,20
2011 3926 1,18 42,52
15 Privados +
2012 4838 1,48 56,93
2013 4833 1,58 60,25
2014 5411 1,82 72,47
2015 5341 1,41 56,14
2016 5045 1,48 58,69
Dados tratados pela DGEEC a partir da fonte: Base de Dados ENES do Jri Nacional de exames (2007 a 2016)
17
COMPARAO DAS CLASSIFICAES INTERNAS NO ENSINO SECUNDRIO
Tabela A.3.1 - Indicador do alinhamento das classificaes internas por concelho (agregando todas as
disciplinas de exame) 2007 a 2016
Indicador do alinhamento
Desvio Bruto Mdio
Concelho Ano de Exames Nmero de Provas (unidades de desvio padro
(valores)
amostral)
Dados tratados pela DGEEC a partir da fonte: Base de Dados ENES do Jri Nacional de exames (2007 a 2016)
18
COMPARAO DAS CLASSIFICAES INTERNAS NO ENSINO SECUNDRIO
Tabela A.3.2 - Indicador do alinhamento das classificaes internas por concelho (agregando todas as
disciplinas de exame, apenas escolas pblicas) 2007 a 2016
Indicador do
Desvio Bruto Mdio alinhamento (unidades
Concelho Ano de Exames Nmero de Provas
(valores) de desvio padro
amostral)
Dados tratados pela DGEEC a partir da fonte: Base de Dados ENES do Jri Nacional de exames (2007 a 2016)
19
COMPARAO DAS CLASSIFICAES INTERNAS NO ENSINO SECUNDRIO
Quando se fala de desvios nas escolas entre a avaliao interna e a avaliao externa, ou quando por
vezes se discute o fenmeno da inflao de notas, comum compararem-se escolas e subsistemas de
ensino recorrendo ao indicador diferena mdia entre a classificao interna e a classificao externa
dos alunos. Este indicador ser aqui designado por mdia de CIF - CE, onde CIF representa a
classificao interna final do aluno e CE representa a sua classificao de exame.
A necessidade de corrigir estas fragilidades do indicador mdia de CIF - CE foi a principal motivao
para o desenvolvimento, por parte da DGEEC, do indicador do alinhamento das classificaes internas
e do indicador do desvio bruto das classificaes internas, ambos recorrentemente utilizados no corpo
principal da presente publicao. No sendo certamente indicadores perfeitos, estes dois ltimos
indicadores so, apesar de tudo, muito mais imunes aos trs enviesamentos enumerados acima, pelo
que acreditamos serem instrumentos estatsticos bastante mais robustos do que a tradicional mdia de
CIF - CE para informar discusses sobre o alinhamento entre escolas dos critrios de avaliao interna.
Para ilustrar as trs fragilidades referidas acima, comece-se por observar o seguinte grfico:
Grfico B.1 Mdia Nacional CIF - CE (Matemtica 635 e Portugus 639) 2007 a 2016
0
2007 2008 2009 2010 2011 2012 2013 2014 2015 2016
-1
-2
Matemtica A Portugus
Dados tratados pela DGEEC a partir da fonte: Base de Dados ENES do Jri Nacional de exames (2007 a 2016)
20
COMPARAO DAS CLASSIFICAES INTERNAS NO ENSINO SECUNDRIO
Ponto 1
Aps inspeo do grfico, manifesto que as mdias nacionais de CIF - CE apresentam variaes
acentuadas ao longo dos anos, variaes que podem ultrapassar os dois valores na usual escala de 0 a
20. Estas oscilaes temporais resultam sobretudo de variaes nas mdias nacionais das classificaes
de exame CE, e no de variaes nas mdias nacionais das classificaes internas CIF.
Mas se as mdias nacionais de CIF - CE podem subir abruptamente entre dois anos consecutivos,
querer isto dizer que, no ltimo ano, a generalidade das escolas passou a ser muito menos exigente na
avaliao interna dos seus alunos? E quando a mdia nacional de CIF - CE volta a descer, no ano
seguinte, significar isto que o processo se reverteu e a exigncia das escolas subiu? manifesto que
no, pelo menos para variaes com a elevada magnitude observada. As oscilaes temporais das
mdias de CIF CE so fortemente afetadas por oscilaes temporais na dificuldade mdia e na
estrutura dos exames nacionais, pelo que o indicador mdia de CIF - CE no ser o mais apropriado
para analisar a evoluo no tempo dos critrios de avaliao interna de uma escola.
Ponto 2
Outro facto importante a variabilidade entre disciplinas das mdias de CIF - CE. Por exemplo, o grfico
B.1 mostra que no ano de 2008 a mdia nacional de CIF - CE na disciplina de Portugus foi de quase 3
valores, ao passo que na disciplina de Matemtica A foi de apenas -0,9 valores. Mais uma vez, estas
discrepncias prendem-se sobretudo com as caractersticas dos exames nacionais naquele ano em
particular. Contudo, uma consequncia indesejvel foi que em 2008 as escolas com mais alunos de
Lnguas e Humanidades ou de Artes Visuais - alunos que realizam exames de Portugus mas no
realizam exames de Matemtica A - tiveram mdias de CIF - CE artificialmente altas quando comparadas
com as escolas congneres com mais alunos de Cincias e Tecnologias. No ano de 2014 aconteceu o
inverso, uma vez que a mdia nacional de CIF - CE foi mais alta na disciplina de Matemtica A do que na
disciplina de Portugus, pelo que as escolas com uma percentagem elevada de alunos de Cincias e
Tecnologias tiveram mdias de CIF - CE artificialmente altas.
A concluso que a variabilidade entre disciplinas das mdias CIF CE introduz distores quando se
comparam escolas com propores muito diferentes de alunos nos vrios cursos do ensino Cientfico-
Humanstico. Esta outra fragilidade do indicador que no recomenda a sua utilizao direta em
comparaes entre escolas.
21
COMPARAO DAS CLASSIFICAES INTERNAS NO ENSINO SECUNDRIO
Ponto 3
Um terceiro ponto muito importante mas, porventura, geralmente menos reconhecido do que os dois
pontos anteriores, a forte correlao existente entre a diferena CIF - CE e o nvel de desempenho
escolar dos alunos. Atente-se ao seguinte grfico construdo sobre dados de 2013:
Grfico B.2 Mdia Nacional CIF-CE, por CE (Matemtica 635 e Portugus 639) 2013
Mdia CIF - CE
Mdia Nacional CIF - CE, por CE (2013)
(valores)
12
10
0
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 CE
-2
Matemtica A Portugus
Dados tratados pela DGEEC a partir da fonte: Base de Dados ENES do Jri Nacional de exames (2013)
Para cada classificao X no exame nacional, indicada no eixo horizontal, este grfico mostra a mdia
simples de CIF CE para o conjunto dos alunos do pas que obtiveram X valores no exame. Por exemplo,
para quem obteve 11 valores no exame, a diferena entre classificao interna e externa foi em mdia
de 3 valores tanto a Matemtica como a Portugus. Para quem obteve 16 valores no exame, a diferena
mdia entre CIF e CE foi de 1,3 valores a Matemtica e de 1 valor a Portugus.
Observando o grfico, manifesto que alunos com melhores desempenhos nos exames tm, em geral,
mdias de CIF - CE mais baixas. Quando o desempenho no exame excelente, a mdia CIF - CE zero ou
mesmo negativa, alis como no podia deixar de ser, pois se CE = 20 a classificao interna no pode ser
superior classificao de exame. Na regio oposta do espectro, quando a classificao de exame CE
negativa e muito baixa, a diferena CIF - CE necessariamente positiva e grande, pois a classificao
interna CIF sempre superior a 10 valores para os alunos internos que realizam exames nacionais.
22
COMPARAO DAS CLASSIFICAES INTERNAS NO ENSINO SECUNDRIO
Resulta destas observaes que, quando uma escola se comporta como a mdia nacional, a sua
diferena mdia de CIF - CE est muito dependente do nvel de desempenho escolar dos seus alunos.
expectvel e natural que escolas com bons alunos tenham mdias de CIF - CE mais baixas do que escolas
com alunos menos bons, se tudo o resto for igual. Por outras palavras, as mdias CIF - CE esto to
fortemente correlacionadas com o desempenho escolar mdio dos alunos que, em certos casos, este
efeito pode sobrepor-se medio de qualquer caracterstica relacionada com a maior ou menor
exigncia da escola na atribuio das classificaes internas.
Para ilustrar esta ltima afirmao de forma mais clara, daremos um exemplo fictcio de duas escolas
1
que tm diferentes critrios de atribuio de classificaes internas aos seus alunos :
CIF vs CE
CIF mdia
(valores)
20
19
18
17
16
15
14
13
12
11
10
9
CE
8
(valores)
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
Escola A Escola B
Para cada classificao de exame X indicada no eixo horizontal, o grfico mostra a mdia de CIF atribuda
por cada escola ao conjunto dos alunos que obtiveram X valores no exame. Por definio, a Escola B
atribui uma classificao interna sempre 1 valor mais alta do que a Escola A a alunos que,
posteriormente, obtm os mesmos resultados no exame nacional. Por exemplo, se na Escola A os alunos
com 12 valores no exame obtiveram, em mdia, 14 valores de classificao interna, ento os mesmos
alunos na Escola B obteriam 15 valores de classificao interna.
1
Um exemplo semelhante a este foi tambm apresentado, informalmente, pelos investigadores Gil Nata e Tiago
Neves.
23
COMPARAO DAS CLASSIFICAES INTERNAS NO ENSINO SECUNDRIO
Neste exemplo fictcio bvio qual das duas escolas mais generosa na atribuio de classificaes
internas: , sem dvida, a Escola B.
O que mostraremos agora que, para nveis de desempenho escolar suficientemente diferentes entre
os alunos das duas escolas, o indicador mdia de CIF - CE pode dar um resultado oposto ao esperado.
Mais precisamente, se os alunos da Escola A tiverem um nvel escolar muito inferior os alunos da Escola
B, ento a mdia calculada de CIF - CE pode ser mais baixa na Escola B, apesar de esta ltima escola
atribuir classificaes internas sempre 1 valor mais altas do que as atribudas pela Escola A a alunos com
desempenhos iguais nos exames.
Suponha-se ento que os alunos das duas escolas esto distribudos da seguinte forma:
Classificao
0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
Exame
N Alunos
0 0 0 0 0 6 10 10 10 10 10 10 10 5 5 5 5 3 1 0 0
Escola A
N Alunos
0 0 0 0 0 2 3 5 5 5 5 10 10 10 10 10 10 10 5 0 0
Escola B
CIF Mdia
- - - - - 11,5 11,8 12,2 12,6 13,0 13,5 14,0 14,6 15,2 15,9 16,4 17,0 17,5 18,0 - -
Escola A
CIF Mdia
- - - - - 12,5 12,8 13,2 13,6 14,0 14,5 15,0 15,6 16,2 16,9 17,4 18,0 18,5 19,0 - -
Escola B
dados que induzem uma interpretao errnea sobre qual das duas escolas mais/menos exigente na
atribuio de classificaes internas. Isto ilustra a terceira fragilidade do indicador mdia de CIF - CE.
24