Avaliação referenciada a norma e a critério

Vamos dar continuidade, neste post, à discussão iniciada no post anterior a respeito da avaliação educacional, e falar de dois modelos de mensuração que têm profundas implicações para a qualidade e racionalidade do processo de avaliação, a saber: medida referenciada a norma e medida referenciada a critério. São modelos tão importantes que determinam duas visões diferenciadas do processo de ensino: o ensino referenciado a norma (NRI – Norm-Referenced Instruction) e o ensino referenciado a critério (CRI – Criterion-Referenced Instruction).

Considere o seguinte cenário:

Hora do jantar. O pai, mãe e dois filhos estão sentados à mesa. O filho mais velho, com 10 ou 11 anos, geralmente muito falante, está quieto e de cabeça baixa. O pai percebe e pergunta:

— Júnior, o que você tem?

— Tirei nota baixa em matemática…

(Pai e mãe se olham consternados. O filho sempre tira boas notas nas provas) — Que nota você tirou?

— Seis…

(E, então, subitamente levantando a cabeça e abrindo um largo sorriso) — Mas a minha nota foi a mais alta. Fui o primeiro da turma!

Você deve conhecer muitas histórias como essa. Provavelmente deve ter vivido situações parecidas. Se você fosse o pai ou a mãe dessa criança, o que diria para ela nesse momento?

Considere agora este outro cenário:

O professor de matemática está reunido com a orientadora educacional do colégio. Ela está dizendo: “as suas provas são muito difíceis. A maioria dos alunos erra. Você precisa preparar algumas questões fáceis, que a maioria acerte, algumas questões de média dificuldade, que mais ou menos a metade dos alunos acerte, e só uma ou duas questões difíceis.” Ao que o professor responde: “eu sei disso. Preciso ajustar a Curva de Gauss da minha prova.”

O designer instrucional que trabalha em ambiente acadêmico deve conhecer bem essa situação, porque se repete muito, talvez com falas um pouco diferentes, uma vez que nem todo professor conhece o conceito de Curva de Gauss. Se estivesse participando dessa cena, o que você diria para esse professor? Você concorda com a solução proposta por ele?

Bem, ambos os cenários descritos refletem uma ideologia e um modo de fazer predominantes na educação acadêmica brasileira: o ensino e a avaliação referenciados a norma.

Avaliação referenciada a norma

Curva normalO conceito de “norma” vem de “distribuição normal” ou “curva normal” ou “Curva de Gauss” (referência ao matemático alemão Carl Friedrich Gauss, que viveu nos séculos 18 e 19). Esse conceito foi desenvolvido no início do século 19 para indicar a forma de distribuição predominante de várias características relativas ao ser humano, como peso, altura, aptidão, inteligência etc., em grandes grupos de pessoas escolhidas de forma aleatória. A medida referenciada a norma fundamenta-se na crença de que a curva de distribuição normal poderia ser aplicada também à distribuição dos resultados de aprendizagem (notas ou conceitos) nas avaliações realizadas em cursos acadêmicos tradicionais.

Por esse modelo, não importaria o curso, a disciplina, o conhecimento dos alunos ou a competência do professor. Em qualquer situação os resultados das provas vão seguir uma distribuição “normal”, ou seja, alguns poucos alunos vão errar muito, alguns poucos alunos vão acertar muito e a maioria vai alcançar um resultado médio. Assim, nesse modelo, a variabilidade de resultados é esperada em todos os testes de avaliação.

A principal preocupação dessa abordagem não é mensurar o quanto cada aluno aprendeu efetivamente, mas a sua posição em relação ao grupo. (Nota: lembra da felicidade do menino Júnior em nosso primeiro cenário?). Em decorrência, a sua única aplicabilidade se dá em relação a testes de seleção, classificação e certificação, como os concursos públicos e os exames vestibulares. Jamais deveria ser usada como modelo único ou principal para a avaliação de resultados da aprendizagem. Por quê?

Bom, em primeiro lugar, porque a hipótese da “distribuição normal” dos resultados da aprendizagem nunca foi validada cientificamente. Permanece até hoje como mera suposição.

Mas prefiro responder com mais perguntas, para as quais acho que você já deve saber as respostas: (1) de que adianta ser o primeiro da classe tendo aprendido apenas 60% do conteúdo ensinado? (2) se a maioria dos alunos demonstrou, na prova, ter aprendido pouco ou quase nada do que foi ensinado, a culpa é do ensino ou das questões da prova? (3) a simples introdução de questões “fáceis”, para que a maioria dos alunos tenha mais chances de acertar, vai melhorar a qualidade do processo ensino – aprendizagem? (Nota: lembra da conversa entre professor e orientador em nosso segundo cenário?).

Agora, faço minhas duas perguntas formuladas pelo professor Claudio Zaki Dib, em artigo no Boletim do Instituto de Física da USP: (1) por que razão devemos aceitar a distribuição normal, representada pela curva gaussiana, como algo inevitável, algo inerente ao tradicional processo educacional? (2) e, mais ainda, algo que deva ser respeitado e – por que não dizer? – reverenciado pelos docentes, como uma meta a ser alcançada?

Entra em cena a medida referenciada a critério.

Avaliação referenciada a critério

A expressão “medida referenciada a critério” foi proposta pelo psicólogo americano Robert Glaser, em 1963, em um artigo publicado na revista “American Psychologist”. Note que essa abordagem é muito recente, tendo sido proposta muito tempo depois do surgimento do conceito de “distribuição normal”.

Segundo Bastos e Swyter (1974), a avaliação referenciada a critério expressa o nível de rendimento ou aproveitamento de um aluno em relação a um determinado domínio de conteúdo, ou seja, a nota de cada aluno é independente da nota de seus colegas. Quando um professor estabelece, como critério de aprovação, que o aluno acerte pelo menos 90% das questões de um teste (nota 9), essa avaliação está referenciada a um critério pré-estabelecido, relacionado ao domínio de conhecimentos abrangido pelo teste, e não à posição relativa do aluno no grupo. Neste caso, o significado da nota obtida pelo aluno vai derivar do grau de discrepância entre essa nota e o critério estabelecido, e independe das notas obtidas pelos demais alunos da turma. O aluno que obtiver grau 9 ou superior será considerado “aprovado”, “bem-sucedido” etc., enquanto o que obtiver grau abaixo de 9 será considerado “não aprovado”, “insuficiente” etc.

Não por acaso essa abordagem se originou do movimento pela proposição de objetivos comportamentais e mensuráveis para as atividades formais de ensino, uma vez que esses critérios devem ser estabelecidos nos objetivos, ainda na fase de planejamento.

Nesse modelo não é esperada uma grande variabilidade de resultados nos testes aplicados. Se o ensino foi bem planejado, desenvolvido e ministrado, então o esperado é uma alta concentração de resultados na parte superior da curva, ou seja, o intervalo de notas de 8 a 10. Isto significa que, se o ensino for bom, então todas as questões de um teste deverão ser “fáceis”, desde já inviabilizando o conceito de “dificuldade prévia do item” (Dica: Veja meu post “Grau de dificuldade das avaliações de aprendizagem).

Por que notas de 8 a 10? Por que não é razoável esperar desempenho perfeito dos alunos (nota 10) em todas as provas. Por outro lado, a nota 7 é contraproducente (afinal, para que ensinar 100% de um dado conteúdo se basta ao aluno aprender apenas 70% dele?). Assim, o mínimo a ser proposto como critério de aprovação deveria ser 80%, sendo que o ideal seria uma proposição de 90% de acertos.

Parece ser uma abordagem simples e fácil de implementar, não é mesmo? Então por que ainda não é utilizada pela grande maioria de instituições de ensino do nosso país?

Porque não basta apenas mudar o modelo de avaliação educacional. Não adianta tentar mudar para a avaliação referenciada a critério se a cultura subjacente ao processo de ensino é toda ela orientada para o modelo de distribuição normal. Enquanto professores e demais educadores acreditarem que a variação no grau de aprendizagem dos alunos é um fato “normal” e esperado, as tentativas de implantar modelos de ensino e avaliação referenciados a critério não vão prosperar.

E quais seriam as principais características de um modelo de ensino referenciado a critério e como este se diferencia do ensino referenciado a norma?

Bem, isto já é assunto para outro post.

Referências

BASTOS, L. R. & SWYTER, L. Avaliação com Referência a Norma e a Critério. Revista Brasileira de Estudos Pedagógicos. Rio de Janeiro (135); 305-310, 1974.

GLASER, R. Instructional Technology and the Measurement of Learning Outcomes. American Psychologist 18: 519-521, 1963.

GLASER, R. & NITKO, J. Measurement in learning and instruction. In: THORNDIKE, R.L. Educational Measurement, Washington, D.C., American Council of Education, 1971.

Deixe um comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *