Grau de dificuldade das avaliações de aprendizagem

Alunos bem avaliados

Vamos, neste post, tratar de um tema da mais alta importância, cuja teoria aparentemente se encontra bem equacionada, mas as aplicações práticas ainda estão abertas à discussão.

Há algum tempo atrás tive acesso a um documento preparado por uma grande instituição de ensino superior para ser distribuído a todos os seus professores, com instruções relativas à elaboração de testes objetivos (basicamente questões de múltipla escolha), com vistas à construção de um banco de questões. O texto contém os conteúdos esperados para esse tipo de material: definições e conceitos (competências e habilidades, taxonomia de Bloom), formulação de questões objetivas, grau de dificuldade das questões (fáceis, médias e difíceis), tipos de questões, etapas e recomendações para a elaboração de questões objetivas.

Oops… como é que é? Grau de dificuldade das questões estabelecido a priori?

Fui verificar esse capítulo do texto e era isso mesmo. O grau de dificuldade devia ser estabelecido, no momento da construção da questão, de acordo com os níveis da Taxonomia de Bloom, assim:

  • Fácil: níveis I e II (conhecer e compreender)
  • Médio: níveis III e IV (aplicar e analisar)
  • Difícil: níveis V e VI (sintetizar e avaliar)

(Nota: essa instituição parece ainda usar a primeira versão da taxonomia, de 1956. Já há uma nova versão, chamada de “Revisão 2001”. Veja o meu post a esse respeito.)

O paper solicita que, para o banco de questões, sejam montadas 20% de questões fáceis, 40% de questões médias e 40% de questões difíceis.

Bom, acredito que estejam formalizadas nesse documento algumas decisões técnicas que merecem atenção e discussão por parte de todos os designers instrucionais. Vou começar com duas delas: (1) faz sentido estabelecer, a priori, o grau de dificuldade de uma questão? (2) faz sentido associar o grau de dificuldade de uma questão aos níveis da Taxonomia de Bloom?

De minha parte, a resposta é um sonoro NÃO para ambas as perguntas. Pense comigo:

Em relação à primeira questão: se um professor, com base em sua experiência, acredita que a questão que acabou de montar é particularmente difícil, ou seja, deverá ser acertada por uma minoria de alunos, o que ele deve fazer: (a) melhorar o seu processo de ensino para que a grande maioria dos alunos acerte a questão? Ou (b) classificar a questão como “difícil” e manter o processo de ensino no mesmo patamar de insuficiência? É claro que ele vai preferir a segunda opção. É mais fácil, mais cômodo, dá menos trabalho e, além do mais, está de acordo com as expectativas da instituição. Ele até pode ser promovido.

Em suma, se um processo de ensino for bem planejado e executado, então todas as questões da prova deverão ser fáceis, ou seja, deverão ser acertadas pela maioria dos alunos. Assim, não faz sentido falar em grau de dificuldade das questões antes da aplicação da prova. Como você já deve saber, um dado processo de ensino é considerado “bom” quando: (a) os alunos erram a maioria das questões do pré-teste (indicando que o ensino é necessário), e (b) os alunos acertam a maioria das questões do pós-teste (indicando que o ensino foi bem-sucedido).

Só faz sentido calcular o grau de dificuldade dos itens após a aplicação da prova. Aliás, é o que faz o pessoal do INEP com as provas do ENEM, ao utilizar o conceito de TRI – Teoria da Resposta ao Item.

Em relação à segunda questão: os níveis da Taxonomia de Bloom não têm nada, absolutamente nada, a ver com o grau de desempenho dos alunos em uma prova. Fiz, há alguns anos, uma pesquisa e não encontrei, na literatura, nada que justifique essa associação. Considere, por exemplo, uma questão de Nível IV – Análise, como esta que foi retirada (e simplificada) de uma disciplina do curso de medicina: “Analise as causas genéticas da Doença de Huntington.” Apenas porque o verbo de ação é “analisar”, então vamos esperar que a maioria dos alunos erre a resposta? Mas “analisar causas de doenças” não é uma competência essencial para quem faz um curso de medicina?

Enfim, se os objetivos de um processo de ensino indicam que os alunos precisam aprender a analisar, sintetizar e/ou avaliar alguma coisa (níveis mais altos da Taxonomia de Bloom), então essas competências precisam ser bem ensinadas a fim de que os alunos possam ir bem nas provas e demonstrar que o ensino foi bem-sucedido. Ou seja, mesmo nesses níveis da taxonomia, as questões deveriam ser “fáceis” para os alunos.

Quer me parecer que o problema, aqui, é o desconhecimento, pelo menos em nível prático, da existência de dois modelos de ensino (ensino referenciado a norma e ensino referenciado a critério), e seus corolários no campo da avaliação (testes referenciados a norma e testes referenciados a critério).

Mas isso já é assunto para outro post.

Então, meu caro DI que trabalha em instituições de ensino superior, a sua instituição solicita que os professores classifiquem a priori as questões de avaliação de acordo com o grau de dificuldade? Como você se sente em relação a isso?

3 Comentários

  1. Katia Rascio

    Prezado Wagner, bom dia!
    Gostei muito desse seu post. Sou coordenadora em uma escola e os coordenadores dessa instituição formaram um grupo de estudo. Nosso foco agora é Avaliação e caminhamos da mesma forma que a escola citada, isto é, utilizamos a Taxonomia de Bloom como referência para elaboração das questões e, com o mesmo grau de dificuldade.
    Ao ler o que você escreveu, fiquei muito feliz, finalmente um contraponto à opinião do grupo. Estamos muito unânimes e isso não é um bom sinal…rsrs
    Por gentileza, você poderia nos sugerir alguma bibliografia a respeito do assunto?
    Desde já, agradeço suas colaborações!
    Att
    Katia

    Responder
    1. Wagner G. A. DestroWagner G. A. Destro (Post author)

      Olá, Katia. Obrigado pelo feedback.
      Bom, eu espero que a sua escola não esteja mais utilizando a Taxonomia de Bloom para definir, a priori, o grau de dificuldade das questões de uma prova.
      Também espero estar sendo um bom contraponto às opiniões predominantes em seu grupo.
      Sugiro, a princípio, que vocês leiam também o post “Avaliação referenciada a Norma e a Critério”. Ao final do texto, há três referências de textos básicos sobre medida e avaliação. Indico fortemente o artigo da Bastos e da Swyter. Também indico enfaticamente a leitura do artigo do Claudio Dib, “O que você efetivamente mede quando a sua avaliação é referenciada pela distribuição normal?”. Outro post, complementar, que vale a leitura é o “Educação referenciada a Norma e a Critério”. Ao seu final há a referência de um livro intitulado “Ensino para a Competência”, de Nagel e Richman, cuja leitura recomendo vivamente.

      Responder
      1. Katia Rascio

        Obrigada pelo retorno! Levarei suas indicações ao grupo.

        Responder

Deixe um comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *