Avaliação baseada em minicenários

Sem dúvida, a avaliação é um dos momentos mais críticos do processo ensino – aprendizagem. Paradoxalmente, é também uma atividade que muitos professores e instrutores de treinamento apresentam dificuldades para executar, necessitando quase sempre de muita ajuda por parte dos designers instrucionais. E, para piorar esse quadro, muitos DIs também não sabem como montar bons testes de avaliação.

Portanto, a avaliação é uma área em que todos temos muito a aprender e a melhorar. Neste post, vou discutir três pontos críticos e, em seguida, dar exemplos de como as questões de avaliação podem ser melhoradas com o uso de minicenários.

O primeiro ponto crítico a ser considerado é se as questões de avaliação de uma dada disciplina, curso ou programa de treinamento foram derivadas diretamente dos objetivos didáticos propostos. Embora isso possa parecer um tanto óbvio para ser considerado “ponto crítico”, ainda há muitos professores que simplesmente ignoram os objetivos quando estão montando os itens de uma avaliação.

(Dica: Para saber mais a respeito da relação entre avaliação e objetivos de aprendizagem, recomendo a leitura do post “Objetivos de ensino: úteis, relevantes e completos”).

O segundo ponto crítico é se as questões de avaliação foram montadas com o mesmo nível de complexidade expresso nos objetivos de aprendizagem. Este ponto é uma decorrência do anterior. Como as questões são montadas sem levar em consideração os respectivos objetivos, a tendência é não haver coerência entre o grau de dificuldade solicitado nas questões e o grau de dificuldade expresso nos objetivos. Costuma acontecer o seguinte: na hora de definir os objetivos, os professores gostam de usar verbos de ação complexos (por exemplo, “analisar tais fatos e procedimentos” ou “avaliar a importância de tal assunto”). Mas, na hora de elaborar os itens da avaliação, é mais fácil construir questões que meçam apenas a capacidade de memorização ou, no máximo, de compreensão (que são os níveis mais simples da taxonomia de Bloom).

O terceiro ponto crítico é saber se as questões de avaliação estão adequadamente contextualizadas, ou seja, se cada item fornece um contexto, um espaço delimitador para a resposta do aluno. A contextualização mais comum (e mais fraca) consiste em delimitar o número máximo de linhas que o aluno pode utilizar em sua resposta. Por exemplo, suponha que, em um curso de Biologia, um dos objetivos seja: “O aluno será capaz de avaliar a importância ecológica dos fungos”. E a questão de avaliação decorrente seja: “Explique a importância ecológica dos fungos. Utilize 10 linhas, no máximo”. Fácil montar questões assim, não é? Muito fácil para o professor, que precisou de pouco tempo para elaborar o objetivo e a questão, e vai gastar pouquíssimo tempo para corrigir as provas. Mas, e os alunos? Será que estão mesmo aprendendo?

O primeiro ponto crítico já foi abordado no post indicado acima. Assim, neste post, vou me dedicar aos outros dois pontos e vou tentar mostrar como um recurso simples, chamado “minicenário”, pode ajudar a melhorar a qualidade das questões de avaliação.

Para tanto, vou utilizar alguns exemplos práticos retirados de cursos de Medicina, e vou considerar, como pressuposto, que as questões contidas nesses exemplos estão coerentes com os objetivos de aprendizagem propostos.

(Nota: Os exemplos melhorados, abaixo, estão baseados em itens do “Revalida 2012”, que é aplicado pelo INEP. Veja o link ao final do post. Eventuais erros decorrentes de mudanças no texto das questões são de minha responsabilidade).

MELHORANDO AS QUESTÕES OBJETIVAS

Questões de múltipla escolha, por exemplo, podem ser melhoradas se inserirmos, no enunciado da questão, um minicenário antes de apresentar a pergunta a ser respondida pelo aluno.

Veja como a questão abaixo pode ser melhorada:

Exemplo inicial

Assinale a alternativa correta.

Qual deve ser o procedimento a ser adotado pelo médico ao receber, no consultório, uma adolescente que solicita a prescrição de pílula anticoncepcional?

  1. Não prescrever anticoncepcional oral, pois a paciente é menor de idade.
  2. Solicitar que a paciente volte à consulta médica acompanhada de um responsável.
  3. Prescrever anticoncepcional oral, orientar o uso de preservativo e garantir a confidencialidade da consulta.
  4. Prescrever anticoncepcional oral e solicitar a presença de um responsável pela menor para comunicar o fato.

Da forma como foi elaborado, esse tipo de questão exige do aluno apenas a capacidade de lembrar dos procedimentos ensinados em aula. Trata-se de uma questão sem contextualização, que abrange os níveis mais simples da taxonomia de Bloom e é, portanto, de baixo grau de dificuldade para o aluno, caso ele tenha memorizado bem a matéria.

Exemplo melhorado

Assinale a alternativa correta.

Você é um(a) médico(a) ginecologista que trabalha em um Posto de Saúde da Prefeitura de sua cidade. Você recebe em seu consultório uma adolescente, de 14 anos, para a sua primeira consulta ginecológica, pois deseja fazer uso de anticoncepcional oral. Ela iniciou a atividade sexual há 6 meses e teve menarca aos 11 anos de idade. Seus ciclos menstruais são regulares. A adolescente diz não ter outras morbidades e informa, ainda, que os pais não sabem do início da atividade sexual.

Qual a conduta mais adequada a ser tomada neste caso?

  1. Não prescrever anticoncepcional oral, pois a paciente teve menarca há apenas 3 anos.
  2. Solicitar que a paciente volte à consulta médica acompanhada de um responsável.
  3. Prescrever anticoncepcional oral, orientar o uso de preservativo e garantir a confidencialidade da consulta.
  4. Prescrever anticoncepcional oral e solicitar a presença de um responsável pela menor para comunicar o fato.

Percebe a diferença? A introdução de um minicenário (de apenas três ou quatro linhas!) mudou totalmente a estrutura e relevância da questão. Agora temos uma questão contextualizada e que exige capacidade de aplicação por parte do aluno, e não apenas a memorização. Essa questão mede se o aluno é capaz de utilizar as informações contidas no minicenário para tomar a decisão adequada. A alternativa correta é a (3).

MELHORANDO AS QUESTÕES ABERTAS

Questões abertas também podem ser melhoradas se forem iniciadas com um minicenário e se a pergunta (ou comando) for efetuada com base nas informações contidas no cenário.

Veja como a questão abaixo pode ser melhorada:

Exemplo inicial

Descreva os principais efeitos adversos do tratamento com lítio em pacientes que apresentam transtorno do humor. Utilize 10 linhas, no máximo.

Trata-se de uma típica questão acadêmica, que exige apenas memorização e não apresenta qualquer contextualização, sendo de pouca relevância para o desempenho profissional de futuros médicos.

Exemplo melhorado

Uma mulher de 47 anos de idade encontra-se em tratamento de longa data para transtorno do humor. Ela comparece ao seu consultório com queixas de astenia, sonolência, alteração na fala, intolerância ao frio, constipação intestinal e déficit de memória. Depois de realizar um exame, você anota os seguintes pontos: frequência cardíaca = 55 bpm, pele seca e descamativa, reflexos tendinosos diminuídos bilateralmente.

Esse quadro clínico está relacionado aos efeitos adversos de qual tipo de tratamento?

Note que essa questão, do modo como foi formulada, pode exigir apenas uma linha de resposta (“tratamento com lítio”), mas é muito mais relevante para a formação profissional dos alunos. Primeiro, porque não mede apenas a capacidade de memorização, mas a de aplicação. Segundo, porque está mais alinhada com a realidade da profissão, uma vez que os médicos costumam ser confrontados com quadros clínicos para os quais precisam dar um diagnóstico.

MELHORANDO A CONTEXTUALIZAÇÃO DE QUESTÕES OBJETIVAS E ABERTAS

Muitos professores se preocupam em fornecer, no enunciado das questões, a referência que o aluno deve considerar para responder corretamente. No mundo acadêmico essa preocupação é bem-vinda e deve ser incentivada, mas, sozinha, costuma ser insuficiente. Também aqui os minicenários podem ajudar.

Veja como a questão abaixo (uma questão objetiva) pode ser melhorada:

Exemplo inicial

Assinale a alternativa correta.

Segundo Diniz (1987, 1991), qual a medida propedêutica que evita a maior parte das doenças cardíacas cianóticas?

  1. Teste da hiperóxia.
  2. Teste de hiperventilação.
  3. Teste de hipoventilação.
  4. Gasometria venosa.

(Nota: O nome desse autor foi inventado por mim)

A indicação de um autor como referência para a resposta delimita o universo de respostas possíveis para o aluno e, portanto, deve facilitar o seu trabalho. Mas, ainda assim, trata-se de um teste que mede apenas memorização.

Exemplo melhorado

Assinale a alternativa correta.

Você é um(a) médico(a) pediatra que foi chamado(a) ao berçário da Maternidade para atender a um recém-nascido do sexo feminino, com dois dias de vida, nascido a termo, com 2.300 g. O bebê apresenta sopro sistólico e cianose de extremidade ao choro.

Segundo Diniz (1987, 1991), que medida propedêutica você deve adotar neste caso, porque evita a maior parte das doenças cardíacas cianóticas?

  1. Teste da hiperóxia.
  2. Teste de hiperventilação.
  3. Teste de hipoventilação.
  4. Gasometria venosa.

Com essa reformulação, a questão passa a cobrar do aluno habilidades de aplicação que envolvem a tomada de decisão frente a um caso concreto. Assim, a questão se torna mais relevante. A alternativa correta é a (1).

Essa mesma tática didática pode ser utilizada com as questões abertas ou dissertativas.

Conclusão

Minicenários são um recurso extremamente útil tanto para compor os materiais de aprendizagem quanto para fazer parte dos testes de avaliação.

Referências

Blog “Experiencing E-Learning”. Mini-Scenarios for Assesment. Acesso em 08/11/17.

Inep – Revalida 2012.

 

2 Comentários

  1. Emilio Antonio Leonel Ferreira

    Caro Vagner

    Interessante como que as questões avaliativas podem ser reformuladas, penso que isso ajuda o aprendente a relembrar o conteúdo ao qual ele teve exposto, possibilitando assim maior probabilidade de acerto e de quebra reforça o aprendizado.
    Também valoriza o treinamento, pois não se torna como muitos que a gente vê, em que se despeja conteúdos e se faz avaliações que não estão em sintonia com os objetivos de aprendizagem.
    A leitura do artigo agrega valor para o DI, principalmente para aqueles que, como eu estão primeiros passos.
    Um abraço e Obrigado

    Responder
    1. Wagner G. A. DestroWagner G. A. Destro (Post author)

      É verdade, Emílio. Os esforços de melhoria dos testes de avaliação podem contribuir para valorizar tanto o ensino acadêmico quanto o corporativo. Obrigado pelo seu feedback.

      Responder

Deixe um comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *