Múltipla Escolha como Estratégia de Melhoria do Ensino

Questões objetivas do tipo “múltipla escolha” ainda são muito usadas, tanto em cursos e disciplinas ministrados em ambientes acadêmicos quanto em treinamentos realizados no mundo corporativo. Servem tanto para orientar e estimular a aprendizagem (na forma de exercícios práticos) como para avaliar os resultados do processo ensino – aprendizagem (na forma de provas ou testes).

São questões (aparentemente) fáceis de serem construídas, e ainda mais fáceis de serem corrigidas, especialmente se a instituição dispuser de um bom LMS.

O problema é que, ainda hoje, testes de múltipla escolha são muito mal planejados e construídos, em grande parte porque nem os professores, no ambiente acadêmico, nem os instrutores, no meio corporativo, receberam treinamento específico para realizar essa tarefa. E, muitas vezes, nem os próprios designers instrucionais (DIs), que deveriam orientá-los, passaram por qualquer treinamento nessa área.

E isso é uma pena, porque, quando adequadamente planejados, construídos e analisados, os testes de múltipla escolha podem se tornar uma ferramenta estratégica para a melhoria dos procedimentos de ensino.

Assim, neste post, vamos ver algumas dicas para o DI pensar a múltipla escolha mais como estratégia de melhoria do que simples ferramenta de mensuração. São apenas seis dicas:

  1. Cuide para que o teste seja uma boa medida da aprendizagem do aluno
  2. Reduza as possibilidades de o aluno adivinhar a resposta esperada
  3. Forneça bons feedbacks
  4. Providencie atividades remediativas (opcional)
  5. Utilize o grau de confiança na resposta (opcional)

E há uma dica especial a ser considerada pelo DI depois que o curso foi montado e os testes já estão sendo aplicados:

  1. Efetue a análise de itens

Atenção: Quero alertar, desde logo, para um problema envolvendo este último item. Todo o tempo e esforço dos DIs costumam ser direcionados para a montagem dos materiais de um curso, principalmente no meio acadêmico. Depois que um curso ou disciplina “fica pronto”, em geral o DI perde o contato com ele. Não sabe se os materiais em aplicação estão adequados ou não e, caso venha a tomar conhecimento de problemas, não lhe concedem tempo nem prioridade para tratar deles. Assim, vou repetir o que já disse em outro post: não basta haver DIs trabalhando no planejamento e montagem de cursos presenciais ou à distância; é preciso haver DIs trabalhando no acompanhamento e melhoria dos cursos que estão em aplicação.

Vejamos, agora, cada um desses tópicos com mais detalhe.

 

Cuide para que o teste seja uma boa medida da aprendizagem do aluno

A beleza do modelo de múltipla escolha é que o aluno não precisa “saber” a resposta certa. Ela já está lá, no papel ou na tela, à frente de seus olhos!! O aluno só precisa reconhecê-la como correta. Assim, o desafio que se apresenta para o DI é construir questões de uma maneira tal que apenas o aluno que realmente alcançou os objetivos de aprendizagem seja capaz de responder corretamente.

Para tanto, seguem algumas dicas práticas:

  1. Cada questão deve abranger apenas um tópico. Tanto o texto do enunciado quanto o das opções de resposta devem se referir a esse único e mesmo tópico.
  2. A maior parte do texto de uma questão deve estar contida no enunciado. Mantenha as opções curtas e decorrendo naturalmente do enunciado. (Nota: minha experiência diz que essa regra de “manter curtas as opções de resposta” vale principalmente para os níveis mais simples da Taxonomia de Bloom. Para os níveis mais complexos essa regra pode ser relaxada. Vou voltar a esse assunto em futuros posts).
  3. Dependendo do conteúdo e do nível do objetivo de aprendizagem, decida, para cada questão, se irá adotar o modelo “selecione a alternativa correta” ou “selecione a melhor alternativa”.
  4. Se tiver que definir o número de alternativas para as questões do teste, dê preferência ao modelo de quatro alternativas. Pelo que tenho visto, esse modelo está se tornando padrão. Mantenha esse número consistente por todo o teste.
  5. Ao construir questões de acordo com o modelo “selecione a alternativa correta”, evite a estrutura “uma alternativa correta e três alternativas erradas”, porque o aluno, mesmo sem dominar a matéria, pode deduzir a alternativa correta ao constatar erros evidentes nas outras opções. Uma boa estrutura é a seguinte: uma alternativa clara e inequivocamente correta, duas alternativas parcialmente corretas e apenas uma alternativa totalmente errada, mas plausível. Note que, por óbvio, esta estrutura é mandatória para as questões do modelo “selecione a melhor alternativa”.
  6. Mantenha o texto do enunciado e das alternativas claro o suficiente para o aluno não ter que “adivinhar” o que está sendo solicitado na questão. Caso seja necessário aumentar o grau de dificuldade de uma questão, a fim de alinhá-la com o respectivo objetivo, prefira utilizar minicenários. (Nota: há um post neste blog em que trato exatamente desse assunto). Evite ao máximo o uso de linguagem pedante e obscura a fim de dar à questão uma aparência de “questão difícil”.
  7. Evite a dupla negação. Isso geralmente acontece pela combinação, na mesma sentença, de palavras como “não” ou “nem” mais uma palavra com prefixo negativo, tipo “não é indesejado que…”. Por exemplo, o enunciado “Quais dos seguintes comportamentos não seriam inconvenientes na situação XYZ?” ficaria melhor se fosse escrito de forma positiva e direta: “Quais dos seguintes comportamentos são aceitáveis na situação XYZ?”.
  8. Mantenha o texto das opções de resposta aproximadamente com o mesmo tamanho. Isto porque o texto da alternativa correta, por conter todos os atributos necessários à correção da resposta, tende a ser mais longo que o texto dos distraidores (alternativas incorretas). A dica prática aqui é a seguinte: elabore primeiro o texto da opção correta e, em seguida, o texto de cada distraidor, tentando manter o mesmo comprimento em todas as opções.
  9. Randomize o posicionamento da opção correta ao longo das questões do teste a fim de evitar muitas respostas corretas numa mesma posição (opções B ou C, por exemplo). Se o seu LMS dispõe do recurso de distribuir automaticamente as opções de resposta, melhor ainda! Mas, neste caso, verifique se todas as opções fazem sentido em qualquer posição.
  10. Evite usar as opções “Todas as alternativas anteriores” e “Nenhuma das alternativas acima”, porque não garantem, quando forem as opções corretas, que o aluno realmente domine o objetivo de aprendizagem. E, se o seu LMS distribuir as opções automaticamente, então elas não devem ser usadas de jeito nenhum!!

 

Reduza as possibilidades de o aluno adivinhar a resposta esperada

Trata-se de uma tarefa tão difícil quanto subestimada pelos designers instrucionais. Mas as dicas acima devem ajudar a reduzir as possibilidades de adivinhação em testes de múltipla escolha. Mesmo assim, vale a pena reforçar alguns pontos:

  1. Faça com que o texto de todas as opções decorra naturalmente do enunciado. Se o aluno perceber que não há sequência lógica entre o texto do enunciado e o de uma dada alternativa, ele tenderá a descartar automaticamente essa alternativa como incorreta.
  2. Mantenha o texto de todas as opções aproximadamente com o mesmo comprimento. Como vimos, em testes mal construídos, muitas vezes a opção correta tem um texto maior que o das outras opções. Sabendo disso, uma das primeiras coisas que um aluno versado em testes de múltipla escolha faz é percorrer as questões do teste para verificar se há uma alternativa mais longa que outras. Se houver, aumentam as chances de ele acertar algumas questões mesmo sem dominar os respectivos objetivos.
  3. Tome cuidado com a randomização da ordem das questões ao longo de um teste e com a randomização das alternativas dentro de cada questão, especialmente se o seu LMS fizer isso automaticamente para você. No primeiro caso, é possível que uma dada questão, caso seja exibida antes de outra, forneça pistas para a resposta dessa outra questão. Por exemplo, o enunciado de uma questão pode conter a resposta correta àquilo que é perguntado em outra questão que venha a ser exibida posteriormente. Caso isso aconteça, uma dessas questões deverá ser modificada ou excluída. No segundo caso, você deve verificar se o texto de uma dada opção faz referência ao texto de outra ou pode ter a sua compreensão alterada, dependendo de sua posição na ordem das alternativas. Neste caso, é melhor reescrever essas alternativas de modo a se tornarem independentes e poderem ser apresentadas em qualquer ordem.

 

Forneça bons feedbacks

Feedback é um procedimento crítico no planejamento e construção de qualquer teste objetivo, e ainda mais no teste de múltipla escolha.

O tipo de feedback a ser fornecido vai depender dos propósitos do teste. Se se trata de uma avaliação somativa, para efeito de atribuir uma nota ao aluno, então essa nota é o próprio feedback, talvez acompanhada da informação relativa ao número de questões respondidas correta ou incorretamente. Se é um teste formativo, com a finalidade de confirmar ou melhorar a aprendizagem do aluno, então um feedback mais descritivo é necessário. E é aqui que mora o problema.

Quase sempre o processo de feedback, nos testes de múltipla escolha, consiste naquilo que costumo chamar de “feedback preguiçoso”. Você já deve conhecer bem. Tem mais ou menos este formato: “Resposta errada. Tente outra vez.”, para qualquer distraidor ou alternativa errada; ou, então, “Parabéns. Você acertou.” para a alternativa correta.

Em termos didáticos, o ideal seria fazer dos testes, qualquer teste, um momento de celebração da aprendizagem, não apenas de cobrança, mesmo que a principal finalidade do teste seja a atribuição de notas. Isso pode ser feito da seguinte maneira:

  1. Para a alternativa correta: Além de parabenizar o aluno e confirmar seu acerto, o feedback deveria incluir, sempre que possível, mais explicações a respeito do motivo de aquela ser a resposta correta, em vez de apenas repetir o texto que já aparece na alternativa correta. Com isso se reforça, no repertório do aluno, o conhecimento relativo ao conteúdo abarcado pela questão.
  2. Para as alternativas incorretas: É necessário preparar um texto de feedback específico para cada alternativa incorreta. Vou repetir: “para cada alternativa”, explicando os motivos de aquela ser uma resposta errada. Dá trabalho, sim, mas é instrucionalmente importante reduzir ou eliminar eventuais más compreensões antes que o aluno avance na matéria. Depois de ler o texto de feedback, o aluno deverá tentar responder novamente à questão, escolhendo outra opção.

 

Providencie atividades remediativas (opcional)

Se o seu LMS dispuser de recursos de programação, você poderá usá-los para, em vez de fornecer feedback escrito, propor atividades remediativas. Por exemplo, se o aluno errou uma questão cujo conteúdo está descrito às telas 42, 43 e 45 da aula digital, você poderá escrever um curto texto de feedback e inserir um link que, quando clicado, encaminha o aluno diretamente para essas páginas. Mas note que esse recurso pode ter um efeito didático fraco, porque, se o aluno estudou aquelas páginas e, mesmo assim, errou a questão, então voltar simplesmente a lê-las não deverá ajudar muito. Neste caso, uma atividade remediativa mais potente seria encaminhar o aluno, sempre por meio do LMS, para páginas com conteúdo diferente daquele já ensinado. Por exemplo, um texto, um áudio ou vídeo do professor explicando aquele assunto com outras palavras e outros exemplos. Ou então encaminhar o aluno para uma página de texto ou de vídeo na internet que contenha mais informações etc.

 

Utilize o grau de confiança na resposta (opcional)

O grau de confiança do aluno de que tenha assinalado a resposta correta, antes de receber feedback, é um recurso didático interessante e poderoso o bastante para ser usado, especialmente se o seu LMS dispuser de ferramentas de programação. O modo de utilização desse recurso é bastante simples: o aluno lê a questão e assinala a alternativa que acredita ser a correta; logo abaixo, assinala o seu grau de confiança de que a resposta está correta (geralmente, são três níveis: alto, médio e nenhum); e, finalmente, submete a sua resposta para correção.

Mas faço desde já um alerta: esse recurso só funciona bem se os alunos tiverem confiança na instituição e seus professores, ou seja, se tiverem a certeza de que os dados apurados serão utilizados para a melhoria dos processos de ensino, e não para punições de qualquer natureza. Se não houver essa confiança, a tendência é que o grau de confiança na resposta seja simplesmente fraudado pelos alunos.

Vejamos um exemplo prático de seu uso:

Assinale a alternativa correta.

Você é um(a) médico(a) ginecologista que trabalha em um Posto de Saúde da Prefeitura de sua cidade. Você recebe em seu consultório uma adolescente, de 14 anos, para a sua primeira consulta ginecológica, pois deseja fazer uso de anticoncepcional oral. Ela iniciou a atividade sexual há 6 meses e teve menarca aos 11 anos de idade. Seus ciclos menstruais são regulares. A adolescente diz não ter outras morbidades e informa, ainda, que os pais não sabem do início da atividade sexual.

Qual a conduta mais adequada a ser tomada neste caso?

□ a) Não prescrever anticoncepcional oral, pois a paciente teve menarca há apenas 3 anos, quando tinha 11 anos de idade.

□ b) Solicitar que a paciente volte à consulta médica acompanhada de um responsável, de preferência a mãe ou o pai.

c) Prescrever anticoncepcional oral, orientar o uso de preservativo e garantir a confidencialidade da consulta.

□ d) Prescrever anticoncepcional oral e solicitar a presença de um responsável pela menor para comunicar o fato.

Grau de confiança: □ Alto            □ Médio              □ Nenhum

(Nota: Questão adaptada do teste “Revalida – 2012), aplicado pelo INEP)

Sabendo-se que a resposta correta para essa questão é a alternativa C, as seguintes opções de feedback podem ser programadas:

  1. Resposta correta + alto grau de confiança: isto significa que o aluno tinha certeza a respeito da alternativa correta e, de fato, acertou a questão. É a situação normal e esperada quando os procedimentos de ensino foram bem realizados e o teste bem construído. Espera-se, portanto, que seja a situação mais frequente. Neste caso, não é necessário fornecer qualquer feedback ao aluno, uma vez que não há ganho didático em fazê-lo estudar novamente um conteúdo que já domina. Basta apresentar a próxima questão.
  2. Resposta correta + grau médio de confiança: significa que o aluno acertou a questão, mas não estava seguro de sua resposta. Ele pode ter ficado em dúvida quanto à correção de duas ou três alternativas, e ter assinalado a C por sorte. Neste caso é necessário fornecer feedback que reforce a correção dos procedimentos descritos na alternativa correta.
  3. Resposta correta + zero grau de confiança: significa que o aluno não sabe o conteúdo e acertou a questão por pura sorte. Situações como esta, envolvendo acertos com base na sorte, devem receber atenção especial do designer instrucional. Há várias possibilidades de análise, por isso vou dar apenas uma dica prática: depois de o aluno submeter a questão, o sistema poderia abrir uma janela com o seguinte texto: “A alternativa C está correta. Por que você não teve confiança em sua resposta?”. Forneça um pequeno espaço para os comentários do aluno. Em geral, esses feedbacks costumam ser muito ricos e tendem a ajudar a melhorar os processos de ensino. Depois de o aluno entrar com o texto, um feedback mais específico pode ser fornecido para reforçar a sua compreensão.
  4. Resposta errada + alto grau de confiança: significa que o aluno tinha certeza a respeito da resposta, só que da resposta errada. Esta é a pior situação possível tanto para o DI quanto para o professor. Como o aluno formou uma convicção tão forte a respeito de algo que não foi ensinado? Aprendizagens erradas no passado? Falta de prontidão ou de atenção? Há muitas possibilidades de análise, assim o melhor é seguir a minha dica prática: depois de o aluno submeter a questão, o sistema poderia abrir uma janela com o seguinte texto: “A alternativa [tal] é incorreta. Por que você tinha certeza de que era a opção correta?”. Forneça um pequeno espaço para os comentários do aluno. Depois de o aluno entrar com o texto, a questão pode ser reapresentada para nova tentativa ou um feedback descritivo a respeito da opção correta pode ser fornecido.
  5. Resposta errada + grau médio de confiança: significa que o aluno errou a questão, mesmo porque não estava seguro da resposta. Esta situação evidencia que a aprendizagem não foi suficiente. As causas podem ser falhas no método de ensino ou na construção da questão, ou falta de estudo por parte do aluno. Neste caso, o melhor a fazer é fornecer feedback que reforce o conteúdo descrito na alternativa correta.
  6. Resposta errada + zero grau de confiança: significa que o aluno errou a questão, mesmo porque não tinha a menor ideia de qual a resposta correta. Espera-se que esta seja uma situação raríssima, muito difícil mesmo de ocorrer. Mas, caso venha a ocorrer, a melhor solução é orientar o aluno a estudar todo o material novamente, de preferência com mais espaço para supervisão e esclarecimento de dúvidas.

Essas são apenas ações sugeridas, você pode ter outras ideias, mais adequadas ao contexto em que trabalha. O importante é que você registre todas as respostas e comentários dos alunos, preferencialmente via LMS, e aproveite esses insumos para melhorar ainda mais os procedimentos de ensino. Se você nunca usou essa ferramenta, sugiro enfaticamente que faça pelo menos uma tentativa.

 

Efetue a análise de itens

Esta etapa só pode ser cumprida se você for um DI que também trabalha no acompanhamento de cursos ou disciplinas, não apenas no seu planejamento e construção. A análise de itens é uma excelente ferramenta que ajuda a melhorar a performance de um curso, enquanto ele está sendo aplicado, tanto para a própria turma que está fazendo o curso, quanto para turmas futuras.

O termo “análise de itens” veio emprestado da ciência Estatística, mas nós, como DIs, não estamos interessados apenas em cálculos estatísticos – hoje em dia qualquer LMS é capaz de realizar esses cálculos e de fornecer relatórios customizados – mas nas implicações didáticas do uso desse recurso.

Desse ponto de vista, a análise de itens visa a responder questões tais como:

  • Quantas e quais questões foram acertadas pelos alunos?
  • Quantas e quais questões foram erradas pelos alunos?
  • Como se comportaram os distraidores? Eles conseguiram discriminar os alunos que aprenderam daqueles que não aprenderam?
  • Em quais áreas de conteúdo o ensino precisa ser melhorado ou as questões precisam ser reformuladas?

Se o seu LMS for capaz de produzir relatórios de análise de itens, isso é ótimo!! Mas, caso você não disponha desse tipo de recurso, também não há problema. Você mesmo(a) pode fazer os cálculos manualmente e inseri-los em uma tabela que você mesmo(a) desenhou. Bastam papel, lápis ou caneta, uma régua e uma calculadora.

Veja abaixo um exemplo de relatório que poderia ser confeccionado manualmente:

Trata-se de um teste de múltipla escolha, com 8 questões, que foi aplicado a uma turma de 20 alunos. Todas as questões foram respondidas. Os números em negrito indicam a alternativa correta.

Com base nesse simples relatório, algumas análises interessantes podem ser feitas:

  1. Quatro questões foram acertadas por todos os alunos (questões 02, 03, 06 e 07). Qual a implicação desse fato? Atenção: nunca faça isto: nunca classifique essas questões como “fáceis”, porque todos os alunos acertaram. Nem, muito menos, insira no seu LMS o atributo “Fácil” associado a essas questões. Isso não faz qualquer sentido, em termos didáticos. Se os procedimentos de ensino foram bem realizados e as questões foram bem construídas, então é esperado que todo o teste seja “fácil”, porque os alunos aprenderam a matéria e sabiam a resposta correta para cada questão. Agora faça isto: verifique se essas questões estão alinhadas com os respectivos objetivos de aprendizagem. Pode ser que o objetivo esteja em nível mais complexo e a questão pede um conhecimento mais simples, mais fácil de acertar. Se não for isso, então pode dar os parabéns para a sua equipe!!
  2. Quatro questões tiveram algum percentual de erro, sendo que três delas (questões 04, 05 e 08) tiveram um percentual considerado alto (30% ou mais). Sempre que uma questão apresentar mais de 25 ou 30% de erros, é recomendável revisar os procedimentos de ensino e/ou a construção da questão. Nunca faça isto: Nunca classifique essa questão como “Difícil” e não faça mais nada, acreditando que é assim mesmo, que fatalmente, no futuro, alguns alunos deverão errar essa questão.
  3. É possível constatar que a questão 05 foi a que teve o desempenho mais crítico nesse teste. Apenas 40% de acertos. E todos os que responderam incorretamente marcaram a mesma alternativa (opção D). Aqui temos que considerar duas hipóteses: (a) ou houve uma falha no processo de ensino, que não conseguiu preparar os alunos para discriminar corretamente as afirmações contidas nas opções C e D; (b) ou houve uma falha na construção da questão, que levou os alunos a ficarem confusos entre essas duas opções. Esta é uma situação típica em que o DI precisa intervir para descobrir a causa provável e providenciar a remediação necessária.
  4. A questão 04 também apresenta um resultado interessante: nas respostas erradas todos os distraidores foram marcados. Isso mostra que a área de conteúdo abarcada por essa questão não foi bem dominada por uma boa parte dos alunos (30% deles), uma vez que todos os distraidores cumpriram bem seu papel de discriminar os alunos que não dominam a matéria. Será preciso, então, reforçar a aprendizagem nessa área.
  5. O mesmo vale para a questão 08. Talvez seja preciso reformular o texto da alternativa B, a fim de torná-la um distraidor mais potente.
  6. Quanto à questão 01, valeria a pena investigar porque os alunos que erraram a resposta marcaram todos a opção C. É provável que haja muita similaridade entre o texto da opção correta e o dessa opção, talvez com um ou outro detalhe diferente que possa ter confundido os alunos. Como apenas 15% dos alunos erraram, não será necessário, à primeira vista, revisar os procedimentos de ensino nem a construção dessa questão.

Note que um relatório simples como esse pode fornecer um ótimo ponto de partida para o desencadeamento de ações relevantes para a melhoria do processo ensino – aprendizagem.

 

Fontes de consulta

Para a produção deste texto, eu me baseei, entre muitas outras fontes, nos seguintes artigos:

Dickinson, Mike. The Thing about Multiple-Choice Tests. Disponível em: “Learning Solutions”. Acesso em 30abr18.

Malamed, Connie. 10 Rules for Writing Multiple Choice Questions. Disponível em: “The eLearning Coach”. Acesso em 30abr18.

 

6 Comentários

  1. Isabel Cruz

    Para ficar perfeito, falta propor a estruturação de QME com base na taxonomia de Bloom.
    Excelente post. Tenho dúvidas se os(as) docentes vão entender a terça parte…

    Responder
    1. Wagner G. A. DestroWagner G. A. Destro (Post author)

      Olá, Isabel. Não sei se entendi a sua sugestão, porque, a meu ver, as questões de avaliação não podem e não devem ter uma estruturação (hierarquização) independente dos objetivos cujo alcance visam medir. Se os objetivos didáticos estiverem estruturados de acordo com uma taxonomia (Bloom, por exemplo), então as respectivas questões de avaliação também estarão. Espero que as suas dúvidas, que, em parte, são minhas também, não se concretizem!!

      Responder
  2. Emilio Antonio Leonel Ferreira

    Wagner

    Muito interessante o artigo e valiosas as dicas para construir este tipo de questão. São detalhes importantes que podem passar desapercebido pelo DI.

    Obrigado

    Emílio

    Responder
    1. Wagner G. A. DestroWagner G. A. Destro (Post author)

      Olá, Emilio. Muito obrigado pelo seu feedback.

      Responder
  3. Mara Fabiano

    Muito bom, Wágner!

    Achei bem interessante saber sobre a ferramenta Grau de Confiança dos Alunos. É vdd, através desse recurso é possível avaliarmos uma série de resultados e desempenhos dos alunos e dos demais profissionais envolvidos no processo de ensino e desenvolvimento do matérial.

    Ótimo!

    Responder
    1. Wagner G. A. DestroWagner G. A. Destro (Post author)

      Correta a sua colocação, Mara. Trata-se de uma excelente ferramenta de avaliação de resultados, desde que os alunos sejam bem orientados e indiquem o grau de confiança com total honestidade. Obrigado pelo feedback!

      Responder

Deixe um comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *