No DN de 17 de Maio, era este o título do artigo de opinião de Vasco Graça Moura. O Totobola vem a propósito do uso de testes de escolha múltipla na avaliação da leitura. Escreve Graça Moura:
"sei que não se pode aceitar que os exames de Português obedeçam ao princípio do Totobola".
Em que medida é que os testes de múltipla escolha são similares ao Totobola? Será porque se preenchem com cruzinhas e porque se podem responder ao acaso? Não há a menor dúvida que assim é, ambos se fazem com cruzinhas e ambos se podem responder ao acaso. Mas será assim tão pouco abonatória para os testes de múltipla escolha, a semelhança? Ora, nenhum apostador do Totobola deixará de investir os seus conhecimentos futebolísticos na escolha das alternativas. Para ter sucesso, todos tentam prever as probabilidades de empate, vitória ou derrota de cada uma das equipas, com base no conhecimento que têm. E são poucos os que conseguem acertar em todas as alternativas. Conclusão: todos tentam diminuir o factor do acaso com o conhecimento que têm. Se o Totobola tem três alternativas em cada item, os testes de múltipla escolha propostos têm quatro. A isto se refere Vasco Graça Moura quando escreve:
"Se não teve aproveitamento e não é capaz de produzir um texto, o teste de resposta múltipla só vai dissimular esse problema e contribuir para um resultado injusto, isto para não falar na situação escandalosa de o aluno ter 25% de hipóteses de acertar logo à partida (em quatro quadradinhos para pôr a cruzinha, um deles há-de ter a resposta certa)"
Mas o que interessa não é a resposta a uma questão, mas a resposta a um conjunto de questões, considerado como o nível de proficiência exigido. Imaginemos, por exemplo, que o teste tem duas questões. Qual é a probabilidade de acertar ao acaso em ambas? Combinando as probabilidades de ambas, temos 16 combinações possíveis, mas só uma certa, isto é, 1/16, 6,25%. Se o teste tiver 3 questões, a probabilidade de acertar em todas descerá para 1/24, menos de 2%. Num teste de 20 questões, a resposta ao acaso a todas as questões tem uma probabilidade de 1 em cerca de 1 milhão de milhões de hipóteses. Uso regularmente testes de múltipla escolha de 4 alternativas em História e Geografia de Portugal, e tenho 3 alunos que respondem quase totalmente ao acaso, e fazem o teste em 5 minutos. Em nenhum dos 3 testes, nenhum deles conseguiu acertar a mais de 2 perguntas, num total de 20, o que é negligenciável no que respeita à cotação do teste. Já vi testes de múltipla escolha de leitura compreensiva, que permitem avaliar interpretações e inferências textuais bastante complexas, mas claro, um teste desse tipo não permite avaliar interpretações de todo imprevisíveis. Todavia, uma interpretação desse tipo entra no nível que Bloom classificaria como de síntese. Pois, se são imprevisíveis para os professores que elaboram testes, também, serão uma incógnita, numa resposta redigida, quanto à aceitabilidade pelo professor que corrige e classifica a prova. Concordo inteiramente com Paulo Feytor Pinto quanto à necessidade de separar a avaliação da leitura da avaliação da escrita. As dificuldades na escrita podem impedir a expressão duma capacidade interpretativa superior. O teste de múltipla escolha elimina este obstáculo. Infelizmente, VGM, está longe dos problemas que se colocam na aprendizagem da leitura. Paulo Feytor Pinto chamou a atenção para o problema da memória de interpretações feitas na aula poder viciar a avaliação. Paulo Feytor Pinto disse:
"Avalia-se se os alunos conseguiram memorizar o que foi dito na sala de aula sobre os textos"
VGM interpretou isto como uma objecção ao papel da memória na aprendizagem.
"Então, não é também para isso que eles têm aulas?"
Quer dizer, VGM, que eles têm aulas para memorizar interpretações de textos, interpretações que estão desde já feitas e que eles apenas memorizam, sem nem sempre as compreenderem? Concordo, mais uma vez com o Paulo Feytor Pinto. Para avaliar a capacidade de leitura, importaria utilizar outros textos, que não necessariamente os que foram lidos na aula. A questão é se o aluno está a repetir no teste interpretações decoradas ou, efectivamente, a investir todos os seus conhecimentos na leitura dum texto novo. Em último caso, se está mesmo a ler, porque ler não é repetir leituras já feitas. A posição de VGM resulta duma defesa intransigente, mas cega, do cânone e da tradição literárias. Concordo que há um conjunto de textos da nossa história literária que têm que ser objecto de leitura na escola. Mas não concordo que se ignorem os avanços feitos no campo dos estudos da piscologia e das ciências da linguagem, assim como das técnicas de avaliação e da elaboração de testes.
Luís:
Também li o artigo de Vasco Graça Moura e acho-o simplista nas objecções que faz às questões de múltipla escolha – simplesmente porque o enunciado de exame, tanto quanto sei, não se resume a elas. São apenas uma parte do enunciado. Na minha experiência, é óbvio que já me tenho deparado com respostas mal redigidas que dificultam a compreensão das ideias expressas. No entanto, não estou certa se essa estratégia de avaliar a competência de leitura por questões de escolha múltipla resolverá o problema dos alunos que não sabem escrever. Na minha opinião, eles não deviam chegar ao 12º com dificuldades de escrita tão graves que pudessem impedir a compreensão do seu enunciado.
Com isto, não se estará apenas a adiar a resolução do problema da falta de competência na escrita? Por outro lado, não vejo como é que essa estratégia poderá contribuir para que um aluno com manifestas dificuldades de escrita possa ter resultado positivo no exame, mesmo que acerte na maior parte das questões de escolha múltipla, se há grupos onde vai ter de escrever… A não ser que o GAVE esteja a reservar-nos uma surpresa (por enquanto não há testes-modelo) e a preparar enunciados de exame de Português (que é bem diferente da História ou Geografia, como sabes) com a maior parte dos itens de escolha múltipla… Assim sendo, onde ficará a avaliação da parte do programa consagrada à “Oficina de Escrita”?
Por fim, quanto ao argumento de que esse tipo de perguntas limita algumas interpretações – as tais imprevisíveis mas com possibilidade de serem aceites – é um facto. Tanto nas reuniões de correctores como nos critérios de correcção dos exames, até agora, isso tem sido contemplado. É óbvio – e tem-se verificado – que depois da reunião, alguns correctores aplicam critérios diferentes dos acordados… Os itens de escolha múltipla poderão servir para impedir que continuem a fazê-lo, resultando daí uma maior uniformização de critérios. Daí eu pensar que tal estratégia servirá mais para resolver este assunto, do que para beneficiar realmente os alunos, tal como tem sido dito, porque, para estes, pouca utilidade terá se continuarem a progredir na sua escolaridade sem saberem escrever…
Lena b
Claro, claro, claro…
Um teste de múltipla escolha não pode avaliar a capacidade de escrever, nem sequer a de discorrer orlamente sobre um texto lido. Mas um exame, um teste, tem as suas limitações, de tempo, por exemplo.
Pode avaliar o que é que uma pessoa é capaz de compreender num texto lido. Uma pessoa pode expressar uma leitura por escrito (ensaio, recensão, etc.), ou através do desenho, da mímica ou do que quer que seja. Quando o faz, acrescenta sempre à dificuldade da leitura, as dificuldades da linguagem, do género e dos protocolos, que utilizou para comunicar.
Um teste de escolha múltipla de compreensão da leitura serve só para testar essa competência e a habilidade de responder a testes de múltipla escolha. Para testar a escrita, é necessário escrever…
Claro, claro, claro…
Um teste de múltipla escolha não pode avaliar a capacidade de escrever, nem sequer a de discorrer orlamente sobre um texto lido. Mas um exame, um teste, tem as suas limitações, de tempo, por exemplo.
Pode avaliar o que é que uma pessoa é capaz de compreender num texto lido. Uma pessoa pode expressar uma leitura por escrito (ensaio, recensão, etc.), ou através do desenho, da mímica ou do que quer que seja. Quando o faz, acrescenta sempre à dificuldade da leitura, as dificuldades da linguagem, do género e dos protocolos, que utilizou para comunicar.
Um teste de escolha múltipla de compreensão da leitura serve só para testar essa competência e a habilidade de responder a testes de múltipla escolha. Para testar a escrita, é necessário escrever…
Fiz hoje exame de Análise Matemática II na faculdade de Matemática da UC, frequento Eng. Electrotécnica de de Computadores. Não fui a nenhuma aula, não sabia absolutamente nada da matéria, respondi as 12 questões seguindo os meus métodos de análise de probabilidades que uso sempre na escolha múltipla. As respostas erradas descontavam. Obtive a classificação final de 10 valores. Fiz a cadeira.
O improvável acontece. O milagre é o impossível que deixa de o ser.
Só estou a dizer que é altamente improvável. Na sua análise de probabilidades, há provavelmente algum conhecimento intuitivo da matéria. Ou o seu método não inclui a leitura das alternativas?
Pode também haver testes de múltipla escolha mal elaborados em que as más alternativas são demasiado disparatadas, por exemplo.
Faço testes de múltipla escolha em História e só os bons alunos têm mais de 70% das respostas certas.
Veja se eu eu estou errado em termos matemáticos: se um teste tem questões de 4 alternativas em cada uma há uma probabilidade de 25% (1/4). Imagine que o teste tem só 2 questões, qual a probabilidade de uma pessoa acertar ao acaso nas duas questões? Penso que é 50% de 25%, isto é, 12,5%, ou não? Se forem três as questões será 33% de 25, isto é 8,3%. E aí por diante… quanto maior o número de questões, menor a probabilidade de acerto casual.
Num teste de 20 questões, acertar em 10 ao acaso será de 10% de 25% + 10% de 25%, isto é de 5%. Isto é, teoricamente em 100 alunos 5 poderiam, gabar-se de ter tido 10/20, ao acaso. Será esse o seu caso?
É ainda uma probabilidade elevada. Por isso, nos testes de múltipla escolha o critério de “positivo” não deve ser ingenuamente metade das questões certas.
Mesmo assim, obrigado, Pedro Leitão, penso que o cálculo de probabilidades feita acima está errado, exagerando a improbabilidade. Aqui estará certo? Talvez o senhor esteja em melhores condições de avaliar isso do que eu que sou homem de letras.
Claro que é altamente improvável tirar uma positiva completamente ao acaso!
Só que aqui há que ter em conta vários factores, em que o principal é que, a menos que aignorância seja mesmo completa, o que raramente é o caso (sempre se sabe alguma coisa, convenhamos…), dá sempre para excluir uma ou outra hipótese, ou saber uma ou outra pergunta…
O que eu acho estranho não é um aluno, ao acaso, chumbar num teste de escolha múltipla. Isso é o normal e o provável.
O que acho estranho é num teste com 20 perguntas de 4 alíneas cada uma pessoa que o faça ao calhas não acerte nunca mais de 2… quando o resultado previsível probabilisticamente seria cerca de cinco…
Mas não quis ser desagradável com o meu comentário… apenas fazer ver que a escolha múltipla, com algum engenho e um pouco de sorte, pode facilmente passar alunos sem conhecimentos (coisa que outro tipo de testes não).
P.S.-O facto de os alunos não acertarem mais de 2 perguntas por teste de 20 perguntas levanta uma questão no mínimo curiosa a nível probabilístico… Com uma hipótese de 1/4 de acertar em cada pergunta, e sendo que o teste tem 20, e que 20/4=5, como é que os alunos nunca acertam mais de 2? O esperado seria aproximadamente 5…
Dados muito duvidosos, e arriscaria a dizer que falseados 🙂 (Ou esses alunos são extremamente azarados e aí têm os meus pêsames…)
Tem toda a razão. obrigado.
O meu cálculo está errado. É de facto uma coisa elementar de teoria dos jogos, mas comecei erradamente a multiplicar probabilidades. Não sei se o seu cálculo está certo, porque não se trata do mesmo ensaio de cada vez que se faz um pergunta como quando se lança cara ou coroa. A probabilidade em dois lançamentos de sair coroa é de 100%, mas aqui cada resposta tem o seu próprio resultado, não são como um jogo de 4 alternativas, a, b , c, d em que lançando ao acaso se verifica a probabilidade de 1 resultado “a” que seria de 25% em cada ensaio e de 100% ao fim de 4 ensaios.
Não percebo muito bem a ideia de que a probabilidade de em dois lançamentos sair coroa é de 100%… A que se refere? Á probabilidade de em dois lançamentos sair, pelo menos, uma vez coroa? É que nesse caso a probabilidade é de 75%, visto que há quatro casos possíveis… (Cara/Coroa, Cara/Cara, Coroa/Cara e Coroa/Coroa).
Caro Pedro Leitão,
Estou sinceramente na dúvida acerca da correcção do seu raciocínio.
Repare: numa pergunta de 4 alternativas tem 1/4 de hipóteses de acertar. Se a segunda pergunta fosse uma segunda tentativa tentativa da primeira, poderíamos considerar que a probabilidade de acertar 1 em dois ensaios seria de 1/2 e de 1/1 ao fim de 4 questões.
Ora, não se trata disso, mas da probabilidade de acontecimentos independentes igualmente prováveis acontecerem em simultâneo (1/4).
Em duas questões, você escolhe uma combinação por exemplo, 1a-2b de entre 16 combinações possíveis. Daí eu ter multiplicado as probabilidades 1/4 X 1/4 = 1/16.
Para ter o teste todo certo, você tem uma combinação de 1 sequência de
Não sei se isto está certo ou não, mas, estive a calcular as combinações possíveis num teste de 20 questões:
1,09951E+12
Destas milhões de combinações possíveis, só uma é a combinação certa de escolhas. Probabilidade, portanto de 1 para milhões.
Mas se calcular o número de arranjos possíveis de 10 respostas certas em 20 possíveis, dá
6,70443E+11
O que dá uma probabilidade de 60% (0,6098). OU então aumentar o número de alternativas para 5 em cada questão.
Mas basta aumentar a exigência do número de questões certas para positiva para obter probabilidade de acerto ao acaso inferior a 1%.
Na Telescola, no meu 5º e 6º ano (1968), eu fazia testes de escolha múltipla de 40 questões, com 5 alternativas cada.
Correcção:
Não sei se isto está certo ou não, mas, estive a calcular as combinações possíveis num teste de 20 questões:
1,09951E+12
Destas milhões de combinações possíveis, só uma é a combinação certa de escolhas. Probabilidade, portanto de 1 para milhões.
Mas se calcular o número de arranjos de 10 respostas certas em 20 possíveis, dá
6,70443E+11
O que dá uma probabilidade de 60% (0,6098).
Mas basta aumentar a exigência do número de questões certas para 12 para obter uma probabilidade de acerto ao acaso inferior a 1%.
Na Telescola, no meu 5º e 6º ano (1968), eu fazia testes de escolha múltipla de 40 questões, com 5 alternativas cada.
Isto é complicado porque envolve cálculo combinatório com grandes n úmeros pelo meio. Volto ao princípio: Se o teste tem uma pergunta só de 4 alternativas a probabilidade é de 1/4, com 2, 1/16 e por aí adiante.
Quando calculamos k respostas certas num total de n questões é que o cálculo se complica.
Penso que já corrigi as minhas fórmulas.
Acertar 6 questões num total de 12 com 4 alternativas tem a probabilidade de acaso de 4%, isto é, 1/25, portanto, quase residual.
10 certas num teste de 20 tem uma probabilidade de 1%.
Mas continuamos a jogar no Totoloto com muito menos hipóteses!
Obrigado!
Tenho a acrescentar que o exame em questão descontava no caso de resposta errada… A probabilidade de ter positiva é bem inferior a 1%… Visto que não basta ter 6 certas (ou entao tem que se ter 6 certas respondendo apenas a 6) para se ter positiva devido aos descontos.
Obrigado,
É uma técnica usual em testes de múltipla escolha, a penalização dos erros.
Aprendi bastante com esta conversa.
Sim, estava errado o caso de cara ou coroa.
🙂
C3iEL9 <a href=\"http://tyhstltdvgud.com/\">tyhstl