¿Cuánto restan los errores en exámenes tipo test?

Aprovechando que es época de exámenes quiero retomar un tema de eterna polémica entre examinadores y examinados: ¿cuánto deben restar los errores en exámenes tipo test? Y ya que estamos, ¿por qué? La experiencia demuestra que pocos alumnos y profesores tienen clara la respuesta, lo que es entendible al tener una demostración sencilla, pero tampoco evidente.

1) Tablas de puntuaciones

Número de respuestas Cuánto descuenta cada error
2 1
3 1/2 = 0,5
4 1/3 = 0,33
5 1/4 = 0,25
M \frac{1}{M-1}

Un ejemplo: Tenemos un examen con N=20 preguntas tipo test sobre P=10 puntos. Cada pregunta tiene 3 respuestas posibles. Entonces, cada acierto vale P/N=10/20=0,5 puntos y cada error descuenta 1/2=0,5 veces lo que vale un acierto, es decir, que descuenta 0,25 puntos.

Ojo: Todo esto sirve únicamente bajo una serie de asunciones:

  • Dejarse una pregunta en blanco no suma, pero tampoco resta.
  • Si el profesor valora que equivocarse en un tema concreto es algo muy serio (por responsabilidad civil, etc.) podría optar por que los errores restasen aún más.
  • El examen no es del tipo “multirespuesta”: cada pregunta tiene una y solamente una respuesta válida posible. En caso contrario queda al criterio del examinador ser más o menos duro con la puntuación.

2) Demostración matemática

Por poco que te guste cuando estás en el lado del examinado, un examen (por mucho tipo test que sea) sirve para evaluar una serie de competencias, conocimientos o habilidades. Y debe diseñarse para que se tenga la mínima calificación de cero si éstas no se tienen.

En un examen tradicional esto es fácil de conseguir: si la respuesta está en blanco o lo que se responde demuestra un nulo entendimiento de la materia se puntúa con un cero. En un tipo test, existe una probabilidad de acertar por mero azar, por lo que debemos hacer un análisis probabilístico.

Tenemos los siguientes parámetros que definen un examen:

  • Hay N preguntas.
  • Cada una tiene M respuestas posibles, y sólo una es válida.
  • La puntuación máxima es de P. Típicamente, P=10. Es directo ver que entonces cada pregunta acertada debe puntuar P/N.
  • La penalización por error es X, y en lo siguiente determinaremos su valor.

Llamaremos n_1, n_2, … n_N a la puntuación obtenida en cada una de las preguntas, de forma que la nota total es:

Nuestro objetivo es diseñar una penalización por error tal que:

Si se responde por puro azar, se saque un cero.

Ese es el principio que nos debe guiar, y en este punto necesitamos echar mano de las probabilidades ya que… ¡no sabemos qué nota sacará el alumno en cada pregunta! Entendiendo que responder por puro azar significa que todas las respuestas tienen idénticas probabilidad de ser marcadas, tenemos lo que los matemáticos llaman una distribución uniforme sobre las posibles respuestas.

Como sólo hay una posibilidad entre M de acertar, la probabilidad de acertar al azar es \frac{1}{M} y por tanto la probabilidad de fallar es su complementaria 1-\frac{1}{M}=\frac{M-1}{M}. Recordando que la puntuación por acierto es \frac{P}{N} y la del error (-X), los posibles valores de cada nota n_i son:

Lo que acabamos de describir es realmente la distribución de probabilidad de una variable aleatoria discreta con dos únicos valores (acierto / error), que ya está totalmente definida al conocer la probabilidad con que se darán ambos casos.

Pero aún seguimos sin saber qué nota tendrá el alumno en cada pregunta. La estadística no puede responder a qué ocurrirá en cada caso concreto, sólo nos dice que lo más probable (si se está respondiendo al azar) es que se falle. Lo que sí nos permite es hacer la mejor predicción posible: la esperanza matemática nos da el valor que, de media, menos se equivocará al predecir la nota. En el caso de una variable discreta se calcula como la suma de cada valor ponderado por la probabilidad de obtenerlo, con lo que:

 

Ya puestos a pedir, pidámosle a la estadística una nueva predicción: la de la nota total del examen. Se trata de aplicar el operador esperanza E[] a la nota total. Haciendo uso de la propiedad de la linealidad de dicho operador y aprovechando el resultado obtenido arriba, llegamos a:

 \begin{array}{rcl} E[NOTA] &=& E \left[ \sum_{i=1}^N n_i \right] \\ &=& N E[ n_i ] \\ &=& \frac{P}{M} \left( 1 - X \left( M-1 \right) \right) \end{array}

Recapitulemos: hemos llegado a la mejor predicción posible de la nota de un alumno que responda al azar. Queríamos que la calificación en este caso fuese de cero. Por tanto, no tenemos más que igualar esta expresión a cero y tendremos una ecuación con una incógnita, la penalización por error (X), que por fin podemos despejar:

 \begin{array}{rcl} E[NOTA] &=& 0 = \frac{P}{M} \left( 1 - X \left( M-1 \right) \right) \\  0 &=& 1 - X \left( M-1 \right) \\  X &=& \frac{1}{M-1} \end{array}

Que coincide con el resultado que mostré en la tabla de arriba.

Visto así, espero que haya quedado claro para ambos “bandos” porqué los errores deben restar precisamente la cantidad que restan.

Esta entrada participa de la edición 4,12310 del Carnaval de Matemáticas, que en este mes de junio tiene como blog anfitrión a Geometría Dinámica.

Nota: Éste artículo es un remake de este otro de hace tres años, ya que pienso que vendría bien exponer primero los resultados de forma más clara antes de entrar en las matemáticas.

Publicado en Estadística Etiquetado con: ,
  • Anonymous

    Tu artículo me ha recordado una “frase mítica” de un profesor de la Universidad de Alicante
    http://www.patatabrava.com/mitiques/-m51123c6f7d0269262f009859.htm

    Me encanta este blog.
    Un saludo.

    • Muy bueno 🙂 Y vaya peligro que tiene esa web por cierto…

      Coincido en que tiene mérito que un mono concreto aprobase, pero si tienes a más de 100 es relativamente fácil que varios aprueben si no se descuenta por errores.

      Un saludo.

  • Primera conclusión: Si en un examen tipo test, no sabes la respuesta correcta, pero SABES que alguna es incorrecta, entonces sí debes responder al azar, entre el resto, porque la esperanza de puntuación es mayor que cero.
    Matiz: Ojo, que esa esperanza es mayor que cero, pero tiene su varianza, o sea que, si ya tienes asegurado el aprobado, ten cuidado al aplicar lo de arriba, porque, aunque es más probable que consigas subir nota, podrías suspender. Distinto si es algo tipo oposición, en la que el objetivo no es sólo superar un umbral, sino estar lo más arriba posible.
    Por cierto, este asunto da para una bonita pregunta auto-referente, en algún examen de Estadística de un nivel básico, del tipo, ¿Cuanto debería restarte de la nota, si contestas mal esta pregunta?.

    Saludos, os sigo vía FB, y me encantan la mayoría de las entradas.

    • Me alegro que te gusten.

      Bien visto lo de la esperanza positiva con que se sepa descartar sólo una. Conclusión de la conclusión: no poner respuestas incorrectas que sean demasiado obvias porque se están regalando puntos 😉

  • con los examenes de mi antiguo profesor, de 10 preguntas, cada fallo quitaba 1 punto mas 1 que no puntuabas, como fallases 3 suspenso

  • BooT Loos

    Hola!

    Releyendo éste artículo se me ha ocurrido una posible solución al problema de las preguntas multirespuesta. Suponiendo la pregunta con varias respuestas correctas mas difícil (y por lo tanto con más puntuación) se me ocurre que el valor de N (número de preguntas)podría sustituirse por C (número de RESPUESTAS correctas), manteniendo el resto del algoritmo igual. Aplicando la fórmula anterior creo que la esperanza se mantendría en cero en el cálculo final.
    No lo he formalizado, así que perdón si he metido la pata hasta el fondo 😉

    Por cierto, me encanta pasarme por éste blog a leer éste tipo de cosas!!

    Saludos

  • Pingback: » Cuatro trucos psicológicos para acertar las respuestas en un examen tipo testTe enteraste?, Ni modooo! - Nimodo.com.do()

  • Pingback: ¿Sabes por qué los profesores ponen exámenes tipo test con preguntas que restan? - Smyth AcademySmyth Academy()

  • Pingback: Pautas para mejorar exámenes tipo test | en Esencia()