¿Cuánto restan los errores en exámenes tipo test?

Aprovechando que es época de exámenes quiero retomar un tema de eterna polémica entre examinadores y examinados: ¿cuánto deben restar los errores en exámenes tipo test? Y ya que estamos, ¿por qué? La experiencia demuestra que pocos alumnos y profesores tienen clara la respuesta, lo que es entendible al tener una demostración sencilla, pero tampoco evidente.

1) Tablas de puntuaciones

Un ejemplo: Tenemos un examen con N=20 preguntas tipo test sobre P=10 puntos. Cada pregunta tiene 3 respuestas posibles. Entonces, cada acierto vale P/N=10/20=0,5 puntos y cada error descuenta 1/2=0,5 veces lo que vale un acierto, es decir, que descuenta 0,25 puntos.

Ojo: Todo esto sirve únicamente bajo una serie de asunciones:

• Dejarse una pregunta en blanco no suma, pero tampoco resta.
• Si el profesor valora que equivocarse en un tema concreto es algo muy serio (por responsabilidad civil, etc.) podría optar por que los errores restasen aún más.
• El examen no es del tipo «multirespuesta»: cada pregunta tiene una y solamente una respuesta válida posible. En caso contrario queda al criterio del examinador ser más o menos duro con la puntuación.

2) Demostración matemática

Por poco que te guste cuando estás en el lado del examinado, un examen (por mucho tipo test que sea) sirve para evaluar una serie de competencias, conocimientos o habilidades. Y debe diseñarse para que se tenga la mínima calificación de cero si éstas no se tienen.

En un examen tradicional esto es fácil de conseguir: si la respuesta está en blanco o lo que se responde demuestra un nulo entendimiento de la materia se puntúa con un cero. En un tipo test, existe una probabilidad de acertar por mero azar, por lo que debemos hacer un análisis probabilístico.

Tenemos los siguientes parámetros que definen un examen:

• Hay N preguntas.
• Cada una tiene M respuestas posibles, y sólo una es válida.
• La puntuación máxima es de P. Típicamente, P=10. Es directo ver que entonces cada pregunta acertada debe puntuar P/N.
• La penalización por error es X, y en lo siguiente determinaremos su valor.

Llamaremos \(n_1, n_2, … n_N\) a la puntuación obtenida en cada una de las preguntas, de forma que la nota total es:

\( NOTA = \sum_{i=1}^N n_i \)

Nuestro objetivo es diseñar una penalización por error tal que:

Si se responde por puro azar, se saque un cero.

Ese es el principio que nos debe guiar, y en este punto necesitamos echar mano de las probabilidades ya que… ¡no sabemos qué nota sacará el alumno en cada pregunta! Entendiendo que responder por puro azar significa que todas las respuestas tienen idénticas probabilidad de ser marcadas, tenemos lo que los matemáticos llaman una distribución uniforme sobre las posibles respuestas.

Como sólo hay una posibilidad entre M de acertar, la probabilidad de acertar al azar es \(\frac{1}{M}\) y por tanto la probabilidad de fallar es su complementaria \(1-\frac{1}{M}=\frac{M-1}{M}\). Recordando que la puntuación por acierto es \(\frac{P}{N}\) y la del error (-X), los posibles valores de cada nota \(n_i\) son:

\( n_i = \left\{ \begin{array}{l} \frac{P}{N} \quad \text{, con probabilidad } \frac{1}{M} \\ -X \frac{P}{N} \quad \text{, con probabilidad } \frac{M-1}{M} \end{array} \right. \)

Lo que acabamos de describir es realmente la distribución de probabilidad de una variable aleatoria discreta con dos únicos valores (acierto / error), que ya está totalmente definida al conocer la probabilidad con que se darán ambos casos.

Pero aún seguimos sin saber qué nota tendrá el alumno en cada pregunta. La estadística no puede responder a qué ocurrirá en cada caso concreto, sólo nos dice que lo más probable (si se está respondiendo al azar) es que se falle. Lo que sí nos permite es hacer la mejor predicción posible: la esperanza matemática nos da el valor que, de media, menos se equivocará al predecir la nota. En el caso de una variable discreta se calcula como la suma de cada valor ponderado por la probabilidad de obtenerlo, con lo que:

\( \begin{array}{rcl} E[n_i] &=& \frac{P}{N} \frac{1}{M} + \left( -X \frac{P}{N} \right) \frac{M-1}{M} \\ &=& \frac{P}{N} \left( \frac{1}{M} – \frac{X(M-1)}{M} \right) \ = \frac{P}{NM} \left( 1 – X \left( M-1 \right) \right) \end{array} \)

 

Ya puestos a pedir, pidámosle a la estadística una nueva predicción: la de la nota total del examen. Se trata de aplicar el operador esperanza E[] a la nota total. Haciendo uso de la propiedad de la linealidad de dicho operador y aprovechando el resultado obtenido arriba, llegamos a:

\( \begin{array}{rcl} E[NOTA] &=& E \left[ \sum_{i=1}^N n_i \right] \\ &=& N E[ n_i ] \\ &=& \frac{P}{M} \left( 1 – X \left( M-1 \right) \right) \end{array} \)

Recapitulemos: hemos llegado a la mejor predicción posible de la nota de un alumno que responda al azar. Queríamos que la calificación en este caso fuese de cero. Por tanto, no tenemos más que igualar esta expresión a cero y tendremos una ecuación con una incógnita, la penalización por error (X), que por fin podemos despejar:

\( \begin{array}{rcl} E[NOTA] &=& 0 = \frac{P}{M} \left( 1 – X \left( M-1 \right) \right) \\ 0 &=& 1 – X \left( M-1 \right) \\ X &=& \frac{1}{M-1} \end{array} \)

Que coincide con el resultado que mostré en la tabla de arriba.

Visto así, espero que haya quedado claro para ambos «bandos» porqué los errores deben restar precisamente la cantidad que restan.

Esta entrada participa de la edición 4,12310 del Carnaval de Matemáticas, que en este mes de junio tiene como blog anfitrión a Geometría Dinámica.

Nota: Éste artículo es un remake de este otro de hace tres años, ya que pienso que vendría bien exponer primero los resultados de forma más clara antes de entrar en las matemáticas.