Los niveles de significación arbitrarios se deciden antes de calcular el estadístico de contraste y los niveles de significación no arbitrarios dependen del valor que tome el estadístico de contraste, ambos dependen de la distribución que sigan los datos.
En otras palabras, los niveles de significación arbitrarios siempre serán los mismos para distintos valores del estadístico de contraste y los niveles de significación no arbitrarios serán distintos para diferentes valores del estadístico de contraste.
No arbitrario
Cuando se señala a algún concepto la característica de ser arbitrario quiere decir que el valor de ese concepto es escogido por el investigador a priori (antes) de hacer el experimento sin basarse en ninguna información relacionada.
El valor-p y los elefantes
Por ejemplo, supogamos que queremos testear el número de elefantes que hay en una pradera.
Antes de ver la pradera y los elefantes que realmente hay, suponemos a priori el número de elefantes. Decimos que pueden haber 10 elefantes. Entonces, vamos a la pradera y contamos el número de elefantes que vemos: 1, 2, 3, 4, 5, 6 y 7.
Nuestra hipótesis nula era que el número de elefantes en la pradera era igual a 10 y nuestra hipótesis alternativa era que había menos de 10. Entonces, vistos los elefantes que hay, rechazaríamos la hipótesis nula. Pero… ¿Y si hay 3 elefantes más en la pradera pero están escondidos detrás de los árboles? Estaríamos rechazando nuestra hipótesis nula cuando podría ser cierta si, en vez de haber contado los elefantes, hubiésemos calculado el número máximo de elefantes que la pradera puede albergar.
Análisis
Los 10 elefantes escogidos al inicio ha sido totalmente arbitrario porque no hemos visto la dimensión de la pradera y, por tanto, no sabemos si 10 elefantes es mucho o poco.
En cambio, si, dada la dimensión de la pradera, calculamos el número máximo de elefantes que puede albergar, sabremos cuál es el valor máximo para no rechazar la hipótesis nula. Entonces, encontrar el número real será mucho más sencillo.
Comparación
Lo mismo pasa con los niveles de significación 1%, 5% y 10% en comparación con el valor-p. En muchos contrastes escogemos el nivel de significación sin tener en cuenta más información que no sea la distribución. Normalmente se emplea 5% como nivel de significación (alpha), dejando el 95% de la muestra dentro del intervalo de confianza.
El problema de asignar el nivel de significación de manera arbitraria es el mismo problema que tenemos con el ejemplo de los elefantes. Si creemos que es correcto aplicar el 5% (nivel de significación), puede que rechacemos la hipótesis nula cuando el mínimo para ser rechazada es 2% (valor-p). Incurriríamos en resultados erróneos por el simple hecho de establecer el 5% en lugar del valor mínimo para ser rechazada (2%).
En otras palabras, estamos concluyendo que en la pradera hay menos de 10 elefantes pero en realidad hay 3 elefantes más pero están escondidos. Entonces, es mucho más rápido calcular cuál es el nivel de significación máximo o mínimo para el cual no rechazaríamos o sí rechazaríamos la hipótesis nula.
Regla de rechazo
Si valor – p < nivel de significación => Rechazo H0.
Si valor – p > nivel de significación => No rechazo H0.
