Visualiza al mismo tiempo α, β, p-valor y potencia con dos distribuciones superpuestas (H₀ y H₁) y regiones de rechazo interactivas. Comprende los errores tipo I y II.
Test sobre la media: H₀: μ = 50,0 vs H₁: μ ≠ 50,0. Decide a nivel α = 0.05. Mueve X̄ observado y mira cómo cambia el p-valor; mueve μ₁ (la media verdadera asumida bajo H₁) y mira cómo cambian β y la potencia.
α, β, p-valor y potencia: lo que confunde a casi todo el mundo
Un test de hipótesis es un procedimiento para decidir entre dos afirmaciones opuestas sobre un parámetro poblacional, usando datos muestrales. Se plantean dos hipótesis mutuamente excluyentes:
La regla de decisión se basa en el estadístico z observado y el p-valor:
Hay dos errores posibles: rechazar H₀ siendo cierta (tipo I, prob = α) o no rechazarla siendo falsa (tipo II, prob = β). El simulador los pinta encima de las dos curvas para que veas el trade-off al cambiar α, n o μ₁.
| Realidad ↓ / Decisión → | NO rechazar H₀ | Rechazar H₀ |
|---|---|---|
| H₀ es cierta | Decisión correcta (1 − α) | Error tipo I (α). Rechazar H₀ siendo cierta. |
| H₀ es falsa (H₁ cierta) | Error tipo II (β). No rechazar H₀ siendo falsa. | Decisión correcta (1 − β = potencia) |
α y β están en tensión: bajar α (ser más exigente para rechazar) sube β (menos potencia). La única forma de bajar ambos es aumentar n: más datos = mejor capacidad de distinguir realidades.
H₀: el fármaco no es mejor que el placebo. H₁: sí lo es. Si el p-valor es muy bajo, se rechaza H₀ y se concluye que el fármaco tiene efecto. La FDA exige potencia ≥ 80 %.
H₀: el peso medio del lote es 500 g (especificación). Si rechazas H₀, paras la línea. α bajo (1 %) reduce falsas alarmas, pero exige n grande para no perder defectos reales.
H₀: no hay diferencia entre dos métodos. Rechazar H₀ con p < 0,05 ha sido el estándar durante décadas. Hoy hay debate sobre si esa cifra es demasiado laxa.
H₀: la nueva versión del botón no aumenta clics. Si el test muestra p < 0,05 con un efecto razonable, se despliega la nueva versión. La potencia depende del tráfico (n).
NO. Es uno de los errores más extendidos, incluso entre profesionales. El p-valor es la probabilidad de obtener un resultado tan o más extremo que el observado, asumiendo que H₀ es cierta. NO es la probabilidad de que H₀ sea cierta dados los datos (eso sería un razonamiento bayesiano y requiere prior).
Mejor traducción: "si H₀ fuera cierta, ¿cómo de raro sería ver lo que vimos?". Si es muy raro (p pequeño), es una señal de que H₀ podría ser falsa.
NO. No rechazar H₀ solo significa "no hay suficiente evidencia para rechazarla con esta muestra". Podría ser cierta, podría ser falsa pero con un efecto pequeño (β alto = baja potencia), podría faltar n. Nunca se "acepta" H₀.
La traducción correcta es: "los datos no son incompatibles con H₀". No es lo mismo que confirmarla.
Cuatro palancas: (1) aumentar n (la palanca más segura), (2) reducir σ (mejor diseño experimental), (3) aceptar mayor α (5 % en vez de 1 %), (4) esperar a que el efecto real sea grande (μ₁ − μ₀ alto). En el simulador, mueve μ₁ alejándolo de μ₀ y verás la potencia subir.
Estándar de la industria: potencia ≥ 80 % antes de hacer el test. Por debajo, el test puede fracasar incluso aunque H₁ sea cierta.
Bilateral cuando solo te importa si μ es distinto de μ₀, sin saber si por encima o por debajo. Unilateral cuando tienes una hipótesis direccional clara (un fármaco solo puede mejorar, no empeorar; un proceso solo puede degradarse).
Los unilaterales tienen mayor potencia para una desviación dada, pero NO los uses post-hoc al ver los datos: eso infla α y es mala práctica.
Son dos caras de la misma moneda. Un test bilateral con α = 5 % rechaza H₀: μ = μ₀ ⟺ el IC al 95 % NO contiene μ₀. Pero el IC da más información: el rango plausible de μ, no solo si rechazas o no.
La American Statistical Association recomienda reportar IC y tamaño de efecto, no solo p-valores.
H₀ debe ser específica (μ = μ₀). H₁ define la dirección (≠, > o <). Decidir tras ver los datos infla α y es mala práctica (p-hacking).
5 % es el estándar histórico, 1 % para ámbitos críticos (medicina), 10 % para exploratorio. Cambiarlo tras ver los datos invalida la inferencia.
zobs = (X̄ − μ₀) / (σ/√n). Si σ es desconocido (caso real), sustitúyelo por s y usa la distribución t con n − 1 grados de libertad.
Para bilateral: 2·P(Z > |zobs|). Para unilateral derecho: P(Z > zobs). Para unilateral izquierdo: P(Z < zobs). Lo da cualquier tabla Z o software.
Si p < α: rechazas H₀ ("hay evidencia estadística de que μ ≠ μ₀"). Si p ≥ α: no rechazas. Reporta también el tamaño de efecto y el IC, no solo el p-valor.
El cálculo de tamaño muestral asume una potencia objetivo (≥ 80 %). Si lanzas un test con n insuficiente, las conclusiones serán cuestionables, gane o pierda.
Un p < 0,001 con n = 1.000.000 puede ocultar un efecto irrelevante en la práctica. El tamaño de efecto (d de Cohen, diferencia bruta, IC) cuenta la historia real.
Si haces 20 tests independientes a α = 5 %, esperarás 1 falso positivo de media. Aplica corrección Bonferroni (α/k) o métodos FDR para controlar la tasa de error global.
El pre-registro de H₀, H₁, α y n antes de tomar datos es la mejor protección contra p-hacking, HARKing y otros sesgos. Especialmente en investigación científica formal.