Entropía de Shannon · Código de Huffman · Capacidad del Canal · Compresión de Datos
La entropía de Shannon mide la incertidumbre media de un sistema de símbolos: H = −Σ pᵢ · log₂(pᵢ). Cuanto más impredecible el sistema, mayor la entropía. Ajusta los sliders para ver cómo cambia H.
Curva de entropía H(p) para sistema binario (moneda)
La matemática detrás del MP3, el WiFi y toda comunicación digital
En 1948, Claude Shannon publicó «A Mathematical Theory of Communication», uno de los artículos más influyentes de la historia de la ciencia. Shannon demostró que la información puede medirse con precisión matemática y estableció los límites fundamentales de lo que es posible en cualquier sistema de comunicación.
Antes de Shannon, ingenieros y físicos trabajaban con señales de forma empírica. Shannon creó una teoría unificada que abarcaba telegrafía, telefonía, radio y, décadas después, WiFi, 4G, internet y almacenamiento digital.
Mide la incertidumbre de una fuente de información. Cuanto más impredecible, mayor la entropía y más bits necesitas para transmitir el mensaje.
Ningún código puede comprimir mensajes por debajo de H bits/símbolo en promedio. Huffman y LZ77 se acercan a este límite.
Todo canal con ruido tiene una capacidad máxima C bits/segundo. Por debajo de C, es posible transmitir sin errores. Por encima, es imposible.
Existe un código que permite transmitir a velocidad arbitrariamente cercana a C con probabilidad de error arbitrariamente baja. Los códigos LDPC del 5G son ejemplo.
| Tecnología | Concepto de Shannon | Cómo se aplica |
|---|---|---|
| MP3 / AAC | Entropía + codificación de la fuente | Huffman + psicoacústica |
| JPEG / HEIC | Entropía + DCT | Codificación de coeficientes DCT con Huffman/AC |
| ZIP / gzip | Entropía de Lempel-Ziv | LZ77 + Huffman dinámico |
| WiFi 6E | Capacidad del canal | OFDMA + MU-MIMO cerca de límite Shannon |
| 5G NR | Teorema del canal + códigos LDPC | Turbo codes → Polar codes → LDPC |
| Disco duro / SSD | Corrección de errores | Códigos BCH / Reed-Solomon |
| Criptografía | Entropía como seguridad | Clave segura = entropía alta (≥128 bits) |
Shannon definió el bit (binary digit) como la unidad básica de información. Un bit es la respuesta a una pregunta de sí/no perfectamente equilibrada (como lanzar una moneda justa). Pero la información de un mensaje depende de su probabilidad: un evento muy probable lleva poca información; uno improbable, mucha.
Un tweet de 280 caracteres contiene ~280 × 1,3 ≈ 364 bits de información real (en inglés). La cuenta bancaria de un millonario con 1 millón de euros tiene ~20 bits de información numérica. La información es independiente del soporte físico.
Una contraseña segura es exactamente una contraseña con alta entropía: impredecible para un atacante. «Contraseña123» tiene baja entropía (patrón predecible). «Xk#9!mPqR$2vL» tiene alta entropía (~72 bits). Los gestores de contraseñas generan claves con entropía máxima según su longitud. Shannon no lo diseñó para la ciberseguridad, pero la matemática es idéntica.
| Formato | Tipo | Ratio compresión | Calidad | Uso típico | Algoritmo base |
|---|---|---|---|---|---|
| MP3 | Audio | ~10:1 | Buena (lossy) | Música, podcasts | MDCT + Huffman |
| AAC | Audio | ~12:1 | Mejor que MP3 | Streaming, Apple Music | MDCT + codif. aritmética |
| FLAC | Audio | ~2:1 | Sin pérdida | Archivos máster, audiófilos | LPC + Rice coding |
| JPEG | Imagen | 10–20:1 | Variable (lossy) | Fotos, web | DCT + cuantización + Huffman |
| PNG | Imagen | ~2:1 | Sin pérdida | Logos, capturas, transparencias | DEFLATE (LZ77 + Huffman) |
| WebP | Imagen | ~25–30% | Mejor que JPEG/PNG | Web moderna | VP8 + codif. predictiva |
| H.265 / HEVC | Vídeo | ~2× vs H.264 | Alta (lossy) | 4K, streaming | DCT + codif. aritmética CABAC |
| AV1 | Vídeo | ~30% vs HEVC | Muy alta (lossy) | YouTube, Netflix 4K | Transformadas + codif. simbólica |
La entropía de Shannon aparece en todas las asignaturas de redes y señales. Comprender la relación H → código de Huffman → límite de Shannon es imprescindible para exámenes de teoría de codificación y para entender por qué la compresión tiene un techo.
Usa la fórmula Shannon-Hartley (C = B · log₂(1 + S/N)) para calcular la capacidad máxima teórica de un enlace antes de elegir el hardware. Si la capacidad requerida supera el límite Shannon, no hay codec que lo resuelva: hay que mejorar el medio físico.
Decidir entre JPEG / WebP / AVIF para imágenes o MP3 / AAC / Opus para audio depende del balance ratio-calidad-compatibilidad. Conocer el algoritmo base (Huffman, DCT, aritmética) ayuda a entender qué ocurre con imágenes de texto o audio con mucho silencio.
La entropía de Shannon es la base de la entropía cruzada (función de pérdida más usada en clasificación) y de la ganancia de información en árboles de decisión. Los modelos de lenguaje se miden en perplejidad, que es directamente una exponencial de la entropía media por token.
Un bit de información es la cantidad aprendida al observar el resultado de un evento con dos posibilidades igualmente probables (como lanzar una moneda justa). Si el evento es predecible (probabilidad 1), observarlo no aporta ningún bit. Cuanto más sorpresivo el resultado, más bits de información contiene. Shannon formalizó esto como I(x) = −log₂ p(x) bits.
Huffman demostró que su construcción greedy —combinar siempre los dos nodos menos frecuentes— minimiza la longitud media del código entre todos los posibles códigos de longitud variable. Es óptimo símbolo a símbolo. Cuando los símbolos se codifican en grupos (como en codificación aritmética), se pueden alcanzar longitudes medias incluso más cercanas a la entropía H.
El teorema de la fuente de Shannon establece que no es posible comprimir un archivo por debajo de su entropía H bits/símbolo (en promedio). Intentar comprimir más allá introduce pérdida de información (lossy) o simplemente el archivo comprimido será igual o mayor. Por eso un archivo ZIP de una imagen JPEG ya comprimida no reduce su tamaño: la entropía del JPEG es alta (ya aprovecha la redundancia).
La compresión lossless (sin pérdida) elimina solo redundancias matemáticas: el archivo original puede reconstruirse exactamente. Ejemplos: FLAC, PNG, ZIP. La compresión lossy (con pérdida) va más allá del límite Shannon descartando información que el sistema perceptivo humano tolera (frecuencias de audio inaudibles, detalles de imagen de alta frecuencia). Ejemplos: MP3, JPEG, H.265. El resultado no puede reconstruirse exactamente.
Sí, y no fue casualidad. Shannon consultó a John von Neumann el nombre y este le sugirió «entropía» porque la fórmula matemática es formalmente equivalente a la entropía de Boltzmann en termodinámica estadística: S = −k · Σ pᵢ · ln(pᵢ). La diferencia es el factor k (constante de Boltzmann) y la base del logaritmo. Ambas miden el grado de desorden o incertidumbre de un sistema.
Cuenta cuántas veces aparece cada símbolo en el mensaje original. Si tienes el texto «ABRACADABRA», obtendrías: A=5, B=2, R=2, C=1, D=1. Estas frecuencias determinan la longitud de cada código: mayor frecuencia → código más corto.
Crea una cola de prioridad con todos los símbolos. Los menos frecuentes van primero. En nuestro ejemplo: C(1), D(1), B(2), R(2), A(5). Esta estructura permite siempre acceder al elemento con menor frecuencia de manera eficiente.
Extrae los dos símbolos con menor frecuencia (C y D) y crea un nodo padre con frecuencia suma (2). El hijo izquierdo recibe el bit «0» y el derecho «1». Inserta el nuevo nodo en la cola. Repite el proceso hasta que solo quede un nodo: la raíz del árbol, con frecuencia total del mensaje.
Para cada símbolo hoja, su código Huffman es la concatenación de bits del camino desde la raíz. En el ejemplo de la pestaña Huffman: A recibe «0» (camino corto, muy frecuente), mientras que F recibe «1100» (camino largo, muy poco frecuente). El árbol garantiza que ningún código es prefijo de otro (propiedad libre de prefijos).
Multiplica la longitud de cada código por su probabilidad y suma. Este valor debe estar entre H bits/símbolo y H+1 bits/símbolo. Si tu código usa exactamente H bits en promedio, la compresión es perfecta (esto ocurre cuando las probabilidades son potencias exactas de 1/2, como 1/2, 1/4, 1/8…).
Usa WebP como primera opción (mejor calidad/tamaño que JPEG y PNG). Reserva PNG para transparencias, logos o capturas con texto. Usa AVIF si el soporte del navegador lo permite (~95% en 2025). Evita BMP o TIFF en la web: sin compresión ni ventaja visual.
Para streaming o apps móviles usa Opus (máxima eficiencia a bajo bitrate, libre de royalties). Para archivos de música descargables, AAC oMP3 según el ecosistema. Para archivos máster o edición de audio, siempre FLAC o WAV sin compresión.
Poner un JPEG dentro de un ZIP o un MP3 dentro de un RAR no reduce el tamaño: el archivo ya tiene entropía alta y el compresor no puede mejorarlo. Solo añade overhead del contenedor. Comprime siempre desde el original sin comprimir.
Algoritmos con mejor ratio (como LZMA / 7z) necesitan más memoria y tiempo para descomprimir. Para datos que se leen frecuentemente en tiempo real (bases de datos, logs en streaming), LZ4 o Snappy priorizan velocidad sobre ratio. Para backups o distribución, usa ZSTD (buen equilibrio).
La decodificación de vídeo H.265 o AV1 requiere soporte hardware para ser eficiente en batería. En dispositivos antiguos, H.264 decode es más rápido aunque ocupe más espacio. Para texto comprimido en APIs, Brotli supera a gzip en ratio y velocidad en navegadores modernos.