Teoría de la Información

Entropía de Shannon · Código de Huffman · Capacidad del Canal · Compresión de Datos

Términos de UsoTérminos|Política de PrivacidadPrivacidad|Contacto

La entropía de Shannon mide la incertidumbre media de un sistema de símbolos: H = −Σ pᵢ · log₂(pᵢ). Cuanto más impredecible el sistema, mayor la entropía. Ajusta los sliders para ver cómo cambia H.

P(A) = 0.40

P(B) = 0.30

P(C) = 0.20

P(D) = 0.10 (1 − A − B − C)

1.846bits / símbolo

Alta entropía: distribución casi uniforme

Lanzamiento de monedaH = 1 bitp(cara) = p(cruz) = 0,50

Dado de 6 carasH ≈ 2,58 bits6 resultados equiprobables

Máximo (4 símbolos)H = 2 bitsp = 0,25 para cada símbolo

Tu configuraciónH = 1.846 bits92.3% del máximo posible

Curva de entropía H(p) para sistema binario (moneda)

🔗Apps relacionadas

🔐CriptografíaLa entropía de Shannon mide la aleatoriedad: un buen cifrado maximiza la entropía de la salida ⚙️Algoritmos de OrdenaciónLa complejidad de los algoritmos de compresión (Huffman es O(n log n)) conecta con el análisis Big O ⚡Circuitos ElectrónicosLas señales digitales son bits — y la capacidad del canal determina cuántos bits por segundo puede transmitir el hardware 🌐Redes de ComputadorasShannon-Hartley calcula el límite teórico de velocidad de cualquier red: WiFi, fibra o 5G

meskeIA

Teoría de la Información

Entropía de Shannon · Código de Huffman · Capacidad del Canal · Compresión de Datos

Términos de UsoTérminos|Política de PrivacidadPrivacidad|Contacto

P(A) = 0.40

P(B) = 0.30

P(C) = 0.20

P(D) = 0.10 (1 − A − B − C)

1.846bits / símbolo

Alta entropía: distribución casi uniforme

Lanzamiento de monedaH = 1 bitp(cara) = p(cruz) = 0,50

Dado de 6 carasH ≈ 2,58 bits6 resultados equiprobables

Máximo (4 símbolos)H = 2 bitsp = 0,25 para cada símbolo

Tu configuraciónH = 1.846 bits92.3% del máximo posible

Curva de entropía H(p) para sistema binario (moneda)

Teoría de la Información

📚¿Qué es la Teoría de la Información?

🔗Apps relacionadas

Teoría de la Información

📚¿Qué es la Teoría de la Información?

🔗Apps relacionadas