Tokenización — Cómo el modelo "lee" el texto
El modelo no ve letras ni palabras: divide el texto en "tokens" (fragmentos de palabras).
Hola,▪soy▪un▪modelo▪de▪lenguaje▪grande
14tokens
38caracteres
~$0.00014coste GPT-4 input
1 token ≈ 0,75 palabras en inglés
1 token ≈ 0,5 palabras en español
GPT-4: 128.000 tokens de context window
128k tokens ≈ 300 páginas de libro
El modelo nunca ve texto crudo: todo se convierte a IDs numéricos de tokens. "ChatGPT" puede ser 1 token en inglés pero 2 en otros idiomas.
Embeddings — El espacio semántico
Cada palabra se representa como un punto en un espacio de miles de dimensiones. Palabras similares quedan cerca. Haz clic en cualquier palabra.
AnimalesColoresVerbosComidaRoyalty
Rey − Hombre + Mujer ≈ Reina: en el espacio vectorial, la dirección que va de "hombre" a "mujer" es la misma que va de "rey" a "reina". Esto es aritmética vectorial sobre el espacio semántico — no magia, matemáticas.
Mecanismo de atención — Transformers
La atención permite al modelo saber qué palabras son relevantes para entender cada token. Haz clic en un token para ver a qué presta atención.
Contexto:
Atención desde "banco":
El
banco
está
cerca
del
río
El
90%
20%
10%
10%
10%
10%
banco
20%
80%
30%
50%
40%
90%
está
10%
30%
70%
60%
20%
20%
cerca
10%
50%
60%
80%
50%
40%
del
10%
40%
20%
50%
70%
60%
río
10%
90%
20%
40%
60%
90%
🌊 "banco" atiende fuertemente a "río" y "cerca" → el modelo infiere que es un asiento junto al río.
96capas de atención en GPT-4
96cabezas por capa
9.216mecanismos de atención en paralelo
Temperatura — Creatividad vs. Coherencia
Dado el prompt "El cielo es...", la temperatura determina cuán predecible es la respuesta.
❄️ Frío (predecible)🔥 Caliente (creativo/caótico)
T = 1.0Equilibrado — estándar para chatbots
Distribución de probabilidad para la siguiente palabra tras "El cielo es...":
azul
40%
gris
25%
naranja
15%
nublado
10%
oscuro
10%
Texto generado:
El cielo es...
🤖Cómo funcionan los LLMs — Guía completa
Pre-entrenamiento, RLHF, alucinaciones y la diferencia entre modelos