Tokenización — Cómo el modelo "lee" el texto
El modelo no ve letras ni palabras: divide el texto en "tokens" (fragmentos de palabras).
Embeddings — El espacio semántico
Cada palabra se representa como un punto en un espacio de miles de dimensiones. Palabras similares quedan cerca. Haz clic en cualquier palabra.
Mecanismo de atención — Transformers
La atención permite al modelo saber qué palabras son relevantes para entender cada token. Haz clic en un token para ver a qué presta atención.
Atención desde "banco":
Temperatura — Creatividad vs. Coherencia
Dado el prompt "El cielo es...", la temperatura determina cuán predecible es la respuesta.
Distribución de probabilidad para la siguiente palabra tras "El cielo es...":
Texto generado:
El cielo es...
Parámetros avanzados — top-p, frequency y presence penalty
Además de la temperatura, hay tres parámetros que controlan la diversidad y la repetición. Ajústalos para ver su efecto.
Solo considera las palabras cuya probabilidad acumulada (de mayor a menor) no supera este valor. Las palabras fuera del núcleo quedan excluidas sin importar su probabilidad individual.
Distribución actual (temperatura 1.0) — palabras en el núcleo marcadas:
Reduce la probabilidad de cada palabra proporcionalmente a cuántas veces ya apareció en el texto generado.
Penaliza palabras que ya aparecieron al menos una vez, sin importar cuántas. Favorece nuevos temas.
❌ Sin penalización — repetición frecuente
“El modelo respondió. La respuesta del modelo fue larga. El modelo siguió respondiendo y la respuesta del modelo continuó repitiéndose sin variación.”
Configuraciones recomendadas por caso de uso
| Tarea | temperature | top-p | freq_pen | pres_pen | Por qué |
|---|---|---|---|---|---|
| Código / SQL | 0.1 | 0.9 | 0 | 0 | Máxima precisión, sin creatividad |
| Preguntas factuales | 0.0 | — | 0 | 0 | Totalmente determinista |
| Emails profesionales | 0.5 | 0.9 | 0.1 | 0 | Coherente y sin repeticiones |
| Redacción creativa | 0.9 | 0.95 | 0.3 | 0.1 | Variedad sin caos |
| Brainstorming / ideas | 1.2 | 0.95 | 0.5 | 0.3 | Máxima diversidad temática |
| Chatbot conversacional | 0.7 | 0.9 | 0.1 | 0.1 | Natural y variado |
🤖Cómo funcionan los LLMs — Guía completa
Pre-entrenamiento, RLHF, alucinaciones y la diferencia entre modelos