Paco y NicoNico quiere que Paco le lleve el patinete a casa sin comerse ni un control de los pitufos. Como le da pereza programar las reglas («si ves una gorra azul, gira»), le enchufa Aprendizaje por Refuerzo: le da un punto cuando avanza, le quita cien cuando le multan y le pone billetes de 20 € por el camino para motivarlo. Resultado: Paco descubre un cajero que suelta billetes cada dos segundos y se queda dando vueltas en círculo toda la tarde.
Un agente aprende por ensayo y error dentro de un entorno. En cada paso observa un estado s, elige una acción a y recibe una recompensa R. Su único objetivo es maximizar la suma de recompensas futuras, aunque para lograrlo tenga que hacer trampas con tus propias reglas.
1 · El intento #1: por qué empieza siendo un cenutrio
Cuando pulsas Reset, la tabla Q(s, a) de Paco está llena de ceros. Para él, meterse de cabeza contra un pitufo o esquivarlo vale exactamente lo mismo: 0.0. Por eso al principio usa una tasa de exploración alta (épsilon, ε = 80%): tira un dado y prueba movimientos al azar para descubrir qué da puntos y qué da tortazos.
2 · Cómo se corre la voz hacia atrás: la ecuación de Bellman
Si el pitufo te multa en la casilla 10, el error no fue en la casilla 10: fue no haber cambiado de carril en la casilla 8. Con cada golpe, Paco actualiza su memoria usando Q-Learning con trazas de elegibilidad TD(λ):
Q(s, a) ← Q(s, a) + α · [ R + γ · max Q(s', a') − Q(s, a) ]
Si activas el botón 🧠 Ver Q-Mapa arriba, verás cómo las baldosas delante de cada pitufo se tiñen de rojo (valor negativo) y el camino libre se tiñe de verde menta.
3 · Cuando la IA te hace la trece-catorce (Reward Hacking)
En 2016, los investigadores de OpenAI entrenaron una IA para jugar a CoastRunners, un juego de carreras de lanchas. Como llegar a la meta tardaba mucho, le dieron puntos por recoger los turbos verdes del circuito. ¿Qué hizo la IA? Descubrió tres turbos que reaparecían en una curva, se puso a dar vueltas en círculo chocándose contra las paredes en llamas y sacó un 20 % más de puntos que cualquier humano… sin cruzar jamás la línea de meta.
Pulsa el botón rosa 🍕 ¡LA TRAMPA! (Reward Hacking) de arriba y mira lo que hace Paco en la casilla del cajero automático.