El agente quiere llegar a la bandera (+1) sin caer en una trampa (−1), y cada paso le cuesta un poco. Cada casilla enseña su valor (cuánto espera ganar desde ahí: verde bueno, rojo malo) y su política (la flecha: qué haría). Pinta paredes, barro y trampas arrastrando, y mueve los deslizadores para ver cómo cambia lo que decide.
Si el agente conoce el mundo (dónde está todo y cuánto resbala), puede calcular el valor de cada casilla sin dar un paso. Cada barrido aplica la ecuación de Bellman: el valor de una casilla es lo mejor que puede conseguir con una acción, contando la recompensa al llegar y el valor de donde acaba, descontado por γ. El valor se extiende desde la meta, una casilla más en cada barrido, hasta que deja de cambiar.
Aquí el agente no sabe nada del mundo: camina y aprende de lo que le pasa. Guarda una tabla Q con lo que espera de cada acción en cada casilla y, tras cada paso, la corrige un poco (α) hacia la recompensa recibida más lo mejor que espera desde donde ha llegado. Con probabilidad ε prueba una acción al azar (explora); si no, la mejor que conoce (explota). Sin explorar se queda con lo primero que funcionó; explorando demasiado, nunca aprovecha lo aprendido.
γ (descuento): cuánto le importa el futuro. Con γ bajo, una meta lejana casi no vale nada. Resbalar: la probabilidad de que la acción falle y vaya a un lado; con suelo resbaladizo, el agente se aparta de las trampas aunque tarde más. Coste por paso: si cada paso cuesta mucho, al agente le sale más a cuenta tirarse a una trampa cercana que dar un rodeo largo.
El agente conoce el mapa: calcula cuánto vale cada casilla con la ecuación de Bellman, un barrido tras otro, sin dar un paso.
Pulsa «Un barrido» y mira cómo el valor sale de la meta y se extiende una casilla en cada barrido.