Q-learning y Deep Q-learning: fundamentos y aplicación

Q-learning es un algoritmo fundamental del aprendizaje por refuerzo, un subcampo de la inteligencia artificial donde un agente aprende a tomar decisiones óptimas a través de la prueba y el error. A diferencia de otros métodos, el Q-learning es "libre de modelo" (model-free), lo que significa que el agente no necesita conocer toda la estructura del entorno, sino que aprende directamente de las recompensas que recibe tras ejecutar acciones específicas en diferentes estados.

La evolución natural de este método dio lugar al Deep Q-Learning (DQN), que integra redes neuronales profundas para manejar entornos con miles de variables, permitiendo a los agentes aprender tareas complejas como jugar al ajedrez o controlar robots. Estos algoritmos son la base técnica detrás de gran parte de la toma de decisiones automatizada actual.

Definición y concepto

El aprendizaje por refuerzo (Reinforcement Learning, o RL) es un paradigma fundamental dentro del campo del aprendizaje automático. A diferencia de otros métodos, no se basa únicamente en datos estáticos, sino en la interacción continua. Un agente toma decisiones secuenciales dentro de un entorno para maximizar una recompensa acumulada a lo largo del tiempo. Es el mecanismo subyacente en muchos sistemas modernos de inteligencia artificial.

Componentes fundamentales del sistema

Para comprender cómo funciona este marco, es necesario definir sus elementos básicos con precisión. El agente es la entidad que aprende y toma decisiones. El entorno es todo lo que rodea al agente y con lo que este interactúa. En cada paso, el agente percibe el estado actual del entorno. Un estado es una representación completa o parcial de la situación en un momento dado. Basándose en ese estado, el agente elige una acción. Tras ejecutarla, el entorno cambia de estado y devuelve una señal numérica llamada recompensa.

La recompensa indica qué tan buena o mala fue la acción tomada. El objetivo del agente no es solo maximizar la recompensa inmediata, sino la suma total de recompensas futuras. Esta dinámica crea un bucle de retroalimentación constante. El agente ajusta su comportamiento para obtener mejores resultados en el futuro. La consecuencia es directa: sin una señal de recompensa clara, el aprendizaje se estanca.

Dato curioso: La estructura básica de agente y entorno en el RL se inspiró en la teoría del condicionamiento operante en psicología, propuesta originalmente por B.F. Skinner en la década de 1930. El cerebro aprende, en parte, mediante recompensas y castigos similares.

Diferencias con el aprendizaje supervisado

Es común confundir el aprendizaje por refuerzo con el aprendizaje supervisado, pero existen diferencias estructurales clave. En el aprendizaje supervisado, el agente recibe un conjunto de datos de entrada y su salida correcta correspondiente. Es como estudiar con un libro de respuestas al final del capítulo. El modelo compara su predicción con la respuesta real y ajusta sus parámetros.

En el aprendizaje por refuerzo, no siempre hay una "respuesta correcta" inmediata. A menudo, la recompensa llega con retraso. El agente debe descubrir qué acciones conducen a las mejores recompensas a través de la exploración. Esto introduce el desafío de la exploración frente a la explotación. El agente debe probar acciones nuevas para descubrir su valor, pero también aprovechar las acciones conocidas que funcionan bien. Este equilibrio es crucial para el éxito del modelo.

Q-learning: un enfoque basado en valores

El Q-learning es uno de los algoritmos más populares dentro del aprendizaje por refuerzo. Es un método "off-policy" basado en valores. Esto significa que el algoritmo puede aprender el valor óptimo de una acción independiente de la acción que el agente está realizando actualmente. Aprende del mejor camino posible, aunque esté tomando caminos diferentes.

El término "Q" proviene de "Quality" o calidad. Representa la utilidad esperada de tomar una acción específica en un estado dado. El algoritmo mantiene una tabla o función que estima estos valores. Con el tiempo, estas estimaciones se acercan al valor real de cada acción-estado. No requiere un modelo completo del entorno, lo que lo hace muy versátil. Es la base sobre la cual se construyen muchas variantes modernas, como el Deep Q-Learning. Pero hay un matiz: su eficiencia depende de cómo se actualizan estos valores.

¿Cómo funciona el algoritmo Q-learning?

El algoritmo Q-learning es un método de aprendizaje por refuerzo basado en valores. Su objetivo es aprender la mejor acción a tomar en cada estado del entorno para maximizar la recompensa acumulada. El núcleo del sistema es la Tabla Q, una matriz que almacena la utilidad esperada de ejecutar una acción específica en un estado dado. Esta tabla comienza vacía o con valores iniciales y se actualiza iterativamente a medida que el agente interactúa con el entorno.

La ecuación de actualización

La actualización de los valores en la Tabla Q se rige por la fórmula de Bellman. Esta ecuación ajusta el valor estimado de un par estado-acción basándose en la recompensa inmediata recibida y el mejor valor futuro esperado. La fórmula es:

En esta expresión, Q(s,a) es el valor actual del estado s y la acción a. El término entre corchetes representa el error entre la recompensa observada y la estimación previa. El parámetro α es la tasa de aprendizaje, que determina cuánto se confía en la nueva información frente a la antigua. Si α es cercano a 1, el agente olvida rápidamente el pasado; si es cercano a 0, los cambios son lentos y estables.

El factor de descuento γ pondera la importancia de las recompensas futuras. Un γ alto (cercano a 1) hace que el agente sea ambicioso, buscando recompensas lejanas, mientras que un γ bajo (cercano a 0) lo hace miope, enfocándose en beneficios inmediatos. El término maxa′​Q(s′,a′) busca la mejor acción posible en el siguiente estado s′.

Exploración y explotación

Para equilibrar la búsqueda de nuevas estrategias y el uso de las conocidas, se emplea la estrategia epsilon-greedy. El agente elige la mejor acción según la Tabla Q con una probabilidad 1−ϵ, y una acción aleatoria con probabilidad ϵ. Esto evita que el agente se quede atascado en un óptimo local al probar acciones menos frecuentes. Con el tiempo, ϵ suele disminuir, favoreciendo la explotación de la mejor acción encontrada.

Ejemplo práctico

Imagina un laberinto 2D donde un robot debe llegar a la salida. Cada casilla es un estado y cada movimiento (arriba, abajo, izquierda, derecha) es una acción. Al moverse, el robot recibe una recompensa: +10 al llegar a la meta y -1 por cada paso dado. Inicialmente, todas las entradas de la Tabla Q son cero. El robot explora aleatoriamente, actualizando los valores según la fórmula de Bellman. Tras varias iteraciones, la ruta más corta tendrá los valores Q más altos, guiando al robot de forma casi óptima. La consecuencia es directa: el aprendizaje surge de la retroalimentación continua.

Dato curioso: Aunque la Tabla Q es efectiva para entornos pequeños, su tamaño crece exponencialmente con el número de estados. Esto llevó al desarrollo del Deep Q-Learning, que usa redes neuronales para aproximar los valores Q, permitiendo manejar entornos como el juego de Ataris con miles de píxeles.

Historia y evolución del aprendizaje por refuerzo

Los fundamentos del aprendizaje por refuerzo se remontan a la década de 1950, específicamente al trabajo de Richard Bellman y su concepto de programación dinámica. Bellman introdujo la ecuación de Bellman, que establece una relación recursiva entre el valor de un estado actual y los valores esperados de los estados futuros. Esta formulación permitió cuantificar la recompensa acumulada a lo largo del tiempo, sentando las bases matemáticas para que un agente pudiera tomar decisiones óptimas. La ecuación fundamental para la función de valor de estado se expresa como:

Donde γ representa la tasa de descuento que pondera la importancia de las recompensas futuras frente a las inmediatas. Durante décadas, este enfoque dominó, pero su principal limitación era la necesidad de conocer toda la estructura del entorno, lo que lo hacía poco escalable para problemas complejos.

El algoritmo Q-learning de Watkins

En 1989, Christopher Watkins presentó su tesis doctoral, donde formalizó el algoritmo Q-learning. Este método introdujo un cambio de paradigma al centrarse en la función de valor de acción-estado, conocida como función Q. A diferencia de la función de valor de estado, que evaluaba la calidad de estar en un lugar, la función Q evaluaba la calidad de realizar una acción específica en ese lugar. Esto permitió que el agente aprendiera una política óptima sin necesidad de conocer completamente la dinámica del entorno, convirtiéndolo en un algoritmo esencialmente "libre de modelo" (model-free).

Dato curioso: El nombre "Q" proviene de "Quality" (Calidad), reflejando la intuición de que la función mide la calidad de tomar una acción específica en un estado dado.

La actualización de los valores Q se realiza mediante una regla de actualización iterativa que minimiza la diferencia entre el valor estimado y el valor observado. Esta simplicidad matemática hizo que Q-learning se convirtiera en el caballo de batalla del aprendizaje por refuerzo durante más de dos décadas.

La revolución de las Redes Neuronales Profundas (DQN)

A pesar de su elegancia, el Q-learning clásico sufría de la "maldición de la dimensión": a medida que aumentaba el número de estados, la tabla Q crecía exponencialmente, volviéndose difícil de gestionar. El salto cualitativo llegó en 2013 con el trabajo de DeepMind sobre las Redes Neuronales Profundas (Deep Q-Networks o DQN). Este enfoque sustituyó la tabla de valores por una red neuronal profunda capaz de aproximar la función Q, permitiendo generalizar entre estados similares.

El éxito de DQN se demostró en los juegos de la consola Atari 2600. El agente aprendió a jugar a títulos como Pong y Breakout utilizando principalmente la entrada cruda de píxeles de la pantalla. Para procesar esta información visual, se integraron redes neuronales convolucionales (CNN), que extraen características espaciales clave, como la posición de la paleta o la pelota. Esta combinación permitió al agente aprender políticas complejas directamente de la experiencia sensorial, marcando el inicio de la era del aprendizaje por refuerzo profundo.

¿Qué es el Deep Q-Learning (DQN)?

El Q-learning clásico funciona bien cuando el entorno es simple, como un tablero de ajedrez reducido. Sin embargo, a medida que aumenta la cantidad de variables, la Tabla Q se vuelve ingobernable. Este fenómeno se conoce como la maldición de la dimensión. Si cada estado se define por múltiples factores, el número de combinaciones crece exponencialmente. Una tabla con millones de entradas consume mucha memoria y requiere visitar cada estado varias veces para estabilizar su valor. En entornos complejos, como un videojuego con píxeles, la tabla se vuelve casi infinita.

El Deep Q-Learning (DQN) resuelve este problema reemplazando la tabla estática por una red neuronal. Esta red actúa como un aproximador de la función Q. En lugar de buscar un valor en una celda específica, la red toma el estado como entrada y calcula el valor Q de cada acción posible. La red aprende a generalizar. Si ha visto un estado similar antes, puede estimar su valor sin haberlo visitado exactamente. Esto permite que el agente tome decisiones en entornos con miles de variables simultáneas.

Mecanismos de estabilización

Introducir una red neuronal en el aprendizaje por refuerzo no es tan simple como cambiar una tabla. El entrenamiento puede volverse inestable si no se manejan bien las fuentes de datos. Los investigadores de DeepMind introdujeron dos innovaciones clave para solucionar esto. La primera es la Memoria de Experiencia. En lugar de olvidar cada paso una vez que ocurre, el agente guarda las transiciones en un buffer grande. Luego, extrae muestras aleatorias para actualizar la red. Esto rompe la correlación temporal entre los datos consecutivos. La segunda innovación es la Red Neuronal Objetivo. Se crea una copia de la red principal que cambia más lentamente. Esta red calcula los valores objetivo para la actualización. Al tener un objetivo más estable, la red principal no fluctúa tanto durante el entrenamiento.

Dato curioso: El primer éxito masivo del DQN se dio en 2013, cuando una sola red neuronal logró superar a jugadores humanos en varios juegos de la consola Atari 2600, utilizando solo los píxeles de la pantalla como entrada. Fue un punto de inflexión para el aprendizaje profundo.

Comparativa técnica

Entender las diferencias entre ambos enfoques ayuda a elegir la mejor herramienta según el problema. La tabla es simple pero limitada en escalabilidad. La red neuronal es más compleja pero mucho más flexible. A continuación, se presenta una comparación directa de sus características principales.

La fórmula de actualización del DQN mantiene la esencia del Q-learning, pero usa la red para predecir los valores. La actualización se realiza minimizando la diferencia entre el valor actual y el objetivo calculado por la red objetivo. Este objetivo incluye la recompensa inmediata y el valor máximo estimado del siguiente estado. La red ajusta sus pesos para reducir este error en cada paso. La consecuencia es directa: el agente aprende a maximizar la recompensa acumulada con mayor eficiencia que con una tabla plana. Pero hay un matiz. La red necesita más datos para converger, ya que debe aprender las relaciones entre los píxeles y las recompensas. Sin la memoria de experiencia, esos datos podrían estar demasiado correlacionados y la red podría sobreajustarse a una sola secuencia reciente.

Aplicaciones prácticas y ejemplos

Los algoritmos de aprendizaje por refuerzo han trascendido los laboratorios académicos para convertirse en motores de decisión en industrias diversas. La transición del Q-learning clásico al Deep Q-Learning (DQN) permitió manejar espacios de estados casi infinitos, lo que abrió la puerta a aplicaciones complejas en 2026. La clave en cada caso radica en cómo se definen el estado (la información disponible) y la acción (la respuesta del agente).

Robótica y control de movimiento

En la robótica industrial, el control de brazos manipuladores es uno de los éxitos más tangibles. Un brazo robótico debe ajustar múltiples grados de libertad para agarrar objetos de formas irregulares. Aquí, el estado incluye las posiciones de las articulaciones y la profundidad de la cámara; la acción es la fuerza aplicada a cada motor. El agente aprende a minimizar el error de posición sin necesidad de una ecuación física perfecta para cada objeto.

Finanzas y trading algorítmico

El uso de DQN en finanzas sigue siendo cauteloso pero creciente. En estrategias de trading simple, el estado se compone de indicadores técnicos como la media móvil o el volumen de negociación. Las acciones son discretas: comprar, vender o mantener. El reto principal es la no estacionariedad del mercado, donde las reglas cambian constantemente. Los modelos actuales se usan más para ejecutar órdenes óptimas que para predecir el precio futuro con certeza absoluta.

Dato curioso: Aunque AlphaGo ganó al Go en 2016, su evolución, AlphaZero, logró dominar el juego aprendiendo casi desde cero, demostrando que el aprendizaje por refuerzo puede superar la intuición humana en juegos de información perfecta.

Videojuegos y NPCs inteligentes

Los videojuegos modernos utilizan estos algoritmos para crear NPCs (personajes no jugables) más adaptables. En lugar de seguir un árbol de decisión fijo, un NPC puede aprender a esquivar obstáculos o gestionar recursos basándose en la posición del jugador (estado) y su inventario. Esto genera experiencias de juego menos repetitivas. La implementación en tiempo real exige eficiencia computacional, por lo que a menudo se usa el "entrenamiento offline", donde el agente aprende antes de que el jugador interactúe con él.

La efectividad de estos sistemas depende de una recompensa bien diseñada. Si la recompensa es demasiado ruidosa, el agente puede sobreajustarse a detalles irrelevantes. La claridad en la definición del problema es tan importante como la potencia del modelo matemático subyacente.

Ejercicios resueltos

Los ejercicios prácticos son fundamentales para comprender cómo los algoritmos de aprendizaje por refuerzo actualizan sus valores. A continuación, se presentan dos problemas típicos que ilustran el cálculo manual de la función de valor y la toma de decisiones bajo incertidumbre. Estos ejemplos simplifican la notación para centrarse en la mecánica del algoritmo, sin depender de librerías complejas.

Problema 1: Actualización de la tabla Q

Consideremos un agente en un entorno discreto. El estado actual es S, la acción elegida es A, la recompensa inmediata recibida es R y el siguiente estado es S'. Los parámetros del algoritmo son una tasa de aprendizaje α = 0.1 y un factor de descuento γ = 0.9. Supongamos que el valor actual almacenado en la tabla para la pareja (S, A) es Q(S, A) = 5. Además, asumamos que en el siguiente estado S', el mejor valor posible entre todas las acciones disponibles es max Q(S', a) = 10. El objetivo es calcular el nuevo valor de Q(S, A) utilizando la ecuación de actualización de Q-Learning.

La fórmula de actualización se define como:

Sustituimos los valores conocidos en la ecuación. El término entre corchetes se conoce como el error de la función de valor o TD-error. Primero calculamos el término de la recompensa futura descontada:

Ahora restamos el valor anterior de la celda:

Este resultado, 7, es el TD-error. Multiplicamos por la tasa de aprendizaje α:

Finalmente, sumamos este ajuste al valor anterior:

El valor de la celda ha aumentado de 5 a 5.7. Esto indica que la acción A en el estado S se ha vuelto ligeramente más atractiva que antes, dado que la recompensa inmediata y el futuro esperado superaron la estimación previa.

Problema 2: Estrategia de exploración y explotación

La decisión de qué acción tomar depende frecuentemente del parámetro ε (epsilon) en la estrategia ε-greedy. Supongamos que ε = 0.2. Esto significa que el agente explora una acción aleatoria el 20% de las veces y explota la mejor acción conocida el 80% de las veces.

Si el agente está en un estado donde la acción con mayor valor Q es A1 con un valor de 8, y hay otra acción A2 con un valor de 6, la decisión no es siempre A1. Se genera un número aleatorio r entre 0 y 1. Si r < 0.2, el agente elige cualquier acción (por ejemplo, A2) para explorar. Si r ≥ 0.2, elige A1 para explotar.

Dato curioso: En los inicios del Q-Learning, ε solía mantenerse fijo. Sin embargo, en la práctica moderna, se utiliza un "decaimiento de epsilon", donde ε comienza en 1.0 (exploración pura) y disminuye gradualmente hacia 0.1 o 0.05, permitiendo que el agente confíe más en su experiencia acumulada a medida que avanza el entrenamiento.

Esta distinción es crucial. Si ε es demasiado alto, el agente nunca converge porque sigue probando acciones peores. Si es demasiado bajo, puede quedar atrapado en un óptimo local, creyendo que una acción es la mejor cuando, en realidad, otra podría ofrecer una recompensa mayor a largo plazo. El equilibrio depende directamente de la complejidad del entorno y de la cantidad de episodios de entrenamiento disponibles.

Limitaciones y desafíos actuales

El aprendizaje por refuerzo profundo enfrenta obstáculos estructurales que van más allá de la simple potencia de cómputo. Aunque Deep Q-Networks (DQN) logró estabilizar el aprendizaje en entornos complejos, su arquitectura revela fragilidades inherentes. Estas limitaciones no son meros detalles técnicos, sino barreras fundamentales para la escalabilidad del algoritmo en entornos dinámicos y no estacionarios.

Sobreestimación de valores y recompensas escasas

Uno de los defectos clásicos de DQN es la tendencia a sobreestimar los valores de acción. Esto ocurre porque el mismo conjunto de pesos de la red neuronal se utiliza para seleccionar la mejor acción y para evaluar su valor. Cuando el error de estimación es positivo, la red lo toma como señal de calidad, creando un efecto acumulativo que infla el valor esperado.

Dato curioso: En el entorno clásico del carrito invertido (CartPole), esta sobreestimación puede hacer que el agente prefiera una acción "segura" pero subóptima durante cientos de episodios, retrasando la convergencia hacia la solución óptima.

La necesidad de grandes cantidades de datos exacerba este problema. En entornos con recompensas escasas, el agente debe explorar extensamente para encontrar señales de éxito. Sin una exploración eficiente, el agente puede perderse en un mar de recompensas casi nulas, donde el ruido estadístico domina la señal real. La consecuencia es directa: sin mecanismos de corrección, el aprendizaje se vuelve lento y frágil.

Generalización fuera de la distribución

La generalización fuera de la distribución (OOD, por sus siglas en inglés) representa un desafío crítico. Los agentes entrenados con DQN suelen rendir bien dentro del conjunto de datos de entrenamiento, pero su desempeño cae drásticamente cuando se enfrentan a estados no vistos o ligeramente modificados. Esto se debe a que las redes neuronales tienden a ser confiantes incluso cuando la entrada estática difiere significativamente de la distribución de entrenamiento.

Este problema limita la aplicabilidad de DQN en entornos abiertos, donde la predictibilidad es baja. Un agente que funciona perfectamente en un laberinto fijo puede perderse en uno con una sola pared añadida, si esa pared no fue suficientemente representativa durante el entrenamiento. La robustez, por tanto, no es inherente al algoritmo, sino que debe ser forzada mediante técnicas adicionales.

Soluciones parciales: Double y Dueling DQN

Para mitigar la sobreestimación, se desarrolló Double DQN. Este enfoque separa la selección de la acción de su evaluación, utilizando dos redes distintas o dos conjuntos de pesos. La fórmula de actualización se modifica para usar una red para seleccionar la mejor acción y otra para evaluarla:

Donde Q y Q′ son las redes de valores y de destino, respectivamente. Esta separación reduce el sesgo positivo, haciendo la estimación más conservadora y, a menudo, más precisa.

Por otro lado, Dueling DQN descompone la función de valor Q(s,a) en dos componentes: el valor del estado V(s) y la ventaja de la acción A(s,a). Esta arquitectura permite al agente aprender qué estados son buenos independientemente de la acción, y qué acciones son buenas en cada estado. La fórmula es:

Estas mejoras son parciales. Double DQN reduce la sobreestimación, pero no resuelve la necesidad de datos. Dueling DQN mejora la generalización de acciones, pero depende de una buena estimación del estado. Ninguna solución es definitiva, lo que mantiene el campo activo y en evolución. La búsqueda de un agente robusto, eficiente y generalizable sigue siendo uno de los retos abiertos más importantes en el aprendizaje por refuerzo profundo.

Preguntas frecuentes

¿Cuál es la diferencia principal entre Q-learning y Deep Q-Learning?

El Q-learning clásico utiliza una tabla simple (Tabla Q) para almacenar el valor de cada acción en cada estado, lo que funciona bien para entornos pequeños. El Deep Q-Learning reemplaza esa tabla por una red neuronal profunda, permitiendo generalizar el aprendizaje en entornos con miles o millones de estados, como las píxeles de una pantalla de videojuego.

¿Qué significa que el Q-learning sea "libre de modelo"?

Significa que el agente no necesita una descripción matemática completa del entorno (por ejemplo, saber exactamente qué pasa si camina hacia la izquierda en cada casilla). En su lugar, el agente aprende directamente de la experiencia: ejecuta una acción, observa el resultado y ajusta su estimación de valor sin necesitar un mapa previo perfecto.

¿Qué es la función de valor Q?

Es una función que estima la recompensa total futura esperada al tomar una acción específica en un estado determinado. El objetivo del agente es maximizar este valor Q, eligiendo siempre la acción que prometa mayor beneficio acumulado a largo plazo.

¿Por qué se utiliza la descomposición de Bellman en estos algoritmos?

La ecuación de Bellman permite descomponer el problema de decisión en pasos más pequeños. Establece que el valor de un estado actual es igual a la recompensa inmediata más el valor esperado de los estados futuros. Esto permite al agente aprender de manera iterativa, actualizando sus conocimientos constantemente.

¿Qué es el "agente" en el contexto del aprendizaje por refuerzo?

El agente es la entidad que aprende y toma decisiones. Puede ser un robot físico, un software que gestiona el tráfico o un personaje en un videojuego. El agente observa el estado del entorno, elige una acción y recibe una recompensa (positiva o negativa) basada en esa elección.

Resumen

El Q-learning y su variante profunda, el Deep Q-Learning (DQN), son pilares del aprendizaje por refuerzo que permiten a los agentes inteligentes optimizar sus decisiones basándose en recompensas acumuladas. Mientras que el Q-learning clásico es ideal para entornos discretos y manejables mediante tablas de valores, el DQN introduce redes neuronales para escalar la solución a problemas complejos y de alta dimensión.

Estos algoritmos funcionan actualizando iterativamente las estimaciones de valor mediante la ecuación de Bellman, equilibrando la exploración de nuevas acciones con la explotación de las mejores conocidas. Su aplicación abarca desde el control robótico hasta la optimización de recursos en la industria, aunque enfrentan desafíos como la necesidad de grandes cantidades de datos y la estabilidad del entrenamiento.

Véase también

• UNIR: Inteligencia generativa aplicada a la educación y la investigación
• Transformers en el Reino Unido: ecosistema, regulación y aplicación industrial
• Ingeniería de prompts en equipos educativos
• Libros y manuales sobre arquitecturas Transformer en IA
• Guías de IA generativa para principiantes
• IA generativa de imágenes: fundamentos técnicos y modelos
• Modelos de lenguaje de ChatGPT
• Ética en la inteligencia artificial en el Senai

Referencias

1. «q learning and deep q learning» en Wikipedia en español
2. Playing Atari with Deep Reinforcement Learning (DeepMind)
3. Deep Q-Networks (DQN) — Stanford CS231n Lecture Notes
4. Reinforcement Learning: An Introduction — Richard S. Sutton and Andrew G. Barto
5. Deep Q-Learning — Towards Data Science (Medium)