Entre las múltiples formas de lograr esto, existe una técnica matemática de gran relevancia llamada descenso de gradiente. Esta estrategia de optimización es básica para algoritmos como las redes neuronales artificiales, por lo que en esta exploración aprenderemos sobre su funcionamiento, definición matemática, ejemplos, y una práctica de experimentación con código en Python.

Inventario recomendado

Regresión lineal

Métricas de evaluación de modelos de regresión

Google Colab

Programación en Python

Matemáticas: una pizca de cálculo

Algún tentempié

Introducción al descenso de gradientes para optimizar funciones

Hasta el momento, hemos cubierto tres etapas básicas para la generación de modelos de aprendizaje de máquinas:

• Recolección y preparación de datos.
• Entrenamiento del modelo.
• Evaluación del modelo.

Esto nos deja listos para comenzar a explorar de forma más detallada los elementos que pertenecen a cada estadio. Anteriormente, nos hemos embarcado en un riguroso entrenamiento sobre los datos y sus orígenes, por lo que comenzaremos a enfocarnos en las minucias asociadas al entrenamiento del modelo.

Cómo recordarás del recorrido sobre funciones de costo, durante la etapa de entrenamiento, un algoritmo de aprendizaje supervisado minimiza una función de pérdida objetivo, la cual cuantifica las diferencias entre las predicciones del modelo y los valores del conjunto de datos de prueba. La manera en la que se minimiza la función de pérdida es lo que se conoce como optimización. Definamos brevemente este concepto.

Optimizadores en aprendizaje de máquinas

En machine learning, un optimizador es un algoritmo que ajusta los parámetros de un modelo para minimizar una función de pérdida.

Sí es algo similar, y el objetivo perseguido es el mismo, pero el método de mínimos cuadrados es un método de resolución directa para minimizar el error cuadrático medio (MSE), a diferencia de los optimizadores tradicionales, que minimizan la función le pérdida de manera algorítmica (como veremos más adelante).

Entre los diferentes optimizadores, existe uno que funge como base de muchos otros utilizados para entrenar modelos de mayor complejidad, y es el que conoceremos a continuación: el descenso de gradiente.

¿Qué es el descenso de gradiente para machine learning?

El descenso de gradiente es un algoritmo de optimización que se utiliza para encontrar los valores óptimos de los parámetros de un modelo minimizando una función de pérdida mediante un proceso iterativo que calcula el gradiente de la función respecto a los parámetros, y actualiza dichos parámetros en la dirección opuesta al gradiente, con el objetivo de reducir progresivamente el valor de la pérdida (el error).

Es verdad que existen algunos términos que hasta el momento no habíamos mencionado. Llegaremos a comprender esta definición de manera intuitiva, partiendo de un ejemplo.

Descenso de gradiente: ejemplos e intuición

Supongamos que queremos entrenar un modelo de machine learning de aprendizaje supervisado, no importa cuáles son los datos, las variables de entrada o las variables de salida, nos centraremos en el entrenamiento mismo.

Cuando decimos entrenar, como bien se ha dicho, nos referimos a encontrar los valores óptimos de los parámetros del modelo, es decir, hallar los valores de los parámetros de un modelo matemático que logre capturar las relaciones entre los datos, permitiendo realizar inferencias de manera satisfactoria (lo cual, como sabemos, se determina utilizando mediciones de su rendimiento).

El descenso de gradiente funciona mediante pasos, es un proceso iterativo basado en la repetición del cálculo de los valores de la función de costo.

Veamos cómo funciona paso por paso para dejarlo más claro:

1. Supongamos que hemos entrenado un modelo con un solo parámetro (en la regresión lineal, por ejemplo, hemos calculado anteriormente los valores de dos parámetros):

• Después del entrenamiento, vemos que hemos obtenido el valor del parámetro del modelo, ¿cómo sabemos si funciona bien con este parámetro que hemos encontrado utilizando machine learning?
• Para resolver nuestras dudas, hacemos una medición del desempeño del modelo con la función de costo (función de pérdida), y obtenemos un valor alto, es decir, el error es alto, por lo que el modelo no está correctamente optimizado.
• Ahora que tenemos el valor del parámetro y el valor de la función de error, visualizamos estos utilizando un gráfico como el siguiente, donde el eje X corresponde al valor del parámetro, y el eje Y al de la función de costo (el error calculado):

En esta gráfica se puede observar un valor relativamente alto del parámetro, y también un valor alto de la función de costo. Estos valores se ven representados por un punto, es decir, para este valor alto del parámetro obtenemos un error medido también alto, lo que implica que el modelo puede optimizarse más.

Nos ayudará a ilustrar el descenso de gradiente, ya verán más adelante.

Ahora, dibujaremos el punto sobre una curva:

Esta curva representa cómo se suelen comportar los valores de la función de costo respecto a cómo cambia el valor de los parámetros calculados.

Para entender mejor esta curva, recordemos que nuestra misión es minimizar los valores del error calculado (mientras sea más chico, mejor), por lo que debemos buscar la dirección hacia la cual se debe mover Mmerf (el valor del parámetro sobre el eje X), de forma que se desplace hacia un mejor valor del error medido. Esto nos lleva al siguiente paso.

2. Si queremos que el error sea menor, basta con mirar la gráfica: el punto debería dirigirse hacia abajo y hacia la izquierda sobre la curva. Siguiendo la tendencia, al hacer más pequeño el valor del parámetro esto debería provocar que el valor de la función de costo disminuya, acercándose al punto mínimo (el centro de la curva).

Ya escuchaste Mmerf, mueve ese trasero etéreo.

Le hemos dado una dirección correcta, se ha ajustado el valor del parámetro a un valor más chico, y esto ha generado un menor valor de la pérdida calculada (se ha acercado a 0 en el eje Y).

3. Como buscamos el menor valor posible, realizamos otro paso, y volvemos a dirigir a Mmerf hacia un valor más pequeño del parámetro, lo cual lo termina desplazando hacia abajo y la izquierda, quedando en el punto más bajo de la curva:

Con este movimiento, donde se ha determinado hacia dónde debe moverse el valor del parámetro, hemos conseguido alcanzar un mínimo de la función de costo, lo cual se suele denominar «convergencia» (converge a un mínimo de la función).

Esta es la esencia del descenso de gradiente. Se le llama así, porque la idea es descender hacia el mínimo de la función de costo (se minimiza el error) modificando los valores de los parámetros de un modelo, y con gradiente se refiere a la dirección (si se sumará o restará en cantidad a los valores de los parámetros) y magnitud (cuánto se le sumará o restará) a considerar para llegar a la convergencia.

El algoritmo, entonces, consiste en los siguientes pasos:

• Se parte de un punto inicial, generalmente aleatorio.
• Se calcula el gradiente, el cual indica en qué dirección la función de pérdida aumenta o disminuye, lo cual se utiliza para moverse en dirección hacia un mínimo.
• Se ajustan un poco los valores de los parámetros del modelo, esperando reducir el error calculado.
• Se repite el proceso, buscando alcanzar un mínimo después de n iteraciones.

A grandes rasgos, sí. Este proceso se entenderá mucho más en la siguiente sección, donde revisaremos su funcionamiento matemático.

Pero antes debemos de conocer dos elementos básicos del descenso de gradiente que son de gran relevancia en ciencia de datos:

• Tasa de aprendizaje.
• Número de iteraciones.

¿Qué es la tasa de aprendizaje en descenso de gradiente?

La tasa de aprendizaje (learning rate) es un hiperparámetro (por fin llegamos a hablar de nuestro primer hiperparámetro) que controla qué tan grande (magnitud) es cada paso que se da cuando se actualizan los parámetros del modelo durante el descenso de gradiente.

¿Cómo es que funciona?, es simple, se trata de un factor que determina el tamaño de cada movimiento de los parámetros tras cada iteración. Ilustrémoslo.

Recordemos lo que hicimos anteriormente, dimos tres pasos para llegar al mínimo de la función, lo cual podemos mostrar como sigue:

Supongamos que ahora hemos determinado que estos pasos serán más pequeños (tasa de aprendizaje menor), por lo que obtendremos el siguiente movimiento hacia un mínimo de la función de pérdida:

Se puede notar cómo los pasos son más cortos, y esto evita que se llegue al mínimo (el punto más bajo de la curva en el centro). Veamos cómo luce añadiendo un paso adicional:

Aún con el cuarto paso, no alcanzamos el mínimo; por lo tanto, lo ideal es que el tamaño de los pasos (tasa de aprendizaje) sea mayor.

Veamos que sucedería si eleváramos el tamaño de la tasa de aprendizaje:

Aquí podemos notar cómo llegamos al mínimo de la función de pérdida aumentando la tasa de aprendizaje.

En ese caso, se puede llegar a sobrepasar el mínimo, obteniendo de nuevo valores altos de la función de costo, lo cual no resulta favorable:

Se observa que, al incrementar el valor de la tasa de aprendizaje, se llega al otro extremo de la curva, esto implica que se tiene un valor cada vez más pequeño del parámetro estimado (más cerca del 0 en el eje X), lo cual genera que el error vuelva a aumentar (de nuevo el punto está más arriba, en el eje Y). Esto significa que valores más pequeños del parámetro de la función no implica siempre que generen mejores valores en las predicciones, por eso es importante configurar una tasa de aprendizaje que permita una convergencia cercana al mínimo de la función de pérdida.

¿Qué es el número de iteraciones en descenso de gradiente?

Las iteraciones son los pasos repetidos que se realizan en la ejecución del descenso de gradiente para ajustar los parámetros de un modelo con el objetivo de minimizar la función de costo.

Tomemos el caso en el que elegimos una tasa de aprendizaje pequeña y obtuvimos lo observado en la Figura 3.9.7, donde vimos que no llegamos a alcanzar el mínimo del error calculado. Para esto, también podríamos haber añadido más pasos, como se muestra en la Figura 3.9.10:

Para un valor relativamente bajo de la tasa de aprendizaje, al aumentar el número de iteraciones (pasos), hemos logrado minimizar el error.

Veamos ahora cómo luce el caso inverso, en el que tenemos un número más grande de tasa de aprendizaje, y reducimos los pasos para evitar oscilaciones que no permitan alcanzar el mínimo:

En este caso, utilizando un menor número de iteraciones se alcanza un mejor resultado.

Con esto hemos podido comprender cómo este par de esenciales hiperparámetros se combinan para optimizar la función de error y ajustar los parámetros de un modelo.

En general, se pueden considerar los siguientes problemas al intentar encontrar una convergencia en la función de pérdida:

Hasta este punto de la exploración podemos decir que entendemos el fin y proceso generalizado del descenso de gradiente. Para comprender con detalle cómo funciona el algoritmo, revisaremos las definiciones matemáticas.

Descenso de gradiente: definición matemática

En esta sección formalizaremos la definición de descenso de gradiente, y haremos un ejercicio de «cálculo a mano» para observar sus efectos en los parámetros del modelo y su función de pérdida asociada.

Definición (3.16) Descenso de gradiente. El descenso de gradiente es un algoritmo de optimización de primer orden que se utiliza para encontrar un mínimo local de una función de pérdida diferenciable L (nota sobre esto más abajo), la cual evalúa el desempeño de un modelo h(x) sobre un conjunto de datos etiquetados.

Sea \mathcal{D} = {(x_1, y_1), \dots, (x_N, y_N)} un conjunto de N observaciones, donde cada x_n es una entrada y y_n su etiqueta asociada, un modelo h(x) que pretende modelar las relaciones entre estos valores y sus etiquetas, y produce predicciones \hat{y}_n = h(x_n); y se define una función de pérdida que cuantifica el error entre y_n y \hat{y}_n, de forma individual como:

l(y_n, \hat{y}_n). \tag{3.76}

La función de pérdida total sobre el conjunto se expresa como:

 L(\mathcal{Y}, \mathcal{\hat{Y}}) = \frac{1}{N} \sum_{i=1}^N l(y_n, \hat{y}_n). \tag{3.77}

El descenso de gradiente busca minimizar esta función L ajustando los D parámetros del modelo de forma iterativa en T pasos. Denotamos por \boldsymbol{\theta}^{(t)} \in \mathbb{R}^D el vector de parámetros (número de parámetros del modelo ordenados en un vector) en la iteración t. El algoritmo actualiza simultáneamente todos los parámetros en dirección opuesta al gradiente de la función de pérdida, según la regla

\boldsymbol{\theta}^{(t+1)} = \boldsymbol{\theta}^{(t)} - \gamma^{(t)} \nabla L(\boldsymbol{\theta}^{(t)}), \tag{3.78}

donde \boldsymbol{\theta}^{(t)} es el vector de parámetros en la iteración t, \gamma^{(T)} > 0 es la tasa de aprendizaje en la iteración t, y \nabla L(\boldsymbol{\theta}^{(t)}) es el gradiente de la función de pérdida respecto a todos los parámetros, es decir, es el conjunto de las derivadas parciales de la función de pérdida respecto a los parámetros del modelo, y se expresa como sigue:

\nabla L(\boldsymbol{\theta}) = \left( \frac{\partial L}{\partial \theta_1}, \frac{\partial L}{\partial \theta_2}, \dots, \frac{\partial L}{\partial \theta_D} \right), \tag{3.79}

Por lo tanto, la actualización de un solo parámetro \theta_d en el paso t puede expresarse como

\theta_d^{(t+1)} = \theta_d^{(t)} - \gamma^{(t)} \frac{\partial L}{\partial \theta_d}(\boldsymbol{\theta}^{(t)}),\tag{3.80}

O utilizando \nabla para denotar la derivada parcial:

\theta_d^{(t+1)} = \theta_d^{(t)} - \gamma^{(t)}\nabla L(\boldsymbol{\theta}_d^{(t)}).\tag{3.81}

El procedimiento del descenso de gradiente se repite por un número predefinido de iteraciones T, o hasta que se cumpla una condición de parada, como:

\left| \nabla L(\theta_i) \right| \approx 0,\tag{3.82}

lo cual indica que el gradiente es cercano a cero, señalando proximidad a un mínimo.

Nota sobre la terminología de la definición 3.16

1. ¿Qué significa que el descenso de gradiente es de primer orden?

Cuando decimos que un algoritmo de optimización es de primer orden, nos referimos a que utiliza únicamente la primera derivada (o el gradiente) de la función que se desea minimizar. No usa derivadas de orden superior, como la segunda derivada (Hessiana), que se emplea en algoritmos de segundo orden, como sucede en el método de Newton.

2. ¿Qué significa que la función es diferenciable?

Decir que una función es diferenciable significa que tiene derivada en todos los puntos de su dominio. Esto implica que:

• Su gráfica no tiene saltos ni esquinas (es suave).
• Se puede calcular el gradiente (vector de derivadas parciales) en cada paso, que es lo que necesitamos para hacer actualizaciones en los pasos del descenso.

En el contexto del descenso de gradiente, esto se traduce en que la función de pérdida L(\theta) debe ser diferenciable con respecto a los parámetros del modelo \theta_d para que podamos aplicar la regla de la Ecuación 3.78.

Si no lo fuera, no podríamos calcular el gradiente y el algoritmo dejaría de ser aplicable.

Ejemplo de cálculo de un parámetro con descenso de gradiente

Todo cobrará más sentido cuando presenciemos cómo es que el descenso de gradiente realiza su magia. Para esto, ajustaremos una función de la forma h(x) = \theta x, donde \theta es el único parámetro del modelo.

Si lo notan, se puede decir que es la ecuación de una recta (la que obtenemos mediante regresión lineal) sin su segundo parámetro, es decir, sin intercepción.

Para esto, utilizaremos el conjunto de datos:

\mathcal{D} = \lbrace{(x_1 = 1, y_1 = 2), (x_2 = 2, y_2 = 4)}\rbrace

Es decir, un conjunto de datos con dos observaciones, como se muestra en la siguiente tabla:

Aquí los valores corresponden a cualquier escenario que puedas idear, por ejemplo, se podría decir que x_n es el número de hamburguesas que puedes comprar en un restaurante, y y_n su correspondiente precio:

• x_1=1, y_1=2 (1 hamburguesa por 2 dólares).
• x_2=2, y_2=4 (2 hamburguesas por 4 dólares).

En realidad, puedes imaginar cualquier caso, lo que importa es la forma en que modelaremos la relación entre estas variables.

Ahora queremos ajustar el parámetro de nuestro modelo para predecir nuevos valores de y respecto a nuevos valores de x, ¿qué función de pérdida nos serviría para evaluar un modelo de regresión?

Utilizaremos la función de pérdida del error cuadrático medio, que definimos en otra travesía de esta manera:

L(\theta) = \frac{1}{N} \sum_{n=1}^N (y_n - \hat{y}_n)^2,\tag{3.83}

Dado que conocemos la forma de la función y el valor de N (tenemos dos ejemplos de entrenamiento), sustituimos en (3.83) y obtenemos

L(\theta) = \frac{1}{2} \sum_{n=1}^{N} (y_n - \theta x_n)^2\tag{3.84}

donde \theta x_n=\hat{y}_n, es decir, es el valor calculado por el modelo parametrizado por los parámetros \theta.

Gradiente de la función de pérdida

Ahora calculamos el gradiente, que, como vimos en (3.79) y (3.80) se trata de la derivada de L(\theta) respecto a \theta:

\begin{align}
\nabla L(\theta) &= \frac{d}{d\theta} L(\theta)\tag{3.85} \\
                 &= -\frac{1}{N} \sum_{n=1}^{N} x_n (y_n - \theta x_n), \tag{3.86}
\end{align}

donde L(\theta) es la función definida en 3.84(\theta). Veamos cómo aplicamos esta derivada para optimizar el modelo.

Hiperparámetros y aplicación de descenso de gradiente

Los hiperparámetros a ajustar para hacer descenso de gradiente son los siguientes:

• Tasa de aprendizaje: \gamma = 0.1
• Número de iteraciones: T= 3

Además, inicializaremos el valor del parámetro en cero:

• \theta_0 = 0

Con esto listo, comencemos a hacer el descenso de gradiente:

Iteración 1

Sustituimos en la Ecuación (3.86) con:

• \theta_0 = 0 (valor del parámetro).
• x_n = 2 (valor de entrada).
• y_n = 1 (valor de salida).
• N = 2 (número de ejemplos de entrenamiento).

Quedando:

\nabla L(\theta^{(0)}) = -\frac{1}{2} [1(2 - 0) + 2(4 - 0)] = -\frac{1}{2}(2 + 8) = -5.\tag{3.87}

Esto quiere decir que el gradiente es igual a -5. Utilizamos este valor y sustituimos en (3.78) con:

• \theta_0^{(0)} = 0 (valor inicial, en el paso 0).
• \gamma = 0.1 (tasa de aprendizaje).
• \nabla L(\theta^{(0)})= -5 (valor de salida).

Quedando:

\theta^{(1)} = \theta^{(0)} - \gamma \cdot \nabla L(\theta^{(0)}) = 0 - 0.1 \cdot (-5) = 0.5.\tag{3.88}

¿Qué significa esto? Que hemos aplicado el gradiente calculado, el cual nos dice en qué dirección se puede minimizar la función de pérdida, y al aplicarlo obtuvimos un nuevo valor para el parámetro \theta_0 , que pasó de ser 0 a 0.5.

¿Cómo comprobamos que esto mejora el desempeño del modelo? Calculemos la función de pérdida antes y después de aplicar el cambio al parámetro.

Función de pérdida (rendimiento del modelo) antes de aplicar el descenso de gradiente (utilizando la Ecuación (3.84)):

L(\theta^{(0)}) = \frac{1}{4} \left[(2 - 0)^2 + (4 - 0)^2\right] = \frac{1}{4}(4 + 16) = 5.\tag{3.89}

Ahora, obtenemos el nuevo valor del rendimiento del modelo con el parámetro modificado:

L(\theta^{(1)}) = \frac{1}{4} \left[(2 - 0.5)^2 + (4 - 1)^2\right] = \frac{1}{4}(2.25 + 9) = \frac{11.25}{4} = 2.8125, \tag{3.90}

donde se debe notar que (3.89) y (3.90) son casi el mismo cálculo, salvo que en la segunda ecuación se utilizó el nuevo valor del parámetro \theta. Con este nuevo parámetro, la función de error arrojó un resultado mejor (el error calculado es menor), lo que indica que el modelo mejoró en sus predicciones.

Lo que acabamos de hacer fue sencillo, pero altamente funcional: al encontrar el gradiente (la derivada), multiplicamos este por la tasa de aprendizaje y lo restamos al parámetro, lo cual nos dio un parámetro optimizado que mejoró las capacidades del modelo.

Continuemos con las siguientes dos iteraciones de manera resumida.

Iteración 2

Se calcula el gradiente:

\nabla L(\theta^{(1)}) = -\frac{1}{2} \left[1(2 - 0.5) + 2(4 - 1)\right] = -\frac{1}{2}(1.5 + 6) = -3.75\tag{3.91}

Se actualiza el parámetro \theta:

\theta^{(2)} = \theta^{(1)} - \gamma \cdot \nabla L(\theta^{(1)}) = 0.5 + 0.375 = 0.875\tag{3.92}

El error antes de aplicar el descenso de gradiente:

L(\theta^{(1)}) = 2.8125\tag{3.93}

El error después de aplicar el descenso de gradiente:

L(\theta^{(2)}) = \frac{1}{4} \left[(2 - 0.875)^2 + (4 - 1.75)^2\right] = \frac{1}{4}(1.2656 + 5.0625) = \frac{6.3281}{4} \approx 1.582 \\\tag{3.94}

Iteración 3

Se calcula el gradiente:

\nabla L(\theta^{(2)}) = -\frac{1}{2} \left[1(2 - 0.875) + 2(4 - 1.75)\right] = -\frac{1}{2}(1.125 + 4.5) = -2.8125
\tag{3.95}

Se actualiza el parámetro \theta:

\theta^{(3)} = \theta^{(2)} - \gamma \cdot \nabla L(\theta^{(2)}) = 0.875 + 0.28125 = 1.15625\tag{3.96}

El error antes de aplicar el descenso de gradiente:

L(\theta^{(2)}) \approx 1.582\tag{3.97}

El error después de aplicar el descenso de gradiente:

\begin{align}
L(\theta^{(3)}) &= \frac{1}{4} \left[(2 - 1.15625)^2 + (4 - 2.3125)^2\right] \tag{3.98} \\
                &= \frac{1}{4}(0.710 + 2.859) = \frac{3.569}{4} \approx 0.892 \tag{3.99}
\end{align}

Se puede notar que en cada iteración, la función de pérdida disminuye, por lo que hemos encontrado mejores versiones del modelo al modificar el parámetro con descenso de gradiente. En la tabla se puede ver la evolución de los resultados:

Es así como evidenciamos el mecanismo interno del descenso de gradiente para optimizar modelos. En lo que concierne a una aplicación de esto a modelos multivariables, solo se aplica la misma actualización pero a todos los parámetros a la vez.

Es un algoritmo sencillo, por lo que encierra una belleza sutil tras bastidores. Un hechizo simple pero poderoso.

Es momento de utilizarlo con Python.

Descenso de gradiente: estudio con Python

Ahora veremos ejemplos de cómo optimizar un modelo de inteligencia artificial con descenso de gradiente en Python, haremos uso de un nuevo conjunto de datos, para lo cual generaremos un modelo con un nuevo propósito.

También puedes previsualizarlo aquí:

Aquí finalizamos nuestro encuentro con el descenso de gradiente. Hemos aprendido cómo funciona, cuáles son sus mecanismos internos, y cómo lo podemos utilizar para entrenar modelos de aprendizaje automático.

En nuestra próxima lección continuaremos con algoritmos de optimización, y exploraremos de qué trata la versión más típica del descenso de gradiente: el descenso de gradiente estocástico.

¿El científico de datos debería aprender matemáticas?, ¿qué tan útiles son en su espacio de trabajo?, ¿cuánto valor aportan a la empresa? Esta letanía de cuestiones, que se debaten acaloradamente en espacios internáuticos poblados por eruditos en inteligencia de datos, es el equivalente al clásico “¿y para qué me sirve en la vida el trinomio cuadrado perfecto?”.

Ciertamente, no podrás auxiliar a alguien atragantándose con un taco resolviendo una ecuación de segundo grado, pero el punto no es el fruto directo del conocimiento de las matemáticas, sino cómo prácticamente toda nuestra odiada civilización es sostenida por estas (si las especies animales se organizaran para detenernos, les aconsejaría ir primero por los matemáticos).

La discusión sobre la utilidad “real” de las matemáticas es más antigua que los mismos símbolos que utilizamos para escribirlas. Cuenta una vieja anécdota que el mítico Euclides, hace más de 2300 años, fue abordado sobre esto por un alumno. Lo sucedido fue, más o menos, lo siguiente:

—¿Disculpe, teacher, pero todo esto qué beneficio práctico tiene? —se quejó un joven estudiante al atisbar las indescifrables figuras geométricas que impregnaban las tablillas de cera del catedrático egipcio.

—¿Beneficio? —inquirió el profesor, arqueando las cejas— Con solo escucharme ya ganaste, mi rey. Hortencio, dale unas monedas a este muerto de hambre, ya que necesita ganar algo de lo que aprende. Y luego, que se vaya.

Esta narración, tal vez, no es históricamente exacta, pero es verdad que se cuenta que cuando Euclides (un verdadero capo de las matemáticas) fue interrogado por un pupilo sobre los beneficios de sus enseñanzas, le pidió a un esclavo (un día normal en la clásica Grecia) que le diera unas monedas de oro para que pudiera obtener una ganancia de lo que aprende, y después le demandó que se marchara.

¿Cuántos energúmenos de estos invaden nuestros entornos en la llamada “era de los datos”?, ¿cuántas monedas hemos de darles para suscitar alguna migaja de interés?

Permítanme dotar de más contexto a la primera entrada de esta humilde bitácora.

Después de 9 caóticos años dedicado al volátil sector de la analítica de datos, donde he ejercido como analista y científico de datos, por fin he organizado mis tiempos, esfuerzos, y documentos para aplicar a un posgrado en Ingeniería y Ciencia de Datos.

Mi emoción por dedicar una porción de mi (a veces muy mal empleado) tiempo a la investigación científica es llanamente inmensa, pero, como era de esperarse, la academia tiene un enfoque bastante alejado al que adoptamos en la industria.

Si bien existe un intento continuo de implementación de técnicas esencialmente matemáticas para el incremento de los ingresos de las empresas, el rigor metodológico y el conocimiento sobre los fundamentos teóricos subyacentes es, en variadas ocasiones, prácticamente inexistente (en específico, diría que este último es un mito).

Por otro lado, el primer filtro para ser admitido en el posgrado en el mismo campo es un examen de demostraciones matemáticas en los siguientes rubros: álgebra lineal, cálculo, estadística y probabilidad.

Para quienes son versados en la ciencia de datos arcaica (llamémosle así a los que empezamos en esto cuando incluso Python no era el claro favorito, o los que aún desconfiamos en cierto grado del “vibe coding“ porque sabemos que el maldito GPT comete errores incluso en aritmética elemental) este temario no es sorpresa, pero ha gatillado mis pensamientos en que se trata solo del inicio de cuatro semestres casi exclusivamente dedicados a las matemáticas y la computación (no es queja).

Aquí volvemos al punto inicial: suena rimbombante, pero ¿cuál es la utilidad de todo esto en la chamba?

Tal vez lo es (mucho) más de lo que se puede vislumbrar, y trasciende con creces al escueto ámbito laboral.

Con la explosión de la “inteligencia artificial”, de forma más puntual, del aprendizaje de máquinas, es decir, el ajuste automático de parámetros de modelos mediante el procesamiento de datos, hemos visto suscitarse una creciente ola de interés por sus grandilocuentes aplicaciones en todo el ancho del mercado.

Tenemos este tipo de técnicas matemático-computacionales inmersas hasta las narices: en los negocios pequeños, medianos y grandes, inundando el software y hardware de casi cualquier dispositivo, y con ello hemos visto nacer una gigantesca manada de gurús emergentes “expertos” en el área.

La difusión de esta clase de algoritmos es mayor, pero con ello acaece también el malentendido terminológico y la poca atención a los detalles teóricos, lo cual supone el ensanchamiento de una abismal brecha de ignorancia sobre su funcionamiento básico. He visto a directores de departamentos de inteligencia de datos emitir pomposos discursos en LinkedIn al tiempo que confunden conceptos sustanciales como “algoritmo” y “modelo”. He presenciado a supuestas eminencias del área llamar “inteligencia artificial” a procesos simples de automatización que solo implican programación tradicional. Y, en el medio de este vertiginoso circo, las desvencijadas matemáticas se ven sepultadas, pocas veces invocadas, y casi completamente desconocidas.

¿Y para qué las quiero?, ¿no deseo las monedas de Euclides?

No lo sé, pienso que comprender los fundamentos teóricos sobre las que se alza casi toda la tecnología actual no solo te vuelve excepcionalmente más competitivo en ciencia de datos (y me parece trivial siquiera discutirlo), también creo que, al final, se trata de algo radicalmente más profundo.

Euclides tiró unas monedas al quejumbroso para que estuviera contento. Hoy en día, todos se sirven de cascadas de dinero a costa de los avances científicos que procrearon al aprendizaje de máquinas. Pero el conocimiento más esencial (y, por ende, el más vital para el progreso) se ha delegado gradualmente a los mismos siervos que son invocados a las labores: las máquinas.

Las máquinas procesan datos, los transforman, aprenden de ellos, y se vuelven sabias. El conocimiento comienza a ser exclusivamente apropiado y explotado por unos cuantos sistemas computacionales, y nadie se detiene a sopesar las consecuencias.

El día de mañana puede que no haya monedas, ni preguntas, ni nada.

En el momento en que la inteligencia artificial sepa más sobre su propio funcionamiento que nosotros mismos, podremos tener la certeza de que algo va muy mal. O tal vez no la tendremos, probablemente solo nos apagarán la luz, y nos percataremos de que no poseemos el conocimiento para encender un foco, o crear uno.

Entonces, las monedas de Euclides nos parecerán artefactos inútiles.

Y la oscuridad lo consumirá todo.

Este par de situaciones son muy comunes a la hora de modelar datos mediante algoritmos de aprendizaje supervisado. Aquí exploraremos cada uno de estos, describiremos sus causas, consecuencias, diagnóstico, y abordaremos algunos ejemplos de forma teórica y práctica con lenguaje de programación Python.

Inventario recomendado

Regresión lineal

Métricas de evaluación de modelos de regresión

Google Colab

Programación en Python

Algún tentempié

Introducción al sobreajuste y subajuste de modelos de machine learning

Como ya hemos visto durante nuestras dos últimas prácticas para la evaluación de modelos de aprendizaje supervisado (tanto de regresión como de clasificación), existen diferentes formas de medir el desempeño de un modelo cuyos parámetros han sido ajustados mediante algoritmos de machine learning.

Durante la evaluación del modelo resultante, pueden develarse problemas al momento de realizar los cálculos sobre los conjuntos de datos de entrenamiento y prueba. Lo más común es encontrar que, si los modelos no realizan predicciones de manera relativamente aceptable, entonces están sobreajustados o subajustados. ¿A qué nos referimos con esto?

¿Qué es el subajuste de un modelo de machine learning?

Un modelo subajustado es un modelo de aprendizaje de máquinas que no logra capturar o «aprender» correctamente los patrones subyacentes a los datos debido, principalmente, a su simplicidad matemática (del modelo generado) y, por lo tanto, tiene un desempeño deficiente al ser evaluado tanto en el conjunto de datos de entrenamiento como en el de prueba.

Es correcto, sus capacidades predictivas no muestran un rendimiento aceptable al ser utilizado para predecir valores en los conjuntos de datos para su entrenamiento y prueba. Esta es su característica más distintiva.

Para entender mejor cómo funciona esta deficiencia en el ajuste del modelo (el cálculo de sus parámetros) es observando las gráficas de la Figura 3.8.1, donde se observan las formas que dibujan dos modelos que pretenden describir el comportamiento de los datos:

Nótese que la primera figura es una línea recta como la que hemos generado con las regresiones lineales de las prácticas anteriores. A pesar de que la función que dibuja esta línea está optimizada para mantener una distancia promedio corta respecto a cada punto (dato), esta no representa una tendencia muy similar a la que dibujan los datos (que parecen dibujar una especie de curva). Se dice, entonces, que el modelo está subajustado, ya que sus predicciones no son muy precisas al momento de evaluar su desempeño.

En cambio, en la gráfica de la derecha, se han mapeado los valores de una función que genera una forma más ajustada al movimiento de los datos. Esta curva se puede obtener utilizando regresiones polinomiales. El modelo resultante tiene un mejor desempeño en las predicciones.

Una regresión polinomial es una regresión lineal que modela un polinomio de n-ésimo grado. No la utilizaremos mucho, por lo que no ahondaremos en el tema, si deseas saber más puedes revisar la definición en Wikipedia, la cual me ha parecido correcta y concisa, pero no es necesario que lo atiendas. También utilizaremos esto más tarde en nuestra práctica de Python.

Matemáticamente hablando, los modelos de ambos ejemplos (Figura 3.8.1) tienen la siguiente forma:

• Modelo subajustado (regresión lineal):

y = ax + b \tag{3.76}

• Modelo con un mejor ajuste (regresión polinomial de grado 3):

y = ax^3 + bx^2 + cx + d  \tag{3.77}

Hago este énfasis porque la elección del algoritmo utilizado para entrenar el modelo muchas veces es un aspecto clave para un ajuste efectivo de los parámetros. Nótese que los modelos presentados son solo la forma general de estos, donde los valores de los parámetros (a, b, c, d...) son los que se encuentran mediante la etapa de entrenamiento con un algoritmo de aprendizaje supervisado.

Finalmente, hay que tomar en cuenta que las deficiencias características del subajuste se encuentran directamente al medir el rendimiento del modelo en los conjuntos de datos de entrenamiento y prueba; esto es lo que hicimos durante nuestras últimas dos prácticas, en especial en la que corresponde a las métricas de evaluación de modelos de regresión (ya que acabamos de plantear el uso de regresiones lineales).

Hagamos un pequeño ejercicio al respecto, para refrescar nuestra memoria en el tema:

Esto quedará mucho más claro en nuestra práctica con Python, donde veremos ejemplos que analizaremos con métricas de evaluación.

Posibles causas de un modelo subajustado

Las razones por las que un modelo puede sufrir un subajuste pueden ser variadas y depender de los datos y el tipo de algoritmo utilizado para ajustar los parámetros. Sin embargo, estas pueden ser las causas más comunes para un subajuste:

• Modelo demasiado simple: No tiene suficiente capacidad para aprender patrones complejos. Esto se vio en el ejemplo de la Figura 3.8.1, donde un modelo como el que produce una regresión lineal simple (univariada) no es lo mejor en datos con patrones no lineales.
• Falta de datos: No hay suficiente información para aprender relaciones significativas entre las variables de entrada y las salidas, es decir, se requiere de un conjunto de datos más grande.
• Muy pocas características: No se han incluido variables de entrada clave en los datos de entrenamiento. Por ejemplo, si se desea obtener un modelo que sea capaz de predecir la calificación que obtendrá un alumno en un examen, probablemente los datos que pueden aportar información al respecto son: horas de estudio, calificaciones promedio, o estatus social. En cambio, variables que no aportan información relevante pueden ser: nombre del alumno, día de nacimiento, rango en Fortnite, etc.
• Mala selección de hiperparámetros: existen algunos parámetros relativos a los algoritmos utilizados, que veremos más adelante en el curso, que pueden ser decisivos en el ajuste final del modelo, algunos ejemplos son: número de iteraciones, regularización, optimizador, tasa de aprendizaje.

¿Qué es el sobreajuste de un modelo de machine learning?

Un modelo sobreajustado es un modelo obtenido mediante algoritmos de aprendizaje de máquinas cuyo comportamiento se adhiere de manera muy fiel a la tendencia de los datos de entrenamiento, con un ajuste que no solo captura los patrones subyacentes, sino también el ruido y las variaciones irrelevantes.

Esto provoca que el modelo tenga un rendimiento muy aceptable al evaluarse en el conjunto de datos de entrenamiento, pero que sea deficiente al operar sobre datos nuevos (es decir, en el conjunto de datos de prueba, o datos nuevos recolectados), ya que no logra generalizar bien su comportamiento.

A diferencia del subajuste, el sobreajuste ocurre cuando el modelo es demasiado complejo en comparación con la estructura de los datos. Como mencionó Mmerf, en la etapa de entrenamiento su desempeño luce muy bien, pero al evaluarse con los datos de prueba ya no funciona de igual manera.

El efecto del sobreajuste se observa en las gráficas de la Figura 3.8.2:

En este caso, en la primera gráfica yace el modelo que vimos anteriormente, donde los datos pueden ser modelados mediante una curva que decae sutilmente y se ajusta a su comportamiento sin encajar perfectamente en estos, lo que implica que realiza predicciones con pequeños defectos pero cercanas a la tendencia subyacente.

En la figura de la derecha, sin embargo, se visualiza una función que está demasiado ajustada al movimiento de los datos, provocando que se dibuje una figura irregular que intenta abarcar las variaciones de todas las observaciones, aunque estas puedan representar valores atípicos o ruido; obsérvese el último punto, el cual parece ser un valor atípico en el conjunto de datos, y que el modelo traza de manera exacta.

Esto implica que el modelo está sobreajustado, generando una función matemática que predice correctamente solo los valores del conjunto de datos de entrenamiento, pero falla en el conjunto de datos de prueba (no es capaz de realizar estimaciones correctas sobre valores cuya tendencia en realidad es una curva, no un conjunto de valles irregulares, como lo que se ha dibujado en la gráfica de la derecha).

Matemáticamente hablando, los modelos de ambos ejemplos tienen la siguiente forma:

• Modelo con un mejor ajuste (regresión polinomial de grado 3):

y = ax^3 + bx^2 + cx + d

• Modelo sobreajustado (regresión polinomial de grado 15):

y = a_{15}x^{15} + a_{14}x^{14} + \dots + a_2x^2 + a_1x + a_0

De esto se desprende que utilizar modelos de varias dimensiones (variables) y grados altos puede desembocar en un sobreajuste, por lo que es necesario tener cuidado en mantener un balance entre los algoritmos de aprendizaje de máquinas a utilizar y las dimensiones de entrada de los datos.

Las gráficas finales de cada modelo con ajustes diferentes se pueden contemplar en la Figura 3.8.3

Así es, los modelos de clasificación pueden tener los mismos problemas. Para identificarlos se sigue la misma metodología, se realizan las respectivas mediciones de desempeño utilizando métricas de evaluación de modelos de clasificación.

Posibles causas de un modelo sobreajustado

Las razones por las que un modelo puede sufrir sobreajuste, al igual que en el subajuste, pueden ser variadas y dependen principalmente del conjunto de datos y/o de la complejidad del modelo utilizado. A continuación, se presentan algunas de las causas más comunes para un sobreajuste:

• Modelo demasiado complejo: Tiene una gran cantidad de parámetros y variables, lo que le permite aprender incluso el ruido en los datos en lugar de los patrones generales.
• Demasiadas características irrelevantes: Si el modelo tiene muchas variables que no aportan información útil, puede ajustarse demasiado a datos específicos sin realizar generalizaciones correctamente.
• Insuficiente cantidad de datos: Con pocos datos, el modelo puede aprender patrones específicos del conjunto de entrenamiento en lugar de patrones generales.
• Las particiones del conjunto de datos no tienen la misma distribución: Los conjuntos de datos de entrenamiento prueba y/o validación no muestran consistencia en su comportamiento.
• Mala selección de hiperparámetros: Algunos parámetros, como la falta de regularización o arquitectura del algoritmo a utilizar, pueden hacer que el modelo sea demasiado flexible y se adapte al ruido.

Detección de ajuste y sobreajuste de modelos con Python

Es hora de un poco de acción. En la práctica de hoy revisaremos un caso de subajuste y sobreajuste de modelos, realizando diagnósticos con métricas de evaluación.

Puedes previsualizar el contenido aquí:

Hemos concluido uno de los temas más comunes de deficiencias en modelos de aprendizaje de máquinas. Conforme avancemos en esta travesía, experimentaremos formas de identificar y lidiar con estos desperfectos.

A partir de ahora, los temas serán un poco más avanzados y enfocados en la optimización del entrenamiento de modelos, ya que constituyen el preámbulo para la comprensión y práctica de las redes neuronales artificiales.

Justo como hicimos cuando aprendimos sobre métricas para medir el desempeño de modelos de regresión, en esta sesión revisaremos qué métricas cumplen con este objetivo para modelos que categorizan datos, cómo se usan, analizan, e interpretan; todo llevado a la práctica en un caso utilizando Python.

Inventario recomendado

Matemáticas: algo de álgebra, probabilidad y estadística

Fundamentos del aprendizaje supervisado

Regresión logística

Función de pérdida de la regresión logística

Google Colab

Programación en Python

Algún aperitivo

Métricas de evaluación de modelos de clasificación: cuáles y cómo utilizarlas

Recordemos que en aprendizaje supervisado podemos abordar problemas mediante dos tipos de enfoques en cuanto a objetivos de modelos: modelos de regresión y modelos de clasificación.

Los modelos de regresión predicen valores de una variable continua (salida) respecto a los valores de variables con las que está relacionada (entradas). De este tipo de modelos ya hemos trazado cómo evaluar su desempeño al generar predicciones sobre datos nuevos no pertenecientes al conjunto de datos de entrenamiento.

Los modelos de clasificación, por otro lado, tratan sobre funciones que, mediante un análisis de probabilidades, determinan a qué clase pertenece cada dato de entrada de entre un grupo de categorías predefinidas.

Un ejemplo de esto es el caso que hemos desarrollado en la práctica de Python de la regresión logística, en la que se clasificaron canciones de entrada en géneros musicales de acuerdo a sus características. Más adelante veremos cómo utilizar esas mismas clasificaciones para evaluar los modelos con Python, pero hoy trabajaremos con un nuevo ejemplo para explicar cómo determinar las capacidades de clasificación de un modelo de este tipo, las cuales no contemplan ninguna de las métricas vistas en la anterior exploración.

Métricas para evaluar modelos de clasificación

Antes de exponer un nuevo ejemplo, haré mención de las métricas de las que puedes disponer para evaluar modelos de clasificación. Primero, y porque ya las hemos mencionado y estudiado con anterioridad, puedes considerar el uso de funciones de pérdida.

Las funciones de pérdida más comunes para modelos de clasificación son las siguientes:

• Pérdida de entropía cruzada (Cross Entropy Loss).
• Pérdida de entropía cruzada sigmoidea (Sigmoid Cross Entropy Loss).
• Pérdida de entropía cruzada softmax (Softmax Cross Entropy Loss).
• Verosimilitud logarítmica negativa (Negative Log-Likelihood).
• Pérdida 0-1 (0-1 Loss).
• Pérdida de Hinge (Hinge Loss).
• Pérdida Huber modificada (Modified Huber Loss).
• Pérdida de Hinge suavizada (Smooth Hinge Loss).
• Pérdida de Hinge reescalada (Rescaled Hinge Loss).
• Pérdida de rampa (Ramp Loss).
• Error de clasificación mínimo (Minimum Classification Error).
• Pérdida logarítmica (Log Loss).
• Pérdida exponencial (Exponential Loss).
• Pérdida basada en margen (Margin-Based Loss).
• Ranqueo por parejas (Pairwise Ranking).
• Ranqueo por tripleta (Triplet Ranking).
• Pérdida contrastiva (Contrastive Loss).
• Pérdida pinball (Pinball Loss).
• Pérdida pinball truncada (Truncated Pinball Loss).

No, siendo honestos dudo que haya alguien que las conozca y haya aplicado todas, salvo quienes se hayan dedicado específicamente a escribir artículos científicos sobre funciones de pérdida de modelos de clasificación. Solo lo pongo aquí para que sepan que existen.

Mientras menos ignoremos sobre lo que nos especializamos, mejor. Además, deben tener en cuenta que las funciones de pérdida tienen un amplio uso en el entrenamiento de modelos, más que en su evaluación final. Para eso, suelen utilizarse otras métricas, que son las que veremos a continuación.

Además de las funciones de pérdida, entre las cuales ya estudiamos con gran detalle la entropía cruzada, se cuenta con métricas que son mucho más frecuentes en la práctica de la ciencia datos.

Todas estas parten de la organización de los resultados en algo que se conoce como matriz de confusión. Es un concepto clave en ciencia de datos que debemos conocer.

Matriz de confusión para evaluar modelos de clasificación

La matriz de confusión es una herramienta típica para la evaluación de modelos que realizan clasificaciones binarias. De forma más específica, la matriz de confusión es una matriz de dos dimensiones utilizada para evaluar sistemas de clasificación mostrando la cantidad de datos correcta e incorrectamente categorizados.

Vamos a revisar con detalle cómo luce y cómo se utiliza, pero para entenderla de forma concreta, antes debemos definir los elementos que la componen.

Componentes de la matriz de confusión

Una matriz de confusión está conformada por los valores de las clasificaciones binarias (de dos clases) realizadas por un modelo entrenado. Se distinguen dos tipos:

• El modelo predice que un dato pertenece a la clase 0 (que también llamaremos clase <<negativa>>).
• El modelo predice que un dato pertenece a la clase 1 (que también llamaremos clase <<positiva>>).

Teniendo esto en cuenta, en la matriz de confusión se utilizan este par de clasificaciones y se dibujan los siguientes casos de acuerdo a los aciertos o errores del modelo:

• El modelo predice que un dato pertenece a una clase 1 (positiva), y su predicción es correcta.
• El modelo predice que un dato pertenece a una clase 1 (positiva), pero en realidad pertenece a la clase 0 (negativa), por lo que su predicción es incorrecta.
• El modelo predice que un dato pertenece a una clase 0 (negativa), y su predicción es correcta.
• El modelo predice que un dato pertenece a una clase 0 (negativa), pero en realidad pertenece a la clase 1 (positiva), por lo que su predicción es incorrecta.

Así es, y cada uno de estos casos tiene un nombre, vamos a revisarlos, definirlos, y compararlos con ejemplos.

Ejemplo de evaluación de modelo clasificación con matriz de confusión

Para el estudio de la matriz de confusión, vamos a plantear un caso típico en el que entrenamos un modelo para clasificar reseñas de películas en <<positivas>> y <<negativas>>.

Las entradas del modelo (el conjunto de datos) son reseñas de películas, por ejemplo:

Esta es una reseña de película que se considera positiva, ya que elogia a la obra.

Sin embargo, podemos tener entradas de este otro tipo:

En esta otra reseña podemos notar una intención comunicativa diferente, en la que la película no es del agrado del crítico, y por lo tanto se considera negativa.

El objetivo de utilizar un algoritmo de aprendizaje automático para procesar esta información, es entrenar un modelo que, dada una nueva reseña, la clasifique como positiva o negativa.

Por ahora necesito saber, con los conocimientos que tenemos hasta esta parte de nuestras exploraciones, ¿qué tanto me puedes decir sobre esta tarea de ciencia de datos?

Entonces, podemos distinguir los siguientes elementos en este proyecto de machine learning:

• Conjunto de datos: está compuesto por reseñas positivas y negativas de películas. Los datos son fragmentos de texto, por lo que son datos no estructurados, de tipo cualitativo. Además, los datos están etiquetados, señalando cuáles reseñas son positivas y cuáles negativas.
• Objetivo: entrenar un modelo de machine learning que clasifique reseñas en positivas o negativas.
• Algoritmo a utilizar: algún algoritmo de aprendizaje supervisado de clasificación, como la regresión logística.

Ahora que conocemos el caso de estudio, prosigamos con la definición de los componentes de la matriz de confusión.

Tipos de falsos y verdaderos de la matriz de confusión

Revisemos ahora los casos que se toman en cuenta en una matriz de confusión y dan vida a las métricas para evaluar modelos de clasificación.

Verdadero Positivo (VP)

Un verdadero positivo es una entrada que el modelo ha clasificado correctamente como positiva.

Nuestro modelo de clasificación de reseñas de películas se ha entrenado determinando que la clase positiva es 1, por lo tanto, un verdadero positivo significa que se ha entregado al modelo una reseña positiva y este la ha clasificado correctamente en esta categoría.

Verdadero Negativo (VN)

Un verdadero negativo es una entrada que el modelo ha clasificado correctamente como negativa.

Dado que la clase negativa es 0, un verdadero negativo generado por el modelo de clasificación de reseñas sucede cuando se le entrega una reseña negativa y la clasifica correctamente.

Falso Positivo (FP)

Un falso positivo es un caso en el que modelo clasifica incorrectamente una entrada que pertenece a la clase negativa. En estadística también se le conoce como error Tipo I.

En nuestro ejemplo, un falso positivo se da cuando se le entrega al modelo clasificador una reseña negativa, y este la categoriza como reseña positiva.

Falso Negativo (FN)

Un falso negativo se da cuando el modelo ha clasificado de forma errónea una entrada que es de la clase positiva, asignándola como negativo. En estadística también se le conoce como error Tipo II.

En nuestro ejemplo, un falso negativo se da cuando se le entrega al modelo clasificador una reseña positiva, y este la categoriza como reseña negativa.

Estos son los diferentes casos que componen a la matriz de confusión, los verdaderos positivos y negativos (VP y VN) y los falsos positivos y negativos (FP Y FN) son lo que se utilizan para obtener métricas de evaluación de modelos de clasificación.

Volvamos a la matriz de confusión.

Estructura de la Matriz de Confusión

La matriz de confusión es una herramienta para la evaluación de modelos de clasificación organizando la cantidad de clasificaciones binarias correctas e incorrectas en una matriz de dos dimensiones, como se muestra en la Figura 3.7.3:

Donde, como ya vimos antes:

• VN y VP son verdaderos positivos y negativos, ese decir, las clasificaciones realizadas correctamente.
• FN y FP son falsos positivos y negativos, ese decir, las clasificaciones realizadas incorrectamente.
• Nótese que la diagonal de la matriz (VN y VP) muestra las predicciones correctas.
• De forma inversa, los elementos fuera de la diagonal (FP y FN) muestran las predicciones incorrectas.

Con esto debería quedar claro cómo está compuesta una matriz de confusión. Se trata simplemente del arreglo de los resultados de utilizar el modelo de clasificación en el conjunto de datos de prueba: se registran los errores y aciertos, y se categorizan como verdaderos o falsos respecto a cada clase (como es clasificación binaria, estas se consideran como negativa y positiva).

Por fin podemos hablar de las métricas que se derivan de estos valores.

Utilizando los resultados de una matriz de confusión, se pueden derivar las siguientes medidas para evaluar modelos de clasificación:

• Exactitud (Accuracy).
• Precisión (Precision).
• Sensibilidad (Recall, Sensitivity).
• Puntaje F1 (F1 Score).
• Curvas ROC y AUC.
• Tasa de falsos positivos (False Positive Rate).
• Tasa de falsos negativos (False Negative Rate).
• Tasa de falsas omisiones (False Omission Rate).
• Prevalencia (Prevalence).
• Valor predictivo negativo (Negative Predictive Value).
• Marcación (Markedness).
• Razón de probabilidades diagnóstica (Diagnostic Odds Ratio).
• Coeficiente de correlación de Matthews (Matthews Correlation Coefficient).
• Puntuación de amenaza, índice de éxito crítico, índice de Jaccard (Threat Score, Critical Success Index, Jaccard Index).
• Umbral de prevalencia (Prevalence Threshold).
• Exactitud balanceada (Balanced Accuracy).
• Índice de Fowlkes-Mallows (Fowlkes-Mallows Index).
• Razón de verosimilitud positiva (Positive Likelihood Ratio).
• Razón de verosimilitud negativa (Negative Likelihood Ratio).
• Información (Informedness).

Si te preguntas cómo es que se obtienen estas métricas de una matriz de confusión, lo veremos más adelante en esta exploración.

Sí, son demasiadas, pero de entre estas se suelen usar solo un subconjunto relativamente pequeño.

Estas son las métricas de evaluación de modelos de clasificación más utilizadas:

• Exactitud.
• Precisión.
• Sensibilidad.
• Puntaje F1.
• Pérdida de entropía cruzada.

Y con esto llegamos a las medidas que estaremos conociendo y poniendo a prueba aquí. Tenemos cuatro métricas derivadas de la matriz de confusión, y una obtenida por función de pérdida (entropía cruzada). Estas son de bastante utilidad para la evaluación de modelos de clasificación.

Para entenderlo mejor, lo desarrollaremos y veremos aplicado a nuestro caso de estudio de clasificación de reseñas.

Ejemplo de evaluación de modelo de machine learning con métricas de la matriz de confusión

Supondremos que hemos entrenado un modelo de aprendizaje supervisado para la categorización de reseñas de películas, y lo hemos utilizado sobre un conjunto de datos de prueba, donde obtuvimos los siguientes resultados:

• Verdaderos Positivos (VP): 90 reseñas positivas fueron clasificadas correctamente como positivas.
• Verdaderos Negativos (VN): 80 reseñas negativas fueron clasificadas correctamente como negativas.
• Falsos Positivos (FP): 20 reseñas negativas fueron clasificadas incorrectamente como positivas.
• Falsos Negativos (FN): 10 reseñas positivas fueron clasificadas incorrectamente como negativas.

Ahora organizamos esta información en la matriz de confusión:

Compara esta matriz con la de la imagen Figura 3.7.3 y podrás notar cómo es que se han realizado los acomodos de las cifras obtenidas.

Métricas Derivadas de la Matriz de Confusión

Con lo que hemos visto hasta ahora basta para poder aprender sobre métricas de evaluación de modelos de clasificación, para lo cual se utilizan los valores organizados en la matriz de confusión, y se calculan mediante fórmulas sencillas.

Exactitud (Accuracy)

La exactitud es una métrica que mide la proporción de clasificaciones correctas entre todas las clasificaciones realizadas. Se calcula con la siguiente fórmula:

\text{Exactitud} = \frac{VP + VN}{VP + VN + FP + FN}, \tag{3.69}

donde VP, VN, FP y FN son los valores de la matriz de confusión revisados en la sección anterior. Esta fórmula es bastante simple, consiste en sumar las predicciones correctas (VP y VN) y dividirlas entre todas las demás, por lo que arroja una proporción de los datos correctamente clasificados por el modelo.

Aquí haremos una breve pausa para revisar un término de importancia medular. Para interpretar correctamente esta métrica y las subsecuentes, debemos tener en cuenta un tipo de estructura que puede presentar un conjunto de datos: datos desbalanceados.

Influencia de datos desbalanceados en métricas de rendimiento

Como vimos en la exploración pasada, los datos desbalanceados es una propiedad de un conjunto de datos en el que las categorías (datos de salida objetivo para el entrenamiento de un modelo de clasificación) no están repartidas de manera equitativa. Esto significa que una o más clases tienen significativamente más ejemplos de entrenamiento que otras.

Para ilustrarlo, recordemos que tenemos datos etiquetados, donde, en el caso de las tareas de clasificación, se designan clases a cada uno de los ejemplos de entrenamiento. Sin embargo, estos datos pueden llegar a estar desproporcionados (desbalanceados). Un ejemplo se puede observar en la Figura 3.7.4:

Pongamos otro ejemplo: se podrían tener 200 datos etiquetados con la clase 1, y solo 10 datos etiquetados con la clase 0. Esto significa que no se tiene una proporción igual entre datos que pertenecen a ambas clases (5% de los datos de una clase, y 95% de otra clase).

Esto puede llegar a generar confusión, ya que un modelo podría acertar en predecir todas las clases de tipo 1 y fallar en todas las clases de tipo 0, pero aun así, si calculamos su exactitud como se hace en la Ecuación (3.69), su precisión sería del 95%, porque las clases están desbalanceadas. Sin embargo, como en realidad no ha logrado clasificar correctamente ningún dato en la clase 0, se podría concluir que en realidad es 50% efectiva, lo cual lo hace un modelo poco eficiente.

Este tema de datos desbalanceados es algo que se debe tener en cuenta al evaluar modelos de clasificación. En una ocasión futura, veremos técnicas para lidiar con esto desde el preprocesamiento de datos.

Interpretación de la exactitud

Ahora sí, volvamos con la métrica de Exactitud, y expliquemos como se interpreta. Esta mide la proporción de predicciones correctas realizadas por un modelo en relación con el total de predicciones. Es decir, evalúa qué tan bien el modelo clasificó correctamente tanto los casos positivos como los negativos en un conjunto de datos.

Los resultados de esta métrica se interpretan como sigue:

• Exactitud alta (valores cercanos a 1): Indican que el modelo tuvo un alto porcentaje de predicciones correctas.
• Exactitud baja (valores cercanos a 0): Indican un bajo desempeño del modelo, es decir, muchas predicciones incorrectas.

Limitaciones en cuanto a datos desbalanceados:

• En conjuntos de datos con clases desbalanceadas (por ejemplo, como ya hemos visto, donde los datos positivos son muy pocos en comparación con los negativos), la exactitud puede ser engañosa. Un modelo podría obtener una alta exactitud simplemente prediciendo siempre la clase con mayor predominancia. En estos casos, es mejor considerar métricas adicionales como la precisión, la sensibilidad (recall) o la métrica F1, que veremos a continuación.

Ejemplo de cálculo e interpretación de la exactitud

Ahora calcularemos la exactitud del modelo clasificador de reseñas. De acuerdo a los valores de la matriz mostrados en la Tabla 3.7.1 y a la fórmula de la Ecuación (3.69), se calcula como sigue.

\text{Exactitud} = \frac{VP + VN}{VP + VN + FP + FN} = \frac{90 + 80}{90 + 80 + 20 + 10} = \frac{170}{200} = 0.85 \tag{3.70}

Esto implica que el modelo tiene una exactitud del 85%, es decir, el modelo clasifica correctamente el 85% de las reseñas de películas. Es una buena métrica general, pero puede ser engañosa si las clases están desbalanceadas (no es el caso en nuestro ejemplo).

Precisión (Precision)

La precisión es una métrica que mide la proporción de clasificaciones de la clase positiva que se han hecho correctamente entre todos los datos pertenecientes a la clase positiva. Se calcula con la siguiente fórmula:

\text{Precisión} = \frac{VP}{VP + FP}. \tag{3.71}

Nótese que esta fórmula solo considera los positivos, tanto los aciertos como los errores. Quiere decir que refleja el porcentaje de datos correctamente clasificados para la clase 1 (positiva).

Interpretación de la precisión

Los resultados de la precisión se interpretan de la siguiente manera:

• Precisión alta (valores cercanos a 1): Significa que la mayoría de las predicciones positivas del modelo son correctas. Es decir, el modelo tiene pocos falsos positivos. Es importante en escenarios donde los falsos positivos son costosos o críticos, como en el diagnóstico médico.
• Precisión baja (valores cercanos a 0): Indica que el modelo realiza muchas predicciones positivas incorrectas, lo que sugiere un número elevado de falsos positivos.

Cálculo e interpretación en el ejemplo propuesto

Calcularemos la precisión del modelo clasificador de reseñas:

\text{Precisión} = \frac{VP}{VP + FP} = \frac{90}{90 + 20} = \frac{90}{110} \approx 0.818 \tag{3.72}

La precisión es aproximadamente 81.8%, lo que significa que de todas las reseñas clasificadas como positivas, el 81.8% realmente son positivas.

Sensibilidad o Exhaustividad (Recall)

La sensibilidad o exhaustividad es una métrica que mide el porcentaje de casos positivos correctamente identificados como positivos, considerando también aquellos positivos mal clasificados. Se calcula con la siguiente fórmula:

\text{Sensibilidad} = \frac{VP}{VP + FN} \tag{3.73}

Esta fórmula se diferencia de la precisión porque considera a los falsos negativos (FN), lo cual sucede porque su objetivo principal es medir la capacidad del modelo para identificar correctamente los casos positivos. Los falsos negativos representan los casos positivos que el modelo no logró detectar, por lo que son fundamentales para evaluar esta métrica. Si el modelo tiene un número alto de falsos negativos, significa que está fallando en detectar una gran cantidad de casos positivos. Esto reduce el valor de la Exhaustividad, indicando un desempeño deficiente en la detección de la clase positiva.

Interpretación de la sensibilidad

Los resultados de la sensibilidad se interpretan de la siguiente manera:

• Exhaustividad alta (valores cercanos a 1): El modelo es muy efectivo detectando los casos positivos. Es decir, tiene pocos falsos negativos. Esta métrica es ideal en escenarios donde es crucial no pasar por alto falsos negativos.
• Exhaustividad baja (valores cercanos a 0): Indica que el modelo falla al identificar muchos casos positivos, generando un alto número de falsos negativos.

Cálculo e interpretación en el ejemplo propuesto

Calcularemos la sensibilidad del modelo clasificador de reseñas:

\text{Sensibilidad} = \frac{VP}{VP + FN} = \frac{90}{90 + 10} = \frac{90}{100} = 0.9
 \tag{3.74}

La sensibilidad obtenida es del 90%, lo que indica que nuestro modelo detecta correctamente el 90% de las reseñas positivas. Esta métrica es útil cuando queremos reducir los falsos negativos, priorizando que la mayoría de las reseñas positivas se clasifiquen correctamente.

Casi, pero tienen una pequeña/gran diferencia. Creo que esto se puede prestar a malinterpretaciones, así que revisemos con un poco más de detalle.

Diferencia entre Precisión (precision) y Sensibilidad (recall) | Opcional

La precisión y la sensibilidad son métricas que calculan proporciones de verdaderos positivos, pero no sobre el mismo grupo de información. Considérese lo siguiente:

• La precisión se obtiene dividiendo los verdaderos positivos entre la suma de verdaderos positivos y falsos positivos (Ecuación 3.71). Recordemos que un falso positivo es una predicción errónea, lo cual significa que es un valor de la clase negativa (el modelo la asignó a la clase positiva, pero no acertó). Esto quiere decir que la precisión está obteniendo el porcentaje de predicciones correctas de la clase positiva entre las predicciones correctas e incorrectas de verdaderos positivos. Por lo tanto, un alto valor de precisión indica que el valor de los falsos positivos es bajo, y el modelo está clasificando datos correctamente en la clase positiva, entre otras palabras: de todas las predicciones positivas que hizo el modelo, cuántas son correctas.
• Por otro lado, la sensibilidad es la proporción de verdaderos positivos entre la suma de verdaderos positivos y falsos negativos (Ecuación 3.73). Los falsos negativos son valores que el modelo clasificó incorrectamente, que en realidad eran positivos, pero se clasificaron como negativos. Esto significa que la sensibilidad toma en cuenta no solo los datos que el modelo asignó a la clase positiva, sino también los positivos que quedaron asignados a la clasificación incorrecta. Esto se traduce en que se calcula cuántos datos de la clase positiva fueron detectados entre todos los que corresponden realmente a este.

¿Te parece un poco embrolloso?, lo resumiremos de esta forma:

• La precisión prioriza la minimización de los falsos positivos. Si necesitas que estos sean menores, utiliza esta métrica para ajustar los parámetros de tu modelo. Un ejemplo típico de esto es el diagnóstico médico, ya que un falso positivo se puede traducir en predecir incorrectamente una enfermedad (el positivo indica que el paciente está enfermo, por lo tanto, un falso positivo es un paciente mal diagnosticado con una enfermedad que no tiene), por lo que minimizar falsos positivos evita tratamientos innecesarios.
• La sensibilidad minimiza los falsos negativos. Si la prioridad es que el modelo no de por alto estos casos, esta métrica es la indicada para realizar ajustes. Un ejemplo de esto es la detección de fraudes, donde un valor negativo indica que una transacción no es un fraude; imagina que el modelo predice de forma errónea que una transacción fraudulenta no es un fraude, esto implicaría pérdidas monetarias.

Ahora mucho más resumido:

La importancia de la precisión o sensibilidad depende del contexto:

• Priorizar precisión: Si es crucial minimizar los falsos positivos.
• Priorizar sensibilidad/recall: Si es crucial minimizar los falsos negativos.

Puntuación F1 (F1 Score)

Por último, el puntaje F1 es una métrica que combina la precisión y el recall en un único valor que equilibra ambas métricas. Es especialmente útil cuando se desea un balance entre precisión y sensibilidad.

 \text{F1} = 2 \times \frac{\text{Precisión} \times \text{Exhaustividad}}{\text{Precisión} + \text{Exhaustividad}}
 \tag{3.75}

Interpretación del puntaje F1

Los resultados de F1 se interpretan de la siguiente manera:

• F1 alto (valores cercanos a 1): Indica que el modelo tiene un buen equilibrio entre precisión y sensibilidad (recall). Es decir, detecta correctamente la mayoría de los positivos reales (alta sensibilidad) y sus predicciones positivas son confiables (alta precisión).
• F1 bajo (valores cercanos a 0): Refleja un desempeño pobre del modelo, ya sea porque tiene baja precisión (muchos falsos positivos), baja sensibilidad (muchos falsos negativos), o ambos.

El F1-Score es especialmente útil en escenarios donde:

• Hay un desequilibrio en las clases (una clase es mucho más frecuente que otra).
• Es importante un balance entre precisión y recall.
• Los falsos positivos y falsos negativos tienen un costo similar, y no se puede priorizar una métrica sobre la otra.

F1 es un mediador entre sensibilidad y precisión.

Cálculo e interpretación en el ejemplo propuesto

Calcularemos el puntaje F1 del modelo clasificador de reseñas:

\begin{aligned}
F1 &= 2 \cdot \frac{\text{Precisión} \cdot \text{Sensibilidad}}{\text{Precisión} + \text{Sensibilidad}} \\
   &= 2 \cdot \frac{0.8181 \cdot 0.9}{0.8181 + 0.9} \\
   &= 2 \cdot \frac{0.7363}{1.7181} \\
   &= 2 \cdot 0.4286 \\
   &= 0.8571
\end{aligned}

El F1-Score obtenido es de aproximadamente 0.85, lo que indica que el modelo tiene un buen equilibrio entre precisión (0.81) y recall (0.90). Esto significa que:

• Aunque hay algunos falsos positivos, la mayoría de las predicciones positivas son correctas (precisión moderadamente alta).
• El modelo es capaz de identificar correctamente una gran cantidad de reseñas positivas (recall/sensibilidad alta).

Nota sobre las métricas de la matriz de confusión

Las métricas antes expuestas, derivadas de la matriz de confusión, son muy variadas, pero la mayoría son poco conocidas. Esto es porque solo se suelen utilizar las que mencioné en la última lista. Sin embargo, como seguro ya saben, para mí es importante que tengan el conocimiento de todo el abanico de posibilidades que tienen a su disposición para evaluar modelos.

Una buena síntesis gráfica de estas medidas es la que se muestra en la Figura 3.7.5, donde se puede observar la relación que existe entre las métricas y los valores predichos y reales.

Esta imagen está en inglés porque proviene de Wikipedia en inglés, y la traducción automática al español me pareció imprecisa. Creo que tiene una organización que vale la pena revisar.

Que en este caso, son estas:

1.  Fawcett, Tom (2006). «An Introduction to ROC Analysis» (PDF). Pattern Recognition Letters. 27 (8): 861–874. doi:10.1016/j.patrec.2005.10.010. S2CID 2027090.
2. Provost, Foster; Tom Fawcett (2013-08-01). «Data Science for Business: What You Need to Know about Data Mining and Data-Analytic Thinking». O’Reilly Media, Inc.
3. Powers, David M. W. (2011). «Evaluation: From Precision, Recall and F-Measure to ROC, Informedness, Markedness & Correlation». Journal of Machine Learning Technologies. 2 (1): 37–63.
4. Ting, Kai Ming (2011). Sammut, Claude; Webb, Geoffrey I. (eds.). Encyclopedia of machine learning. Springer. doi:10.1007/978-0-387-30164-8. ISBN 978-0-387-30164-8.
5. Brooks, Harold; Brown, Barb; Ebert, Beth; Ferro, Chris; Jolliffe, Ian; Koh, Tieh-Yong; Roebber, Paul; Stephenson, David (2015-01-26). «WWRP/WGNE Joint Working Group on Forecast Verification Research». Collaboration for Australian Weather and Climate Research. World Meteorological Organisation. Retrieved 2019-07-17.
6. Chicco D, Jurman G (January 2020). «The advantages of the Matthews correlation coefficient (MCC) over F1 score and accuracy in binary classification evaluation». BMC Genomics. 21 (1): 6-1–6-13. doi:10.1186/s12864-019-6413-7. PMC 6941312. PMID 31898477.
7. Chicco D, Toetsch N, Jurman G (February 2021). «The Matthews correlation coefficient (MCC) is more reliable than balanced accuracy, bookmaker informedness, and markedness in two-class confusion matrix evaluation». BioData Mining. 14 (13): 13. doi:10.1186/s13040-021-00244-z. PMC 7863449. PMID 33541410.
8. Tharwat A. (August 2018). «Classification assessment methods». Applied Computing and Informatics. 17: 168–192. doi:10.1016/j.aci.2018.08.003.

En fin, solo estoy divagando de nuevo. Volvamos a donde estábamos.

Métricas de evaluación de modelos de clasificación con Python

Pasemos al campo de batalla. En esta práctica calcularemos medidas de evaluación de los modelos de clasificación que trabajamos en la introducción a la regresión logística, y haremos el análisis de los resultados, para derivar las conclusiones correspondientes.

Puedes previsualizar el contenido aquí:

Así concluye esta (un poco) larga sesión. Estas métricas las verás varias veces a lo largo de tu carrera, es por eso que le hemos dedicado especial detalle. En la siguiente aventura hablaremos sobre el subajuste y sobreajuste de modelos de machine learning, otro tópico altamente relevante para la ciencia de datos.

Durante esta travesía conocerás las métricas más utilizadas para medir el desempeño de modelos de regresión, su finalidad, definición, análisis, y el cómo utilizarlas con Python.

Inventario recomendado

Matemáticas: algo de álgebra, probabilidad y estadística

Fundamentos del aprendizaje supervisado

Regresión lineal

Funciones de pérdida

Google Colab

Programación en Python

Algún aperitivo

Métricas de evaluación de modelos de regresión: cuáles y cómo utilizarlas

Después de finalizar el ajuste de los parámetros de un modelo mediante un algoritmo de aprendizaje automático, siempre será necesario evaluar qué tan capaz es de realizar cálculos eficientes sobre datos nuevos. Para esto, se utilizan métricas que operan sobre el conjunto de datos de prueba y un grupo predicciones realizadas con la función obtenida. En esta ocasión, aprenderemos sobre medidas que son frecuentemente utilizadas para evaluar modelos de regresión (modelos que realizan predicciones sobre valores en el espectro continuo), y que son parte medular de todo proceso post-entrenamiento.

Métricas para evaluar modelos de regresión

Existe una rica diversidad de medidas que puedes utilizar para determinar qué tan bien realiza estimaciones un modelo entrenado con machine learning. Para este fin, podemos utilizar funciones de pérdida como las que hemos visto en la exploración correspondiente, donde podemos recordar las siguientes para modelos de regresión:

• Error cuadrático medio (Mean Squared Error, MSE).
• Error absoluto medio (Mean Absolute Error, MAE).
• Error absoluto porcentual medio (Mean Absolute Percentage Error, MAPE)
• Raíz del error cuadrático medio (Root Mean Square Error, RMSE).
• Raíz del error logarítmico cuadrático medio (Root Mean Squared Logarithmic Error, RMSLE).
• Pérdida de Huber (Huber Loss).
• Pérdida Log-cosh. (Log-Cosh Loss).
• Pérdida cuantílica (Quantile Loss).
• L1 suavizado (Smooth L1).
• Pérdida ∈-insensible (∈-Insensitive Loss).

Pero, además, podemos hacer uso de cálculos como los que ofrecen otras métricas que no forman parte del conjunto de las funciones de pérdida:

• Coeficiente de determinación \text{R}^2.
• Coeficientes de correlación.

A pesar de que las opciones son variadas, aquí nos centraremos en algunas de uso frecuente. Siempre debes tener en cuenta que, dependiendo de las características de tus datos, algunas métricas serán más beneficiosas que otras, por lo que tú tienes la última palabra en cuanto a cuál utilizar.

Las mediciones que revisaremos y pondremos a prueba son:

• Error cuadrático medio (Mean Squared Error, MSE).
• Error absoluto medio (Mean Absolute Error, MAE).
• Coeficiente de determinación \text{R}^2 (R-Squared).
• Coeficiente de correlación de Pearson (Pearson Correlation Coefficient).

Definiciones y usos de métricas de evaluación con ejemplos

Las métricas que estamos a punto de explorar son ampliamente utilizadas para la evaluación de modelos de regresión, y aunque no son las únicas, nos ayudarán a comprender cómo operan y cómo utilizar otras para el mismo fin.

Para abordarlo, plantearemos un nuevo caso para el entrenamiento de un modelo: predicción de precios de casas (un ejemplo típico en machine learning, aunque siempre vigente).

Supongamos que se nos ha dado un conjunto de datos con precios de casas que dependen de características de estas como su tamaño, número de habitaciones, y ubicación:

Utilizando esto, nuestra meta es modelar la relación entre las variables de entrada y la variable objetivo.

Ya que hemos identificado los aspectos y tareas clave para cumplir nuestro objetivo, supondremos que hemos preprocesado nuestros datos y entrenado un modelo de aprendizaje supervisado que captura las relaciones entre las entradas y salidas, dando el siguiente resultado en las estimaciones realizadas:

Ya que tenemos predicciones hechas con el modelo, lo que sigue es evaluar su desempeño utilizando las métricas antes propuestas.

Veamos qué son y qué nos dice cada una.

Nota: estamos a punto de comenzar a explorar el funcionamiento e implicaciones de algunas métricas de evaluación. El fin es que conozcas cómo operan y cómo analizar los resultados obtenidos. Es tu obligación como científica/o de datos conocer gran parte de las métricas que tienes a disposición y aprender a utilizarlas de forma oportuna. (Es decir, en lo que concierne a las demás medidas de evaluación, se deja como ejercicio al lector).

Error cuadrático medio (MSE)

Las primeras dos métricas (MSE y MAE) son funciones de pérdida que operan de la forma que hemos presenciado con anterioridad, comparando los valores del conjunto de datos reales con las predicciones realizadas utilizando el modelo (véase la Imagen 3.4.1). Sin embargo, ambas son ligeramente diferentes, y lo revisaremos a detalle. Comenzaremos con la que ya hemos definido en una excursión pasada.

El Error Cuadrático Medio (MSE, por sus siglas en inglés de Mean Squared Error) es una métrica que mide la magnitud de los errores en las predicciones de un modelo de regresión, lo cual se hace calculando el promedio de elevar al cuadrado las diferencias entre los valores reales y las predicciones realizadas con el modelo.

Interpretación del MSE

Para interpretar los resultados del Error Cuadrático Medio, se debe considerar lo siguiente:

• Un MSE bajo indica que las predicciones del modelo están más cerca de los valores reales, lo cual es deseable.
• Un MSE alto significa que el modelo tiene un error más grande en las predicciones, lo cual indica un mal ajuste.

También debemos tomar en cuenta que, dado que el MSE es una métrica cuadrática, los errores grandes son penalizados de manera más severa que los errores pequeños (son más vistosos en el resultado, por así decirlo). Esto lo convierte en una métrica sensible a valores atípicos (outliers).

Por eso debemos tener cuidado al preparar los datos para su ingesta.

Cálculo del MSE

Ahora calculamos el MSE, justo como lo dicta la fórmula, con los datos de la Tabla 3.6.2:

Se obtiene el cuadrado de la diferencia entre las predicciones y los valores reales, y se suman:

\text{Suma de diferencia de errores} = (150,000 - 145,000)^2 + (200,000 - 210,000)^2\\ + (300,000 - 295,000)^2
+ (100,000 - 110,000)^2 + (180,000 - 175,000)^2

\text{Suma de diferencia de errores} = (5,000)^2 + (-10,000)^2, (5,000)^2 + (-10,000)^2 + (5,000)^2

\text{Suma de diferencia de errores} = 25,000,000 + 100,000,000 + 25,000,000 + 100,000,000\\ + 25,000,000

Se suman estos errores y se calcula el promedio, el cual se obtiene dividiendo la suma entre el número total de ejemplos (5 en este caso):

\text{MSE} = \frac{25,000,000 + 100,000,000 + 25,000,000 + 100,000,000 + 25,000,000}{5}

\begin{aligned}\text{MSE} &= \frac{275,000,000}{5} \\ &= 55,000,000\end{aligned}

Notarás que el MSE obtenido es 55,000,000 USD², lo cual representa el error promedio al cuadrado de las predicciones del modelo en comparación con los valores reales.

Análisis del MSE

En primera instancia, parece un valor alto. Dado que el MSE tiende a crecer con valores grandes en los datos, se puede deber a la presencia de algún valor atípico. Pero, además, se debe considerar la escala, ya que el MSE eleva al cuadrado las diferencias, por lo que el resultado no se encuentra en la escala original de los precios, que rondan entre 150 mil y 300 mil USD, dificultando la interpretación del resultado sin un contexto estadístico adicional. En algunos casos, se usa la Raíz del Error Cuadrático Medio (RMSE), que es simplemente la raíz cuadrada del MSE, para tener una métrica en las mismas unidades que la variable objetivo (en este caso, el precio en USD); o también se puede optar por utilizar alguna otra métrica para complementar la información, como el error absoluto medio, el cual veremos a continuación.

Error Absoluto Medio (MAE)

El Error Absoluto Medio (MAE) es una función de pérdida como el MSE, pero esta mide el error promedio entre las predicciones y los valores reales, sin tomar en cuenta el signo (si las pérdidas son positivas o negativas). Es decir, calcula el promedio de las diferencias absolutas entre las predicciones y los valores reales. La definición matemática concreta de esta y las demás medidas la veremos en la última sección.

Interpretación del MAE

Se considera lo siguiente para interpretar los resultados del MAE:

• Un MAE más bajo indica un error promedio menor, lo que significa que las predicciones están cerca de los valores reales.
• A diferencia del MSE, el MAE no penaliza tanto los errores grandes, ya que no los eleva al cuadrado. Esto lo hace más robusto frente a valores atípicos.

Eso no es la mejor idea, pero es una posibilidad. Recuerda que todo lo que uses para procesar tus datos va de acuerdo a las características que has develado mediante su análisis y manipulación.

Cálculo del MAE

Calculamos el MAE obteniendo la suma del valor absoluto de las diferencias entre los valores estimados y los del conjunto de datos como sigue:

\text{Suma de valor absoluto de errores} = |150,000 - 145,000| + |200,000 - 210,000|+\\ |300,000 - 295,000|+ |100,000 - 110,000|+ |180,000 - 175,000| 

\text{Suma de valor absoluto de errores} = 5,000 + 10,000 + 5,000 + 10,000 + 5,000 

Y obtenemos el promedio de esta suma:

\begin{aligned}\text{MAE} &= \frac{5,000 + 10,000 + 5,000 + 10,000 + 5,000}{5}\\ &= \frac{35,000}{5}\\ &= 7,000\end{aligned}

Análisis del MAE

El MAE obtenido es 7,000 USD, lo cual significa que, en promedio, las predicciones están a 7,000 USD de los valores reales. Esto es una porción relativamente baja, que ya se trata del 4.6% del valor más bajo en los precios, así como representa el 2.3% del valor más alto. Esto puede indicar que el modelo ha logrado capturar de manera efectiva las relaciones entre las entradas y las salidas.

Como verán en la práctica de Python, con una sola línea de código pueden obtener el valor de una métrica de evaluación, pero aquí estamos desarrollando un poco el proceso para captar la idea de operar con las predicciones y los datos del terreno real para determinar la precisión del modelo. No se asusten, el obtener las métricas es sencillo, lo importante es interpretarlas correctamente.

Coeficiente de Determinación (R2)

Ahora que hemos utilizado un par de funciones de pérdida, vamos con otro tipo de métricas útiles. \text{R}^2 es una medida que, entre otras palabras, indica qué proporción de la variabilidad en los datos es explicada por el modelo.

Cuando decimos que \text{R}^2 explica la variabilidad en los datos, nos referimos a cuánto del cambio o variación en los valores de la variable dependiente (o variable objetivo) puede ser explicado por las variables independientes (entradas o características) del modelo.

En el contexto de nuestro ejemplo, en nuestro conjunto de datos el precio de las viviendas puede variar debido a varios factores, como el tamaño, la ubicación o el número de habitaciones. Esta <<variabilidad>> o <<dispersión>> de los precios en el conjunto de datos es lo que el modelo intenta capturar, y \text{R}^2 cuantifica qué tanto los cambios en las entradas producen cambios en las salidas.

Interpretación del R2

La interpretación de esta métrica es relativamente sencilla:

• \text{R}^2=1 significa que el modelo explica el 100% de la variabilidad en los datos. Esto indica que el modelo se ajusta perfectamente a los datos, ya que todas las predicciones coinciden con los valores reales.
• \text{R}^2=0 indica que el modelo no explica ninguna variabilidad en los datos. En este caso, el modelo no es mejor que simplemente predecir el promedio de los valores reales; en otras palabras, el modelo no está mejorando la predicción en comparación con una simple línea horizontal que representaría el promedio de los valores de salida.
• Un \text{R}^2 negativo es posible si los errores del modelo son tan grandes que el modelo no solo no explica la variabilidad, sino que introduce más error, o sea, más valores alejados del patrón que se asume que describen los datos.

Cálculo del R2

Dado que para su definición matemática se requieren algunos términos más avanzados de estadística, solo mostraremos el resultado de esta medida para nuestro ejemplo, y hablaremos sobre cómo se calcula en la siguiente sección (donde podemos formalizar tranquilamente).

Supongamos que hemos calculado el R^2 y hemos obtenido lo siguiente:

\text{R}^2=0.75

Análisis del coeficiente de determinación

Un \text{R}^2 de 0.75 significa que el 75% de la variabilidad en el precio de las viviendas puede ser explicado por los valores de las variables de entrada. El otro 25% de la variabilidad puede deberse a factores no incluidos en el modelo, o a ruido aleatorio. Se puede concluir que, respecto a esta métrica, las variables independientes sí generan cambios en la variable objetivo, y el modelo ha logrado capturar parte de esta variabilidad. El valor es bueno, pero su lejanía de 25 puntos del 100 (0.75 de 1) indica que se puede mejorar la precisión de predicción del modelo evaluado.

Coeficiente de Correlación de Pearson

Por último, pero definitivamente no menos importante, el ya tradicional Coeficiente de Correlación de Pearson, es una medida de la la correlación lineal entre los valores reales y las predicciones del modelo, cuyo valor resultante está en el rango de -1 a 1. Esta métrica indica qué tan dependientes son las salidas de las entradas, y engloba esa dependencia en valores fácilmente interpretables, como vimos que hace \text{R}^2.

Interpretación del Coeficiente de Pearson

El coeficiente de Pearson se interpreta como sigue:

• Un 1 indica una correlación lineal positiva perfecta: a medida que aumentan o disminuyen los valores reales, aumentan o disminuyen también los valores de las predicciones.
• Un 0 indica que no hay correlación lineal entre las predicciones y los valores reales.
• Un -1 indica una correlación lineal negativa perfecta: a medida que aumentan los valores reales, las predicciones disminuyen, o viceversa, a medida que disminuyen los valores reales, las predicciones aumentan.

Sí, algo así es la idea.

Cálculo del Coeficiente de Correlación de Pearson

Al igual que como hicimos con \text{R}^2, dejaremos para después las operaciones propias de esta métrica. Por el momento, plantearemos que obtuvimos el siguiente valor de correlación:

\rho = 0.85

Análisis del coeficiente de correlación

Al obtener un valor de 0.85, podemos inferir que, al ser cercano a 1, implica que existe una correlación positiva fuerte entre las dos variables en cuestión. Esto significa que, en general, a medida que una variable aumenta, la otra también tiende a aumentar. Además, nótese la relación entre las variables es positiva, pero no perfecta. Es decir, aunque las dos variables se muevan en la misma dirección, puede haber algunos puntos que no sigan esta relación exacta debido a la variabilidad o ruido en los datos. Esto empata con el resultado obtenido en \text{R}^2.

Métricas de evaluación de modelos de regresión con Python

Ha llegado el momento de poner en marcha lo aprendido. En la práctica de hoy obtendremos medidas de evaluación de los modelos de regresión que trabajamos en la introducción a la regresión lineal, y haremos su respectivo análisis.

Puedes previsualizar el contenido aquí:

Para finalizar con este recorrido, haremos mención de la definición matemática de cada métrica para tener consciencia de cómo es que se calculan. No usaremos mucho estas definiciones en el futuro, pero te las dejaré aquí por si llegas a necesitarlas.

Métricas de evaluación de regresión: definiciones matemáticas

Para estas definiciones, consideremos que \mathcal{D} = \lbrace (x_{1},y_{1}),…,(x_{N},y_{N})\rbrace es un conjunto de N datos etiquetados, donde x_n representa las entradas y y_n a la salidas observada correspondiente a cada entrada. Además, se asume que existe un modelo h(x) entrenado con estos datos mediante un algoritmo de aprendizaje supervisado, el cual genera predicciones \hat{y}_n = h(x_n) para cada entrada x_n .

Definición (3.12) Error Cuadrático Medio. El Error Cuadrático Medio (MSE) evalúa la precisión promedio de un modelo h(x) como sigue:

\text{MSE} = \frac{1}{N} \sum_{i=1}^N (y_n - \hat{y}_n)^2,\tag{3.65}

donde, debe recordarse, \hat{y}_n es la predicción del modelo dadas las variables de la entrada x_n , y y_n es el valor del terreno real del conjunto de datos para esa entrada.

El MSE mide la magnitud del error al cuadrado, penalizando errores grandes más que errores pequeños.

Definición (3.13) Error Absoluto Medio. El Error Absoluto Medio (MAE) calcula el error promedio en valor absoluto entre las predicciones y los valores reales, proporcionando una medida de la distancia media absoluta entre los valores predichos y los valores observados. Se define como:

\text{MAE} = \frac{1}{N} \sum_{i=1}^N |y_n - \hat{y}_n|\tag{3.66}

Esta métrica es menos sensible a los valores atípicos que el MSE, ya que no eleva los errores al cuadrado. Nótese que |y_i - \hat{y}_i| representa la diferencia absoluta entre el valor observado y el valor predicho para cada observación.

Definición (3.14) Coeficiente de Determinación. El coeficiente de determinación \text{R}^2 mide la proporción del error cuadrático medio y la varianza. Se calcula mediante la siguiente operación:

\text{R}^2 = 1 - \frac{\sum_{n=1}^N (y_n - \hat{y}_n)^2}{\sum_{n=1}^N (y_n - \bar{y})^2}, \tag{3.67}

donde \bar{y} es el promedio de los valores observados y_n . Nótese que el numerador es el MSE, y el denominador la varianza de los datos. Cuando el error cuadrático medio es menor que la varianza total, significa que el modelo ha logrado capturar al menos parte de la variabilidad en los datos. En otras palabras, es indicativo de que el modelo mejora las predicciones en comparación con el uso de una simple línea promedio. Cuanto más se reduzca el error cuadrático medio en comparación con la varianza, mayor será el valor de \text{R}^2, lo cual indica un mejor ajuste del modelo.

Por lo tanto, la métrica \text{R}^2 toma valores entre 0 y 1, donde un valor cercano a 1 indica que el modelo explica bien la variabilidad de los datos, mientras que un valor cercano a 0 indica que el modelo no captura de forma eficiente la variabilidad.

Definición (3.15) Coeficiente de Correlación de Pearson. El Coeficiente de Correlación de Pearson mide la fuerza y dirección de la relación lineal entre las predicciones y los valores observados. Se obtiene como sigue:

\rho = \frac{\sum_{i=1}^n (y_i - \bar{y})(\hat{y}_i - \bar{\hat{y}})}{\sqrt{\sum_{i=1}^n (y_i - \bar{y})^2 \sum_{i=1}^n (\hat{y}_i - \bar{\hat{y}})^2}}, \tag{3.68}

donde \bar{y} y \bar{\hat{y}} representan las medias de los valores observados y predichos, respectivamente. El coeficiente r varía entre -1 y 1, donde un valor cercano a 1 indica una fuerte correlación positiva, un valor cercano a -1 indica una fuerte correlación negativa, y un valor cercano a 0 indica poca o ninguna correlación lineal.

Nuestra travesía ha concluido. Hemos aprendido cómo utilizar métricas para evaluar el rendimiento de un modelo de regresión. En nuestra siguiente sesión aprenderemos sobre la evaluación de modelos de clasificación, y con eso estaremos preparando nuestra salida hacia las exploraciones previas a uno de los modelos más icónicos del aprendizaje de máquinas.

Inventario recomendado

Nociones sobre conjuntos de datos y su ciclo de vida

Matemáticas: conocimiento en estadística descriptiva e inferencial

Algún acompañamiento

Análisis Exploratorio de Datos

Hasta el momento hemos abordado qué son los conjuntos de datos y cómo obtenerlos, pero después, ¿qué sigue?

El siguiente paso es conocer los datos. Esto implica tomarlos y explorarlos a conciencia con el fin de aprender sobre sus características, alcance, limitaciones, y las modificaciones que serán necesarias para dejarlos listos como entradas para un algoritmo de machine learning. Esto se hace realizando lo que se conoce como análisis de datos exploratorio.

Un análisis de datos exploratorio (EDA, por sus siglas en inglés: Exploratory Data Analysis) es un procedimiento que consiste en obtener conocimientos sobre un conjunto de datos mediante su manipulación, análisis estadístico descriptivo e inferencial, y visualización en representaciones gráficas. Es un paso vital en el flujo de trabajo cuyo fin es el entrenamiento de algoritmos de aprendizaje automático, ya que es necesario para conocer los aspectos básicos del conjunto de datos a utilizar, y del tratamiento que debe tener antes de ser modelado.

¿Cómo se hace un análisis exploratorio de datos?

El cómo ejecutar un análisis exploratorio puede variar conforme a los tipos de datos y los objetivos particulares, pero en general se recomienda seguir un flujo compuesto por las siguientes etapas.

1. Exploración de las características generales de los datos

El primer paso es conocer lo datos de manera superficial, aún sin preocuparnos por obtener medidas estadísticas. Esto se trata sobre conocer su composición, estructura, y calidad, y se puede resumir como sigue:

• Dimensión de los datos: Conocer cuántos registros (filas) y cuántos atributos o características (columnas) tiene el conjunto de datos.
• Tipo de datos: Identificar los tipos de datos que componen al conjunto: ¿se trata de datos estructurados o no estructurados?, ¿cuáles de estos son cuantitativos o cualitativos?, ¿qué tipo de datos computacionales son? (float, int, object, etc). Conocer los tipos de datos será vital para su manipulación numérica.
• Calidad de los datos: Debemos buscar posibles inconsistencias en los datos que puedan generar conflictos en cálculos realizados sobre estos, por ejemplo: datos faltantes, datos nulos, datos duplicados, datos mal registrados.

2. Estadística descriptiva

Después de conocer los datos con un primer acercamiento, es hora de obtener algunas medidas que nos hablen sobre estos en cuanto a sus propiedades matemáticas. Para esto, utilizaremos estadística descriptiva, la cual consiste en calcular medidas que resuman algunas de sus características más elementales. Ejemplos de métricas que se suelen utilizar son las siguientes:

• Medidas de tendencia central: Media, mediana, moda.
• Medidas de dispersión: rango, varianza, desviación estándar, rango intercuartílico.
• Medidas de posición: cuartiles, percentiles.
• Medidas de forma: asimetría, curtosis.

No precisamente. Todo dependerá de los datos, tus necesidades, y lo que hayas observado en estos. Tú llevas la batuta de los componentes de tu análisis exploratorio.

3. Visualización de datos

Una parte imprescindible de la ciencia de datos es la visualización de datos utilizando gráficas. Esto facilita el conocimiento intuitivo de algunas de las propiedades de los datos, y facilita su comprensión. Es importante saber llevar los datos al dominio de las gráficas, tanto para observar propiedades como para compartir hallazgos.

Algunas gráficas recomendadas son las siguientes:

• Histogramas: Utilizados para visualizar la distribución de una variable numérica.
• Gráficos de barras: Utilizados para representar y comparar la frecuencia, cantidad o proporción de diferentes categorías o grupos.
• Diagramas de cajas y bigotes: Representan la distribución de una variable numérica resaltando los cuartiles, la mediana y los valores atípicos (outliers).
• Gráficos de dispersión: Utilizados para examinar la relación entre dos variables numéricas.
• Gráficos de densidad: Son una versión suavizada de los histogramas, utilizados para visualizar la distribución de una variable. Proporcionan una visión más continua de la densidad de los datos, sin depender de la elección de bins.
• Gráficos de pastel: Se utiliza para representar la composición o proporción de un todo. Está formada por un círculo dividido en «rebanadas» (sectores) que muestran cómo se distribuyen diferentes partes dentro de un conjunto total de datos.
• Mapas de calor: Utilizados para visualizar matrices de correlación entre múltiples variables numéricas. Facilitan la identificación de relaciones fuertes o débiles entre las variables.
• Gráficos de línea: Utilizados para visualizar datos temporales o series de tiempo. Ayudan a identificar tendencias a lo largo del tiempo, patrones estacionales y anomalías.

Estos son algunos ejemplos para darte una idea de la variedad de gráficas que puedes tener a tu disposición. Recuerda que tú decides cuáles serán o no de utilidad para tus fines.

Se considera que la primera gráfica utilizada con fines estadísticos fue publicada en 1644 por el astrónomo y cartógrafo belga Michael Florent van Langren, en su obra <<La verdadera Longitvd por Mar y Tierra>>. En esta se mostraban las diferentes estimaciones de la longitud geográfica entre las ciudades de Toledo (España) y Roma (Italia), realizadas por varios astrónomos y geógrafos de la época.

4. Análisis inferencial

El análisis inferencial, finalmente, consiste en la aplicación de técnicas estadísticas para obtener información más profunda sobre los datos; esto se hace a través de métodos que infieran propiedades de estos al operar sobre ellos. Algunos ejemplos de técnicas que podrías utilizar, son los siguientes:

• Pruebas de hipótesis.
• Medidas de covarianza y correlación.
• Detección de datos anómalos.
• Análisis de componentes principales.
• Análisis de componentes de series de tiempo.

Lo vuelvo a repetir, lo que hagas para realizar inferencias estadísticas en un análisis exploratorio dependerá de las cualidades de tus datos, y de los aspectos que hayas develado anteriormente mediante la estadística descriptiva; los mencionados aquí son meramente informativos, y no pretenden ser ni obligatorios ni únicos.

Las distintas tareas que hemos explicado aquí para la ejecución de un análisis exploratorio se resumen en la Figura 2.6.1:

Existen diferentes formas de hacerlo. Se puede realizar con cualquier plataforma o lenguaje de programación que permita la manipulación de datos y la aplicación de técnicas estadísticas. Yo personalmente sugiero que lo hagas usando la misma herramienta con la que crees y pongas en marcha tu algoritmo de machine learning. En nuestro caso, lo haremos con Python, pero esto será hasta nuestro próximo encuentro.

Así finaliza este breve cruce con una de las actividades más elementales en todo proceso que incluya la puesta en marcha de un algoritmo de aprendizaje automático. Nuestra siguiente expedición será sobre preprocesamiento de datos, una etapa del ciclo de vida de los datos que incluye el análisis aquí expuesto, y que pondremos en práctica utilizando Python.

En lo que se refiere a conjuntos de datos, existe un tipo de estos que tiene suma importancia para el machine learning, específicamente para el aprendizaje supervisado: los conjuntos de datos etiquetados.

En esta exploración hablaremos sobre qué son los datos etiquetados, sus diferencias con los datos no etiquetados, algunos ejemplos, y su respectiva definición matemática.

Inventario recomendado

Conjuntos de datos

Conocimiento sobre conjuntos de datos.

Matemáticas

Álgebra lineal y conjuntos

Tentempié

¿Qué son los conjuntos de datos etiquetados y no etiquetados?

En machine learning, una de las principales distinciones que se puede hacer sobre conjuntos de datos es si están etiquetados o no. Con etiquetar datos, nos referimos a especificar dos aspectos principales sobre estos: las entradas y salidas.

Las entradas de un conjunto de datos son las características de los objetos de estudio que comprenden al conjunto de datos, mientras que las salidas son algún aspecto o resultado asociado a estas características.

Para entenderlo, veamos un ejemplo.

Supongamos que queremos utilizar un algoritmo de aprendizaje de máquinas para entrenar un modelo con la capacidad de reconocer animales al entregarle alguna imagen de estos.

En este caso, utilizaremos un conjunto de datos de imágenes de animales, pero además etiquetaremos los datos añadiendo el correspondiente nombre del animal a cada imagen.

El resultado es la obtención del conjunto de datos distinguiendo entre dos elementos clave: las entradas, las cuales son las imágenes de animales, y las salidas, que son los nombres de animales asociados a cada imagen, como se muestra en la Figura 2.3.1.1:

En la imagen se puede dilucidar con claridad la distinción entre entradas y salidas, las cuales la máquina tomará en consideración para aprender a reconocer animales: procesará las imágenes y sus características respecto a las etiquetas de cada una, que en este caso es el nombre del animal referido en cada imagen.

Sí, etiquetar se trata sobre dar información a la computadora sobre la relación que esperamos modelar de las características de los datos con algún resultado. En el ejemplo, buscamos entrenar un modelo para que entienda la forma en que se relacionan las imágenes de los animales con su nombre, propiciando un aprendizaje de identificación, en el que la máquina calculará un nombre dada una imagen nueva.

El etiquetado de conjuntos de datos puede presentarse en diferentes formas dependiendo de su naturaleza y del objetivo perseguido, en la Figura 2.3.1.2 se pueden consultar algunos ejemplos para diversos tipos de enfoques, mencionando el objetivo del modelo, el conjunto de datos, sus entradas y salidas:

El etiquetado de datos y su función se entenderán mejor en lecciones posteriores. Hay que tomar en cuenta que los datos tienen señaladas sus entradas y salidas específicamente cuando se trata de entrenar algoritmos de aprendizaje supervisado, y por lo tanto, es sumamente crucial entenderlo y aplicarlo, ya que este es generalmente el tipo de machine learning que se aprende a dominar primero, por sus variadas aplicaciones en la industria y la ciencia.

Datos etiquetados en tablas

Demos un vistazo a los datos etiquetados en un formato específico y profusamente común: las tablas. A pesar de que existe una gran cantidad de datos no estructurados para aprendizaje de máquinas, la realidad es que, tanto en el ámbito laboral como académico, será muy común realizar tareas utilizando grandes volúmenes en conjuntos de datos dispuestos en tablas, por lo que es necesario entender cómo se etiquetan los datos cuando están contenidos en este formato.

Lo abordaremos con otro ejemplo.

Supongamos que deseamos crear un modelo de machine learning capaz de estimar el precio de una computadora respecto a algunas características físicas, como almacenamiento, tamaño de la pantalla, memoria RAM, entre otros.

Para lograr esto, se debe procesar toda la información que tengamos a la mano sobre dicho objeto de estudio, por lo que buscamos recolectar datos de computadoras de años recientes, sus características, y sus precios.

Supongamos que hemos hallado una base de datos con computadoras vendidas en una página web llamada «computadorasdialektico.com». Nuestro conjunto de datos para este objetivo es justo esta información, la cual debe estar dispuesta de una manera en que pueda ser procesada por una computadora, por lo que elegimos organizarla en una tabla, donde cada renglón contiene un ejemplo u observación de los objetos que componen al conjunto; es decir, un renglón contendrá los datos de una computadora: sus especificaciones, y su precio, como se muestra en la Figura 2.3.1.3:

Esta tabla con información de computadoras es nuestro conjunto de datos, el cual se utilizará para entrenar un modelo de aprendizaje capaz de estimar precios.

Justo aquí es donde saltamos a un último concepto medular que ya hemos visto anteriormente: ejemplos de entrenamiento para conjuntos de datos etiquetados.

Ejemplos de entrenamiento para conjuntos de datos etiquetados

Como vimos en nuestro recorrido pasado, un ejemplo de entrenamiento es una observación perteneciente a un conjunto de datos, que será utilizado como instancia para el entrenamiento de un modelo con un algoritmo de machine learning.

Para datos etiquetados el principio es el mismo, pero con algunas especificaciones adicionales: un ejemplo de entrenamiento en este contexto es una pareja de entradas/salida de un conjunto de datos.

Pensando en el caso de imágenes de animales etiquetadas anteriormente invocado, un ejemplo de entrenamiento es una imagen y su respectiva etiqueta.

Retomando nuestro ejemplo con computadoras, podremos notar que las características de estas son las entradas (las cuales, por cierto, a veces verás nombradas como atributos, características o features/inputs), mientras que su precio es la salida (la cual puede ser identificada como etiqueta, objetivo, o label/output), ya que este es del que buscamos realizar predicciones.

Cada emparejamiento de entradas y su respectiva salida (ejemplo de entrenamiento, o instance), en el conjunto de datos antes citado, luce de la siguiente forma:

En la Figura 2.3.1.5 podemos visualizar cómo los ejemplos de entrenamiento conforman al total del conjunto de datos:

Conjunto de datos etiquetados: definición matemática

En nuestra sesión anterior vimos la definición de conjunto de datos de forma generalizada. Sin embargo, ahora es necesario hablar sobre conjuntos de datos donde los datos tienen una distinción de entradas y salidas, y cómo se definen respecto a esta particularidad.

Conjunto de entradas y conjunto de salidas

Primero, debemos definir dos conjuntos nuevos que formarán parte de la definición de conjunto de datos para datos etiquetados: conjuntos de entradas y salidas.

Conjunto de entradas

Definición 2.2 (Conjunto de entradas). Un conjunto \mathcal{X} de entradas es un conjunto \{ \mathcal{x}_{1}, \mathcal{x}_{2},...,\mathcal{x}_{N}\} de N instancias u observaciones sobre las que se desean extraer patrones, donde cada \mathcal{x}_{n} está compuesto a su vez de un número D de características.

Esto quiere decir que el conjunto de entradas \mathcal{X} está compuesto por observaciones, las cuales a su vez comprenden un cúmulo de características de dicha observación.

Una forma muy común de representar las entradas es utilizando vectores, donde cada \mathcal{x}_{n} puede ser representado por un vector \mathbf{x_n} como sigue:

\begin{aligned}
    \mathbf{x}_{n} &= \begin{bmatrix}\mathcal{x}_{n}^{1} & \mathcal{x}_{n}^{2} & \dots & \mathcal{x}_{n}^{D} \end{bmatrix}\:, \tag{2.5}
\end{aligned}

donde cada elemento x_{n}^{1}, x_{n}^{2},...,x_{n}^{D} corresponde a una característica de interés o atributo de x_{n}.

Para ilustrar esto, volvamos a nuestro ejemplo de computadoras y sus características. La tabla de la Figura 2.3.1.3 muestra un conjunto de observaciones x_{n} donde los atributos de cada una (almacenamiento, RAM, tamaño de pantalla) son las características de interés x_{n}^{d}.

Si tomamos el primer renglón de valores de esa tabla como ejemplo, obtenemos el siguiente extracto:

El cual se representaría vectorialmente de la siguiente manera:

\begin{aligned}
    \mathbf{x}_{1} =\begin{bmatrix}80 & 4 & 14 \ \end{bmatrix}\:, \tag{2.6}
\end{aligned}

donde sus respectivas características son

\mathbf{x}_{1}^{1}=80.\tag{2.7}

\mathbf{x}_{1}^{2}=4.\tag{2.8}

\mathbf{x}_{1}^{3}=14.\tag{2.9}

Conjunto de salidas

Definición 2.3 (Conjunto de salidas) El conjunto \mathcal{Y} de salidas es el conjunto \{\mathcal{y}_{1}, \mathcal{y}_{2},...,\mathcal{y}_{N}\} de N etiquetas o salidas asociadas a cada elemento \mathcal{x}_{n} de \mathcal{X}.

En nuestro ejemplo, el conjunto de salidas es el conjunto de precios relacionado a cada computadora, de los cuales buscamos hacer estimaciones.

La etiqueta o salida que concierne al renglón visualizado en la Figura 2.3.1.6 es la siguiente:

Por lo que el valor del elemento y_{1}, correspondiente al vector x_{1} mostrado en la Ecuación \mathbf{(2.6)}, se expresa como

\begin{aligned}
    y_{1} = 1499.\: \tag{2.10}
\end{aligned}

Ejemplos de entrenamiento de datos etiquetados

Definición 2.4 (Ejemplo de entrenamiento de datos etiquetados). Un ejemplo de entrenamiento \mathcal{o}_{n}, de datos etiquetados, se define como sigue:

\mathcal{o}_{n} = (\mathcal{x}_{n}, \mathcal{y}_{n}),\tag{2.11}

donde \mathcal{x}_{n}\in\mathcal{X} es una entrada de D características, y \mathcal{y}_{n}\in\mathcal{Y} es su salida asociada.

En nuestro caso ilustrativo, como se había mostrado en la Figura 2.3.1.5, un ejemplo de entrenamiento es el conjunto de características y su respectiva salida. Respecto al primer renglón definido como \mathbf{x}_{1} en la ecuación Ecuación \mathbf{(2.6)}, este ejemplo de entrenamiento se vería de la siguiente manera:

Y se expresa matemáticamente como sigue:

\begin{aligned}
    (x_{n}, y_{n})=(\begin{bmatrix}80 & 4 & 14 \ \end{bmatrix},1499).\tag{2.12}
\end{aligned}

Conjuntos de datos etiquetados

Definición 2.5 (Conjunto de datos etiquetados) Dados un conjunto de entradas \mathcal{X} y un conjunto de salidas \mathcal{Y}, un conjunto de datos etiquetados es el conjunto \mathcal{D}=\{o_1, o_2, \dots, o_N\} de N observaciones, donde cada observación se considera un ejemplo de entrenamiento de datos etiquetados \mathcal{o}_{n} = (\mathcal{x}_{n}, \mathcal{y}_{n}). Por lo tanto, el conjunto de datos etiquetados \mathcal{D} se puede definir como

\mathcal{D}=\lbrace (x_{1},y_{1}),…,(x_{n},y_{n}),…,(x_{N},y_{N})\rbrace.\tag{2.13}

Es decir, el conjunto de datos está compuesto por ejemplos de entrenamiento, los cuales son a su vez pares de entradas (características) y salidas (etiquetas).

Con esto finalizamos las definiciones correspondientes a los conjuntos de datos. Esto que hemos visto aquí lo retomaremos más adelante, cuando pongamos en práctica los primeros algoritmos de machine learning.

En nuestra siguiente parada, daremos un respiro y avistaremos algunas metodologías y lugares de donde podrás obtener conjuntos de datos para tus proyectos de machine learning, o cualquier otra tarea que requiera cúmulos de información.

Cuando se trata de este tema, lo más convencional es iniciar su estudio utilizando como referencia las funciones de costo para algoritmos de regresión, como es el caso del error cuadrático medio (MSE). Sin embargo, es importante conocer cómo opera una función de pérdida para algoritmos de clasificación, para lo cual invocaremos y estudiaremos la función de error utilizada para la optimización de parámetros en la regresión logística y otros algoritmos de modelos de clasificación: la función de entropía cruzada binaria.

Inventario recomendado

Matemáticas

Álgebra y funciones.

Regresión logística

Funciones de pérdida

Algún acompañamiento

Función de pérdida logística

Una función de pérdida que se puede utilizar para la evaluación de modelos de regresión logística, y en general de diversos modelos de clasificación de dos clases, es la función de entropía cruzada binaria (Cross-Entropy), también conocida como función de pérdida logística (Log-Loss). Su objetivo es determinar la cercanía de los cálculos de probabilidad dados por un modelo clasificador respecto a los valores del terreno real (aquellos pertenecientes al conjunto de datos recolectados). Es decir, determina qué tan bien realiza clasificaciones el modelo ajustado durante la etapa de entrenamiento.

La función de pérdida logística opera de forma similar a las funciones de costo de modelos de regresión que vimos anteriormente, pero con unas pequeñas diferencias que examinaremos a continuación.

Funcionamiento de la Entropía Cruzada Binaria

La manera en la que se determinan las pérdidas o errores en la función de entropía cruzada es mediante la determinación de qué tan lejanas se encuentran las probabilidades calculadas para determinadas clases.

Para esto debemos recordar que las salidas de un modelo clasificador como la función logística son probabilidades condicionales que nos dicen lo siguiente: ¿cuál es la probabilidad de que un dato de entrada pertenezca a una clase específica?

Al obtener estas probabilidades con el modelo ajustado, la función de pérdida logística obtiene las diferencias entre las probabilidades y las clases binarias (1 y 0).

Lo desarrollaremos en un ejemplo para comprenderlo mejor.

Ejemplo de función de pérdida logística

Para ilustrar el cálculo de los errores en un modelo clasificador, utilizaremos un ejemplo parecido al que trabajamos para abordar la regresión lineal, en el que trabajamos con un conjunto de datos de horas de estudio y calificaciones obtenidas.

Haremos algo muy similar, pero tornando el enfoque de un problema de regresión a uno de clasificación.

El objetivo será el siguiente: determinar si un alumno logra pasar o no un examen de acuerdo con sus horas de estudio.

Supongamos que la siguiente tabla es parte de nuestros datos:

En los datos mostrados en la tabla se observa cómo para diferentes cantidades de horas de estudio dedicadas se aprueba o no el examen, lo cual genera dos clases, donde 0 significa que el estudiante no pasó el examen, y 1 significa que sí lo aprobó.

La relación entre las dos clases (variable dependiente) y las horas de estudio (variable independiente) la modelaremos realizando una regresión logística sobre la información dada.

Supongamos que hemos entrenado el modelo, y realizamos predicciones para cada dato mostrado en la tabla. Para obtener la pérdida total se realizan operaciones de comparación entre las salidas y observaciones del terreno real y las probabilidades calculadas. Estos cálculos los veremos de forma mucho más detallada en la sección de matemáticas, por el momento, la Figura 3.5.1, la cual es una versión ligeramente modificada de la Figura 3.4.1 perteneciente a nuestro último recorrido, ilustra el proceso de forma simplificada:

Como se puede observar, a diferencia de la función de pérdida que utilizamos para una regresión lineal, en este caso se obtienen las diferencias entre las probabilidades calculadas por el modelo (que están en el rango de 0 a 1) y las clases binarias (que, como sabemos, son 0 o 1).

Al final, estas diferencias se agregan y se obtiene un promedio (la pérdida total).

El cálculo de estos costos o pérdidas depende del uso de una fórmula que no se explicará aquí. Esta genera un número que expresa las diferencias entre las probabilidades calculadas por el modelo, y las etiquetas del terreno real, pero estas diferencias no se calculan directamente, son reexpresadas mediante un proceso matemático que se aprenderá en el siguiente apartado.

Por el momento, ilustraremos los pasos para la obtención de pérdida total logística en 4 puntos.

1. Primero, necesitamos calcular las pérdidas individuales utilizando la función de pérdida logística. Esta es la fórmula de la que te he hablado. Supondremos que hemos obtenido las pérdidas asociadas y las organizamos en una columna nueva:

2. Ahora, obtenemos la suma de estas pérdidas:

Suma de las pérdidas individuales: 2.987

3. Y, por último, calculamos el promedio:

Pérdida total: 2.987/6=0.49

El criterio a seguir para interpretar el resultado de la función de pérdida logística es el mismo que el que se tiene para la función de MSE:

• Valor de pérdida cercano a 0: Un valor bajo de pérdida logística indica que el modelo está haciendo buenas predicciones, es decir, las probabilidades predichas están cerca de las etiquetas reales.
• Valor de pérdida cercano a 1: Un valor alto de log-loss (pérdida logística) indica que el modelo está haciendo predicciones deficientes: las probabilidades predichas están lejos de las etiquetas reales.

Al haber obtenido un valor de pérdida de 0.49 en un conjunto con valores de entrada que van desde 1 a 6, podemos concluir que el modelo ajustado es eficiente al realizar las inferencias de clasificación para las que fue entrenado.

Definición matemática de la función de entropía cruzada binaria

Como vimos en la sección de matemáticas de la regresión logística, esta función modela la probabilidad de que una entrada x_n pertenezca a una clase particular y_n \in {0, 1} . La función de probabilidad para y_n = 1 dada una entrada x_n y los parámetros \theta está dada por:

\begin{aligned} \sigma(x) = p(y_n = 1 | x_n, \theta) = \frac{1}{1 + e^{-(\theta_0 + \sum_{i=1}^D \theta_i x_n^i)}}, \tag{3.28} \end{aligned}

Donde \sigma(x) es la función sigmoide.

Definición (3.11) Función de entropía cruzada binaria. Sea \mathcal{D} = \lbrace (x_{1},y_{1}),…,(x_{N},y_{N})\rbrace un conjunto de N datos etiquetados, y \sigma(x) una función sigmoide como la definida en la Ecuación (3.28) que pretende mapear los valores de cada entrada x_n a su respectiva salida y_n, la función de pérdida de entropía cruzada es una función que mapea un conjunto de valores de ejemplos de entrenamiento a un número real, y está definida como sigue:

\begin{aligned} L(\mathcal{Y}, \mathcal{\hat{Y}})) = \frac{1}{N} \sum_{n=1}^N l(y_n, \sigma(x_n)) \end{aligned}, \tag{3.44}

donde \mathcal{\hat{Y}} es el conjunto de todas las predicciones realizadas con el modelo \sigma(x) , y l es la función de pérdidas individuales definida como sigue:

\begin{aligned} l(y, \sigma(x)) = -[y \log(\sigma(x)) + (1 - y) \log(1 - \sigma(x))] \end{aligned}, \tag{3.45}

la cual obtiene las diferencias entre las probabilidades predichas y sus clases correspondientes en el conjunto de datos.

Te doy un momento para pensarlo

De acuerdo con la estructura de funciones de pérdida revisada en la anterior exploración, se pueden identificar los siguientes componentes:

• Agregador de pérdidas: \frac{1}{N} \sum_{i=1}^N
• Función de pérdidas individuales: -[y \log(\sigma(x)) + (1 - y) \log(1 - \sigma(x))]

A continuación, desarrollaremos con detalle cómo se llega a la forma final de esta función, y qué operaciones definen su utilidad.

Fundamentos matemáticos de la función de pérdida de la regresión logística

Volveremos a invocar (una vez más) la expresión (3.28), la cual es el modelo resultante de la regresión logística, y que nos arroja el cálculo de la probabilidad de que un dato de entrada x_n parametrizado por \theta pertenezca a la clase y_n = 1 :

\begin{equation} p(y_n = 1 | x_n, \theta) = \sigma(x_n) = \frac{1}{1 + e^{-(\theta_0 + \sum_{i=1}^D \theta_i x_n^i)}}. \tag{3.28} \end{equation}

La razón por la cual estoy mostrando de nuevo esta ecuación, es porque la utilizaremos, pero ahora para expresar la ecuación para obtener la probabilidad de que y_n = 0 | x_n, \theta , es decir, de que la etiqueta sea igual a 0 dado el valor de la entrada x_n y sus características, en vez de obtener la probabilidad condicional de que y_n = 1 | x_n, \theta , como se ha mostrado anteriormente.

Considerando que p(y_n = 1 | x_n, \theta) = \sigma(x_n), tenemos que

\begin{equation} p(y_n = 0 | x_n, \theta) = 1 - \sigma(x_n), \tag{3.46} \end{equation}

lo cual no es más que el complemento de la probabilidad, donde 1-(probabilidad de que el dato pertenezca a la clase 1), es la probabilidad restante correspondiente a que el dato corresponda a la clase 0.

Bien, ahora pasemos a lo mágico.

La probabilidad condicional de que y_n sea igual a 1 o 0 se puede escribir de manera compacta utilizando las Ecuaciones (3.28) y (3.46). Esto se hace elevando \sigma(x_n) a la potencia y_n y (1 - \sigma(x_n)) a la potencia (1 - y_n) , quedando

\begin{equation} p(y_n | x_n, \theta) = \sigma(x_n)^{y_n} \cdot (1 - \sigma(x_n))^{1 - y_n}. \tag{3.47} \end{equation}

El por qué de esta expresión y sus potencias lo desglosaremos a continuación. Esta ecuación, la (3.47), es el núcleo de la función de pérdida de entropía cruzada binaria, y comprender el por qué tiene esa forma nos dirá todo sobre su funcionamiento para evaluar un modelo clasificador binario de aprendizaje automático.

La idea central es que, debido a la naturaleza binaria de y_n (su par de etiquetas para clasificación), las expresiones \sigma(x_n)^{y_n} y (1 - \sigma(x_n))^{1 - y_n} seleccionan la probabilidad correcta conforme se tiene y_n = 1 o y_n = 0 en (3.47),

Para entenderlo, desarrollemos cada caso:

1. Cuando y_n = 1 :

\begin{equation}y_n = 1 \implies 1 - y_n = 0, \tag{3.48} \end{equation}

por lo tanto, la Expresión (3.47) se convierte en:

\begin{aligned}\sigma(x_n)^1 \cdot (1 - \sigma(x_n))^0 &= \sigma(x_n) \cdot 1 \\
&= \sigma(x_n). \tag{3.49} \end{aligned}

Esta expresión es correcta porque \sigma(x_n) es, por definición, la probabilidad condicional de que y_n = 1 , dado x_n y los parámetros \theta , recordémoslo:

\begin{equation} p(y_n = 1 | x_n, \theta) = \sigma(x_n). \tag{3.50} \end{equation}

2. Cuando y_n = 0 :

\begin{equation}y_n = 0 \implies 1 - y_n = 1, \tag{3.51} \end{equation}

lo cual que significa que la Ecuación (3.47) se convierte en:

\begin{aligned}\sigma(x_n)^0 \cdot (1 - \sigma(x_n))^1 &= 1 \cdot (1 - \sigma(x_n)) \\
&= 1 - \sigma(x_n), \tag{3.52} \end{aligned}

Lo cual sabemos que es correcto, dado que es su complemento, como definimos en (3.46).

De esto se concluye, entonces, que la expresión compacta:

\begin{equation} p(y_n | x_n, \theta) = \sigma(x_n)^{y_n} \cdot (1 - \sigma(x_n))^{1 - y_n}, \tag{3.53} \end{equation}

es algebraicamente correcta porque selecciona la probabilidad correcta dependiendo del valor de y_n . Es equivalente a las dos probabilidades de las clases definidas, por lo que proporciona una forma unificada para calcular la probabilidad condicional de la clase correcta, ya sea y_n = 0 o y_n = 1 .

Maximización de la verosimilitud

Sabemos que la regresión logística busca ajustar los parámetros \theta del modelo \sigma(x_n) para maximizar la probabilidad de que el modelo prediga correctamente las clases a las que pertenecen las observaciones dadas las entradas. Esto se llama maximización de la verosimilitud (Maximum Likelihood Estimation, MLE), y ya la hemos estudiado con anterioridad.

Para calcular la máxima verosimilitud, se debe considerar la probabilidad conjunta de todas las observaciones, la cual por definición sabemos que es el producto de las probabilidades individuales:

\begin{equation}
P(\mathbf{y}|\mathbf{x}, \theta) = \prod_{n=1}^N p(y_n | x_n, \theta), \tag{3.54}
\end{equation}

donde N es el número total de observaciones.

Trabajar con el producto de probabilidades puede ser numéricamente inestable y complicado. Para simplificar las derivadas y la optimización, se toma (como ya es costumbre) el logaritmo de la probabilidad conjunta. El logaritmo transforma el producto en una suma, que es más manejable:

\begin{equation}
\log P(\mathbf{y}|\mathbf{x}, \theta) = \sum_{n=1}^N \log p(y_n | x_n, \theta). \tag{3.55}
\end{equation}

Por último, en lugar de maximizar la probabilidad logarítmica, minimizamos su opuesto, que es equivalente. De aquí surge la función de pérdida logarítmica (log-loss). Tomar el negativo del logaritmo asegura que estamos minimizando una cantidad positiva cuando las predicciones son buenas (alta probabilidad) y castigando más fuertemente las malas predicciones (baja probabilidad):

\begin{equation}
l(y_n, \sigma(x_n)) = -\log(p(y_n | x_n, \theta)). \tag{3.56}
\end{equation}

Utilizando la expresión compacta de la probabilidad condicional de la Ecuación (3.47), sustituimos en (3.56) y obtenemos:

\begin{equation}
l(y_n, \sigma(x_n)) = -[y_n \log(\sigma(x_n)) + (1 - y_n) \log(1 - \sigma(x_n))], \tag{3.57}
\end{equation}

Si lo piensas bien, esta expresión ya la habíamos avistado antes; revisa la Ecuación (3.36) de la exploración de la regresión logística.

Finalmente, calculamos el promedio de estas pérdidas individuales para obtener la función de pérdida:

\begin{aligned} L(\mathcal{Y}, \mathcal{\hat{Y}})) = \frac{1}{N} \sum_{n=1}^N l(y_n, \sigma(x_n)) \end{aligned}, \tag{3.58}

Con esto queda demostrado cómo es que la función de pérdida refleja las probabilidades calculadas por el modelo dados los distintos valores de las clases.

Lo ilustraremos con un ejemplo.

Ejemplo de aplicación de función de pérdida logística

Volvamos a nuestro ejemplo en el que hemos entrenado un modelo de clasificación de alumnos dadas sus horas dedicadas de estudio, y calculemos la probabilidad de que un par de observaciones pertenezcan a la clase 1 (examen aprobado).

Dado que tenemos solo una variable independiente (horas de estudio), nuestro modelo es una función sigmoidea univariable como la que se ha definido en la Ecuación (3.29):

\begin{aligned}
   \sigma(x_n)=\frac{1}{1+e^{-(\theta_{0}+\theta_{1}x_n)}}\:.  \tag{3.29}
\end{aligned}

Aquí ya usaremos de forma explícita las ecuaciones y valores involucrados en el proceso. Supongamos que después de ajustar los parámetros del modelo en la fase de entrenamiento, hemos obtenido los siguientes valores:

\theta_0 = -2

\theta_1 = 1

Dando como resultado la función:

\begin{aligned}
   \sigma(x_n)=\frac{1}{1+e^{-((-2)+1(x_n))}}\:.  \tag{3.59}
\end{aligned}

Las dos observaciones que utilizaremos de nuestro conjunto de datos son las siguientes:

Para hacer uso de la función de pérdida logística primero calcularemos las predicciones del modelo para las dos entradas univariables.

Comenzamos con el primer dato x_1 = 1 :

\begin{aligned} \sigma(x_1) = \frac{1}{1 + e^{-((-2) + 1(1))}} = \frac{1}{1 + e^{1}} \approx 0.268.  \tag{3.60} \end{aligned}

Para x_2 = 4 :

\begin{aligned} \sigma(x_2) = \frac{1}{1 + e^{-((-2) + 1(4))}} = \frac{1}{1 + e^{-2}} \approx 0.88.  \tag{3.61}\end{aligned}

Ahora que hemos calculado las probabilidades, utilizamos la función de entropía cruzada para obtener la pérdida de las predicciones del modelo, comparando las predicciones dada cada entrada con su respectiva etiqueta real (clase a la que pertenece).

Para la entrada x_1 = 1 con la etiqueta real y_1 = 0 , sustituimos en la Ecuación (3.57), la cual es la función de pérdidas individuales de la regresión logística:

\begin{align*}
L(y_2, \sigma(x_2)) &= - \left[0 \cdot \log(0.268) + (1 - 0) \cdot \log(1 - 0.268)\right] \\
&= - \log(0.732) \\
&\approx 0.311.  \tag{3.62}
\end{align*}

Lo hacemos ahora para x_2 = 4 con y_2 = 1 :

\begin{align*}
L(y_1, \sigma(x_1)) &= - \left[1 \cdot \log(0.88) + (1 - 1) \cdot \log(1 - 0.88)\right] \\
&= - \log(0.88) \\
&\approx 0.127.  \tag{3.63}
\end{align*}

Y obtenemos la pérdida total calculando el promedio:

\begin{aligned} J(\theta) = \frac{1}{2} [0.127 + 0.311] = \frac{1}{2} (0.438) \approx0.219.  \tag{3.64}\end{aligned}

Este valor es interpretable de acuerdo a las reglas expuestas en el tramo anterior. Dado que es de 0.219 , y que conforme la pérdida calculada tienda a 0 la precisión del modelo es mayor, se puede concluir que el modelo tiene un rendimiento aceptable.

Conociendo el cómo operan las funciones de pérdida para modelos de clasificación y regresión, podemos comenzar a explorar cómo funcionan algoritmos de aprendizaje supervisado más complejos, y utilizarlas también para evaluar el rendimiento final de los modelos ajustados al terminar la fase de entrenamiento, lo cual veremos de forma más detallada en la siguiente travesía.

Inventario recomendado

Matemáticas

Un poco de álgebra y cálculo

Regresión lineal (definición de algoritmos de regresión)

Regresión logística (definición de algoritmos de clasificación)

Algún bocadillo

Funciones de pérdida para aprendizaje de máquinas

Como ya hemos visto en la teoría y práctica de la regresión lineal y la regresión logística, al momento de entrenar un modelo de aprendizaje supervisado se está ejecutando un proceso que ajusta los valores de sus parámetros utilizando una función que mide qué tan grande es la distancia entre las estimaciones realizadas por el modelo y los datos reales (también conocidos como datos del terreno real, o verdad fundamental); dichas funciones se conocen como funciones de pérdida.

Dicho de una forma más concisa, una función de pérdida, función de error, o función de costo (loss function), es una función matemática que evalúa el desempeño de un modelo de aprendizaje automático calculando las diferencias entre los valores predichos por este, y los valores reales del conjunto de datos.

Esta función es vital para el entrenamiento del modelo, ya que de esto depende el ajuste/optimización de sus parámetros, y generalmente, ofrece una forma para la evaluación de los resultados finales.

Es correcto, dado que el modelo es puesto a prueba por la función de pérdida, esta evalúa la calidad de los parámetros de la función ajustada durante y después de la etapa de entrenamiento.

La Figura 3.4.1 muestra en términos sencillos cómo opera una función de costo, calculando las diferencias entre los valores obtenidos por el modelo, y las observaciones del conjunto de datos:

Es importante mencionar que las funciones de pérdida se pueden utilizar tanto durante la etapa de aprendizaje (ajuste de parámetros) como después, cuando el modelo ya ha sido entrenado.

Las funciones de costo que hemos visto hasta ahora son utilizadas para optimizar los parámetros en la fase de entrenamiento, pero conforme avancemos en el curso las utilizaremos también para evaluar el modelo final resultante.

A continuación, exploraremos el objetivo y uso de las funciones de pérdida con mayor detalle.

Ejemplo de una función de pérdida

Uno de los ejemplos más comunes de una función de pérdida, y que ya hemos visto en acción en la práctica de la regresión lineal, es la función de error cuadrático medio (MSE, por sus siglas en inglés: Mean Squared Error), la cual calcula el promedio del cuadrado de las diferencias entre los valores del terreno real y los valores predichos.

Vamos a ilustrarlo poco a poco.

Supongamos que hemos ajustado los parámetros de un modelo utilizando técnicas de aprendizaje de máquinas, específicamente, un modelo de aprendizaje supervisado que aborda un problema de regresión. La siguiente tabla contiene los valores reales del conjunto de datos y las cantidades estimadas por el modelo resultante.

Ahora calcularemos el error cuadrático medio (la función de costo), paso por paso:

• De acuerdo con la definición, primero se calcula la diferencia entre los valores reales y los valores predichos, lo cual quedaría como se muestra en la nueva columna añadida:

• Ahora que tenemos las diferencias, obtendremos el cuadrado de estas:

• Teniendo estas diferencias, solo debemos añadir dos pasos más, primero sumamos los valores de esta última columna:
  • Suma del cuadrado de las diferencias = 23.19

• Y por último, calculamos el promedio, es decir, dividimos esta suma entre el número de valores o datos, el cual es 10:
  • Suma del cuadrado de las diferencias dividida entre el total de datos = \frac{23.19}{10} = 2.319.

Esto quiere decir que el error cuadrático medio (valor arrojado por la función de costo) del modelo es aproximadamente 2.31.

De esta forma, el algoritmo calcula qué tanto se acercan las predicciones del modelo a las cifras reales. Dado que el rango de los valores reales está entre 11 y 50, podemos intuir que un promedio de 2.31 de los errores es relativamente pequeño, por lo que se puede aseverar que tiene un desempeño aceptable (estas conclusiones siempre dependerán de los datos, es necesario recordar, en general, que conforme esta métrica se acerca a 0, indica una mejor precisión del modelo).

Dentro de los algoritmos de regresión lineal y logística, recordemos que lo que se hace es optimizar estas funciones, es decir, minimizar o maximizar sus resultados (dependiendo de la función utilizada); por ejemplo, en la regresión lineal se busca minimizar el MSE, de modo que se ajustan los parámetros para encontrar el valor más pequeño posible de los errores medidos por esta función (los mismos que acabamos de calcular). En este sentido, minimizar es optimizar, ya que con ello se encuentran los parámetros más óptimos para generar un modelo eficiente.

El ejemplo atestiguado hasta ahora se centra en una función de pérdida aplicado a un modelo de regresión; con el fin de no extender mucho esta lección, no analizaremos el procesamiento generado por una función de pérdida para modelos de clasificación (para los cuales, de cualquier manera, el principio operacional es el mismo). Esto lo examinaremos con más detalle en la siguiente exploración.

Habiendo ilustrado cómo opera una función de costo y cuál es su uso, echemos un vistazo a los tipos de funciones de pérdida que existen, y una lista con ejemplos de cada uno.

Tipos de funciones de pérdida

Las funciones de error son variadas y se utilizan dependiendo de los conjuntos de datos de entrada y el contexto del propósito del modelo de aprendizaje automático. Se dividen principalmente en dos categorías:

1. Funciones de pérdida para aprendizaje supervisado, que a su vez se subdividen de acuerdo al tipo de modelo:
   • Modelos de regresión.
   • Modelos de clasificación.
2. Funciones de pérdida para aprendizaje no supervisado.

Es verdad, sin embargo, es importante al menos saber que estas funciones existen no solo para un tipo de machine learning. Por lo mismo, a continuación dejaré unas listas con las funciones de error más comunes; en las prácticas de programación no utilizaremos todas, pero puede que en algún momento necesites información sobre algunas de las funciones disponibles, ya sea en el ámbito laboral, personal o académico.

Funciones de pérdida más utilizadas para machine learning

A continuación, enlistaré las funciones de pérdida más comunes para machine learning por categorías, no te preocupes si te parecen cuantiosas, en la práctica solo utilizarás algunas cuantas, solo quiero que conozcas su existencia y sea una referencia que puedas tener a la mano.

Funciones de pérdida para aprendizaje supervisado

Funciones de pérdida para algoritmos de regresión

Las funciones de pérdida más comunes para modelos de regresión son las siguientes:

• Error cuadrático medio (Mean Squared Error, MSE).
• Error absoluto medio (Mean Absolute Error, MAE).
• Error absoluto porcentual medio (Mean Absolute Percentage Error, MAPE)
• Raíz del error cuadrático medio (Root Mean Square Error, RMSE).
• Raíz del error logarítmico cuadrático medio (Root Mean Squared Logarithmic Error, RMSLE).
• Pérdida de Huber (Huber Loss).
• Pérdida Log-cosh. (Log-Cosh Loss).
• Pérdida cuantílica (Quantile Loss).
• L1 suavizado (Smooth L1).
• Pérdida ∈-insensible (∈-Insensitive Loss).

Funciones de pérdida para algoritmos de clasificación

Las funciones de pérdida más comunes para modelos de clasificación son las siguientes:

• Pérdida de entropía cruzada (Cross Entropy Loss).
• Pérdida de entropía cruzada sigmoidea (Sigmoid Cross Entropy Loss).
• Pérdida de entropía cruzada softmax (Softmax Cross Entropy Loss).
• Verosimilitud logarítmica negativa (Negative Log-Likelihood).
• Pérdida 0-1 (0-1 Loss).
• Pérdida de Hinge (Hinge Loss).
• Pérdida Huber modificada (Modified Huber Loss).
• Pérdida de Hinge suavizada (Smooth Hinge Loss).
• Pérdida de Hinge reescalada (Rescaled Hinge Loss).
• Pérdida de rampa (Ramp Loss).
• Erro de clasificación mínimo (Minimum Classification Error).
• Pérdida logarítmica (Log Loss).
• Pérdida exponencial (Exponential Loss).
• Pérdida basada en margen (Margin-Based Loss).
• Ranqueo por parejas (Pairwise Ranking).
• Ranqueo por tripleta (Triplet Ranking).
• Pérdida contrastiva (Contrastive Loss).
• Pérdida pinball (Pinball Loss).
• Pérdida pinball truncada (Truncated Pinball Loss).

Funciones de pérdida para aprendizaje no supervisado

Las funciones de pérdida más comunes para evaluar el desempeño de algoritmos de aprendizaje no supervisado son las siguientes:

• Error cuadrado (Square Error).
• Error de distancia (Distance Error).
• Error de reconstrucción (Reconstruction Error).
• Varianza negativa (Negative Variance).
• Pérdida de energía (Energy Loss).
• Pérdida minimax (Minimax Loss).
• Pérdida de Wasserstein (Wasserstein Loss).
• Función de pérdida de difusión (Diffusion Model Loss Function).

Para más información sobre estas funciones y sus respectivas definiciones matemáticas, puedes consultar los siguientes recursos:

• A survey and taxonomy of loss functions in machine learning.
• A Comprehensive Survey of Loss Functions in Machine Learning.

Teniendo esto en mente, ya has conocido lo suficiente para tener una idea del uso y definición de una función de pérdida. Ahora lo formalizaremos matemáticamente.

Función de perdida, definición matemática

Como habrás notado, las funciones de pérdida son parte medular de nuestros encuentros con gran parte de los algoritmos de aprendizaje automático; su objetivo es generar una medida de qué tan bien opera un modelo entrenado, o en proceso de entrenamiento, para realizar estimaciones numéricas.

Por ello, se puede definir una generalización matemática de esta función, que expresa la idea central de su finalidad y los cálculos que conducen al cumplimiento de su objetivo.

Definición 3.10 (Función de Pérdida). Sea \mathcal{D} = \lbrace (x_{1},y_{1}),…,(x_{N},y_{N})\rbrace un conjunto de N datos u observaciones etiquetadas compuesto por los conjuntos \mathcal{X} = \lbrace x_{1},…, x_{N}\rbrace de entradas y \mathcal{Y} = \lbrace y_{1},…, y_{N}\rbrace de salidas, utilizado para entrenar un modelo o función h(x), donde cada salida del modelo se expresa como h(x)=\hat{y}. Una función de pérdida es un mapeo que toma un valor verdadero y \in \mathcal{Y} y un valor predicho \hat{y}, y asigna a esta pareja un número real que cuantifica el «error» o «pérdida» del modelo h(x) que ha hecho la predicción \hat{y} .

En términos generales, la función de pérdida para la evaluación de un modelo dado un conjunto de datos \mathcal{D} con N instancias se define como sigue:

 L(\mathcal{Y}, \mathcal{\hat{Y}}) = \frac{1}{N} \sum_{n=1}^N l(y_n, \hat{y}_n) , \tag{3.42}

donde \mathcal{\hat{Y}} es el conjunto de todas las predicciones realizadas con el modelo y que están sometidas a evaluación, y l es una función de pérdidas individuales, es decir, la medición del error o distancia entre la predicción \hat{y}_n y su valor y_n real asociado. La forma de agregación, en este caso, expresada mediante la suma \sum, puede variar, así como N puede ser igual a 1 para mantener solo la agregación sin calcular el promedio.

Nota: sin entrar en más detalle, solo se hará mención de que en algunos casos especiales (como en los autoencoders, los cuales definiremos en otra exploración) se tiene que X = Y, pero que esto no desvíe tu atención de la definición antes presentada.

Taxonomía y ejemplo de una función de pérdida

Para digerir más fácilmente esta definición, retomaremos el ejemplo del error cuadrático medio (ECM), ahora relacionando su estructura respecto a la generalización de la función de pérdida de la Definición 3.10. Para esto, identificamos los elementos de su taxonomía como sigue:

• Agregador de pérdidas o errores: el cual viene señalado en la Ecuación (3.42) como \frac{1}{N} \sum_{n=1}^N.
• Función de pérdidas individuales: la cual viene expresada en la Ecuación (3.42) como l(y_n, \hat{y}_n).

Ahora, echemos un vistazo a la definición matemática del error cuadrático medio:

 L(\mathcal{Y}, \mathcal{\hat{Y}})  = \frac{1}{N} \sum_{n=1}^N (y_n - \hat{y}_n)^2 \tag{3.43}

¿Puedes identificar los elementos antes descritos en esta última expresión?

Si revisamos cuidadosamente encontramos lo siguiente:

• Agregador de pérdidas: \frac{1}{N} \sum_{n=1}^N
• Función de pérdidas individuales: (y_n - \hat{y}_n)^2

Podemos observar cómo se promedian los resultados de la función de pérdidas individuales, lo cual es el mismo cálculo que desglosamos en el ejemplo de la sección anterior.

Para ilustrarlo mejor, podemos, por ejemplo, obtener el valor de la pérdida para los primeros cinco valores de la Tabla 3.4.1 utilizando la expresión (3.43):

L(y, \hat{y}) = \frac{1}{N} \sum_{n=1}^N (y_n - \hat{y}_n)^2

=\frac{(12-11)^2+(15-13.5)^2+(19-21)^2+(21.5-24)^2+(33-32)^2}{5}

=\frac{1+2.25+4+6.25+1}{5}

=\frac{14.5}{5} =2.9

Esto significa que el valor de la función de pérdida para los primeros 5 valores respecto a las predicciones del modelo es igual a 2.9. Nótese cómo este número es el resultado de mapear las salidas del conjunto de entrenamiento y las predicciones a un número real, que refleja la similitud entre estas.

Aquí damos por finalizado el estudio de este invaluable artefacto de la ciencia de datos. Aún no veremos cómo obtener los valores de las funciones de pérdida con Python, esto lo haremos más adelante cuando las utilicemos para evaluar el rendimiento de modelos de aprendizaje supervisado.

En la siguiente expedición aprenderemos cómo opera una función de pérdida para la evaluación de modelos de clasificación, lo cual nos abrirá paso a formas más robustas de evaluación de rendimiento de modelos.

Equipaje recomendado

Tentempié

Tipos de datos

Todo dato recabado puede ser categorizado de varias maneras dependiendo del enfoque y las características que se desean enfatizar. Dada su particular importancia para el aprendizaje de máquinas. A continuación, hablaremos sobre dos pares de tipificaciones específicas:

• Tipos de datos por la presentación de sus valores.
• Tipos de datos por su estructura.

Tipos de datos por la presentación de sus valores

Una de las formas en las que se pueden clasificar datos es respecto a las propiedades de los valores que contienen, los cuales se expresan mediante el uso de diferentes tipos de signos. Estos son generalmente categorizados como no numéricos o numéricos, o de forma más común, como cualitativos y cuantitativos.

Datos cualitativos

Los datos cualitativos son un tipo de datos que describen entidades subjetivas o cualidades/características de objetos, que no se pueden expresar consistentemente con entidades matemáticas. Se trata de datos a los que no se les puede asignar un número o expresión matemática de acuerdo a un sistema estandarizado, por lo que, generalmente, estos se recolectan y simbolizan en forma de texto.

Un ejemplo de datos cualitativos son las opiniones de un conjunto de personas sobre una película. Al tratarse de valoraciones personales, estas no pueden ser fácilmente comunicadas en términos numéricos, por lo que se recolectan y se almacenan como texto.

Además de juicios personales como opiniones o gustos, como ya he mencionado, los datos cualitativos también pueden referirse a propiedades que no se suelen cuantificar.

Es correcto, toda característica o cualidad que sea fácilmente descrita de una manera no numérica cae en esta clase de datos. Veamos otros ejemplos.

Ejemplos de datos cualitativos:

• Reseñas de productos de una tienda virtual.
• Nombres de personas
• Videojuegos favoritos de un grupo de adolescentes.
• Estaciones del año.
• Marcas de computadoras.

Datos cuantitativos

Los datos cuantitativos son el tipo de datos que representan información mediante cifras o expresiones matemáticas equivalentes.

Los datos cuantitativos, por lo tanto, pueden tratarse sobre cualquier cosa o cualidad que se pueda comunicar sencillamente utilizando números, como el peso de un objeto, su longitud, o su temperatura.

Ejemplos de datos cuantitativos:

• Número de estudiantes extranjeros en una universidad.
• La amplitud de una onda.
• Calificación dada a un hotel (por ejemplo, entre 0 y 5).
• Magnitud de un sismo.
• Porcentaje de sal en el agua.

En la Figura 2.2.1 puedes observar una comparación entre ambos tipos de datos:

Como los datos cualitativos son muy comunes, es necesario que tomes en cuenta que para que una computadora pueda procesar la información para la generación de modelos matemáticos, esta siempre debe ser convertida a una forma numérica. Entre las artes del machine learning residen técnicas que transforman todo tipo de información cualitativa en entidades numéricas digeribles para una máquina. Esto lo irás conociendo poco a poco, conforme avancemos en nuestras travesías.

Tipos de datos por su estructura

En este último tramo, hablaremos sobre otro par de tipos de datos bastante común en la labor de un especialista en aprendizaje automático, y que hacen alusión a la forma en la que se presenta la información recolectada: datos estructurados y no estructurados.

Datos estructurados

Los datos estructurados son los tipos de conjuntos de datos que están organizados en formatos que permiten su fácil almacenamiento y/o procesamiento. La mayoría de las veces, estos se presentan en forma de tablas (las cuales pueden ser almacenadas en lo que se conoce como bases de datos relacionales, y manipularse con lenguajes de programación como SQL o Python), pero también puede presentarse en otros formatos estandarizados o «semi-estructurados» como el JSON.

Datos no estructurados

Los datos no estructurados, por otra parte, son un tipo de datos no organizados en formatos predefinidos para bases de datos tradicionales, por lo cual su almacenamiento y procesamiento computacional no es tan sencillo como con los datos estructurados. Ejemplos de estos pueden ser: videos, imágenes, o sonidos.

La razón por la que estas distinciones son importantes es análoga a la de datos cualitativos y cuantitativos: la información siempre deberá ser estructurada de la mejor manera para su lectura por la computadora, por lo que todo tipo de datos no estructurados se deberá pretender organizar hasta alcanzar un formato adecuado su procesamiento numérico, principalmente en arreglos vectoriales o matriciales. Estas transformaciones forman parte de un conjunto de tareas llamado preprocesamiento, que todos los científicos de datos deben conocer, y sobre el cual aprenderás más en las próximas expediciones.

Con esto concluye esta breve exploración sobre tipos de datos, en el próximo recorrido conocerás qué es y cómo se conforma un conjunto de datos en el contexto del aprendizaje de máquinas, uno de los conceptos más conocidos y utilizados en este ámbito.