Entre las múltiples formas de lograr esto, existe una técnica matemática de gran relevancia llamada descenso de gradiente. Esta estrategia de optimización es básica para algoritmos como las redes neuronales artificiales, por lo que en esta exploración aprenderemos sobre su funcionamiento, definición matemática, ejemplos, y una práctica de experimentación con código en Python.

Inventario recomendado

Regresión lineal

Métricas de evaluación de modelos de regresión

Google Colab

Programación en Python

Matemáticas: una pizca de cálculo

Algún tentempié

Introducción al descenso de gradientes para optimizar funciones

Hasta el momento, hemos cubierto tres etapas básicas para la generación de modelos de aprendizaje de máquinas:

• Recolección y preparación de datos.
• Entrenamiento del modelo.
• Evaluación del modelo.

Esto nos deja listos para comenzar a explorar de forma más detallada los elementos que pertenecen a cada estadio. Anteriormente, nos hemos embarcado en un riguroso entrenamiento sobre los datos y sus orígenes, por lo que comenzaremos a enfocarnos en las minucias asociadas al entrenamiento del modelo.

Cómo recordarás del recorrido sobre funciones de costo, durante la etapa de entrenamiento, un algoritmo de aprendizaje supervisado minimiza una función de pérdida objetivo, la cual cuantifica las diferencias entre las predicciones del modelo y los valores del conjunto de datos de prueba. La manera en la que se minimiza la función de pérdida es lo que se conoce como optimización. Definamos brevemente este concepto.

Optimizadores en aprendizaje de máquinas

En machine learning, un optimizador es un algoritmo que ajusta los parámetros de un modelo para minimizar una función de pérdida.

Sí es algo similar, y el objetivo perseguido es el mismo, pero el método de mínimos cuadrados es un método de resolución directa para minimizar el error cuadrático medio (MSE), a diferencia de los optimizadores tradicionales, que minimizan la función le pérdida de manera algorítmica (como veremos más adelante).

Entre los diferentes optimizadores, existe uno que funge como base de muchos otros utilizados para entrenar modelos de mayor complejidad, y es el que conoceremos a continuación: el descenso de gradiente.

¿Qué es el descenso de gradiente para machine learning?

El descenso de gradiente es un algoritmo de optimización que se utiliza para encontrar los valores óptimos de los parámetros de un modelo minimizando una función de pérdida mediante un proceso iterativo que calcula el gradiente de la función respecto a los parámetros, y actualiza dichos parámetros en la dirección opuesta al gradiente, con el objetivo de reducir progresivamente el valor de la pérdida (el error).

Es verdad que existen algunos términos que hasta el momento no habíamos mencionado. Llegaremos a comprender esta definición de manera intuitiva, partiendo de un ejemplo.

Descenso de gradiente: ejemplos e intuición

Supongamos que queremos entrenar un modelo de machine learning de aprendizaje supervisado, no importa cuáles son los datos, las variables de entrada o las variables de salida, nos centraremos en el entrenamiento mismo.

Cuando decimos entrenar, como bien se ha dicho, nos referimos a encontrar los valores óptimos de los parámetros del modelo, es decir, hallar los valores de los parámetros de un modelo matemático que logre capturar las relaciones entre los datos, permitiendo realizar inferencias de manera satisfactoria (lo cual, como sabemos, se determina utilizando mediciones de su rendimiento).

El descenso de gradiente funciona mediante pasos, es un proceso iterativo basado en la repetición del cálculo de los valores de la función de costo.

Veamos cómo funciona paso por paso para dejarlo más claro:

1. Supongamos que hemos entrenado un modelo con un solo parámetro (en la regresión lineal, por ejemplo, hemos calculado anteriormente los valores de dos parámetros):

• Después del entrenamiento, vemos que hemos obtenido el valor del parámetro del modelo, ¿cómo sabemos si funciona bien con este parámetro que hemos encontrado utilizando machine learning?
• Para resolver nuestras dudas, hacemos una medición del desempeño del modelo con la función de costo (función de pérdida), y obtenemos un valor alto, es decir, el error es alto, por lo que el modelo no está correctamente optimizado.
• Ahora que tenemos el valor del parámetro y el valor de la función de error, visualizamos estos utilizando un gráfico como el siguiente, donde el eje X corresponde al valor del parámetro, y el eje Y al de la función de costo (el error calculado):

En esta gráfica se puede observar un valor relativamente alto del parámetro, y también un valor alto de la función de costo. Estos valores se ven representados por un punto, es decir, para este valor alto del parámetro obtenemos un error medido también alto, lo que implica que el modelo puede optimizarse más.

Nos ayudará a ilustrar el descenso de gradiente, ya verán más adelante.

Ahora, dibujaremos el punto sobre una curva:

Esta curva representa cómo se suelen comportar los valores de la función de costo respecto a cómo cambia el valor de los parámetros calculados.

Para entender mejor esta curva, recordemos que nuestra misión es minimizar los valores del error calculado (mientras sea más chico, mejor), por lo que debemos buscar la dirección hacia la cual se debe mover Mmerf (el valor del parámetro sobre el eje X), de forma que se desplace hacia un mejor valor del error medido. Esto nos lleva al siguiente paso.

2. Si queremos que el error sea menor, basta con mirar la gráfica: el punto debería dirigirse hacia abajo y hacia la izquierda sobre la curva. Siguiendo la tendencia, al hacer más pequeño el valor del parámetro esto debería provocar que el valor de la función de costo disminuya, acercándose al punto mínimo (el centro de la curva).

Ya escuchaste Mmerf, mueve ese trasero etéreo.

Le hemos dado una dirección correcta, se ha ajustado el valor del parámetro a un valor más chico, y esto ha generado un menor valor de la pérdida calculada (se ha acercado a 0 en el eje Y).

3. Como buscamos el menor valor posible, realizamos otro paso, y volvemos a dirigir a Mmerf hacia un valor más pequeño del parámetro, lo cual lo termina desplazando hacia abajo y la izquierda, quedando en el punto más bajo de la curva:

Con este movimiento, donde se ha determinado hacia dónde debe moverse el valor del parámetro, hemos conseguido alcanzar un mínimo de la función de costo, lo cual se suele denominar «convergencia» (converge a un mínimo de la función).

Esta es la esencia del descenso de gradiente. Se le llama así, porque la idea es descender hacia el mínimo de la función de costo (se minimiza el error) modificando los valores de los parámetros de un modelo, y con gradiente se refiere a la dirección (si se sumará o restará en cantidad a los valores de los parámetros) y magnitud (cuánto se le sumará o restará) a considerar para llegar a la convergencia.

El algoritmo, entonces, consiste en los siguientes pasos:

• Se parte de un punto inicial, generalmente aleatorio.
• Se calcula el gradiente, el cual indica en qué dirección la función de pérdida aumenta o disminuye, lo cual se utiliza para moverse en dirección hacia un mínimo.
• Se ajustan un poco los valores de los parámetros del modelo, esperando reducir el error calculado.
• Se repite el proceso, buscando alcanzar un mínimo después de n iteraciones.

A grandes rasgos, sí. Este proceso se entenderá mucho más en la siguiente sección, donde revisaremos su funcionamiento matemático.

Pero antes debemos de conocer dos elementos básicos del descenso de gradiente que son de gran relevancia en ciencia de datos:

• Tasa de aprendizaje.
• Número de iteraciones.

¿Qué es la tasa de aprendizaje en descenso de gradiente?

La tasa de aprendizaje (learning rate) es un hiperparámetro (por fin llegamos a hablar de nuestro primer hiperparámetro) que controla qué tan grande (magnitud) es cada paso que se da cuando se actualizan los parámetros del modelo durante el descenso de gradiente.

¿Cómo es que funciona?, es simple, se trata de un factor que determina el tamaño de cada movimiento de los parámetros tras cada iteración. Ilustrémoslo.

Recordemos lo que hicimos anteriormente, dimos tres pasos para llegar al mínimo de la función, lo cual podemos mostrar como sigue:

Supongamos que ahora hemos determinado que estos pasos serán más pequeños (tasa de aprendizaje menor), por lo que obtendremos el siguiente movimiento hacia un mínimo de la función de pérdida:

Se puede notar cómo los pasos son más cortos, y esto evita que se llegue al mínimo (el punto más bajo de la curva en el centro). Veamos cómo luce añadiendo un paso adicional:

Aún con el cuarto paso, no alcanzamos el mínimo; por lo tanto, lo ideal es que el tamaño de los pasos (tasa de aprendizaje) sea mayor.

Veamos que sucedería si eleváramos el tamaño de la tasa de aprendizaje:

Aquí podemos notar cómo llegamos al mínimo de la función de pérdida aumentando la tasa de aprendizaje.

En ese caso, se puede llegar a sobrepasar el mínimo, obteniendo de nuevo valores altos de la función de costo, lo cual no resulta favorable:

Se observa que, al incrementar el valor de la tasa de aprendizaje, se llega al otro extremo de la curva, esto implica que se tiene un valor cada vez más pequeño del parámetro estimado (más cerca del 0 en el eje X), lo cual genera que el error vuelva a aumentar (de nuevo el punto está más arriba, en el eje Y). Esto significa que valores más pequeños del parámetro de la función no implica siempre que generen mejores valores en las predicciones, por eso es importante configurar una tasa de aprendizaje que permita una convergencia cercana al mínimo de la función de pérdida.

¿Qué es el número de iteraciones en descenso de gradiente?

Las iteraciones son los pasos repetidos que se realizan en la ejecución del descenso de gradiente para ajustar los parámetros de un modelo con el objetivo de minimizar la función de costo.

Tomemos el caso en el que elegimos una tasa de aprendizaje pequeña y obtuvimos lo observado en la Figura 3.9.7, donde vimos que no llegamos a alcanzar el mínimo del error calculado. Para esto, también podríamos haber añadido más pasos, como se muestra en la Figura 3.9.10:

Para un valor relativamente bajo de la tasa de aprendizaje, al aumentar el número de iteraciones (pasos), hemos logrado minimizar el error.

Veamos ahora cómo luce el caso inverso, en el que tenemos un número más grande de tasa de aprendizaje, y reducimos los pasos para evitar oscilaciones que no permitan alcanzar el mínimo:

En este caso, utilizando un menor número de iteraciones se alcanza un mejor resultado.

Con esto hemos podido comprender cómo este par de esenciales hiperparámetros se combinan para optimizar la función de error y ajustar los parámetros de un modelo.

En general, se pueden considerar los siguientes problemas al intentar encontrar una convergencia en la función de pérdida:

Hasta este punto de la exploración podemos decir que entendemos el fin y proceso generalizado del descenso de gradiente. Para comprender con detalle cómo funciona el algoritmo, revisaremos las definiciones matemáticas.

Descenso de gradiente: definición matemática

En esta sección formalizaremos la definición de descenso de gradiente, y haremos un ejercicio de «cálculo a mano» para observar sus efectos en los parámetros del modelo y su función de pérdida asociada.

Definición (3.16) Descenso de gradiente. El descenso de gradiente es un algoritmo de optimización de primer orden que se utiliza para encontrar un mínimo local de una función de pérdida diferenciable L (nota sobre esto más abajo), la cual evalúa el desempeño de un modelo h(x) sobre un conjunto de datos etiquetados.

Sea \mathcal{D} = {(x_1, y_1), \dots, (x_N, y_N)} un conjunto de N observaciones, donde cada x_n es una entrada y y_n su etiqueta asociada, un modelo h(x) que pretende modelar las relaciones entre estos valores y sus etiquetas, y produce predicciones \hat{y}_n = h(x_n); y se define una función de pérdida que cuantifica el error entre y_n y \hat{y}_n, de forma individual como:

l(y_n, \hat{y}_n). \tag{3.76}

La función de pérdida total sobre el conjunto se expresa como:

 L(\mathcal{Y}, \mathcal{\hat{Y}}) = \frac{1}{N} \sum_{i=1}^N l(y_n, \hat{y}_n). \tag{3.77}

El descenso de gradiente busca minimizar esta función L ajustando los D parámetros del modelo de forma iterativa en T pasos. Denotamos por \boldsymbol{\theta}^{(t)} \in \mathbb{R}^D el vector de parámetros (número de parámetros del modelo ordenados en un vector) en la iteración t. El algoritmo actualiza simultáneamente todos los parámetros en dirección opuesta al gradiente de la función de pérdida, según la regla

\boldsymbol{\theta}^{(t+1)} = \boldsymbol{\theta}^{(t)} - \gamma^{(t)} \nabla L(\boldsymbol{\theta}^{(t)}), \tag{3.78}

donde \boldsymbol{\theta}^{(t)} es el vector de parámetros en la iteración t, \gamma^{(T)} > 0 es la tasa de aprendizaje en la iteración t, y \nabla L(\boldsymbol{\theta}^{(t)}) es el gradiente de la función de pérdida respecto a todos los parámetros, es decir, es el conjunto de las derivadas parciales de la función de pérdida respecto a los parámetros del modelo, y se expresa como sigue:

\nabla L(\boldsymbol{\theta}) = \left( \frac{\partial L}{\partial \theta_1}, \frac{\partial L}{\partial \theta_2}, \dots, \frac{\partial L}{\partial \theta_D} \right), \tag{3.79}

Por lo tanto, la actualización de un solo parámetro \theta_d en el paso t puede expresarse como

\theta_d^{(t+1)} = \theta_d^{(t)} - \gamma^{(t)} \frac{\partial L}{\partial \theta_d}(\boldsymbol{\theta}^{(t)}),\tag{3.80}

O utilizando \nabla para denotar la derivada parcial:

\theta_d^{(t+1)} = \theta_d^{(t)} - \gamma^{(t)}\nabla L(\boldsymbol{\theta}_d^{(t)}).\tag{3.81}

El procedimiento del descenso de gradiente se repite por un número predefinido de iteraciones T, o hasta que se cumpla una condición de parada, como:

\left| \nabla L(\theta_i) \right| \approx 0,\tag{3.82}

lo cual indica que el gradiente es cercano a cero, señalando proximidad a un mínimo.

Nota sobre la terminología de la definición 3.16

1. ¿Qué significa que el descenso de gradiente es de primer orden?

Cuando decimos que un algoritmo de optimización es de primer orden, nos referimos a que utiliza únicamente la primera derivada (o el gradiente) de la función que se desea minimizar. No usa derivadas de orden superior, como la segunda derivada (Hessiana), que se emplea en algoritmos de segundo orden, como sucede en el método de Newton.

2. ¿Qué significa que la función es diferenciable?

Decir que una función es diferenciable significa que tiene derivada en todos los puntos de su dominio. Esto implica que:

• Su gráfica no tiene saltos ni esquinas (es suave).
• Se puede calcular el gradiente (vector de derivadas parciales) en cada paso, que es lo que necesitamos para hacer actualizaciones en los pasos del descenso.

En el contexto del descenso de gradiente, esto se traduce en que la función de pérdida L(\theta) debe ser diferenciable con respecto a los parámetros del modelo \theta_d para que podamos aplicar la regla de la Ecuación 3.78.

Si no lo fuera, no podríamos calcular el gradiente y el algoritmo dejaría de ser aplicable.

Ejemplo de cálculo de un parámetro con descenso de gradiente

Todo cobrará más sentido cuando presenciemos cómo es que el descenso de gradiente realiza su magia. Para esto, ajustaremos una función de la forma h(x) = \theta x, donde \theta es el único parámetro del modelo.

Si lo notan, se puede decir que es la ecuación de una recta (la que obtenemos mediante regresión lineal) sin su segundo parámetro, es decir, sin intercepción.

Para esto, utilizaremos el conjunto de datos:

\mathcal{D} = \lbrace{(x_1 = 1, y_1 = 2), (x_2 = 2, y_2 = 4)}\rbrace

Es decir, un conjunto de datos con dos observaciones, como se muestra en la siguiente tabla:

Aquí los valores corresponden a cualquier escenario que puedas idear, por ejemplo, se podría decir que x_n es el número de hamburguesas que puedes comprar en un restaurante, y y_n su correspondiente precio:

• x_1=1, y_1=2 (1 hamburguesa por 2 dólares).
• x_2=2, y_2=4 (2 hamburguesas por 4 dólares).

En realidad, puedes imaginar cualquier caso, lo que importa es la forma en que modelaremos la relación entre estas variables.

Ahora queremos ajustar el parámetro de nuestro modelo para predecir nuevos valores de y respecto a nuevos valores de x, ¿qué función de pérdida nos serviría para evaluar un modelo de regresión?

Utilizaremos la función de pérdida del error cuadrático medio, que definimos en otra travesía de esta manera:

L(\theta) = \frac{1}{N} \sum_{n=1}^N (y_n - \hat{y}_n)^2,\tag{3.83}

Dado que conocemos la forma de la función y el valor de N (tenemos dos ejemplos de entrenamiento), sustituimos en (3.83) y obtenemos

L(\theta) = \frac{1}{2} \sum_{n=1}^{N} (y_n - \theta x_n)^2\tag{3.84}

donde \theta x_n=\hat{y}_n, es decir, es el valor calculado por el modelo parametrizado por los parámetros \theta.

Gradiente de la función de pérdida

Ahora calculamos el gradiente, que, como vimos en (3.79) y (3.80) se trata de la derivada de L(\theta) respecto a \theta:

\begin{align}
\nabla L(\theta) &= \frac{d}{d\theta} L(\theta)\tag{3.85} \\
                 &= -\frac{1}{N} \sum_{n=1}^{N} x_n (y_n - \theta x_n), \tag{3.86}
\end{align}

donde L(\theta) es la función definida en 3.84(\theta). Veamos cómo aplicamos esta derivada para optimizar el modelo.

Hiperparámetros y aplicación de descenso de gradiente

Los hiperparámetros a ajustar para hacer descenso de gradiente son los siguientes:

• Tasa de aprendizaje: \gamma = 0.1
• Número de iteraciones: T= 3

Además, inicializaremos el valor del parámetro en cero:

• \theta_0 = 0

Con esto listo, comencemos a hacer el descenso de gradiente:

Iteración 1

Sustituimos en la Ecuación (3.86) con:

• \theta_0 = 0 (valor del parámetro).
• x_n = 2 (valor de entrada).
• y_n = 1 (valor de salida).
• N = 2 (número de ejemplos de entrenamiento).

Quedando:

\nabla L(\theta^{(0)}) = -\frac{1}{2} [1(2 - 0) + 2(4 - 0)] = -\frac{1}{2}(2 + 8) = -5.\tag{3.87}

Esto quiere decir que el gradiente es igual a -5. Utilizamos este valor y sustituimos en (3.78) con:

• \theta_0^{(0)} = 0 (valor inicial, en el paso 0).
• \gamma = 0.1 (tasa de aprendizaje).
• \nabla L(\theta^{(0)})= -5 (valor de salida).

Quedando:

\theta^{(1)} = \theta^{(0)} - \gamma \cdot \nabla L(\theta^{(0)}) = 0 - 0.1 \cdot (-5) = 0.5.\tag{3.88}

¿Qué significa esto? Que hemos aplicado el gradiente calculado, el cual nos dice en qué dirección se puede minimizar la función de pérdida, y al aplicarlo obtuvimos un nuevo valor para el parámetro \theta_0 , que pasó de ser 0 a 0.5.

¿Cómo comprobamos que esto mejora el desempeño del modelo? Calculemos la función de pérdida antes y después de aplicar el cambio al parámetro.

Función de pérdida (rendimiento del modelo) antes de aplicar el descenso de gradiente (utilizando la Ecuación (3.84)):

L(\theta^{(0)}) = \frac{1}{4} \left[(2 - 0)^2 + (4 - 0)^2\right] = \frac{1}{4}(4 + 16) = 5.\tag{3.89}

Ahora, obtenemos el nuevo valor del rendimiento del modelo con el parámetro modificado:

L(\theta^{(1)}) = \frac{1}{4} \left[(2 - 0.5)^2 + (4 - 1)^2\right] = \frac{1}{4}(2.25 + 9) = \frac{11.25}{4} = 2.8125, \tag{3.90}

donde se debe notar que (3.89) y (3.90) son casi el mismo cálculo, salvo que en la segunda ecuación se utilizó el nuevo valor del parámetro \theta. Con este nuevo parámetro, la función de error arrojó un resultado mejor (el error calculado es menor), lo que indica que el modelo mejoró en sus predicciones.

Lo que acabamos de hacer fue sencillo, pero altamente funcional: al encontrar el gradiente (la derivada), multiplicamos este por la tasa de aprendizaje y lo restamos al parámetro, lo cual nos dio un parámetro optimizado que mejoró las capacidades del modelo.

Continuemos con las siguientes dos iteraciones de manera resumida.

Iteración 2

Se calcula el gradiente:

\nabla L(\theta^{(1)}) = -\frac{1}{2} \left[1(2 - 0.5) + 2(4 - 1)\right] = -\frac{1}{2}(1.5 + 6) = -3.75\tag{3.91}

Se actualiza el parámetro \theta:

\theta^{(2)} = \theta^{(1)} - \gamma \cdot \nabla L(\theta^{(1)}) = 0.5 + 0.375 = 0.875\tag{3.92}

El error antes de aplicar el descenso de gradiente:

L(\theta^{(1)}) = 2.8125\tag{3.93}

El error después de aplicar el descenso de gradiente:

L(\theta^{(2)}) = \frac{1}{4} \left[(2 - 0.875)^2 + (4 - 1.75)^2\right] = \frac{1}{4}(1.2656 + 5.0625) = \frac{6.3281}{4} \approx 1.582 \\\tag{3.94}

Iteración 3

Se calcula el gradiente:

\nabla L(\theta^{(2)}) = -\frac{1}{2} \left[1(2 - 0.875) + 2(4 - 1.75)\right] = -\frac{1}{2}(1.125 + 4.5) = -2.8125
\tag{3.95}

Se actualiza el parámetro \theta:

\theta^{(3)} = \theta^{(2)} - \gamma \cdot \nabla L(\theta^{(2)}) = 0.875 + 0.28125 = 1.15625\tag{3.96}

El error antes de aplicar el descenso de gradiente:

L(\theta^{(2)}) \approx 1.582\tag{3.97}

El error después de aplicar el descenso de gradiente:

\begin{align}
L(\theta^{(3)}) &= \frac{1}{4} \left[(2 - 1.15625)^2 + (4 - 2.3125)^2\right] \tag{3.98} \\
                &= \frac{1}{4}(0.710 + 2.859) = \frac{3.569}{4} \approx 0.892 \tag{3.99}
\end{align}

Se puede notar que en cada iteración, la función de pérdida disminuye, por lo que hemos encontrado mejores versiones del modelo al modificar el parámetro con descenso de gradiente. En la tabla se puede ver la evolución de los resultados:

Es así como evidenciamos el mecanismo interno del descenso de gradiente para optimizar modelos. En lo que concierne a una aplicación de esto a modelos multivariables, solo se aplica la misma actualización pero a todos los parámetros a la vez.

Es un algoritmo sencillo, por lo que encierra una belleza sutil tras bastidores. Un hechizo simple pero poderoso.

Es momento de utilizarlo con Python.

Descenso de gradiente: estudio con Python

Ahora veremos ejemplos de cómo optimizar un modelo de inteligencia artificial con descenso de gradiente en Python, haremos uso de un nuevo conjunto de datos, para lo cual generaremos un modelo con un nuevo propósito.

También puedes previsualizarlo aquí:

Aquí finalizamos nuestro encuentro con el descenso de gradiente. Hemos aprendido cómo funciona, cuáles son sus mecanismos internos, y cómo lo podemos utilizar para entrenar modelos de aprendizaje automático.

En nuestra próxima lección continuaremos con algoritmos de optimización, y exploraremos de qué trata la versión más típica del descenso de gradiente: el descenso de gradiente estocástico.

¿El científico de datos debería aprender matemáticas?, ¿qué tan útiles son en su espacio de trabajo?, ¿cuánto valor aportan a la empresa? Esta letanía de cuestiones, que se debaten acaloradamente en espacios internáuticos poblados por eruditos en inteligencia de datos, es el equivalente al clásico “¿y para qué me sirve en la vida el trinomio cuadrado perfecto?”.

Ciertamente, no podrás auxiliar a alguien atragantándose con un taco resolviendo una ecuación de segundo grado, pero el punto no es el fruto directo del conocimiento de las matemáticas, sino cómo prácticamente toda nuestra odiada civilización es sostenida por estas (si las especies animales se organizaran para detenernos, les aconsejaría ir primero por los matemáticos).

La discusión sobre la utilidad “real” de las matemáticas es más antigua que los mismos símbolos que utilizamos para escribirlas. Cuenta una vieja anécdota que el mítico Euclides, hace más de 2300 años, fue abordado sobre esto por un alumno. Lo sucedido fue, más o menos, lo siguiente:

—¿Disculpe, teacher, pero todo esto qué beneficio práctico tiene? —se quejó un joven estudiante al atisbar las indescifrables figuras geométricas que impregnaban las tablillas de cera del catedrático egipcio.

—¿Beneficio? —inquirió el profesor, arqueando las cejas— Con solo escucharme ya ganaste, mi rey. Hortencio, dale unas monedas a este muerto de hambre, ya que necesita ganar algo de lo que aprende. Y luego, que se vaya.

Esta narración, tal vez, no es históricamente exacta, pero es verdad que se cuenta que cuando Euclides (un verdadero capo de las matemáticas) fue interrogado por un pupilo sobre los beneficios de sus enseñanzas, le pidió a un esclavo (un día normal en la clásica Grecia) que le diera unas monedas de oro para que pudiera obtener una ganancia de lo que aprende, y después le demandó que se marchara.

¿Cuántos energúmenos de estos invaden nuestros entornos en la llamada “era de los datos”?, ¿cuántas monedas hemos de darles para suscitar alguna migaja de interés?

Permítanme dotar de más contexto a la primera entrada de esta humilde bitácora.

Después de 9 caóticos años dedicado al volátil sector de la analítica de datos, donde he ejercido como analista y científico de datos, por fin he organizado mis tiempos, esfuerzos, y documentos para aplicar a un posgrado en Ingeniería y Ciencia de Datos.

Mi emoción por dedicar una porción de mi (a veces muy mal empleado) tiempo a la investigación científica es llanamente inmensa, pero, como era de esperarse, la academia tiene un enfoque bastante alejado al que adoptamos en la industria.

Si bien existe un intento continuo de implementación de técnicas esencialmente matemáticas para el incremento de los ingresos de las empresas, el rigor metodológico y el conocimiento sobre los fundamentos teóricos subyacentes es, en variadas ocasiones, prácticamente inexistente (en específico, diría que este último es un mito).

Por otro lado, el primer filtro para ser admitido en el posgrado en el mismo campo es un examen de demostraciones matemáticas en los siguientes rubros: álgebra lineal, cálculo, estadística y probabilidad.

Para quienes son versados en la ciencia de datos arcaica (llamémosle así a los que empezamos en esto cuando incluso Python no era el claro favorito, o los que aún desconfiamos en cierto grado del “vibe coding“ porque sabemos que el maldito GPT comete errores incluso en aritmética elemental) este temario no es sorpresa, pero ha gatillado mis pensamientos en que se trata solo del inicio de cuatro semestres casi exclusivamente dedicados a las matemáticas y la computación (no es queja).

Aquí volvemos al punto inicial: suena rimbombante, pero ¿cuál es la utilidad de todo esto en la chamba?

Tal vez lo es (mucho) más de lo que se puede vislumbrar, y trasciende con creces al escueto ámbito laboral.

Con la explosión de la “inteligencia artificial”, de forma más puntual, del aprendizaje de máquinas, es decir, el ajuste automático de parámetros de modelos mediante el procesamiento de datos, hemos visto suscitarse una creciente ola de interés por sus grandilocuentes aplicaciones en todo el ancho del mercado.

Tenemos este tipo de técnicas matemático-computacionales inmersas hasta las narices: en los negocios pequeños, medianos y grandes, inundando el software y hardware de casi cualquier dispositivo, y con ello hemos visto nacer una gigantesca manada de gurús emergentes “expertos” en el área.

La difusión de esta clase de algoritmos es mayor, pero con ello acaece también el malentendido terminológico y la poca atención a los detalles teóricos, lo cual supone el ensanchamiento de una abismal brecha de ignorancia sobre su funcionamiento básico. He visto a directores de departamentos de inteligencia de datos emitir pomposos discursos en LinkedIn al tiempo que confunden conceptos sustanciales como “algoritmo” y “modelo”. He presenciado a supuestas eminencias del área llamar “inteligencia artificial” a procesos simples de automatización que solo implican programación tradicional. Y, en el medio de este vertiginoso circo, las desvencijadas matemáticas se ven sepultadas, pocas veces invocadas, y casi completamente desconocidas.

¿Y para qué las quiero?, ¿no deseo las monedas de Euclides?

No lo sé, pienso que comprender los fundamentos teóricos sobre las que se alza casi toda la tecnología actual no solo te vuelve excepcionalmente más competitivo en ciencia de datos (y me parece trivial siquiera discutirlo), también creo que, al final, se trata de algo radicalmente más profundo.

Euclides tiró unas monedas al quejumbroso para que estuviera contento. Hoy en día, todos se sirven de cascadas de dinero a costa de los avances científicos que procrearon al aprendizaje de máquinas. Pero el conocimiento más esencial (y, por ende, el más vital para el progreso) se ha delegado gradualmente a los mismos siervos que son invocados a las labores: las máquinas.

Las máquinas procesan datos, los transforman, aprenden de ellos, y se vuelven sabias. El conocimiento comienza a ser exclusivamente apropiado y explotado por unos cuantos sistemas computacionales, y nadie se detiene a sopesar las consecuencias.

El día de mañana puede que no haya monedas, ni preguntas, ni nada.

En el momento en que la inteligencia artificial sepa más sobre su propio funcionamiento que nosotros mismos, podremos tener la certeza de que algo va muy mal. O tal vez no la tendremos, probablemente solo nos apagarán la luz, y nos percataremos de que no poseemos el conocimiento para encender un foco, o crear uno.

Entonces, las monedas de Euclides nos parecerán artefactos inútiles.

Y la oscuridad lo consumirá todo.

Este par de situaciones son muy comunes a la hora de modelar datos mediante algoritmos de aprendizaje supervisado. Aquí exploraremos cada uno de estos, describiremos sus causas, consecuencias, diagnóstico, y abordaremos algunos ejemplos de forma teórica y práctica con lenguaje de programación Python.

Inventario recomendado

Regresión lineal

Métricas de evaluación de modelos de regresión

Google Colab

Programación en Python

Algún tentempié

Introducción al sobreajuste y subajuste de modelos de machine learning

Como ya hemos visto durante nuestras dos últimas prácticas para la evaluación de modelos de aprendizaje supervisado (tanto de regresión como de clasificación), existen diferentes formas de medir el desempeño de un modelo cuyos parámetros han sido ajustados mediante algoritmos de machine learning.

Durante la evaluación del modelo resultante, pueden develarse problemas al momento de realizar los cálculos sobre los conjuntos de datos de entrenamiento y prueba. Lo más común es encontrar que, si los modelos no realizan predicciones de manera relativamente aceptable, entonces están sobreajustados o subajustados. ¿A qué nos referimos con esto?

¿Qué es el subajuste de un modelo de machine learning?

Un modelo subajustado es un modelo de aprendizaje de máquinas que no logra capturar o «aprender» correctamente los patrones subyacentes a los datos debido, principalmente, a su simplicidad matemática (del modelo generado) y, por lo tanto, tiene un desempeño deficiente al ser evaluado tanto en el conjunto de datos de entrenamiento como en el de prueba.

Es correcto, sus capacidades predictivas no muestran un rendimiento aceptable al ser utilizado para predecir valores en los conjuntos de datos para su entrenamiento y prueba. Esta es su característica más distintiva.

Para entender mejor cómo funciona esta deficiencia en el ajuste del modelo (el cálculo de sus parámetros) es observando las gráficas de la Figura 3.8.1, donde se observan las formas que dibujan dos modelos que pretenden describir el comportamiento de los datos:

Nótese que la primera figura es una línea recta como la que hemos generado con las regresiones lineales de las prácticas anteriores. A pesar de que la función que dibuja esta línea está optimizada para mantener una distancia promedio corta respecto a cada punto (dato), esta no representa una tendencia muy similar a la que dibujan los datos (que parecen dibujar una especie de curva). Se dice, entonces, que el modelo está subajustado, ya que sus predicciones no son muy precisas al momento de evaluar su desempeño.

En cambio, en la gráfica de la derecha, se han mapeado los valores de una función que genera una forma más ajustada al movimiento de los datos. Esta curva se puede obtener utilizando regresiones polinomiales. El modelo resultante tiene un mejor desempeño en las predicciones.

Una regresión polinomial es una regresión lineal que modela un polinomio de n-ésimo grado. No la utilizaremos mucho, por lo que no ahondaremos en el tema, si deseas saber más puedes revisar la definición en Wikipedia, la cual me ha parecido correcta y concisa, pero no es necesario que lo atiendas. También utilizaremos esto más tarde en nuestra práctica de Python.

Matemáticamente hablando, los modelos de ambos ejemplos (Figura 3.8.1) tienen la siguiente forma:

• Modelo subajustado (regresión lineal):

y = ax + b \tag{3.76}

• Modelo con un mejor ajuste (regresión polinomial de grado 3):

y = ax^3 + bx^2 + cx + d  \tag{3.77}

Hago este énfasis porque la elección del algoritmo utilizado para entrenar el modelo muchas veces es un aspecto clave para un ajuste efectivo de los parámetros. Nótese que los modelos presentados son solo la forma general de estos, donde los valores de los parámetros (a, b, c, d...) son los que se encuentran mediante la etapa de entrenamiento con un algoritmo de aprendizaje supervisado.

Finalmente, hay que tomar en cuenta que las deficiencias características del subajuste se encuentran directamente al medir el rendimiento del modelo en los conjuntos de datos de entrenamiento y prueba; esto es lo que hicimos durante nuestras últimas dos prácticas, en especial en la que corresponde a las métricas de evaluación de modelos de regresión (ya que acabamos de plantear el uso de regresiones lineales).

Hagamos un pequeño ejercicio al respecto, para refrescar nuestra memoria en el tema:

Esto quedará mucho más claro en nuestra práctica con Python, donde veremos ejemplos que analizaremos con métricas de evaluación.

Posibles causas de un modelo subajustado

Las razones por las que un modelo puede sufrir un subajuste pueden ser variadas y depender de los datos y el tipo de algoritmo utilizado para ajustar los parámetros. Sin embargo, estas pueden ser las causas más comunes para un subajuste:

• Modelo demasiado simple: No tiene suficiente capacidad para aprender patrones complejos. Esto se vio en el ejemplo de la Figura 3.8.1, donde un modelo como el que produce una regresión lineal simple (univariada) no es lo mejor en datos con patrones no lineales.
• Falta de datos: No hay suficiente información para aprender relaciones significativas entre las variables de entrada y las salidas, es decir, se requiere de un conjunto de datos más grande.
• Muy pocas características: No se han incluido variables de entrada clave en los datos de entrenamiento. Por ejemplo, si se desea obtener un modelo que sea capaz de predecir la calificación que obtendrá un alumno en un examen, probablemente los datos que pueden aportar información al respecto son: horas de estudio, calificaciones promedio, o estatus social. En cambio, variables que no aportan información relevante pueden ser: nombre del alumno, día de nacimiento, rango en Fortnite, etc.
• Mala selección de hiperparámetros: existen algunos parámetros relativos a los algoritmos utilizados, que veremos más adelante en el curso, que pueden ser decisivos en el ajuste final del modelo, algunos ejemplos son: número de iteraciones, regularización, optimizador, tasa de aprendizaje.

¿Qué es el sobreajuste de un modelo de machine learning?

Un modelo sobreajustado es un modelo obtenido mediante algoritmos de aprendizaje de máquinas cuyo comportamiento se adhiere de manera muy fiel a la tendencia de los datos de entrenamiento, con un ajuste que no solo captura los patrones subyacentes, sino también el ruido y las variaciones irrelevantes.

Esto provoca que el modelo tenga un rendimiento muy aceptable al evaluarse en el conjunto de datos de entrenamiento, pero que sea deficiente al operar sobre datos nuevos (es decir, en el conjunto de datos de prueba, o datos nuevos recolectados), ya que no logra generalizar bien su comportamiento.

A diferencia del subajuste, el sobreajuste ocurre cuando el modelo es demasiado complejo en comparación con la estructura de los datos. Como mencionó Mmerf, en la etapa de entrenamiento su desempeño luce muy bien, pero al evaluarse con los datos de prueba ya no funciona de igual manera.

El efecto del sobreajuste se observa en las gráficas de la Figura 3.8.2:

En este caso, en la primera gráfica yace el modelo que vimos anteriormente, donde los datos pueden ser modelados mediante una curva que decae sutilmente y se ajusta a su comportamiento sin encajar perfectamente en estos, lo que implica que realiza predicciones con pequeños defectos pero cercanas a la tendencia subyacente.

En la figura de la derecha, sin embargo, se visualiza una función que está demasiado ajustada al movimiento de los datos, provocando que se dibuje una figura irregular que intenta abarcar las variaciones de todas las observaciones, aunque estas puedan representar valores atípicos o ruido; obsérvese el último punto, el cual parece ser un valor atípico en el conjunto de datos, y que el modelo traza de manera exacta.

Esto implica que el modelo está sobreajustado, generando una función matemática que predice correctamente solo los valores del conjunto de datos de entrenamiento, pero falla en el conjunto de datos de prueba (no es capaz de realizar estimaciones correctas sobre valores cuya tendencia en realidad es una curva, no un conjunto de valles irregulares, como lo que se ha dibujado en la gráfica de la derecha).

Matemáticamente hablando, los modelos de ambos ejemplos tienen la siguiente forma:

• Modelo con un mejor ajuste (regresión polinomial de grado 3):

y = ax^3 + bx^2 + cx + d

• Modelo sobreajustado (regresión polinomial de grado 15):

y = a_{15}x^{15} + a_{14}x^{14} + \dots + a_2x^2 + a_1x + a_0

De esto se desprende que utilizar modelos de varias dimensiones (variables) y grados altos puede desembocar en un sobreajuste, por lo que es necesario tener cuidado en mantener un balance entre los algoritmos de aprendizaje de máquinas a utilizar y las dimensiones de entrada de los datos.

Las gráficas finales de cada modelo con ajustes diferentes se pueden contemplar en la Figura 3.8.3

Así es, los modelos de clasificación pueden tener los mismos problemas. Para identificarlos se sigue la misma metodología, se realizan las respectivas mediciones de desempeño utilizando métricas de evaluación de modelos de clasificación.

Posibles causas de un modelo sobreajustado

Las razones por las que un modelo puede sufrir sobreajuste, al igual que en el subajuste, pueden ser variadas y dependen principalmente del conjunto de datos y/o de la complejidad del modelo utilizado. A continuación, se presentan algunas de las causas más comunes para un sobreajuste:

• Modelo demasiado complejo: Tiene una gran cantidad de parámetros y variables, lo que le permite aprender incluso el ruido en los datos en lugar de los patrones generales.
• Demasiadas características irrelevantes: Si el modelo tiene muchas variables que no aportan información útil, puede ajustarse demasiado a datos específicos sin realizar generalizaciones correctamente.
• Insuficiente cantidad de datos: Con pocos datos, el modelo puede aprender patrones específicos del conjunto de entrenamiento en lugar de patrones generales.
• Las particiones del conjunto de datos no tienen la misma distribución: Los conjuntos de datos de entrenamiento prueba y/o validación no muestran consistencia en su comportamiento.
• Mala selección de hiperparámetros: Algunos parámetros, como la falta de regularización o arquitectura del algoritmo a utilizar, pueden hacer que el modelo sea demasiado flexible y se adapte al ruido.

Detección de ajuste y sobreajuste de modelos con Python

Es hora de un poco de acción. En la práctica de hoy revisaremos un caso de subajuste y sobreajuste de modelos, realizando diagnósticos con métricas de evaluación.

Puedes previsualizar el contenido aquí:

Hemos concluido uno de los temas más comunes de deficiencias en modelos de aprendizaje de máquinas. Conforme avancemos en esta travesía, experimentaremos formas de identificar y lidiar con estos desperfectos.

A partir de ahora, los temas serán un poco más avanzados y enfocados en la optimización del entrenamiento de modelos, ya que constituyen el preámbulo para la comprensión y práctica de las redes neuronales artificiales.

Dale a tu gato la experiencia de descanso más exclusiva con la Cama Ultra Lujosa Royal Comfort. Diseñada con materiales de la más alta calidad, esta cama proporciona un confort inigualable para tu felino. Su acolchado de espuma viscoelástica y su forro de felpa premium garantizan un descanso profundo y reparador. Su diseño elegante y moderno se adapta a cualquier decoración del hogar, convirtiéndose en el lugar favorito de tu mascota.

La base antideslizante mantiene la cama en su lugar, mientras que los bordes elevados brindan un soporte adicional para la cabeza y el cuello de tu gato. Ideal para gatos de todas las edades, esta cama redefine el lujo y la comodidad en el mundo felino.

Características Principales de la Cama Ultra Lujosa para Gatos

• Materiales de Alta Gama: Forro de felpa ultra suave y espuma viscoelástica adaptable.
• Diseño Ergonómico: Bordes elevados para soporte y sensación de seguridad.
• Base Antideslizante: Evita movimientos y proporciona estabilidad en cualquier superficie.
• Fácil de Limpiar: Funda removible y lavable a máquina.
• Aislamiento Térmico: Mantiene la temperatura óptima para el descanso del gato.
• Dimensiones: 55 cm x 45 cm x 15 cm.
• Colores Disponibles: Gris perla, Beige elegante, Azul real.
• Peso Máximo Recomendado: Hasta 10 kg.
• Uso Recomendado: Gatos de todas las edades, ideal para razas de tamaño mediano y grande.

Beneficios de la Cama Ultra Lujosa para Gatos

Reduce el estrés y la ansiedad.

Proporciona soporte ortopédico para articulaciones.

Diseño lujoso que combina con cualquier decoración.

Materiales no tóxicos y amigables con el medio ambiente.

Perfecta para gatos que disfrutan de la comodidad absoluta.

Incluye

1 Cama Ultra Lujosa Royal Comfort.

1 Almohadilla interna con espuma viscoelástica.

1 Funda removible lavable.

Instrucciones de cuidado y mantenimiento.

Modo de Uso

Coloca la cama en un lugar tranquilo y cálido. Lava la funda regularmente para mantener la higiene de tu gato. Evita exponer la espuma interna al agua para prolongar su durabilidad.

Precio

200,000.00 MXN

Envío y Garantía

Garantía de satisfacción de la Cama Ultra Lujosa para Gatos: 30 días para cambios y devoluciones.

Dale a tu gato el descanso que se merece con la Cama Ultra Lujosa Royal Comfort. ¡Ordénala ahora y haz que cada siesta sea un placer absoluto!

Esta propiedad en la estructura de los datos, que puede llegar a ser problemática, será explorada aquí de manera breve pero detallada, de forma que comprenderemos de qué se trata, qué problemas plantea, y cómo podemos detectarlo.

Estadística descriptiva

Fundamentos de conjuntos de datos y datos etiquetados

Algún acompañamiento

Datos desbalanceados, definición y ejemplos

Los conjuntos de datos no son perfectos. Generalmente, contienen irregularidades que son tratadas principalmente en la etapa de preprocesamiento. Entre estos desperfectos, se pueden tener estructuras en las que los datos no se encuentren distribuidos de manera equilibrada, afectando el entrenamiento de modelos de aprendizaje de máquinas; a esto se le conoce como datos desbalanceados.

De forma más concisa, los datos desbalanceados son una característica de un conjunto de datos en el que la distribución de una o más variables de interés está sesgada, es decir, ciertos valores, clases o rangos de datos están representados de manera desigual en comparación con otros.

En el contexto del aprendizaje supervisado, en lo que se refiere datos etiquetados en los que se han definido variables de entrada y variables de salida, un desbalance de este tipo no permitiría el entrenamiento óptimo de un modelo de machine learning.

¿Aún no captas por completo el concepto?, lo ilustraremos con un ejemplo para tareas tanto de clasificación como de regresión.

Datos desbalanceados para entrenar modelos de clasificación

Recordemos que en conjuntos de datos que se utilizan para entrenar un modelo clasificador, se etiquetan los datos de forma que cada ejemplo de entrenamiento pertenece a alguna clase particular. Un caso de datos perfectamente balanceados es el siguiente:

En la Tabla 3.6.1.1 se puede observar cómo se tienen 5 valores asignados a la clase 1, y 5 valores asignados a la clase 0 (la mitad). Esto indica que tenemos los datos balanceados, ya que se tiene una cantidad igual de datos pertenecientes a cada clase.

Si trasladamos esto al caso que trabajamos con la regresión logística, se tendrían la mitad de datos asignados a la clase Black Metal, y el otro a la clase Reggaeton (y los valores de la variable de entrada corresponderían a la bailabilidad).

Podemos utilizar otro ejemplo como el de detección de fraudes: la clase 1 indica que una transacción es fraudulenta, mientras que la clase 0 indica que no lo es, y las variables a considerar pueden ser datos demográficos o de comportamiento del usuario.

Aquí lo que importa realmente es la porción que existe etiquetada para cada clase: si se tuviera un millón de datos, estos estarían perfectamente balanceados si la mitad estuvieran etiquetados a una clase y la mitad restante a la otra clase (500 mil y 500 mil, respectivamente).

En el caso de haber más clases se estaría buscando igualdad de proporción de cada una de estas en el conjunto de datos; por ejemplo, en un escenario ideal, un conjunto de datos etiquetado con cuatro clases tendría que tener, idealmente, la siguiente distribución:

• Clase 1: 25%
• Clase 2: 25%
• Clase 3: 25%
• Clase 4: 25%

O, en un conjunto con tres clases, se esperaría aproximadamente esto:

• Clase 1: 33.33%
• Clase 2: 33.33%
• Clase 3: 33.33%

No sucede nada, lo que se busca es tener datos relativamente balanceados, de forma que el entrenamiento del modelo no se termine sesgando. Es casi imposible que hallemos datos que, naturalmente, cuenten con balances perfectos, solo debemos procurar ser conscientes de las distribuciones de estos y sus posibles efectos durante la etapa de entrenamiento.

Vayamos con un ejemplo de lo que implica esto. Si tenemos la mayoría de los ejemplos de entrenamiento etiquetados para solo una clase, entonces el modelo aprenderá a predecir esta clase con efectividad, pero no podrá realizar inferencias precisas sobre la clase o clases restantes.

En la Tabla 3.6.1.2 se puede observar el mismo ejemplo que hemos visualizado con anterioridad, pero con las clases desbalanceadas:

En esta última tabla, es notorio cómo la clase 0 contiene menos datos asignados que la clase 1, de forma que la proporción queda como sigue:

• Clase 1: 80%
• Clase 0: 20%

Una distribución de este tipo impide un modelado efectivo para la predicción de ambas clases. Una excelente manera de percibir un desbalanceo en un conjunto de datos es mediante representaciones gráficas:

Vamos hacia allá.

Métricas y reglas para determinar si los datos están desbalanceados

Existen diversos métodos para determinar si un conjunto de datos para tareas de clasificación está desbalanceado, a continuación describiremos algunos de los más utilizados.

Ratio de desequilibrio

Una medida sencilla para identificar desbalance de clases en un conjunto de datos es calcular la proporción de asignación de las clases. Para esto se puede utilizar la medida de ratio de desequilibrio (imbalanced ratio):

\text{Imbalanced Ratio (IR)} = \frac{\text{Tamaño de la clase mayoritaria}}{\text{Tamaño de la clase minoritaria}}, \tag{3.68.1}

donde la clase mayoritaria es aquella que acapara la mayor cantidad de datos.

El criterio convencionalmente aceptado para interpretar esta métrica es que un conjunto de datos con un valor de ratio de desequilibrio mayor a 2 (IR\ge2) puede considerarse desbalanceado, tomando en cuenta la naturaleza de los datos.

Si utilizamos el ejemplo de la Tabla 3.6.1.2, el cálculo del IR es:

\text{IR} = \frac{\text{8}}{\text{2}}=4 \tag{3.68.2}

Este resultado implicaría un gran desbalanceo, ya que un valor de (IR=1) indica un equilibrio perfecto entre las clases (\frac{50}{50}).

Porcentaje de la clase minoritaria (Minority Class Percentage)

Este porcentaje evalúa qué proporción del total representa la clase minoritaria (aquella que aparece con menos frecuencia). Si la clase minoritaria representa menos del 30% de los datos, es probable que haya desbalance. Volviendo al ejemplo anterior:

• Clase 1: 80%
• Clase 0: 20%

Aquí, la clase minoritaria es menos del 30%, lo cual indica un posible desbalance.

Existen otras variadas formas de determinar un desequilibrio significativo entre clases en un conjunto de datos:

• Utilizar gráficas como las que se visualizaron en la Figura 3.6.1.1.
• Utilizar métricas basadas en el desempeño del modelo, las cuales veremos en nuestra próxima exploración.
• Para conjuntos de datos con más de dos clases (multiclase), se puede consultar Measuring the Class-imbalance Extent of Multi-class Problems de Hernández y Lozano.

Con esto debería quedar claro cómo lucen los datos desbalanceados. Recuerda que siempre hay que evaluar el impacto de esto conforme al contexto de los datos y diferentes métricas para la evaluación del conjunto de datos y del modelo entrenado mediante su ingesta.

Datos desbalanceados en conjuntos de datos para entrenar modelos de regresión

Hemos visto cómo lucen los conjuntos de datos con clases desbalanceadas en conjuntos etiquetados con categorías cuyo destino es el entrenamiento de modelos de clasificación. Revisemos cómo se puede dar esto en conjuntos de datos con objetivos de entrenamiento de modelos de regresión.

En un conjunto de datos destinado a una tarea de regresión, los datos desbalanceados se refieren a una distribución no uniforme de la variable objetivo (variable dependiente o salidas) en el rango de valores que esta puede tomar. Aunque el concepto de clases no aplica como en la clasificación, el desbalance puede manifestarse en los siguientes casos:

Concentración de valores en pocos rangos

En un conjunto de datos desbalanceado la mayoría de los valores de las salidas pueden estar concentrados en un rango específico, dejando a los rangos restantes con pocos ejemplos de entrenamiento.

Recordemos el ejemplo de los alumnos y sus calificaciones respecto a horas de estudio que atendimos en la lección sobre la regresión lineal. Podríamos tener un conjunto de datos como este:

En la Tabla 3.6.1.3 puedes notar cómo la mayoría de las calificaciones son altas (mayores a 85). Esto ocasionaría que un modelo entrenado con estos datos no sea capaz de predecir correctamente calificaciones con valores más bajos. Un histograma de estos datos con los rangos mencionados se puede observar en la Figura 3.6.1.2:

Presencia de valores atípicos (outliers)

Se pueden desbalancear los datos si se cuenta con valores atípicos en la variable objetivo, es decir, que están muy alejados del comportamiento de la mayoría de los datos. Esto ya lo hemos visto en nuestras actividades entrenando modelos, y hemos trabajado en deshacernos de este tipo de valores mediante diferentes métodos matemáticos.

Un ejemplo de esto luciría como se muestra en la Tabla 3.6.1.4:

Para discernirlo mejor, observemos la siguiente gráfica:

La aparición de este tipo de observaciones puede ocasionar sesgos en el rendimiento del modelo entrenado.

Sesgo en la Distribución

Otro tipo de desequilibrio en los datos se da cuando las entradas presentan una distribución sesgada, la cual es generada por valores que no se distribuyen de forma normal o simétrica.

En la Figura 3.6.1.5 se puede consultar cómo luce una gráfica de datos con una distribución aproximadamente normal, donde los valores caen alrededor de la media y la mediana, y también se aprecia una distribución asimétrica, donde la mayoría de los valores de calificaciones son altos, provocando una <<cola>> negativa, y un conglomerado en los valores positivos, generando un sesgo en los rangos de los valores.

Cómo detectar datos desbalanceados para entrenamiento de modelos de regresión

Para hallar indicios de un conjunto de datos desequilibrado, podemos utilizar los siguientes métodos:

Coeficiente de asimetría

El coeficiente de asimetría (skewness) es una medida que indica si la distribución de los datos está sesgada hacia la izquierda (sesgo negativo) o hacia la derecha (sesgo positivo). Se calcula como sigue:

\text{Coeficiente de asimetría} = \frac{ \frac{1}{N} \sum_{i=1}^{N} (x_i - \bar{x})^3 }{ \left( \frac{1}{N} \sum_{i=1}^{N} (x_i - \bar{x})^2 \right)^{\frac{3}{2}} }, \tag{3.68.3}

donde N es la cantidad total de observaciones/datos, x_i es la i-ésima observación, y \bar{x} es la media de las observaciones.

El valor resultante se interpreta de la siguiente manera:

• Coeficiente de asimetría (Skewness) ≈ 0 → Distribución simétrica.
• Coeficiente de asimetría (Skewness) > 0 → Sesgo positivo (cola a la derecha).
• Coeficiente de asimetría (Skewness) < 0 → Sesgo negativo (cola a la izquierda).

Curtosis (kurtosis)

La curtosis mide cuánto peso tienen las colas de la distribución en comparación con una distribución normal. Se calcula:

\text{Curtosis} = \frac{ \frac{1}{N} \sum_{i=1}^{N} (x_i - \bar{x})^4 }{ \left( \frac{1}{N} \sum_{i=1}^{N} (x_i - \bar{x})^2 \right)^{2} }, \tag{3.68.4}

donde, de igual manera, N es la cantidad total de datos, x_i es la i-ésima observación, y \bar{x} es la media de las observaciones.

Esta medida se interpreta de la siguiente forma:

• Curtosis ≈ 3 → Distribución normal (Mesocúrtica).
• Curtosis > 3 → Colas más pesadas (Leptocúrtica, más valores extremos).
• Curtosis < 3 → Colas más ligeras (Platicúrtica, valores concentrados en el centro).

Coeficiente de variación

El Coeficiente de Variación (CV) es una métrica que indica altas variaciones en los datos, lo cual puede señalar posibles apariciones de datos atípicos, desbalanceando la distribución de estos.

Este se calcula como se muestra a continuación:

CV = \frac{\sigma}{\bar{x}}, \tag{3.68.5}

donde \sigma es la desviación estándar de los datos, y \bar{x} su promedio.

Se interpreta como sigue:

• CV ≈ 0 → Poca variabilidad (valores muy similares entre sí).
• CV alto (>0.5) → Alta dispersión (datos desbalanceados).
• CV muy alto (>1) → Datos extremadamente dispersos.

Además de estas medidas, se pueden utilizar las siguientes herramientas:

• Gráficas como las que hemos mostrado antes, donde se puedan visualizar diferencias significativas en la distribución de los datos.
• Técnicas para identificación de valores atípicos como el rango intercuartílico o isolation forest.
• Métricas de evaluación de modelos de regresión.
• Comparación entre la media y la mediana de las observaciones.

¿Podemos ponerlo en práctica? Sí, pero no creo que sea necesario. Estas métricas son relativamente sencillas de calcular, y vamos a ver datos desbalanceados sobre otras prácticas en las que usaremos conjuntos de datos para entrenar modelos. Por el momento, lo dejaremos así, tengan paciencia, esos datos desbalanceados llegarán eventualmente.

Eso es un tema que puede llegar a ser demasiado extenso, veremos estos métodos más adelante, cuando abarquemos tópicos avanzados y especializados de ciencia de datos.

Portada

índice del libro

Opinión sobre libro El método Ikigai

No pienso titubear en lo que respecta a elogiar este libro. Si bien es verdad que no se trata de uno de mis tipos de lecturas habituales (la mitad de los libros que engullo son sobre ciencia e historia, la otra mitad novelas casi siempre fantásticas), El método Ikigai me ha sorprendido de manera francamente positiva.

Se trata sobre una obra escrita por Héctor García (un exitoso ingeniero informático que vive en Japón) y Francesc Miralles (escritor y periodista español), que profundiza en el concepto japonés de ikigai, el cual se puede traducir como «la razón de ser» o «la razón por la que te levantas cada mañana».

La obra se centra en describir el Ikigai y cómo a través de su comprensión, enseñanzas filosóficas y consejos prácticos se puede mejorar la calidad de vida, promover la felicidad y alcanzar una existencia con propósito.

¿Se trata de otro libro vende humo para alcanzar el <<éxito>>?

Lo que recita el título de esta sección es lo que llegué a pensar que podía hallar detrás de cada página de El método Ikigai, pero no fue el caso. Esta obra, a diferencia de otros textos de superación personal, no trata sobre técnicas mágicas para alcanzar un éxito esencialmente capitalista (ya saben, dinero, dinero, dinero).

Me ha sorprendido que poco se habla sobre cómo robustecer tu cartera, dirigiendo los esfuerzos sobre las actividades que tienden a hacernos sentir plenos, más allá del enriquecimiento monetario. Entre líneas, se expone la idea de que la plenitud te hará indefectiblemente estable en tus ingresos, y los autores te llevan de la mano mediante anécdotas, pensamientos, y estrategias, para minimizar el caos que podría estar imperando en tu vida. Una especie de brújula para barcos sin rumbo.

Ha sido, de hecho, una lectura que ha reforzado diferentes estrategemas que yo mismo he situado en mi vida para obtener y preservar orden. Esta es la principal razón por la que he quedado gratamente sorprendido con el texto.

Entre filosofía y ciencia

Uno de los puntos que he valorado de manera positiva sobre la lectura, es la inclusión de piezas informativas tanto filosóficas como científicas. Aquí podemos discurrir un intenso debate sobre en qué punto se diferencian ambas ramas, por lo que seré más claro en este punto.

• Los autores narran ideales que se desprenden del pensamiento tradicional japonés para la consecución de un propósito y una vida que se engrandece de este.
• Los autores robustecen las enseñanzas mediante la exposición de datos pertenecientes a estudios científicos, opiniones de académicos, y técnicas aplicadas a ámbitos empresariales o de investigación.

Esta mescolanza la he encontrado altamente efectiva para enaltecer la importancia de cada idea planteada mediante datos que van más alla de una narrativa tradicionalista.

De la teoría a la práctica, todo en un mismo lugar

Otro aspecto que he hallado atractivo y certero, es la cantidad de tareas que se dejan al lector para no permanecer en una esfera de teoría pura. Se incita a la acción, a la práctica de las enseñanzas presentadas mediante actividades sencillas de realizar, pero de impacto significativo si se ejecutan con sensatez y esmero.

Temática a alto nivel

Con el fin de darte una idea un poco más aterrizada sobre cómo es la experiencia que aporta el libro, te resumo los principales puntos sobre los que se desenvuelve la temática propuesta:

1. Definición de Ikigai: Los autores explican qué es el ikigai y cómo este concepto japonés ayuda a encontrar equilibrio en la vida al combinar lo que amas, lo que eres bueno haciendo, lo que el mundo necesita y por lo que puedes recibir compensación.
2. Rutinas para una vida más longeva y feliz: Basándose en las costumbres de los habitantes de Okinawa, Japón, una región conocida por la gran cantidad de personas centenarias, el libro ofrece hábitos y prácticas que fomentan la salud física, mental y emocional.
3. Descubrimiento personal: Los autores proporcionan ejercicios y reflexiones para identificar tu propio ikigai, ayudándote a conectar con lo que te motiva y te da propósito.
4. Simplicidad y armonía: Destacan la importancia de vivir de manera simple, apreciando el momento presente y cultivando relaciones significativas.
5. Cultura japonesa y filosofía de vida: El libro explora cómo los valores japoneses como la resiliencia, la gratitud y la comunidad se relacionan con el ikigai.

Resumen y conclusión

En esta ocasión me reservaré los puntos negativos, ya no que no he encontrado algo que me haya desencantado de tal forma que pueda desviar considerablemente al lector del fin de la obra. Resumo la reseña en los siguientes enunciados:

• Se trata de un libro ameno, fácil de leer, y oportuno para ayudar al espectador a dotar de propósito y paz su vida.
• Contiene datos interesantes que devienen principalmente de la tradición japonesa, y que son acompañados por informacíón de dominios como el científico y el empresarial.
• Plantea pequeñas tareas a realizar para poner en práctica lo expuesto.

Justo como hicimos cuando aprendimos sobre métricas para medir el desempeño de modelos de regresión, en esta sesión revisaremos qué métricas cumplen con este objetivo para modelos que categorizan datos, cómo se usan, analizan, e interpretan; todo llevado a la práctica en un caso utilizando Python.

Inventario recomendado

Matemáticas: algo de álgebra, probabilidad y estadística

Fundamentos del aprendizaje supervisado

Regresión logística

Función de pérdida de la regresión logística

Google Colab

Programación en Python

Algún aperitivo

Métricas de evaluación de modelos de clasificación: cuáles y cómo utilizarlas

Recordemos que en aprendizaje supervisado podemos abordar problemas mediante dos tipos de enfoques en cuanto a objetivos de modelos: modelos de regresión y modelos de clasificación.

Los modelos de regresión predicen valores de una variable continua (salida) respecto a los valores de variables con las que está relacionada (entradas). De este tipo de modelos ya hemos trazado cómo evaluar su desempeño al generar predicciones sobre datos nuevos no pertenecientes al conjunto de datos de entrenamiento.

Los modelos de clasificación, por otro lado, tratan sobre funciones que, mediante un análisis de probabilidades, determinan a qué clase pertenece cada dato de entrada de entre un grupo de categorías predefinidas.

Un ejemplo de esto es el caso que hemos desarrollado en la práctica de Python de la regresión logística, en la que se clasificaron canciones de entrada en géneros musicales de acuerdo a sus características. Más adelante veremos cómo utilizar esas mismas clasificaciones para evaluar los modelos con Python, pero hoy trabajaremos con un nuevo ejemplo para explicar cómo determinar las capacidades de clasificación de un modelo de este tipo, las cuales no contemplan ninguna de las métricas vistas en la anterior exploración.

Métricas para evaluar modelos de clasificación

Antes de exponer un nuevo ejemplo, haré mención de las métricas de las que puedes disponer para evaluar modelos de clasificación. Primero, y porque ya las hemos mencionado y estudiado con anterioridad, puedes considerar el uso de funciones de pérdida.

Las funciones de pérdida más comunes para modelos de clasificación son las siguientes:

• Pérdida de entropía cruzada (Cross Entropy Loss).
• Pérdida de entropía cruzada sigmoidea (Sigmoid Cross Entropy Loss).
• Pérdida de entropía cruzada softmax (Softmax Cross Entropy Loss).
• Verosimilitud logarítmica negativa (Negative Log-Likelihood).
• Pérdida 0-1 (0-1 Loss).
• Pérdida de Hinge (Hinge Loss).
• Pérdida Huber modificada (Modified Huber Loss).
• Pérdida de Hinge suavizada (Smooth Hinge Loss).
• Pérdida de Hinge reescalada (Rescaled Hinge Loss).
• Pérdida de rampa (Ramp Loss).
• Error de clasificación mínimo (Minimum Classification Error).
• Pérdida logarítmica (Log Loss).
• Pérdida exponencial (Exponential Loss).
• Pérdida basada en margen (Margin-Based Loss).
• Ranqueo por parejas (Pairwise Ranking).
• Ranqueo por tripleta (Triplet Ranking).
• Pérdida contrastiva (Contrastive Loss).
• Pérdida pinball (Pinball Loss).
• Pérdida pinball truncada (Truncated Pinball Loss).

No, siendo honestos dudo que haya alguien que las conozca y haya aplicado todas, salvo quienes se hayan dedicado específicamente a escribir artículos científicos sobre funciones de pérdida de modelos de clasificación. Solo lo pongo aquí para que sepan que existen.

Mientras menos ignoremos sobre lo que nos especializamos, mejor. Además, deben tener en cuenta que las funciones de pérdida tienen un amplio uso en el entrenamiento de modelos, más que en su evaluación final. Para eso, suelen utilizarse otras métricas, que son las que veremos a continuación.

Además de las funciones de pérdida, entre las cuales ya estudiamos con gran detalle la entropía cruzada, se cuenta con métricas que son mucho más frecuentes en la práctica de la ciencia datos.

Todas estas parten de la organización de los resultados en algo que se conoce como matriz de confusión. Es un concepto clave en ciencia de datos que debemos conocer.

Matriz de confusión para evaluar modelos de clasificación

La matriz de confusión es una herramienta típica para la evaluación de modelos que realizan clasificaciones binarias. De forma más específica, la matriz de confusión es una matriz de dos dimensiones utilizada para evaluar sistemas de clasificación mostrando la cantidad de datos correcta e incorrectamente categorizados.

Vamos a revisar con detalle cómo luce y cómo se utiliza, pero para entenderla de forma concreta, antes debemos definir los elementos que la componen.

Componentes de la matriz de confusión

Una matriz de confusión está conformada por los valores de las clasificaciones binarias (de dos clases) realizadas por un modelo entrenado. Se distinguen dos tipos:

• El modelo predice que un dato pertenece a la clase 0 (que también llamaremos clase <<negativa>>).
• El modelo predice que un dato pertenece a la clase 1 (que también llamaremos clase <<positiva>>).

Teniendo esto en cuenta, en la matriz de confusión se utilizan este par de clasificaciones y se dibujan los siguientes casos de acuerdo a los aciertos o errores del modelo:

• El modelo predice que un dato pertenece a una clase 1 (positiva), y su predicción es correcta.
• El modelo predice que un dato pertenece a una clase 1 (positiva), pero en realidad pertenece a la clase 0 (negativa), por lo que su predicción es incorrecta.
• El modelo predice que un dato pertenece a una clase 0 (negativa), y su predicción es correcta.
• El modelo predice que un dato pertenece a una clase 0 (negativa), pero en realidad pertenece a la clase 1 (positiva), por lo que su predicción es incorrecta.

Así es, y cada uno de estos casos tiene un nombre, vamos a revisarlos, definirlos, y compararlos con ejemplos.

Ejemplo de evaluación de modelo clasificación con matriz de confusión

Para el estudio de la matriz de confusión, vamos a plantear un caso típico en el que entrenamos un modelo para clasificar reseñas de películas en <<positivas>> y <<negativas>>.

Las entradas del modelo (el conjunto de datos) son reseñas de películas, por ejemplo:

Esta es una reseña de película que se considera positiva, ya que elogia a la obra.

Sin embargo, podemos tener entradas de este otro tipo:

En esta otra reseña podemos notar una intención comunicativa diferente, en la que la película no es del agrado del crítico, y por lo tanto se considera negativa.

El objetivo de utilizar un algoritmo de aprendizaje automático para procesar esta información, es entrenar un modelo que, dada una nueva reseña, la clasifique como positiva o negativa.

Por ahora necesito saber, con los conocimientos que tenemos hasta esta parte de nuestras exploraciones, ¿qué tanto me puedes decir sobre esta tarea de ciencia de datos?

Entonces, podemos distinguir los siguientes elementos en este proyecto de machine learning:

• Conjunto de datos: está compuesto por reseñas positivas y negativas de películas. Los datos son fragmentos de texto, por lo que son datos no estructurados, de tipo cualitativo. Además, los datos están etiquetados, señalando cuáles reseñas son positivas y cuáles negativas.
• Objetivo: entrenar un modelo de machine learning que clasifique reseñas en positivas o negativas.
• Algoritmo a utilizar: algún algoritmo de aprendizaje supervisado de clasificación, como la regresión logística.

Ahora que conocemos el caso de estudio, prosigamos con la definición de los componentes de la matriz de confusión.

Tipos de falsos y verdaderos de la matriz de confusión

Revisemos ahora los casos que se toman en cuenta en una matriz de confusión y dan vida a las métricas para evaluar modelos de clasificación.

Verdadero Positivo (VP)

Un verdadero positivo es una entrada que el modelo ha clasificado correctamente como positiva.

Nuestro modelo de clasificación de reseñas de películas se ha entrenado determinando que la clase positiva es 1, por lo tanto, un verdadero positivo significa que se ha entregado al modelo una reseña positiva y este la ha clasificado correctamente en esta categoría.

Verdadero Negativo (VN)

Un verdadero negativo es una entrada que el modelo ha clasificado correctamente como negativa.

Dado que la clase negativa es 0, un verdadero negativo generado por el modelo de clasificación de reseñas sucede cuando se le entrega una reseña negativa y la clasifica correctamente.

Falso Positivo (FP)

Un falso positivo es un caso en el que modelo clasifica incorrectamente una entrada que pertenece a la clase negativa. En estadística también se le conoce como error Tipo I.

En nuestro ejemplo, un falso positivo se da cuando se le entrega al modelo clasificador una reseña negativa, y este la categoriza como reseña positiva.

Falso Negativo (FN)

Un falso negativo se da cuando el modelo ha clasificado de forma errónea una entrada que es de la clase positiva, asignándola como negativo. En estadística también se le conoce como error Tipo II.

En nuestro ejemplo, un falso negativo se da cuando se le entrega al modelo clasificador una reseña positiva, y este la categoriza como reseña negativa.

Estos son los diferentes casos que componen a la matriz de confusión, los verdaderos positivos y negativos (VP y VN) y los falsos positivos y negativos (FP Y FN) son lo que se utilizan para obtener métricas de evaluación de modelos de clasificación.

Volvamos a la matriz de confusión.

Estructura de la Matriz de Confusión

La matriz de confusión es una herramienta para la evaluación de modelos de clasificación organizando la cantidad de clasificaciones binarias correctas e incorrectas en una matriz de dos dimensiones, como se muestra en la Figura 3.7.3:

Donde, como ya vimos antes:

• VN y VP son verdaderos positivos y negativos, ese decir, las clasificaciones realizadas correctamente.
• FN y FP son falsos positivos y negativos, ese decir, las clasificaciones realizadas incorrectamente.
• Nótese que la diagonal de la matriz (VN y VP) muestra las predicciones correctas.
• De forma inversa, los elementos fuera de la diagonal (FP y FN) muestran las predicciones incorrectas.

Con esto debería quedar claro cómo está compuesta una matriz de confusión. Se trata simplemente del arreglo de los resultados de utilizar el modelo de clasificación en el conjunto de datos de prueba: se registran los errores y aciertos, y se categorizan como verdaderos o falsos respecto a cada clase (como es clasificación binaria, estas se consideran como negativa y positiva).

Por fin podemos hablar de las métricas que se derivan de estos valores.

Utilizando los resultados de una matriz de confusión, se pueden derivar las siguientes medidas para evaluar modelos de clasificación:

• Exactitud (Accuracy).
• Precisión (Precision).
• Sensibilidad (Recall, Sensitivity).
• Puntaje F1 (F1 Score).
• Curvas ROC y AUC.
• Tasa de falsos positivos (False Positive Rate).
• Tasa de falsos negativos (False Negative Rate).
• Tasa de falsas omisiones (False Omission Rate).
• Prevalencia (Prevalence).
• Valor predictivo negativo (Negative Predictive Value).
• Marcación (Markedness).
• Razón de probabilidades diagnóstica (Diagnostic Odds Ratio).
• Coeficiente de correlación de Matthews (Matthews Correlation Coefficient).
• Puntuación de amenaza, índice de éxito crítico, índice de Jaccard (Threat Score, Critical Success Index, Jaccard Index).
• Umbral de prevalencia (Prevalence Threshold).
• Exactitud balanceada (Balanced Accuracy).
• Índice de Fowlkes-Mallows (Fowlkes-Mallows Index).
• Razón de verosimilitud positiva (Positive Likelihood Ratio).
• Razón de verosimilitud negativa (Negative Likelihood Ratio).
• Información (Informedness).

Si te preguntas cómo es que se obtienen estas métricas de una matriz de confusión, lo veremos más adelante en esta exploración.

Sí, son demasiadas, pero de entre estas se suelen usar solo un subconjunto relativamente pequeño.

Estas son las métricas de evaluación de modelos de clasificación más utilizadas:

• Exactitud.
• Precisión.
• Sensibilidad.
• Puntaje F1.
• Pérdida de entropía cruzada.

Y con esto llegamos a las medidas que estaremos conociendo y poniendo a prueba aquí. Tenemos cuatro métricas derivadas de la matriz de confusión, y una obtenida por función de pérdida (entropía cruzada). Estas son de bastante utilidad para la evaluación de modelos de clasificación.

Para entenderlo mejor, lo desarrollaremos y veremos aplicado a nuestro caso de estudio de clasificación de reseñas.

Ejemplo de evaluación de modelo de machine learning con métricas de la matriz de confusión

Supondremos que hemos entrenado un modelo de aprendizaje supervisado para la categorización de reseñas de películas, y lo hemos utilizado sobre un conjunto de datos de prueba, donde obtuvimos los siguientes resultados:

• Verdaderos Positivos (VP): 90 reseñas positivas fueron clasificadas correctamente como positivas.
• Verdaderos Negativos (VN): 80 reseñas negativas fueron clasificadas correctamente como negativas.
• Falsos Positivos (FP): 20 reseñas negativas fueron clasificadas incorrectamente como positivas.
• Falsos Negativos (FN): 10 reseñas positivas fueron clasificadas incorrectamente como negativas.

Ahora organizamos esta información en la matriz de confusión:

Compara esta matriz con la de la imagen Figura 3.7.3 y podrás notar cómo es que se han realizado los acomodos de las cifras obtenidas.

Métricas Derivadas de la Matriz de Confusión

Con lo que hemos visto hasta ahora basta para poder aprender sobre métricas de evaluación de modelos de clasificación, para lo cual se utilizan los valores organizados en la matriz de confusión, y se calculan mediante fórmulas sencillas.

Exactitud (Accuracy)

La exactitud es una métrica que mide la proporción de clasificaciones correctas entre todas las clasificaciones realizadas. Se calcula con la siguiente fórmula:

\text{Exactitud} = \frac{VP + VN}{VP + VN + FP + FN}, \tag{3.69}

donde VP, VN, FP y FN son los valores de la matriz de confusión revisados en la sección anterior. Esta fórmula es bastante simple, consiste en sumar las predicciones correctas (VP y VN) y dividirlas entre todas las demás, por lo que arroja una proporción de los datos correctamente clasificados por el modelo.

Aquí haremos una breve pausa para revisar un término de importancia medular. Para interpretar correctamente esta métrica y las subsecuentes, debemos tener en cuenta un tipo de estructura que puede presentar un conjunto de datos: datos desbalanceados.

Influencia de datos desbalanceados en métricas de rendimiento

Como vimos en la exploración pasada, los datos desbalanceados es una propiedad de un conjunto de datos en el que las categorías (datos de salida objetivo para el entrenamiento de un modelo de clasificación) no están repartidas de manera equitativa. Esto significa que una o más clases tienen significativamente más ejemplos de entrenamiento que otras.

Para ilustrarlo, recordemos que tenemos datos etiquetados, donde, en el caso de las tareas de clasificación, se designan clases a cada uno de los ejemplos de entrenamiento. Sin embargo, estos datos pueden llegar a estar desproporcionados (desbalanceados). Un ejemplo se puede observar en la Figura 3.7.4:

Pongamos otro ejemplo: se podrían tener 200 datos etiquetados con la clase 1, y solo 10 datos etiquetados con la clase 0. Esto significa que no se tiene una proporción igual entre datos que pertenecen a ambas clases (5% de los datos de una clase, y 95% de otra clase).

Esto puede llegar a generar confusión, ya que un modelo podría acertar en predecir todas las clases de tipo 1 y fallar en todas las clases de tipo 0, pero aun así, si calculamos su exactitud como se hace en la Ecuación (3.69), su precisión sería del 95%, porque las clases están desbalanceadas. Sin embargo, como en realidad no ha logrado clasificar correctamente ningún dato en la clase 0, se podría concluir que en realidad es 50% efectiva, lo cual lo hace un modelo poco eficiente.

Este tema de datos desbalanceados es algo que se debe tener en cuenta al evaluar modelos de clasificación. En una ocasión futura, veremos técnicas para lidiar con esto desde el preprocesamiento de datos.

Interpretación de la exactitud

Ahora sí, volvamos con la métrica de Exactitud, y expliquemos como se interpreta. Esta mide la proporción de predicciones correctas realizadas por un modelo en relación con el total de predicciones. Es decir, evalúa qué tan bien el modelo clasificó correctamente tanto los casos positivos como los negativos en un conjunto de datos.

Los resultados de esta métrica se interpretan como sigue:

• Exactitud alta (valores cercanos a 1): Indican que el modelo tuvo un alto porcentaje de predicciones correctas.
• Exactitud baja (valores cercanos a 0): Indican un bajo desempeño del modelo, es decir, muchas predicciones incorrectas.

Limitaciones en cuanto a datos desbalanceados:

• En conjuntos de datos con clases desbalanceadas (por ejemplo, como ya hemos visto, donde los datos positivos son muy pocos en comparación con los negativos), la exactitud puede ser engañosa. Un modelo podría obtener una alta exactitud simplemente prediciendo siempre la clase con mayor predominancia. En estos casos, es mejor considerar métricas adicionales como la precisión, la sensibilidad (recall) o la métrica F1, que veremos a continuación.

Ejemplo de cálculo e interpretación de la exactitud

Ahora calcularemos la exactitud del modelo clasificador de reseñas. De acuerdo a los valores de la matriz mostrados en la Tabla 3.7.1 y a la fórmula de la Ecuación (3.69), se calcula como sigue.

\text{Exactitud} = \frac{VP + VN}{VP + VN + FP + FN} = \frac{90 + 80}{90 + 80 + 20 + 10} = \frac{170}{200} = 0.85 \tag{3.70}

Esto implica que el modelo tiene una exactitud del 85%, es decir, el modelo clasifica correctamente el 85% de las reseñas de películas. Es una buena métrica general, pero puede ser engañosa si las clases están desbalanceadas (no es el caso en nuestro ejemplo).

Precisión (Precision)

La precisión es una métrica que mide la proporción de clasificaciones de la clase positiva que se han hecho correctamente entre todos los datos pertenecientes a la clase positiva. Se calcula con la siguiente fórmula:

\text{Precisión} = \frac{VP}{VP + FP}. \tag{3.71}

Nótese que esta fórmula solo considera los positivos, tanto los aciertos como los errores. Quiere decir que refleja el porcentaje de datos correctamente clasificados para la clase 1 (positiva).

Interpretación de la precisión

Los resultados de la precisión se interpretan de la siguiente manera:

• Precisión alta (valores cercanos a 1): Significa que la mayoría de las predicciones positivas del modelo son correctas. Es decir, el modelo tiene pocos falsos positivos. Es importante en escenarios donde los falsos positivos son costosos o críticos, como en el diagnóstico médico.
• Precisión baja (valores cercanos a 0): Indica que el modelo realiza muchas predicciones positivas incorrectas, lo que sugiere un número elevado de falsos positivos.

Cálculo e interpretación en el ejemplo propuesto

Calcularemos la precisión del modelo clasificador de reseñas:

\text{Precisión} = \frac{VP}{VP + FP} = \frac{90}{90 + 20} = \frac{90}{110} \approx 0.818 \tag{3.72}

La precisión es aproximadamente 81.8%, lo que significa que de todas las reseñas clasificadas como positivas, el 81.8% realmente son positivas.

Sensibilidad o Exhaustividad (Recall)

La sensibilidad o exhaustividad es una métrica que mide el porcentaje de casos positivos correctamente identificados como positivos, considerando también aquellos positivos mal clasificados. Se calcula con la siguiente fórmula:

\text{Sensibilidad} = \frac{VP}{VP + FN} \tag{3.73}

Esta fórmula se diferencia de la precisión porque considera a los falsos negativos (FN), lo cual sucede porque su objetivo principal es medir la capacidad del modelo para identificar correctamente los casos positivos. Los falsos negativos representan los casos positivos que el modelo no logró detectar, por lo que son fundamentales para evaluar esta métrica. Si el modelo tiene un número alto de falsos negativos, significa que está fallando en detectar una gran cantidad de casos positivos. Esto reduce el valor de la Exhaustividad, indicando un desempeño deficiente en la detección de la clase positiva.

Interpretación de la sensibilidad

Los resultados de la sensibilidad se interpretan de la siguiente manera:

• Exhaustividad alta (valores cercanos a 1): El modelo es muy efectivo detectando los casos positivos. Es decir, tiene pocos falsos negativos. Esta métrica es ideal en escenarios donde es crucial no pasar por alto falsos negativos.
• Exhaustividad baja (valores cercanos a 0): Indica que el modelo falla al identificar muchos casos positivos, generando un alto número de falsos negativos.

Cálculo e interpretación en el ejemplo propuesto

Calcularemos la sensibilidad del modelo clasificador de reseñas:

\text{Sensibilidad} = \frac{VP}{VP + FN} = \frac{90}{90 + 10} = \frac{90}{100} = 0.9
 \tag{3.74}

La sensibilidad obtenida es del 90%, lo que indica que nuestro modelo detecta correctamente el 90% de las reseñas positivas. Esta métrica es útil cuando queremos reducir los falsos negativos, priorizando que la mayoría de las reseñas positivas se clasifiquen correctamente.

Casi, pero tienen una pequeña/gran diferencia. Creo que esto se puede prestar a malinterpretaciones, así que revisemos con un poco más de detalle.

Diferencia entre Precisión (precision) y Sensibilidad (recall) | Opcional

La precisión y la sensibilidad son métricas que calculan proporciones de verdaderos positivos, pero no sobre el mismo grupo de información. Considérese lo siguiente:

• La precisión se obtiene dividiendo los verdaderos positivos entre la suma de verdaderos positivos y falsos positivos (Ecuación 3.71). Recordemos que un falso positivo es una predicción errónea, lo cual significa que es un valor de la clase negativa (el modelo la asignó a la clase positiva, pero no acertó). Esto quiere decir que la precisión está obteniendo el porcentaje de predicciones correctas de la clase positiva entre las predicciones correctas e incorrectas de verdaderos positivos. Por lo tanto, un alto valor de precisión indica que el valor de los falsos positivos es bajo, y el modelo está clasificando datos correctamente en la clase positiva, entre otras palabras: de todas las predicciones positivas que hizo el modelo, cuántas son correctas.
• Por otro lado, la sensibilidad es la proporción de verdaderos positivos entre la suma de verdaderos positivos y falsos negativos (Ecuación 3.73). Los falsos negativos son valores que el modelo clasificó incorrectamente, que en realidad eran positivos, pero se clasificaron como negativos. Esto significa que la sensibilidad toma en cuenta no solo los datos que el modelo asignó a la clase positiva, sino también los positivos que quedaron asignados a la clasificación incorrecta. Esto se traduce en que se calcula cuántos datos de la clase positiva fueron detectados entre todos los que corresponden realmente a este.

¿Te parece un poco embrolloso?, lo resumiremos de esta forma:

• La precisión prioriza la minimización de los falsos positivos. Si necesitas que estos sean menores, utiliza esta métrica para ajustar los parámetros de tu modelo. Un ejemplo típico de esto es el diagnóstico médico, ya que un falso positivo se puede traducir en predecir incorrectamente una enfermedad (el positivo indica que el paciente está enfermo, por lo tanto, un falso positivo es un paciente mal diagnosticado con una enfermedad que no tiene), por lo que minimizar falsos positivos evita tratamientos innecesarios.
• La sensibilidad minimiza los falsos negativos. Si la prioridad es que el modelo no de por alto estos casos, esta métrica es la indicada para realizar ajustes. Un ejemplo de esto es la detección de fraudes, donde un valor negativo indica que una transacción no es un fraude; imagina que el modelo predice de forma errónea que una transacción fraudulenta no es un fraude, esto implicaría pérdidas monetarias.

Ahora mucho más resumido:

La importancia de la precisión o sensibilidad depende del contexto:

• Priorizar precisión: Si es crucial minimizar los falsos positivos.
• Priorizar sensibilidad/recall: Si es crucial minimizar los falsos negativos.

Puntuación F1 (F1 Score)

Por último, el puntaje F1 es una métrica que combina la precisión y el recall en un único valor que equilibra ambas métricas. Es especialmente útil cuando se desea un balance entre precisión y sensibilidad.

 \text{F1} = 2 \times \frac{\text{Precisión} \times \text{Exhaustividad}}{\text{Precisión} + \text{Exhaustividad}}
 \tag{3.75}

Interpretación del puntaje F1

Los resultados de F1 se interpretan de la siguiente manera:

• F1 alto (valores cercanos a 1): Indica que el modelo tiene un buen equilibrio entre precisión y sensibilidad (recall). Es decir, detecta correctamente la mayoría de los positivos reales (alta sensibilidad) y sus predicciones positivas son confiables (alta precisión).
• F1 bajo (valores cercanos a 0): Refleja un desempeño pobre del modelo, ya sea porque tiene baja precisión (muchos falsos positivos), baja sensibilidad (muchos falsos negativos), o ambos.

El F1-Score es especialmente útil en escenarios donde:

• Hay un desequilibrio en las clases (una clase es mucho más frecuente que otra).
• Es importante un balance entre precisión y recall.
• Los falsos positivos y falsos negativos tienen un costo similar, y no se puede priorizar una métrica sobre la otra.

F1 es un mediador entre sensibilidad y precisión.

Cálculo e interpretación en el ejemplo propuesto

Calcularemos el puntaje F1 del modelo clasificador de reseñas:

\begin{aligned}
F1 &= 2 \cdot \frac{\text{Precisión} \cdot \text{Sensibilidad}}{\text{Precisión} + \text{Sensibilidad}} \\
   &= 2 \cdot \frac{0.8181 \cdot 0.9}{0.8181 + 0.9} \\
   &= 2 \cdot \frac{0.7363}{1.7181} \\
   &= 2 \cdot 0.4286 \\
   &= 0.8571
\end{aligned}

El F1-Score obtenido es de aproximadamente 0.85, lo que indica que el modelo tiene un buen equilibrio entre precisión (0.81) y recall (0.90). Esto significa que:

• Aunque hay algunos falsos positivos, la mayoría de las predicciones positivas son correctas (precisión moderadamente alta).
• El modelo es capaz de identificar correctamente una gran cantidad de reseñas positivas (recall/sensibilidad alta).

Nota sobre las métricas de la matriz de confusión

Las métricas antes expuestas, derivadas de la matriz de confusión, son muy variadas, pero la mayoría son poco conocidas. Esto es porque solo se suelen utilizar las que mencioné en la última lista. Sin embargo, como seguro ya saben, para mí es importante que tengan el conocimiento de todo el abanico de posibilidades que tienen a su disposición para evaluar modelos.

Una buena síntesis gráfica de estas medidas es la que se muestra en la Figura 3.7.5, donde se puede observar la relación que existe entre las métricas y los valores predichos y reales.

Esta imagen está en inglés porque proviene de Wikipedia en inglés, y la traducción automática al español me pareció imprecisa. Creo que tiene una organización que vale la pena revisar.

Que en este caso, son estas:

1.  Fawcett, Tom (2006). «An Introduction to ROC Analysis» (PDF). Pattern Recognition Letters. 27 (8): 861–874. doi:10.1016/j.patrec.2005.10.010. S2CID 2027090.
2. Provost, Foster; Tom Fawcett (2013-08-01). «Data Science for Business: What You Need to Know about Data Mining and Data-Analytic Thinking». O’Reilly Media, Inc.
3. Powers, David M. W. (2011). «Evaluation: From Precision, Recall and F-Measure to ROC, Informedness, Markedness & Correlation». Journal of Machine Learning Technologies. 2 (1): 37–63.
4. Ting, Kai Ming (2011). Sammut, Claude; Webb, Geoffrey I. (eds.). Encyclopedia of machine learning. Springer. doi:10.1007/978-0-387-30164-8. ISBN 978-0-387-30164-8.
5. Brooks, Harold; Brown, Barb; Ebert, Beth; Ferro, Chris; Jolliffe, Ian; Koh, Tieh-Yong; Roebber, Paul; Stephenson, David (2015-01-26). «WWRP/WGNE Joint Working Group on Forecast Verification Research». Collaboration for Australian Weather and Climate Research. World Meteorological Organisation. Retrieved 2019-07-17.
6. Chicco D, Jurman G (January 2020). «The advantages of the Matthews correlation coefficient (MCC) over F1 score and accuracy in binary classification evaluation». BMC Genomics. 21 (1): 6-1–6-13. doi:10.1186/s12864-019-6413-7. PMC 6941312. PMID 31898477.
7. Chicco D, Toetsch N, Jurman G (February 2021). «The Matthews correlation coefficient (MCC) is more reliable than balanced accuracy, bookmaker informedness, and markedness in two-class confusion matrix evaluation». BioData Mining. 14 (13): 13. doi:10.1186/s13040-021-00244-z. PMC 7863449. PMID 33541410.
8. Tharwat A. (August 2018). «Classification assessment methods». Applied Computing and Informatics. 17: 168–192. doi:10.1016/j.aci.2018.08.003.

En fin, solo estoy divagando de nuevo. Volvamos a donde estábamos.

Métricas de evaluación de modelos de clasificación con Python

Pasemos al campo de batalla. En esta práctica calcularemos medidas de evaluación de los modelos de clasificación que trabajamos en la introducción a la regresión logística, y haremos el análisis de los resultados, para derivar las conclusiones correspondientes.

Puedes previsualizar el contenido aquí:

Así concluye esta (un poco) larga sesión. Estas métricas las verás varias veces a lo largo de tu carrera, es por eso que le hemos dedicado especial detalle. En la siguiente aventura hablaremos sobre el subajuste y sobreajuste de modelos de machine learning, otro tópico altamente relevante para la ciencia de datos.

• Un tipo de sesgo generado por la poca formación artística y desconocimiento histórico de la época sobre la que trata el texto.
• Una reseña útil para neófitos como yo.

Portada

índice del libro

• Presentación
• Capítulo 1: HABÍA UNA VEZ EN VINCI
• Capítulo 2: EN LA FLORENCIA DE LOS MEDICI
• Capítulo 3: EN MILÁN EN ÉPOCA DE LOS SFORZA
• Capítulo 4: EL ARTE Y LA GUERRA
• Capítulo 5: MILÁN, ROMA, AMBOISE
• Testimonios y documentación

Puntos favorables sobre la lectura

Esta obra fue redactada por Alessandro Vezzosi, un crítico de arte con amplia experiencia en la época y andanzas de Leonardo da Vinci, quien te lleva de la mano por un recorrido cronológico de sus obras, sazonado con imágenes demostrativas, datos históricos, y descripciones casi poéticas de las creaciones y elucubraciones del artífice italiano, siempre procurando dotar de contexto cada impronta expuesta, e intentando sintetizar los ideales que las engendran.

El sabor que se impregna en cada página es el que te deja una visita guiada por un experto que, de forma embelesante y eufórica, te conduce por un espacio atiborrado de recuadros, manuscritos, y todo tipo de remanentes históricos que serán explicados de manera breve y minuciosa. Un vistazo efímero, informado y apasionado.

En general, el libro cumple con su cometido mostrando lo que se presume como las creaciones más influyentes de Leonardo, considerando tanto aquellas de índole artístico como de otras esferas del conocimiento, con tintes más científicos y pragmáticos.

Puntos no tan favorables sobre la lectura

No puedo hacer énfasis en puntos negativos sobre materia en la que no soy muy versado, pero sí quiero denotar algunos aspectos que, en mi opinión, hubieran enriquecido la experiencia.

Una introducción no introductoria

El texto está debidamente documentado, pero creo que peca en su fugacidad. Hay vasta información contenida en pocas páginas (para algo que pretende ser histórico, y sobre un personaje con diversos matices), lo cual resulta difícil de digerir. De esto puedo aseverar que no se trata de un libro introductorio, el sabor será más ameno si se consume como un refuerzo o repaso de un estudio preliminar, donde se haya obtenido a priori un contexto histórico más sólido, y hayan florecido primeras impresiones menos atiborradas de interpretaciones.

De hecho, definitivamente recomiendo leer el último apartado de <<Testimonios y documentación>>, extrañamente fue la parte más interesante para mí de todo el recorrido.

Datos agridulces

Algo que me hizo ruido es la existencia de varias afirmaciones que me parecen cuestionables, y de las que no he logrado hallar más información fidedigna fuera de las páginas del libro. Por ejemplo, no he encontrado evidencia de que Leonardo haya calculado el diámetro del planeta Tierra (lo cual me pareció, en principio, genial y muy erastoténico de su parte), o encuentro extraño su juicio sobre que «ningún número impar tiene raíz cuadrada», cuando la misma definición de potencia (elevar al cuadrado), apunta a que todo número real positivo multiplicado por sí mismo tiene una raíz, a la cual se llega por la operación inversa (o sea, el mismo número de origen). Pienso que Leonardo lo hubiera atisbado.

Tal vez estos datos han sido malinterpretados por una mente poco experimentada en los campos del conocimiento ajenos al arte.

Y ya saben, cuando se trata de datos y matemáticas, sí me pongo más escrupuloso.

A la medida para artistas

Como último punto, cabe mencionar que el libro tiene una inclinación clara hacia la crítica artística. Existe todo un conjunto de conceptos propios de la técnica de la pintura y el dibujo, que son utilizados de forma recurrente para describir las obras exhibidas. Creo que es un libro que podrá engullir con mayor desenvoltura un erudito del arte, pero que podrá antojarse un poco intrincado para el lego (como su servidor).

Resumen y conclusión

De forma sintetizada, destaco el siguiente sumario sobre la lectura:

• Es un libro que cumple con su objetivo, una visita guiada por la vida y obra de Leonardo da Vinci, acompañada de interpretaciones y contexto histórico.
• Existen muchos datos interesantes, pero algunos (en especial aquellos de caracter científico) no parecen muy sólidos en cuanto a documentación y sentido.
• Es un libro orientado a la crítica de arte.
• No tiene la esencia de un primer vistazo, se puede degustar mejor si ya se tienen conocimientos previos.

Durante esta travesía conocerás las métricas más utilizadas para medir el desempeño de modelos de regresión, su finalidad, definición, análisis, y el cómo utilizarlas con Python.

Inventario recomendado

Matemáticas: algo de álgebra, probabilidad y estadística

Fundamentos del aprendizaje supervisado

Regresión lineal

Funciones de pérdida

Google Colab

Programación en Python

Algún aperitivo

Métricas de evaluación de modelos de regresión: cuáles y cómo utilizarlas

Después de finalizar el ajuste de los parámetros de un modelo mediante un algoritmo de aprendizaje automático, siempre será necesario evaluar qué tan capaz es de realizar cálculos eficientes sobre datos nuevos. Para esto, se utilizan métricas que operan sobre el conjunto de datos de prueba y un grupo predicciones realizadas con la función obtenida. En esta ocasión, aprenderemos sobre medidas que son frecuentemente utilizadas para evaluar modelos de regresión (modelos que realizan predicciones sobre valores en el espectro continuo), y que son parte medular de todo proceso post-entrenamiento.

Métricas para evaluar modelos de regresión

Existe una rica diversidad de medidas que puedes utilizar para determinar qué tan bien realiza estimaciones un modelo entrenado con machine learning. Para este fin, podemos utilizar funciones de pérdida como las que hemos visto en la exploración correspondiente, donde podemos recordar las siguientes para modelos de regresión:

• Error cuadrático medio (Mean Squared Error, MSE).
• Error absoluto medio (Mean Absolute Error, MAE).
• Error absoluto porcentual medio (Mean Absolute Percentage Error, MAPE)
• Raíz del error cuadrático medio (Root Mean Square Error, RMSE).
• Raíz del error logarítmico cuadrático medio (Root Mean Squared Logarithmic Error, RMSLE).
• Pérdida de Huber (Huber Loss).
• Pérdida Log-cosh. (Log-Cosh Loss).
• Pérdida cuantílica (Quantile Loss).
• L1 suavizado (Smooth L1).
• Pérdida ∈-insensible (∈-Insensitive Loss).

Pero, además, podemos hacer uso de cálculos como los que ofrecen otras métricas que no forman parte del conjunto de las funciones de pérdida:

• Coeficiente de determinación \text{R}^2.
• Coeficientes de correlación.

A pesar de que las opciones son variadas, aquí nos centraremos en algunas de uso frecuente. Siempre debes tener en cuenta que, dependiendo de las características de tus datos, algunas métricas serán más beneficiosas que otras, por lo que tú tienes la última palabra en cuanto a cuál utilizar.

Las mediciones que revisaremos y pondremos a prueba son:

• Error cuadrático medio (Mean Squared Error, MSE).
• Error absoluto medio (Mean Absolute Error, MAE).
• Coeficiente de determinación \text{R}^2 (R-Squared).
• Coeficiente de correlación de Pearson (Pearson Correlation Coefficient).

Definiciones y usos de métricas de evaluación con ejemplos

Las métricas que estamos a punto de explorar son ampliamente utilizadas para la evaluación de modelos de regresión, y aunque no son las únicas, nos ayudarán a comprender cómo operan y cómo utilizar otras para el mismo fin.

Para abordarlo, plantearemos un nuevo caso para el entrenamiento de un modelo: predicción de precios de casas (un ejemplo típico en machine learning, aunque siempre vigente).

Supongamos que se nos ha dado un conjunto de datos con precios de casas que dependen de características de estas como su tamaño, número de habitaciones, y ubicación:

Utilizando esto, nuestra meta es modelar la relación entre las variables de entrada y la variable objetivo.

Ya que hemos identificado los aspectos y tareas clave para cumplir nuestro objetivo, supondremos que hemos preprocesado nuestros datos y entrenado un modelo de aprendizaje supervisado que captura las relaciones entre las entradas y salidas, dando el siguiente resultado en las estimaciones realizadas:

Ya que tenemos predicciones hechas con el modelo, lo que sigue es evaluar su desempeño utilizando las métricas antes propuestas.

Veamos qué son y qué nos dice cada una.

Nota: estamos a punto de comenzar a explorar el funcionamiento e implicaciones de algunas métricas de evaluación. El fin es que conozcas cómo operan y cómo analizar los resultados obtenidos. Es tu obligación como científica/o de datos conocer gran parte de las métricas que tienes a disposición y aprender a utilizarlas de forma oportuna. (Es decir, en lo que concierne a las demás medidas de evaluación, se deja como ejercicio al lector).

Error cuadrático medio (MSE)

Las primeras dos métricas (MSE y MAE) son funciones de pérdida que operan de la forma que hemos presenciado con anterioridad, comparando los valores del conjunto de datos reales con las predicciones realizadas utilizando el modelo (véase la Imagen 3.4.1). Sin embargo, ambas son ligeramente diferentes, y lo revisaremos a detalle. Comenzaremos con la que ya hemos definido en una excursión pasada.

El Error Cuadrático Medio (MSE, por sus siglas en inglés de Mean Squared Error) es una métrica que mide la magnitud de los errores en las predicciones de un modelo de regresión, lo cual se hace calculando el promedio de elevar al cuadrado las diferencias entre los valores reales y las predicciones realizadas con el modelo.

Interpretación del MSE

Para interpretar los resultados del Error Cuadrático Medio, se debe considerar lo siguiente:

• Un MSE bajo indica que las predicciones del modelo están más cerca de los valores reales, lo cual es deseable.
• Un MSE alto significa que el modelo tiene un error más grande en las predicciones, lo cual indica un mal ajuste.

También debemos tomar en cuenta que, dado que el MSE es una métrica cuadrática, los errores grandes son penalizados de manera más severa que los errores pequeños (son más vistosos en el resultado, por así decirlo). Esto lo convierte en una métrica sensible a valores atípicos (outliers).

Por eso debemos tener cuidado al preparar los datos para su ingesta.

Cálculo del MSE

Ahora calculamos el MSE, justo como lo dicta la fórmula, con los datos de la Tabla 3.6.2:

Se obtiene el cuadrado de la diferencia entre las predicciones y los valores reales, y se suman:

\text{Suma de diferencia de errores} = (150,000 - 145,000)^2 + (200,000 - 210,000)^2\\ + (300,000 - 295,000)^2
+ (100,000 - 110,000)^2 + (180,000 - 175,000)^2

\text{Suma de diferencia de errores} = (5,000)^2 + (-10,000)^2, (5,000)^2 + (-10,000)^2 + (5,000)^2

\text{Suma de diferencia de errores} = 25,000,000 + 100,000,000 + 25,000,000 + 100,000,000\\ + 25,000,000

Se suman estos errores y se calcula el promedio, el cual se obtiene dividiendo la suma entre el número total de ejemplos (5 en este caso):

\text{MSE} = \frac{25,000,000 + 100,000,000 + 25,000,000 + 100,000,000 + 25,000,000}{5}

\begin{aligned}\text{MSE} &= \frac{275,000,000}{5} \\ &= 55,000,000\end{aligned}

Notarás que el MSE obtenido es 55,000,000 USD², lo cual representa el error promedio al cuadrado de las predicciones del modelo en comparación con los valores reales.

Análisis del MSE

En primera instancia, parece un valor alto. Dado que el MSE tiende a crecer con valores grandes en los datos, se puede deber a la presencia de algún valor atípico. Pero, además, se debe considerar la escala, ya que el MSE eleva al cuadrado las diferencias, por lo que el resultado no se encuentra en la escala original de los precios, que rondan entre 150 mil y 300 mil USD, dificultando la interpretación del resultado sin un contexto estadístico adicional. En algunos casos, se usa la Raíz del Error Cuadrático Medio (RMSE), que es simplemente la raíz cuadrada del MSE, para tener una métrica en las mismas unidades que la variable objetivo (en este caso, el precio en USD); o también se puede optar por utilizar alguna otra métrica para complementar la información, como el error absoluto medio, el cual veremos a continuación.

Error Absoluto Medio (MAE)

El Error Absoluto Medio (MAE) es una función de pérdida como el MSE, pero esta mide el error promedio entre las predicciones y los valores reales, sin tomar en cuenta el signo (si las pérdidas son positivas o negativas). Es decir, calcula el promedio de las diferencias absolutas entre las predicciones y los valores reales. La definición matemática concreta de esta y las demás medidas la veremos en la última sección.

Interpretación del MAE

Se considera lo siguiente para interpretar los resultados del MAE:

• Un MAE más bajo indica un error promedio menor, lo que significa que las predicciones están cerca de los valores reales.
• A diferencia del MSE, el MAE no penaliza tanto los errores grandes, ya que no los eleva al cuadrado. Esto lo hace más robusto frente a valores atípicos.

Eso no es la mejor idea, pero es una posibilidad. Recuerda que todo lo que uses para procesar tus datos va de acuerdo a las características que has develado mediante su análisis y manipulación.

Cálculo del MAE

Calculamos el MAE obteniendo la suma del valor absoluto de las diferencias entre los valores estimados y los del conjunto de datos como sigue:

\text{Suma de valor absoluto de errores} = |150,000 - 145,000| + |200,000 - 210,000|+\\ |300,000 - 295,000|+ |100,000 - 110,000|+ |180,000 - 175,000| 

\text{Suma de valor absoluto de errores} = 5,000 + 10,000 + 5,000 + 10,000 + 5,000 

Y obtenemos el promedio de esta suma:

\begin{aligned}\text{MAE} &= \frac{5,000 + 10,000 + 5,000 + 10,000 + 5,000}{5}\\ &= \frac{35,000}{5}\\ &= 7,000\end{aligned}

Análisis del MAE

El MAE obtenido es 7,000 USD, lo cual significa que, en promedio, las predicciones están a 7,000 USD de los valores reales. Esto es una porción relativamente baja, que ya se trata del 4.6% del valor más bajo en los precios, así como representa el 2.3% del valor más alto. Esto puede indicar que el modelo ha logrado capturar de manera efectiva las relaciones entre las entradas y las salidas.

Como verán en la práctica de Python, con una sola línea de código pueden obtener el valor de una métrica de evaluación, pero aquí estamos desarrollando un poco el proceso para captar la idea de operar con las predicciones y los datos del terreno real para determinar la precisión del modelo. No se asusten, el obtener las métricas es sencillo, lo importante es interpretarlas correctamente.

Coeficiente de Determinación (R2)

Ahora que hemos utilizado un par de funciones de pérdida, vamos con otro tipo de métricas útiles. \text{R}^2 es una medida que, entre otras palabras, indica qué proporción de la variabilidad en los datos es explicada por el modelo.

Cuando decimos que \text{R}^2 explica la variabilidad en los datos, nos referimos a cuánto del cambio o variación en los valores de la variable dependiente (o variable objetivo) puede ser explicado por las variables independientes (entradas o características) del modelo.

En el contexto de nuestro ejemplo, en nuestro conjunto de datos el precio de las viviendas puede variar debido a varios factores, como el tamaño, la ubicación o el número de habitaciones. Esta <<variabilidad>> o <<dispersión>> de los precios en el conjunto de datos es lo que el modelo intenta capturar, y \text{R}^2 cuantifica qué tanto los cambios en las entradas producen cambios en las salidas.

Interpretación del R2

La interpretación de esta métrica es relativamente sencilla:

• \text{R}^2=1 significa que el modelo explica el 100% de la variabilidad en los datos. Esto indica que el modelo se ajusta perfectamente a los datos, ya que todas las predicciones coinciden con los valores reales.
• \text{R}^2=0 indica que el modelo no explica ninguna variabilidad en los datos. En este caso, el modelo no es mejor que simplemente predecir el promedio de los valores reales; en otras palabras, el modelo no está mejorando la predicción en comparación con una simple línea horizontal que representaría el promedio de los valores de salida.
• Un \text{R}^2 negativo es posible si los errores del modelo son tan grandes que el modelo no solo no explica la variabilidad, sino que introduce más error, o sea, más valores alejados del patrón que se asume que describen los datos.

Cálculo del R2

Dado que para su definición matemática se requieren algunos términos más avanzados de estadística, solo mostraremos el resultado de esta medida para nuestro ejemplo, y hablaremos sobre cómo se calcula en la siguiente sección (donde podemos formalizar tranquilamente).

Supongamos que hemos calculado el R^2 y hemos obtenido lo siguiente:

\text{R}^2=0.75

Análisis del coeficiente de determinación

Un \text{R}^2 de 0.75 significa que el 75% de la variabilidad en el precio de las viviendas puede ser explicado por los valores de las variables de entrada. El otro 25% de la variabilidad puede deberse a factores no incluidos en el modelo, o a ruido aleatorio. Se puede concluir que, respecto a esta métrica, las variables independientes sí generan cambios en la variable objetivo, y el modelo ha logrado capturar parte de esta variabilidad. El valor es bueno, pero su lejanía de 25 puntos del 100 (0.75 de 1) indica que se puede mejorar la precisión de predicción del modelo evaluado.

Coeficiente de Correlación de Pearson

Por último, pero definitivamente no menos importante, el ya tradicional Coeficiente de Correlación de Pearson, es una medida de la la correlación lineal entre los valores reales y las predicciones del modelo, cuyo valor resultante está en el rango de -1 a 1. Esta métrica indica qué tan dependientes son las salidas de las entradas, y engloba esa dependencia en valores fácilmente interpretables, como vimos que hace \text{R}^2.

Interpretación del Coeficiente de Pearson

El coeficiente de Pearson se interpreta como sigue:

• Un 1 indica una correlación lineal positiva perfecta: a medida que aumentan o disminuyen los valores reales, aumentan o disminuyen también los valores de las predicciones.
• Un 0 indica que no hay correlación lineal entre las predicciones y los valores reales.
• Un -1 indica una correlación lineal negativa perfecta: a medida que aumentan los valores reales, las predicciones disminuyen, o viceversa, a medida que disminuyen los valores reales, las predicciones aumentan.

Sí, algo así es la idea.

Cálculo del Coeficiente de Correlación de Pearson

Al igual que como hicimos con \text{R}^2, dejaremos para después las operaciones propias de esta métrica. Por el momento, plantearemos que obtuvimos el siguiente valor de correlación:

\rho = 0.85

Análisis del coeficiente de correlación

Al obtener un valor de 0.85, podemos inferir que, al ser cercano a 1, implica que existe una correlación positiva fuerte entre las dos variables en cuestión. Esto significa que, en general, a medida que una variable aumenta, la otra también tiende a aumentar. Además, nótese la relación entre las variables es positiva, pero no perfecta. Es decir, aunque las dos variables se muevan en la misma dirección, puede haber algunos puntos que no sigan esta relación exacta debido a la variabilidad o ruido en los datos. Esto empata con el resultado obtenido en \text{R}^2.

Métricas de evaluación de modelos de regresión con Python

Ha llegado el momento de poner en marcha lo aprendido. En la práctica de hoy obtendremos medidas de evaluación de los modelos de regresión que trabajamos en la introducción a la regresión lineal, y haremos su respectivo análisis.

Puedes previsualizar el contenido aquí:

Para finalizar con este recorrido, haremos mención de la definición matemática de cada métrica para tener consciencia de cómo es que se calculan. No usaremos mucho estas definiciones en el futuro, pero te las dejaré aquí por si llegas a necesitarlas.

Métricas de evaluación de regresión: definiciones matemáticas

Para estas definiciones, consideremos que \mathcal{D} = \lbrace (x_{1},y_{1}),…,(x_{N},y_{N})\rbrace es un conjunto de N datos etiquetados, donde x_n representa las entradas y y_n a la salidas observada correspondiente a cada entrada. Además, se asume que existe un modelo h(x) entrenado con estos datos mediante un algoritmo de aprendizaje supervisado, el cual genera predicciones \hat{y}_n = h(x_n) para cada entrada x_n .

Definición (3.12) Error Cuadrático Medio. El Error Cuadrático Medio (MSE) evalúa la precisión promedio de un modelo h(x) como sigue:

\text{MSE} = \frac{1}{N} \sum_{i=1}^N (y_n - \hat{y}_n)^2,\tag{3.65}

donde, debe recordarse, \hat{y}_n es la predicción del modelo dadas las variables de la entrada x_n , y y_n es el valor del terreno real del conjunto de datos para esa entrada.

El MSE mide la magnitud del error al cuadrado, penalizando errores grandes más que errores pequeños.

Definición (3.13) Error Absoluto Medio. El Error Absoluto Medio (MAE) calcula el error promedio en valor absoluto entre las predicciones y los valores reales, proporcionando una medida de la distancia media absoluta entre los valores predichos y los valores observados. Se define como:

\text{MAE} = \frac{1}{N} \sum_{i=1}^N |y_n - \hat{y}_n|\tag{3.66}

Esta métrica es menos sensible a los valores atípicos que el MSE, ya que no eleva los errores al cuadrado. Nótese que |y_i - \hat{y}_i| representa la diferencia absoluta entre el valor observado y el valor predicho para cada observación.

Definición (3.14) Coeficiente de Determinación. El coeficiente de determinación \text{R}^2 mide la proporción del error cuadrático medio y la varianza. Se calcula mediante la siguiente operación:

\text{R}^2 = 1 - \frac{\sum_{n=1}^N (y_n - \hat{y}_n)^2}{\sum_{n=1}^N (y_n - \bar{y})^2}, \tag{3.67}

donde \bar{y} es el promedio de los valores observados y_n . Nótese que el numerador es el MSE, y el denominador la varianza de los datos. Cuando el error cuadrático medio es menor que la varianza total, significa que el modelo ha logrado capturar al menos parte de la variabilidad en los datos. En otras palabras, es indicativo de que el modelo mejora las predicciones en comparación con el uso de una simple línea promedio. Cuanto más se reduzca el error cuadrático medio en comparación con la varianza, mayor será el valor de \text{R}^2, lo cual indica un mejor ajuste del modelo.

Por lo tanto, la métrica \text{R}^2 toma valores entre 0 y 1, donde un valor cercano a 1 indica que el modelo explica bien la variabilidad de los datos, mientras que un valor cercano a 0 indica que el modelo no captura de forma eficiente la variabilidad.

Definición (3.15) Coeficiente de Correlación de Pearson. El Coeficiente de Correlación de Pearson mide la fuerza y dirección de la relación lineal entre las predicciones y los valores observados. Se obtiene como sigue:

\rho = \frac{\sum_{i=1}^n (y_i - \bar{y})(\hat{y}_i - \bar{\hat{y}})}{\sqrt{\sum_{i=1}^n (y_i - \bar{y})^2 \sum_{i=1}^n (\hat{y}_i - \bar{\hat{y}})^2}}, \tag{3.68}

donde \bar{y} y \bar{\hat{y}} representan las medias de los valores observados y predichos, respectivamente. El coeficiente r varía entre -1 y 1, donde un valor cercano a 1 indica una fuerte correlación positiva, un valor cercano a -1 indica una fuerte correlación negativa, y un valor cercano a 0 indica poca o ninguna correlación lineal.

Nuestra travesía ha concluido. Hemos aprendido cómo utilizar métricas para evaluar el rendimiento de un modelo de regresión. En nuestra siguiente sesión aprenderemos sobre la evaluación de modelos de clasificación, y con eso estaremos preparando nuestra salida hacia las exploraciones previas a uno de los modelos más icónicos del aprendizaje de máquinas.

Inventario recomendado

Nociones sobre conjuntos de datos y su ciclo de vida

Matemáticas: conocimiento en estadística descriptiva e inferencial

Algún acompañamiento

Análisis Exploratorio de Datos

Hasta el momento hemos abordado qué son los conjuntos de datos y cómo obtenerlos, pero después, ¿qué sigue?

El siguiente paso es conocer los datos. Esto implica tomarlos y explorarlos a conciencia con el fin de aprender sobre sus características, alcance, limitaciones, y las modificaciones que serán necesarias para dejarlos listos como entradas para un algoritmo de machine learning. Esto se hace realizando lo que se conoce como análisis de datos exploratorio.

Un análisis de datos exploratorio (EDA, por sus siglas en inglés: Exploratory Data Analysis) es un procedimiento que consiste en obtener conocimientos sobre un conjunto de datos mediante su manipulación, análisis estadístico descriptivo e inferencial, y visualización en representaciones gráficas. Es un paso vital en el flujo de trabajo cuyo fin es el entrenamiento de algoritmos de aprendizaje automático, ya que es necesario para conocer los aspectos básicos del conjunto de datos a utilizar, y del tratamiento que debe tener antes de ser modelado.

¿Cómo se hace un análisis exploratorio de datos?

El cómo ejecutar un análisis exploratorio puede variar conforme a los tipos de datos y los objetivos particulares, pero en general se recomienda seguir un flujo compuesto por las siguientes etapas.

1. Exploración de las características generales de los datos

El primer paso es conocer lo datos de manera superficial, aún sin preocuparnos por obtener medidas estadísticas. Esto se trata sobre conocer su composición, estructura, y calidad, y se puede resumir como sigue:

• Dimensión de los datos: Conocer cuántos registros (filas) y cuántos atributos o características (columnas) tiene el conjunto de datos.
• Tipo de datos: Identificar los tipos de datos que componen al conjunto: ¿se trata de datos estructurados o no estructurados?, ¿cuáles de estos son cuantitativos o cualitativos?, ¿qué tipo de datos computacionales son? (float, int, object, etc). Conocer los tipos de datos será vital para su manipulación numérica.
• Calidad de los datos: Debemos buscar posibles inconsistencias en los datos que puedan generar conflictos en cálculos realizados sobre estos, por ejemplo: datos faltantes, datos nulos, datos duplicados, datos mal registrados.

2. Estadística descriptiva

Después de conocer los datos con un primer acercamiento, es hora de obtener algunas medidas que nos hablen sobre estos en cuanto a sus propiedades matemáticas. Para esto, utilizaremos estadística descriptiva, la cual consiste en calcular medidas que resuman algunas de sus características más elementales. Ejemplos de métricas que se suelen utilizar son las siguientes:

• Medidas de tendencia central: Media, mediana, moda.
• Medidas de dispersión: rango, varianza, desviación estándar, rango intercuartílico.
• Medidas de posición: cuartiles, percentiles.
• Medidas de forma: asimetría, curtosis.

No precisamente. Todo dependerá de los datos, tus necesidades, y lo que hayas observado en estos. Tú llevas la batuta de los componentes de tu análisis exploratorio.

3. Visualización de datos

Una parte imprescindible de la ciencia de datos es la visualización de datos utilizando gráficas. Esto facilita el conocimiento intuitivo de algunas de las propiedades de los datos, y facilita su comprensión. Es importante saber llevar los datos al dominio de las gráficas, tanto para observar propiedades como para compartir hallazgos.

Algunas gráficas recomendadas son las siguientes:

• Histogramas: Utilizados para visualizar la distribución de una variable numérica.
• Gráficos de barras: Utilizados para representar y comparar la frecuencia, cantidad o proporción de diferentes categorías o grupos.
• Diagramas de cajas y bigotes: Representan la distribución de una variable numérica resaltando los cuartiles, la mediana y los valores atípicos (outliers).
• Gráficos de dispersión: Utilizados para examinar la relación entre dos variables numéricas.
• Gráficos de densidad: Son una versión suavizada de los histogramas, utilizados para visualizar la distribución de una variable. Proporcionan una visión más continua de la densidad de los datos, sin depender de la elección de bins.
• Gráficos de pastel: Se utiliza para representar la composición o proporción de un todo. Está formada por un círculo dividido en «rebanadas» (sectores) que muestran cómo se distribuyen diferentes partes dentro de un conjunto total de datos.
• Mapas de calor: Utilizados para visualizar matrices de correlación entre múltiples variables numéricas. Facilitan la identificación de relaciones fuertes o débiles entre las variables.
• Gráficos de línea: Utilizados para visualizar datos temporales o series de tiempo. Ayudan a identificar tendencias a lo largo del tiempo, patrones estacionales y anomalías.

Estos son algunos ejemplos para darte una idea de la variedad de gráficas que puedes tener a tu disposición. Recuerda que tú decides cuáles serán o no de utilidad para tus fines.

Se considera que la primera gráfica utilizada con fines estadísticos fue publicada en 1644 por el astrónomo y cartógrafo belga Michael Florent van Langren, en su obra <<La verdadera Longitvd por Mar y Tierra>>. En esta se mostraban las diferentes estimaciones de la longitud geográfica entre las ciudades de Toledo (España) y Roma (Italia), realizadas por varios astrónomos y geógrafos de la época.

4. Análisis inferencial

El análisis inferencial, finalmente, consiste en la aplicación de técnicas estadísticas para obtener información más profunda sobre los datos; esto se hace a través de métodos que infieran propiedades de estos al operar sobre ellos. Algunos ejemplos de técnicas que podrías utilizar, son los siguientes:

• Pruebas de hipótesis.
• Medidas de covarianza y correlación.
• Detección de datos anómalos.
• Análisis de componentes principales.
• Análisis de componentes de series de tiempo.

Lo vuelvo a repetir, lo que hagas para realizar inferencias estadísticas en un análisis exploratorio dependerá de las cualidades de tus datos, y de los aspectos que hayas develado anteriormente mediante la estadística descriptiva; los mencionados aquí son meramente informativos, y no pretenden ser ni obligatorios ni únicos.

Las distintas tareas que hemos explicado aquí para la ejecución de un análisis exploratorio se resumen en la Figura 2.6.1:

Existen diferentes formas de hacerlo. Se puede realizar con cualquier plataforma o lenguaje de programación que permita la manipulación de datos y la aplicación de técnicas estadísticas. Yo personalmente sugiero que lo hagas usando la misma herramienta con la que crees y pongas en marcha tu algoritmo de machine learning. En nuestro caso, lo haremos con Python, pero esto será hasta nuestro próximo encuentro.

Así finaliza este breve cruce con una de las actividades más elementales en todo proceso que incluya la puesta en marcha de un algoritmo de aprendizaje automático. Nuestra siguiente expedición será sobre preprocesamiento de datos, una etapa del ciclo de vida de los datos que incluye el análisis aquí expuesto, y que pondremos en práctica utilizando Python.