Este par de situaciones son muy comunes a la hora de modelar datos mediante algoritmos de aprendizaje supervisado. Aquí exploraremos cada uno de estos, describiremos sus causas, consecuencias, diagnóstico, y abordaremos algunos ejemplos de forma teórica y práctica con lenguaje de programación Python.

Inventario recomendado

Regresión lineal

Métricas de evaluación de modelos de regresión

Google Colab

Programación en Python

Algún tentempié

Introducción al sobreajuste y subajuste de modelos de machine learning

Como ya hemos visto durante nuestras dos últimas prácticas para la evaluación de modelos de aprendizaje supervisado (tanto de regresión como de clasificación), existen diferentes formas de medir el desempeño de un modelo cuyos parámetros han sido ajustados mediante algoritmos de machine learning.

Durante la evaluación del modelo resultante, pueden develarse problemas al momento de realizar los cálculos sobre los conjuntos de datos de entrenamiento y prueba. Lo más común es encontrar que, si los modelos no realizan predicciones de manera relativamente aceptable, entonces están sobreajustados o subajustados. ¿A qué nos referimos con esto?

¿Qué es el subajuste de un modelo de machine learning?

Un modelo subajustado es un modelo de aprendizaje de máquinas que no logra capturar o «aprender» correctamente los patrones subyacentes a los datos debido, principalmente, a su simplicidad matemática (del modelo generado) y, por lo tanto, tiene un desempeño deficiente al ser evaluado tanto en el conjunto de datos de entrenamiento como en el de prueba.

Es correcto, sus capacidades predictivas no muestran un rendimiento aceptable al ser utilizado para predecir valores en los conjuntos de datos para su entrenamiento y prueba. Esta es su característica más distintiva.

Para entender mejor cómo funciona esta deficiencia en el ajuste del modelo (el cálculo de sus parámetros) es observando las gráficas de la Figura 3.8.1, donde se observan las formas que dibujan dos modelos que pretenden describir el comportamiento de los datos:

Nótese que la primera figura es una línea recta como la que hemos generado con las regresiones lineales de las prácticas anteriores. A pesar de que la función que dibuja esta línea está optimizada para mantener una distancia promedio corta respecto a cada punto (dato), esta no representa una tendencia muy similar a la que dibujan los datos (que parecen dibujar una especie de curva). Se dice, entonces, que el modelo está subajustado, ya que sus predicciones no son muy precisas al momento de evaluar su desempeño.

En cambio, en la gráfica de la derecha, se han mapeado los valores de una función que genera una forma más ajustada al movimiento de los datos. Esta curva se puede obtener utilizando regresiones polinomiales. El modelo resultante tiene un mejor desempeño en las predicciones.

Una regresión polinomial es una regresión lineal que modela un polinomio de n-ésimo grado. No la utilizaremos mucho, por lo que no ahondaremos en el tema, si deseas saber más puedes revisar la definición en Wikipedia, la cual me ha parecido correcta y concisa, pero no es necesario que lo atiendas. También utilizaremos esto más tarde en nuestra práctica de Python.

Matemáticamente hablando, los modelos de ambos ejemplos (Figura 3.8.1) tienen la siguiente forma:

• Modelo subajustado (regresión lineal):

y = ax + b \tag{3.76}

• Modelo con un mejor ajuste (regresión polinomial de grado 3):

y = ax^3 + bx^2 + cx + d  \tag{3.77}

Hago este énfasis porque la elección del algoritmo utilizado para entrenar el modelo muchas veces es un aspecto clave para un ajuste efectivo de los parámetros. Nótese que los modelos presentados son solo la forma general de estos, donde los valores de los parámetros (a, b, c, d...) son los que se encuentran mediante la etapa de entrenamiento con un algoritmo de aprendizaje supervisado.

Finalmente, hay que tomar en cuenta que las deficiencias características del subajuste se encuentran directamente al medir el rendimiento del modelo en los conjuntos de datos de entrenamiento y prueba; esto es lo que hicimos durante nuestras últimas dos prácticas, en especial en la que corresponde a las métricas de evaluación de modelos de regresión (ya que acabamos de plantear el uso de regresiones lineales).

Hagamos un pequeño ejercicio al respecto, para refrescar nuestra memoria en el tema:

Esto quedará mucho más claro en nuestra práctica con Python, donde veremos ejemplos que analizaremos con métricas de evaluación.

Posibles causas de un modelo subajustado

Las razones por las que un modelo puede sufrir un subajuste pueden ser variadas y depender de los datos y el tipo de algoritmo utilizado para ajustar los parámetros. Sin embargo, estas pueden ser las causas más comunes para un subajuste:

• Modelo demasiado simple: No tiene suficiente capacidad para aprender patrones complejos. Esto se vio en el ejemplo de la Figura 3.8.1, donde un modelo como el que produce una regresión lineal simple (univariada) no es lo mejor en datos con patrones no lineales.
• Falta de datos: No hay suficiente información para aprender relaciones significativas entre las variables de entrada y las salidas, es decir, se requiere de un conjunto de datos más grande.
• Muy pocas características: No se han incluido variables de entrada clave en los datos de entrenamiento. Por ejemplo, si se desea obtener un modelo que sea capaz de predecir la calificación que obtendrá un alumno en un examen, probablemente los datos que pueden aportar información al respecto son: horas de estudio, calificaciones promedio, o estatus social. En cambio, variables que no aportan información relevante pueden ser: nombre del alumno, día de nacimiento, rango en Fortnite, etc.
• Mala selección de hiperparámetros: existen algunos parámetros relativos a los algoritmos utilizados, que veremos más adelante en el curso, que pueden ser decisivos en el ajuste final del modelo, algunos ejemplos son: número de iteraciones, regularización, optimizador, tasa de aprendizaje.

¿Qué es el sobreajuste de un modelo de machine learning?

Un modelo sobreajustado es un modelo obtenido mediante algoritmos de aprendizaje de máquinas cuyo comportamiento se adhiere de manera muy fiel a la tendencia de los datos de entrenamiento, con un ajuste que no solo captura los patrones subyacentes, sino también el ruido y las variaciones irrelevantes.

Esto provoca que el modelo tenga un rendimiento muy aceptable al evaluarse en el conjunto de datos de entrenamiento, pero que sea deficiente al operar sobre datos nuevos (es decir, en el conjunto de datos de prueba, o datos nuevos recolectados), ya que no logra generalizar bien su comportamiento.

A diferencia del subajuste, el sobreajuste ocurre cuando el modelo es demasiado complejo en comparación con la estructura de los datos. Como mencionó Mmerf, en la etapa de entrenamiento su desempeño luce muy bien, pero al evaluarse con los datos de prueba ya no funciona de igual manera.

El efecto del sobreajuste se observa en las gráficas de la Figura 3.8.2:

En este caso, en la primera gráfica yace el modelo que vimos anteriormente, donde los datos pueden ser modelados mediante una curva que decae sutilmente y se ajusta a su comportamiento sin encajar perfectamente en estos, lo que implica que realiza predicciones con pequeños defectos pero cercanas a la tendencia subyacente.

En la figura de la derecha, sin embargo, se visualiza una función que está demasiado ajustada al movimiento de los datos, provocando que se dibuje una figura irregular que intenta abarcar las variaciones de todas las observaciones, aunque estas puedan representar valores atípicos o ruido; obsérvese el último punto, el cual parece ser un valor atípico en el conjunto de datos, y que el modelo traza de manera exacta.

Esto implica que el modelo está sobreajustado, generando una función matemática que predice correctamente solo los valores del conjunto de datos de entrenamiento, pero falla en el conjunto de datos de prueba (no es capaz de realizar estimaciones correctas sobre valores cuya tendencia en realidad es una curva, no un conjunto de valles irregulares, como lo que se ha dibujado en la gráfica de la derecha).

Matemáticamente hablando, los modelos de ambos ejemplos tienen la siguiente forma:

• Modelo con un mejor ajuste (regresión polinomial de grado 3):

y = ax^3 + bx^2 + cx + d

• Modelo sobreajustado (regresión polinomial de grado 15):

y = a_{15}x^{15} + a_{14}x^{14} + \dots + a_2x^2 + a_1x + a_0

De esto se desprende que utilizar modelos de varias dimensiones (variables) y grados altos puede desembocar en un sobreajuste, por lo que es necesario tener cuidado en mantener un balance entre los algoritmos de aprendizaje de máquinas a utilizar y las dimensiones de entrada de los datos.

Las gráficas finales de cada modelo con ajustes diferentes se pueden contemplar en la Figura 3.8.3

Así es, los modelos de clasificación pueden tener los mismos problemas. Para identificarlos se sigue la misma metodología, se realizan las respectivas mediciones de desempeño utilizando métricas de evaluación de modelos de clasificación.

Posibles causas de un modelo sobreajustado

Las razones por las que un modelo puede sufrir sobreajuste, al igual que en el subajuste, pueden ser variadas y dependen principalmente del conjunto de datos y/o de la complejidad del modelo utilizado. A continuación, se presentan algunas de las causas más comunes para un sobreajuste:

• Modelo demasiado complejo: Tiene una gran cantidad de parámetros y variables, lo que le permite aprender incluso el ruido en los datos en lugar de los patrones generales.
• Demasiadas características irrelevantes: Si el modelo tiene muchas variables que no aportan información útil, puede ajustarse demasiado a datos específicos sin realizar generalizaciones correctamente.
• Insuficiente cantidad de datos: Con pocos datos, el modelo puede aprender patrones específicos del conjunto de entrenamiento en lugar de patrones generales.
• Las particiones del conjunto de datos no tienen la misma distribución: Los conjuntos de datos de entrenamiento prueba y/o validación no muestran consistencia en su comportamiento.
• Mala selección de hiperparámetros: Algunos parámetros, como la falta de regularización o arquitectura del algoritmo a utilizar, pueden hacer que el modelo sea demasiado flexible y se adapte al ruido.

Detección de ajuste y sobreajuste de modelos con Python

Es hora de un poco de acción. En la práctica de hoy revisaremos un caso de subajuste y sobreajuste de modelos, realizando diagnósticos con métricas de evaluación.

Puedes previsualizar el contenido aquí:

Hemos concluido uno de los temas más comunes de deficiencias en modelos de aprendizaje de máquinas. Conforme avancemos en esta travesía, experimentaremos formas de identificar y lidiar con estos desperfectos.

A partir de ahora, los temas serán un poco más avanzados y enfocados en la optimización del entrenamiento de modelos, ya que constituyen el preámbulo para la comprensión y práctica de las redes neuronales artificiales.

Esta propiedad en la estructura de los datos, que puede llegar a ser problemática, será explorada aquí de manera breve pero detallada, de forma que comprenderemos de qué se trata, qué problemas plantea, y cómo podemos detectarlo.

Estadística descriptiva

Fundamentos de conjuntos de datos y datos etiquetados

Algún acompañamiento

Datos desbalanceados, definición y ejemplos

Los conjuntos de datos no son perfectos. Generalmente, contienen irregularidades que son tratadas principalmente en la etapa de preprocesamiento. Entre estos desperfectos, se pueden tener estructuras en las que los datos no se encuentren distribuidos de manera equilibrada, afectando el entrenamiento de modelos de aprendizaje de máquinas; a esto se le conoce como datos desbalanceados.

De forma más concisa, los datos desbalanceados son una característica de un conjunto de datos en el que la distribución de una o más variables de interés está sesgada, es decir, ciertos valores, clases o rangos de datos están representados de manera desigual en comparación con otros.

En el contexto del aprendizaje supervisado, en lo que se refiere datos etiquetados en los que se han definido variables de entrada y variables de salida, un desbalance de este tipo no permitiría el entrenamiento óptimo de un modelo de machine learning.

¿Aún no captas por completo el concepto?, lo ilustraremos con un ejemplo para tareas tanto de clasificación como de regresión.

Datos desbalanceados para entrenar modelos de clasificación

Recordemos que en conjuntos de datos que se utilizan para entrenar un modelo clasificador, se etiquetan los datos de forma que cada ejemplo de entrenamiento pertenece a alguna clase particular. Un caso de datos perfectamente balanceados es el siguiente:

En la Tabla 3.6.1.1 se puede observar cómo se tienen 5 valores asignados a la clase 1, y 5 valores asignados a la clase 0 (la mitad). Esto indica que tenemos los datos balanceados, ya que se tiene una cantidad igual de datos pertenecientes a cada clase.

Si trasladamos esto al caso que trabajamos con la regresión logística, se tendrían la mitad de datos asignados a la clase Black Metal, y el otro a la clase Reggaeton (y los valores de la variable de entrada corresponderían a la bailabilidad).

Podemos utilizar otro ejemplo como el de detección de fraudes: la clase 1 indica que una transacción es fraudulenta, mientras que la clase 0 indica que no lo es, y las variables a considerar pueden ser datos demográficos o de comportamiento del usuario.

Aquí lo que importa realmente es la porción que existe etiquetada para cada clase: si se tuviera un millón de datos, estos estarían perfectamente balanceados si la mitad estuvieran etiquetados a una clase y la mitad restante a la otra clase (500 mil y 500 mil, respectivamente).

En el caso de haber más clases se estaría buscando igualdad de proporción de cada una de estas en el conjunto de datos; por ejemplo, en un escenario ideal, un conjunto de datos etiquetado con cuatro clases tendría que tener, idealmente, la siguiente distribución:

• Clase 1: 25%
• Clase 2: 25%
• Clase 3: 25%
• Clase 4: 25%

O, en un conjunto con tres clases, se esperaría aproximadamente esto:

• Clase 1: 33.33%
• Clase 2: 33.33%
• Clase 3: 33.33%

No sucede nada, lo que se busca es tener datos relativamente balanceados, de forma que el entrenamiento del modelo no se termine sesgando. Es casi imposible que hallemos datos que, naturalmente, cuenten con balances perfectos, solo debemos procurar ser conscientes de las distribuciones de estos y sus posibles efectos durante la etapa de entrenamiento.

Vayamos con un ejemplo de lo que implica esto. Si tenemos la mayoría de los ejemplos de entrenamiento etiquetados para solo una clase, entonces el modelo aprenderá a predecir esta clase con efectividad, pero no podrá realizar inferencias precisas sobre la clase o clases restantes.

En la Tabla 3.6.1.2 se puede observar el mismo ejemplo que hemos visualizado con anterioridad, pero con las clases desbalanceadas:

En esta última tabla, es notorio cómo la clase 0 contiene menos datos asignados que la clase 1, de forma que la proporción queda como sigue:

• Clase 1: 80%
• Clase 0: 20%

Una distribución de este tipo impide un modelado efectivo para la predicción de ambas clases. Una excelente manera de percibir un desbalanceo en un conjunto de datos es mediante representaciones gráficas:

Vamos hacia allá.

Métricas y reglas para determinar si los datos están desbalanceados

Existen diversos métodos para determinar si un conjunto de datos para tareas de clasificación está desbalanceado, a continuación describiremos algunos de los más utilizados.

Ratio de desequilibrio

Una medida sencilla para identificar desbalance de clases en un conjunto de datos es calcular la proporción de asignación de las clases. Para esto se puede utilizar la medida de ratio de desequilibrio (imbalanced ratio):

\text{Imbalanced Ratio (IR)} = \frac{\text{Tamaño de la clase mayoritaria}}{\text{Tamaño de la clase minoritaria}}, \tag{3.68.1}

donde la clase mayoritaria es aquella que acapara la mayor cantidad de datos.

El criterio convencionalmente aceptado para interpretar esta métrica es que un conjunto de datos con un valor de ratio de desequilibrio mayor a 2 (IR\ge2) puede considerarse desbalanceado, tomando en cuenta la naturaleza de los datos.

Si utilizamos el ejemplo de la Tabla 3.6.1.2, el cálculo del IR es:

\text{IR} = \frac{\text{8}}{\text{2}}=4 \tag{3.68.2}

Este resultado implicaría un gran desbalanceo, ya que un valor de (IR=1) indica un equilibrio perfecto entre las clases (\frac{50}{50}).

Porcentaje de la clase minoritaria (Minority Class Percentage)

Este porcentaje evalúa qué proporción del total representa la clase minoritaria (aquella que aparece con menos frecuencia). Si la clase minoritaria representa menos del 30% de los datos, es probable que haya desbalance. Volviendo al ejemplo anterior:

• Clase 1: 80%
• Clase 0: 20%

Aquí, la clase minoritaria es menos del 30%, lo cual indica un posible desbalance.

Existen otras variadas formas de determinar un desequilibrio significativo entre clases en un conjunto de datos:

• Utilizar gráficas como las que se visualizaron en la Figura 3.6.1.1.
• Utilizar métricas basadas en el desempeño del modelo, las cuales veremos en nuestra próxima exploración.
• Para conjuntos de datos con más de dos clases (multiclase), se puede consultar Measuring the Class-imbalance Extent of Multi-class Problems de Hernández y Lozano.

Con esto debería quedar claro cómo lucen los datos desbalanceados. Recuerda que siempre hay que evaluar el impacto de esto conforme al contexto de los datos y diferentes métricas para la evaluación del conjunto de datos y del modelo entrenado mediante su ingesta.

Datos desbalanceados en conjuntos de datos para entrenar modelos de regresión

Hemos visto cómo lucen los conjuntos de datos con clases desbalanceadas en conjuntos etiquetados con categorías cuyo destino es el entrenamiento de modelos de clasificación. Revisemos cómo se puede dar esto en conjuntos de datos con objetivos de entrenamiento de modelos de regresión.

En un conjunto de datos destinado a una tarea de regresión, los datos desbalanceados se refieren a una distribución no uniforme de la variable objetivo (variable dependiente o salidas) en el rango de valores que esta puede tomar. Aunque el concepto de clases no aplica como en la clasificación, el desbalance puede manifestarse en los siguientes casos:

Concentración de valores en pocos rangos

En un conjunto de datos desbalanceado la mayoría de los valores de las salidas pueden estar concentrados en un rango específico, dejando a los rangos restantes con pocos ejemplos de entrenamiento.

Recordemos el ejemplo de los alumnos y sus calificaciones respecto a horas de estudio que atendimos en la lección sobre la regresión lineal. Podríamos tener un conjunto de datos como este:

En la Tabla 3.6.1.3 puedes notar cómo la mayoría de las calificaciones son altas (mayores a 85). Esto ocasionaría que un modelo entrenado con estos datos no sea capaz de predecir correctamente calificaciones con valores más bajos. Un histograma de estos datos con los rangos mencionados se puede observar en la Figura 3.6.1.2:

Presencia de valores atípicos (outliers)

Se pueden desbalancear los datos si se cuenta con valores atípicos en la variable objetivo, es decir, que están muy alejados del comportamiento de la mayoría de los datos. Esto ya lo hemos visto en nuestras actividades entrenando modelos, y hemos trabajado en deshacernos de este tipo de valores mediante diferentes métodos matemáticos.

Un ejemplo de esto luciría como se muestra en la Tabla 3.6.1.4:

Para discernirlo mejor, observemos la siguiente gráfica:

La aparición de este tipo de observaciones puede ocasionar sesgos en el rendimiento del modelo entrenado.

Sesgo en la Distribución

Otro tipo de desequilibrio en los datos se da cuando las entradas presentan una distribución sesgada, la cual es generada por valores que no se distribuyen de forma normal o simétrica.

En la Figura 3.6.1.5 se puede consultar cómo luce una gráfica de datos con una distribución aproximadamente normal, donde los valores caen alrededor de la media y la mediana, y también se aprecia una distribución asimétrica, donde la mayoría de los valores de calificaciones son altos, provocando una <<cola>> negativa, y un conglomerado en los valores positivos, generando un sesgo en los rangos de los valores.

Cómo detectar datos desbalanceados para entrenamiento de modelos de regresión

Para hallar indicios de un conjunto de datos desequilibrado, podemos utilizar los siguientes métodos:

Coeficiente de asimetría

El coeficiente de asimetría (skewness) es una medida que indica si la distribución de los datos está sesgada hacia la izquierda (sesgo negativo) o hacia la derecha (sesgo positivo). Se calcula como sigue:

\text{Coeficiente de asimetría} = \frac{ \frac{1}{N} \sum_{i=1}^{N} (x_i - \bar{x})^3 }{ \left( \frac{1}{N} \sum_{i=1}^{N} (x_i - \bar{x})^2 \right)^{\frac{3}{2}} }, \tag{3.68.3}

donde N es la cantidad total de observaciones/datos, x_i es la i-ésima observación, y \bar{x} es la media de las observaciones.

El valor resultante se interpreta de la siguiente manera:

• Coeficiente de asimetría (Skewness) ≈ 0 → Distribución simétrica.
• Coeficiente de asimetría (Skewness) > 0 → Sesgo positivo (cola a la derecha).
• Coeficiente de asimetría (Skewness) < 0 → Sesgo negativo (cola a la izquierda).

Curtosis (kurtosis)

La curtosis mide cuánto peso tienen las colas de la distribución en comparación con una distribución normal. Se calcula:

\text{Curtosis} = \frac{ \frac{1}{N} \sum_{i=1}^{N} (x_i - \bar{x})^4 }{ \left( \frac{1}{N} \sum_{i=1}^{N} (x_i - \bar{x})^2 \right)^{2} }, \tag{3.68.4}

donde, de igual manera, N es la cantidad total de datos, x_i es la i-ésima observación, y \bar{x} es la media de las observaciones.

Esta medida se interpreta de la siguiente forma:

• Curtosis ≈ 3 → Distribución normal (Mesocúrtica).
• Curtosis > 3 → Colas más pesadas (Leptocúrtica, más valores extremos).
• Curtosis < 3 → Colas más ligeras (Platicúrtica, valores concentrados en el centro).

Coeficiente de variación

El Coeficiente de Variación (CV) es una métrica que indica altas variaciones en los datos, lo cual puede señalar posibles apariciones de datos atípicos, desbalanceando la distribución de estos.

Este se calcula como se muestra a continuación:

CV = \frac{\sigma}{\bar{x}}, \tag{3.68.5}

donde \sigma es la desviación estándar de los datos, y \bar{x} su promedio.

Se interpreta como sigue:

• CV ≈ 0 → Poca variabilidad (valores muy similares entre sí).
• CV alto (>0.5) → Alta dispersión (datos desbalanceados).
• CV muy alto (>1) → Datos extremadamente dispersos.

Además de estas medidas, se pueden utilizar las siguientes herramientas:

• Gráficas como las que hemos mostrado antes, donde se puedan visualizar diferencias significativas en la distribución de los datos.
• Técnicas para identificación de valores atípicos como el rango intercuartílico o isolation forest.
• Métricas de evaluación de modelos de regresión.
• Comparación entre la media y la mediana de las observaciones.

¿Podemos ponerlo en práctica? Sí, pero no creo que sea necesario. Estas métricas son relativamente sencillas de calcular, y vamos a ver datos desbalanceados sobre otras prácticas en las que usaremos conjuntos de datos para entrenar modelos. Por el momento, lo dejaremos así, tengan paciencia, esos datos desbalanceados llegarán eventualmente.

Eso es un tema que puede llegar a ser demasiado extenso, veremos estos métodos más adelante, cuando abarquemos tópicos avanzados y especializados de ciencia de datos.

Justo como hicimos cuando aprendimos sobre métricas para medir el desempeño de modelos de regresión, en esta sesión revisaremos qué métricas cumplen con este objetivo para modelos que categorizan datos, cómo se usan, analizan, e interpretan; todo llevado a la práctica en un caso utilizando Python.

Inventario recomendado

Matemáticas: algo de álgebra, probabilidad y estadística

Fundamentos del aprendizaje supervisado

Regresión logística

Función de pérdida de la regresión logística

Google Colab

Programación en Python

Algún aperitivo

Métricas de evaluación de modelos de clasificación: cuáles y cómo utilizarlas

Recordemos que en aprendizaje supervisado podemos abordar problemas mediante dos tipos de enfoques en cuanto a objetivos de modelos: modelos de regresión y modelos de clasificación.

Los modelos de regresión predicen valores de una variable continua (salida) respecto a los valores de variables con las que está relacionada (entradas). De este tipo de modelos ya hemos trazado cómo evaluar su desempeño al generar predicciones sobre datos nuevos no pertenecientes al conjunto de datos de entrenamiento.

Los modelos de clasificación, por otro lado, tratan sobre funciones que, mediante un análisis de probabilidades, determinan a qué clase pertenece cada dato de entrada de entre un grupo de categorías predefinidas.

Un ejemplo de esto es el caso que hemos desarrollado en la práctica de Python de la regresión logística, en la que se clasificaron canciones de entrada en géneros musicales de acuerdo a sus características. Más adelante veremos cómo utilizar esas mismas clasificaciones para evaluar los modelos con Python, pero hoy trabajaremos con un nuevo ejemplo para explicar cómo determinar las capacidades de clasificación de un modelo de este tipo, las cuales no contemplan ninguna de las métricas vistas en la anterior exploración.

Métricas para evaluar modelos de clasificación

Antes de exponer un nuevo ejemplo, haré mención de las métricas de las que puedes disponer para evaluar modelos de clasificación. Primero, y porque ya las hemos mencionado y estudiado con anterioridad, puedes considerar el uso de funciones de pérdida.

Las funciones de pérdida más comunes para modelos de clasificación son las siguientes:

• Pérdida de entropía cruzada (Cross Entropy Loss).
• Pérdida de entropía cruzada sigmoidea (Sigmoid Cross Entropy Loss).
• Pérdida de entropía cruzada softmax (Softmax Cross Entropy Loss).
• Verosimilitud logarítmica negativa (Negative Log-Likelihood).
• Pérdida 0-1 (0-1 Loss).
• Pérdida de Hinge (Hinge Loss).
• Pérdida Huber modificada (Modified Huber Loss).
• Pérdida de Hinge suavizada (Smooth Hinge Loss).
• Pérdida de Hinge reescalada (Rescaled Hinge Loss).
• Pérdida de rampa (Ramp Loss).
• Error de clasificación mínimo (Minimum Classification Error).
• Pérdida logarítmica (Log Loss).
• Pérdida exponencial (Exponential Loss).
• Pérdida basada en margen (Margin-Based Loss).
• Ranqueo por parejas (Pairwise Ranking).
• Ranqueo por tripleta (Triplet Ranking).
• Pérdida contrastiva (Contrastive Loss).
• Pérdida pinball (Pinball Loss).
• Pérdida pinball truncada (Truncated Pinball Loss).

No, siendo honestos dudo que haya alguien que las conozca y haya aplicado todas, salvo quienes se hayan dedicado específicamente a escribir artículos científicos sobre funciones de pérdida de modelos de clasificación. Solo lo pongo aquí para que sepan que existen.

Mientras menos ignoremos sobre lo que nos especializamos, mejor. Además, deben tener en cuenta que las funciones de pérdida tienen un amplio uso en el entrenamiento de modelos, más que en su evaluación final. Para eso, suelen utilizarse otras métricas, que son las que veremos a continuación.

Además de las funciones de pérdida, entre las cuales ya estudiamos con gran detalle la entropía cruzada, se cuenta con métricas que son mucho más frecuentes en la práctica de la ciencia datos.

Todas estas parten de la organización de los resultados en algo que se conoce como matriz de confusión. Es un concepto clave en ciencia de datos que debemos conocer.

Matriz de confusión para evaluar modelos de clasificación

La matriz de confusión es una herramienta típica para la evaluación de modelos que realizan clasificaciones binarias. De forma más específica, la matriz de confusión es una matriz de dos dimensiones utilizada para evaluar sistemas de clasificación mostrando la cantidad de datos correcta e incorrectamente categorizados.

Vamos a revisar con detalle cómo luce y cómo se utiliza, pero para entenderla de forma concreta, antes debemos definir los elementos que la componen.

Componentes de la matriz de confusión

Una matriz de confusión está conformada por los valores de las clasificaciones binarias (de dos clases) realizadas por un modelo entrenado. Se distinguen dos tipos:

• El modelo predice que un dato pertenece a la clase 0 (que también llamaremos clase <<negativa>>).
• El modelo predice que un dato pertenece a la clase 1 (que también llamaremos clase <<positiva>>).

Teniendo esto en cuenta, en la matriz de confusión se utilizan este par de clasificaciones y se dibujan los siguientes casos de acuerdo a los aciertos o errores del modelo:

• El modelo predice que un dato pertenece a una clase 1 (positiva), y su predicción es correcta.
• El modelo predice que un dato pertenece a una clase 1 (positiva), pero en realidad pertenece a la clase 0 (negativa), por lo que su predicción es incorrecta.
• El modelo predice que un dato pertenece a una clase 0 (negativa), y su predicción es correcta.
• El modelo predice que un dato pertenece a una clase 0 (negativa), pero en realidad pertenece a la clase 1 (positiva), por lo que su predicción es incorrecta.

Así es, y cada uno de estos casos tiene un nombre, vamos a revisarlos, definirlos, y compararlos con ejemplos.

Ejemplo de evaluación de modelo clasificación con matriz de confusión

Para el estudio de la matriz de confusión, vamos a plantear un caso típico en el que entrenamos un modelo para clasificar reseñas de películas en <<positivas>> y <<negativas>>.

Las entradas del modelo (el conjunto de datos) son reseñas de películas, por ejemplo:

Esta es una reseña de película que se considera positiva, ya que elogia a la obra.

Sin embargo, podemos tener entradas de este otro tipo:

En esta otra reseña podemos notar una intención comunicativa diferente, en la que la película no es del agrado del crítico, y por lo tanto se considera negativa.

El objetivo de utilizar un algoritmo de aprendizaje automático para procesar esta información, es entrenar un modelo que, dada una nueva reseña, la clasifique como positiva o negativa.

Por ahora necesito saber, con los conocimientos que tenemos hasta esta parte de nuestras exploraciones, ¿qué tanto me puedes decir sobre esta tarea de ciencia de datos?

Entonces, podemos distinguir los siguientes elementos en este proyecto de machine learning:

• Conjunto de datos: está compuesto por reseñas positivas y negativas de películas. Los datos son fragmentos de texto, por lo que son datos no estructurados, de tipo cualitativo. Además, los datos están etiquetados, señalando cuáles reseñas son positivas y cuáles negativas.
• Objetivo: entrenar un modelo de machine learning que clasifique reseñas en positivas o negativas.
• Algoritmo a utilizar: algún algoritmo de aprendizaje supervisado de clasificación, como la regresión logística.

Ahora que conocemos el caso de estudio, prosigamos con la definición de los componentes de la matriz de confusión.

Tipos de falsos y verdaderos de la matriz de confusión

Revisemos ahora los casos que se toman en cuenta en una matriz de confusión y dan vida a las métricas para evaluar modelos de clasificación.

Verdadero Positivo (VP)

Un verdadero positivo es una entrada que el modelo ha clasificado correctamente como positiva.

Nuestro modelo de clasificación de reseñas de películas se ha entrenado determinando que la clase positiva es 1, por lo tanto, un verdadero positivo significa que se ha entregado al modelo una reseña positiva y este la ha clasificado correctamente en esta categoría.

Verdadero Negativo (VN)

Un verdadero negativo es una entrada que el modelo ha clasificado correctamente como negativa.

Dado que la clase negativa es 0, un verdadero negativo generado por el modelo de clasificación de reseñas sucede cuando se le entrega una reseña negativa y la clasifica correctamente.

Falso Positivo (FP)

Un falso positivo es un caso en el que modelo clasifica incorrectamente una entrada que pertenece a la clase negativa. En estadística también se le conoce como error Tipo I.

En nuestro ejemplo, un falso positivo se da cuando se le entrega al modelo clasificador una reseña negativa, y este la categoriza como reseña positiva.

Falso Negativo (FN)

Un falso negativo se da cuando el modelo ha clasificado de forma errónea una entrada que es de la clase positiva, asignándola como negativo. En estadística también se le conoce como error Tipo II.

En nuestro ejemplo, un falso negativo se da cuando se le entrega al modelo clasificador una reseña positiva, y este la categoriza como reseña negativa.

Estos son los diferentes casos que componen a la matriz de confusión, los verdaderos positivos y negativos (VP y VN) y los falsos positivos y negativos (FP Y FN) son lo que se utilizan para obtener métricas de evaluación de modelos de clasificación.

Volvamos a la matriz de confusión.

Estructura de la Matriz de Confusión

La matriz de confusión es una herramienta para la evaluación de modelos de clasificación organizando la cantidad de clasificaciones binarias correctas e incorrectas en una matriz de dos dimensiones, como se muestra en la Figura 3.7.3:

Donde, como ya vimos antes:

• VN y VP son verdaderos positivos y negativos, ese decir, las clasificaciones realizadas correctamente.
• FN y FP son falsos positivos y negativos, ese decir, las clasificaciones realizadas incorrectamente.
• Nótese que la diagonal de la matriz (VN y VP) muestra las predicciones correctas.
• De forma inversa, los elementos fuera de la diagonal (FP y FN) muestran las predicciones incorrectas.

Con esto debería quedar claro cómo está compuesta una matriz de confusión. Se trata simplemente del arreglo de los resultados de utilizar el modelo de clasificación en el conjunto de datos de prueba: se registran los errores y aciertos, y se categorizan como verdaderos o falsos respecto a cada clase (como es clasificación binaria, estas se consideran como negativa y positiva).

Por fin podemos hablar de las métricas que se derivan de estos valores.

Utilizando los resultados de una matriz de confusión, se pueden derivar las siguientes medidas para evaluar modelos de clasificación:

• Exactitud (Accuracy).
• Precisión (Precision).
• Sensibilidad (Recall, Sensitivity).
• Puntaje F1 (F1 Score).
• Curvas ROC y AUC.
• Tasa de falsos positivos (False Positive Rate).
• Tasa de falsos negativos (False Negative Rate).
• Tasa de falsas omisiones (False Omission Rate).
• Prevalencia (Prevalence).
• Valor predictivo negativo (Negative Predictive Value).
• Marcación (Markedness).
• Razón de probabilidades diagnóstica (Diagnostic Odds Ratio).
• Coeficiente de correlación de Matthews (Matthews Correlation Coefficient).
• Puntuación de amenaza, índice de éxito crítico, índice de Jaccard (Threat Score, Critical Success Index, Jaccard Index).
• Umbral de prevalencia (Prevalence Threshold).
• Exactitud balanceada (Balanced Accuracy).
• Índice de Fowlkes-Mallows (Fowlkes-Mallows Index).
• Razón de verosimilitud positiva (Positive Likelihood Ratio).
• Razón de verosimilitud negativa (Negative Likelihood Ratio).
• Información (Informedness).

Si te preguntas cómo es que se obtienen estas métricas de una matriz de confusión, lo veremos más adelante en esta exploración.

Sí, son demasiadas, pero de entre estas se suelen usar solo un subconjunto relativamente pequeño.

Estas son las métricas de evaluación de modelos de clasificación más utilizadas:

• Exactitud.
• Precisión.
• Sensibilidad.
• Puntaje F1.
• Pérdida de entropía cruzada.

Y con esto llegamos a las medidas que estaremos conociendo y poniendo a prueba aquí. Tenemos cuatro métricas derivadas de la matriz de confusión, y una obtenida por función de pérdida (entropía cruzada). Estas son de bastante utilidad para la evaluación de modelos de clasificación.

Para entenderlo mejor, lo desarrollaremos y veremos aplicado a nuestro caso de estudio de clasificación de reseñas.

Ejemplo de evaluación de modelo de machine learning con métricas de la matriz de confusión

Supondremos que hemos entrenado un modelo de aprendizaje supervisado para la categorización de reseñas de películas, y lo hemos utilizado sobre un conjunto de datos de prueba, donde obtuvimos los siguientes resultados:

• Verdaderos Positivos (VP): 90 reseñas positivas fueron clasificadas correctamente como positivas.
• Verdaderos Negativos (VN): 80 reseñas negativas fueron clasificadas correctamente como negativas.
• Falsos Positivos (FP): 20 reseñas negativas fueron clasificadas incorrectamente como positivas.
• Falsos Negativos (FN): 10 reseñas positivas fueron clasificadas incorrectamente como negativas.

Ahora organizamos esta información en la matriz de confusión:

Compara esta matriz con la de la imagen Figura 3.7.3 y podrás notar cómo es que se han realizado los acomodos de las cifras obtenidas.

Métricas Derivadas de la Matriz de Confusión

Con lo que hemos visto hasta ahora basta para poder aprender sobre métricas de evaluación de modelos de clasificación, para lo cual se utilizan los valores organizados en la matriz de confusión, y se calculan mediante fórmulas sencillas.

Exactitud (Accuracy)

La exactitud es una métrica que mide la proporción de clasificaciones correctas entre todas las clasificaciones realizadas. Se calcula con la siguiente fórmula:

\text{Exactitud} = \frac{VP + VN}{VP + VN + FP + FN}, \tag{3.69}

donde VP, VN, FP y FN son los valores de la matriz de confusión revisados en la sección anterior. Esta fórmula es bastante simple, consiste en sumar las predicciones correctas (VP y VN) y dividirlas entre todas las demás, por lo que arroja una proporción de los datos correctamente clasificados por el modelo.

Aquí haremos una breve pausa para revisar un término de importancia medular. Para interpretar correctamente esta métrica y las subsecuentes, debemos tener en cuenta un tipo de estructura que puede presentar un conjunto de datos: datos desbalanceados.

Influencia de datos desbalanceados en métricas de rendimiento

Como vimos en la exploración pasada, los datos desbalanceados es una propiedad de un conjunto de datos en el que las categorías (datos de salida objetivo para el entrenamiento de un modelo de clasificación) no están repartidas de manera equitativa. Esto significa que una o más clases tienen significativamente más ejemplos de entrenamiento que otras.

Para ilustrarlo, recordemos que tenemos datos etiquetados, donde, en el caso de las tareas de clasificación, se designan clases a cada uno de los ejemplos de entrenamiento. Sin embargo, estos datos pueden llegar a estar desproporcionados (desbalanceados). Un ejemplo se puede observar en la Figura 3.7.4:

Pongamos otro ejemplo: se podrían tener 200 datos etiquetados con la clase 1, y solo 10 datos etiquetados con la clase 0. Esto significa que no se tiene una proporción igual entre datos que pertenecen a ambas clases (5% de los datos de una clase, y 95% de otra clase).

Esto puede llegar a generar confusión, ya que un modelo podría acertar en predecir todas las clases de tipo 1 y fallar en todas las clases de tipo 0, pero aun así, si calculamos su exactitud como se hace en la Ecuación (3.69), su precisión sería del 95%, porque las clases están desbalanceadas. Sin embargo, como en realidad no ha logrado clasificar correctamente ningún dato en la clase 0, se podría concluir que en realidad es 50% efectiva, lo cual lo hace un modelo poco eficiente.

Este tema de datos desbalanceados es algo que se debe tener en cuenta al evaluar modelos de clasificación. En una ocasión futura, veremos técnicas para lidiar con esto desde el preprocesamiento de datos.

Interpretación de la exactitud

Ahora sí, volvamos con la métrica de Exactitud, y expliquemos como se interpreta. Esta mide la proporción de predicciones correctas realizadas por un modelo en relación con el total de predicciones. Es decir, evalúa qué tan bien el modelo clasificó correctamente tanto los casos positivos como los negativos en un conjunto de datos.

Los resultados de esta métrica se interpretan como sigue:

• Exactitud alta (valores cercanos a 1): Indican que el modelo tuvo un alto porcentaje de predicciones correctas.
• Exactitud baja (valores cercanos a 0): Indican un bajo desempeño del modelo, es decir, muchas predicciones incorrectas.

Limitaciones en cuanto a datos desbalanceados:

• En conjuntos de datos con clases desbalanceadas (por ejemplo, como ya hemos visto, donde los datos positivos son muy pocos en comparación con los negativos), la exactitud puede ser engañosa. Un modelo podría obtener una alta exactitud simplemente prediciendo siempre la clase con mayor predominancia. En estos casos, es mejor considerar métricas adicionales como la precisión, la sensibilidad (recall) o la métrica F1, que veremos a continuación.

Ejemplo de cálculo e interpretación de la exactitud

Ahora calcularemos la exactitud del modelo clasificador de reseñas. De acuerdo a los valores de la matriz mostrados en la Tabla 3.7.1 y a la fórmula de la Ecuación (3.69), se calcula como sigue.

\text{Exactitud} = \frac{VP + VN}{VP + VN + FP + FN} = \frac{90 + 80}{90 + 80 + 20 + 10} = \frac{170}{200} = 0.85 \tag{3.70}

Esto implica que el modelo tiene una exactitud del 85%, es decir, el modelo clasifica correctamente el 85% de las reseñas de películas. Es una buena métrica general, pero puede ser engañosa si las clases están desbalanceadas (no es el caso en nuestro ejemplo).

Precisión (Precision)

La precisión es una métrica que mide la proporción de clasificaciones de la clase positiva que se han hecho correctamente entre todos los datos pertenecientes a la clase positiva. Se calcula con la siguiente fórmula:

\text{Precisión} = \frac{VP}{VP + FP}. \tag{3.71}

Nótese que esta fórmula solo considera los positivos, tanto los aciertos como los errores. Quiere decir que refleja el porcentaje de datos correctamente clasificados para la clase 1 (positiva).

Interpretación de la precisión

Los resultados de la precisión se interpretan de la siguiente manera:

• Precisión alta (valores cercanos a 1): Significa que la mayoría de las predicciones positivas del modelo son correctas. Es decir, el modelo tiene pocos falsos positivos. Es importante en escenarios donde los falsos positivos son costosos o críticos, como en el diagnóstico médico.
• Precisión baja (valores cercanos a 0): Indica que el modelo realiza muchas predicciones positivas incorrectas, lo que sugiere un número elevado de falsos positivos.

Cálculo e interpretación en el ejemplo propuesto

Calcularemos la precisión del modelo clasificador de reseñas:

\text{Precisión} = \frac{VP}{VP + FP} = \frac{90}{90 + 20} = \frac{90}{110} \approx 0.818 \tag{3.72}

La precisión es aproximadamente 81.8%, lo que significa que de todas las reseñas clasificadas como positivas, el 81.8% realmente son positivas.

Sensibilidad o Exhaustividad (Recall)

La sensibilidad o exhaustividad es una métrica que mide el porcentaje de casos positivos correctamente identificados como positivos, considerando también aquellos positivos mal clasificados. Se calcula con la siguiente fórmula:

\text{Sensibilidad} = \frac{VP}{VP + FN} \tag{3.73}

Esta fórmula se diferencia de la precisión porque considera a los falsos negativos (FN), lo cual sucede porque su objetivo principal es medir la capacidad del modelo para identificar correctamente los casos positivos. Los falsos negativos representan los casos positivos que el modelo no logró detectar, por lo que son fundamentales para evaluar esta métrica. Si el modelo tiene un número alto de falsos negativos, significa que está fallando en detectar una gran cantidad de casos positivos. Esto reduce el valor de la Exhaustividad, indicando un desempeño deficiente en la detección de la clase positiva.

Interpretación de la sensibilidad

Los resultados de la sensibilidad se interpretan de la siguiente manera:

• Exhaustividad alta (valores cercanos a 1): El modelo es muy efectivo detectando los casos positivos. Es decir, tiene pocos falsos negativos. Esta métrica es ideal en escenarios donde es crucial no pasar por alto falsos negativos.
• Exhaustividad baja (valores cercanos a 0): Indica que el modelo falla al identificar muchos casos positivos, generando un alto número de falsos negativos.

Cálculo e interpretación en el ejemplo propuesto

Calcularemos la sensibilidad del modelo clasificador de reseñas:

\text{Sensibilidad} = \frac{VP}{VP + FN} = \frac{90}{90 + 10} = \frac{90}{100} = 0.9
 \tag{3.74}

La sensibilidad obtenida es del 90%, lo que indica que nuestro modelo detecta correctamente el 90% de las reseñas positivas. Esta métrica es útil cuando queremos reducir los falsos negativos, priorizando que la mayoría de las reseñas positivas se clasifiquen correctamente.

Casi, pero tienen una pequeña/gran diferencia. Creo que esto se puede prestar a malinterpretaciones, así que revisemos con un poco más de detalle.

Diferencia entre Precisión (precision) y Sensibilidad (recall) | Opcional

La precisión y la sensibilidad son métricas que calculan proporciones de verdaderos positivos, pero no sobre el mismo grupo de información. Considérese lo siguiente:

• La precisión se obtiene dividiendo los verdaderos positivos entre la suma de verdaderos positivos y falsos positivos (Ecuación 3.71). Recordemos que un falso positivo es una predicción errónea, lo cual significa que es un valor de la clase negativa (el modelo la asignó a la clase positiva, pero no acertó). Esto quiere decir que la precisión está obteniendo el porcentaje de predicciones correctas de la clase positiva entre las predicciones correctas e incorrectas de verdaderos positivos. Por lo tanto, un alto valor de precisión indica que el valor de los falsos positivos es bajo, y el modelo está clasificando datos correctamente en la clase positiva, entre otras palabras: de todas las predicciones positivas que hizo el modelo, cuántas son correctas.
• Por otro lado, la sensibilidad es la proporción de verdaderos positivos entre la suma de verdaderos positivos y falsos negativos (Ecuación 3.73). Los falsos negativos son valores que el modelo clasificó incorrectamente, que en realidad eran positivos, pero se clasificaron como negativos. Esto significa que la sensibilidad toma en cuenta no solo los datos que el modelo asignó a la clase positiva, sino también los positivos que quedaron asignados a la clasificación incorrecta. Esto se traduce en que se calcula cuántos datos de la clase positiva fueron detectados entre todos los que corresponden realmente a este.

¿Te parece un poco embrolloso?, lo resumiremos de esta forma:

• La precisión prioriza la minimización de los falsos positivos. Si necesitas que estos sean menores, utiliza esta métrica para ajustar los parámetros de tu modelo. Un ejemplo típico de esto es el diagnóstico médico, ya que un falso positivo se puede traducir en predecir incorrectamente una enfermedad (el positivo indica que el paciente está enfermo, por lo tanto, un falso positivo es un paciente mal diagnosticado con una enfermedad que no tiene), por lo que minimizar falsos positivos evita tratamientos innecesarios.
• La sensibilidad minimiza los falsos negativos. Si la prioridad es que el modelo no de por alto estos casos, esta métrica es la indicada para realizar ajustes. Un ejemplo de esto es la detección de fraudes, donde un valor negativo indica que una transacción no es un fraude; imagina que el modelo predice de forma errónea que una transacción fraudulenta no es un fraude, esto implicaría pérdidas monetarias.

Ahora mucho más resumido:

La importancia de la precisión o sensibilidad depende del contexto:

• Priorizar precisión: Si es crucial minimizar los falsos positivos.
• Priorizar sensibilidad/recall: Si es crucial minimizar los falsos negativos.

Puntuación F1 (F1 Score)

Por último, el puntaje F1 es una métrica que combina la precisión y el recall en un único valor que equilibra ambas métricas. Es especialmente útil cuando se desea un balance entre precisión y sensibilidad.

 \text{F1} = 2 \times \frac{\text{Precisión} \times \text{Exhaustividad}}{\text{Precisión} + \text{Exhaustividad}}
 \tag{3.75}

Interpretación del puntaje F1

Los resultados de F1 se interpretan de la siguiente manera:

• F1 alto (valores cercanos a 1): Indica que el modelo tiene un buen equilibrio entre precisión y sensibilidad (recall). Es decir, detecta correctamente la mayoría de los positivos reales (alta sensibilidad) y sus predicciones positivas son confiables (alta precisión).
• F1 bajo (valores cercanos a 0): Refleja un desempeño pobre del modelo, ya sea porque tiene baja precisión (muchos falsos positivos), baja sensibilidad (muchos falsos negativos), o ambos.

El F1-Score es especialmente útil en escenarios donde:

• Hay un desequilibrio en las clases (una clase es mucho más frecuente que otra).
• Es importante un balance entre precisión y recall.
• Los falsos positivos y falsos negativos tienen un costo similar, y no se puede priorizar una métrica sobre la otra.

F1 es un mediador entre sensibilidad y precisión.

Cálculo e interpretación en el ejemplo propuesto

Calcularemos el puntaje F1 del modelo clasificador de reseñas:

\begin{aligned}
F1 &= 2 \cdot \frac{\text{Precisión} \cdot \text{Sensibilidad}}{\text{Precisión} + \text{Sensibilidad}} \\
   &= 2 \cdot \frac{0.8181 \cdot 0.9}{0.8181 + 0.9} \\
   &= 2 \cdot \frac{0.7363}{1.7181} \\
   &= 2 \cdot 0.4286 \\
   &= 0.8571
\end{aligned}

El F1-Score obtenido es de aproximadamente 0.85, lo que indica que el modelo tiene un buen equilibrio entre precisión (0.81) y recall (0.90). Esto significa que:

• Aunque hay algunos falsos positivos, la mayoría de las predicciones positivas son correctas (precisión moderadamente alta).
• El modelo es capaz de identificar correctamente una gran cantidad de reseñas positivas (recall/sensibilidad alta).

Nota sobre las métricas de la matriz de confusión

Las métricas antes expuestas, derivadas de la matriz de confusión, son muy variadas, pero la mayoría son poco conocidas. Esto es porque solo se suelen utilizar las que mencioné en la última lista. Sin embargo, como seguro ya saben, para mí es importante que tengan el conocimiento de todo el abanico de posibilidades que tienen a su disposición para evaluar modelos.

Una buena síntesis gráfica de estas medidas es la que se muestra en la Figura 3.7.5, donde se puede observar la relación que existe entre las métricas y los valores predichos y reales.

Esta imagen está en inglés porque proviene de Wikipedia en inglés, y la traducción automática al español me pareció imprecisa. Creo que tiene una organización que vale la pena revisar.

Que en este caso, son estas:

1.  Fawcett, Tom (2006). «An Introduction to ROC Analysis» (PDF). Pattern Recognition Letters. 27 (8): 861–874. doi:10.1016/j.patrec.2005.10.010. S2CID 2027090.
2. Provost, Foster; Tom Fawcett (2013-08-01). «Data Science for Business: What You Need to Know about Data Mining and Data-Analytic Thinking». O’Reilly Media, Inc.
3. Powers, David M. W. (2011). «Evaluation: From Precision, Recall and F-Measure to ROC, Informedness, Markedness & Correlation». Journal of Machine Learning Technologies. 2 (1): 37–63.
4. Ting, Kai Ming (2011). Sammut, Claude; Webb, Geoffrey I. (eds.). Encyclopedia of machine learning. Springer. doi:10.1007/978-0-387-30164-8. ISBN 978-0-387-30164-8.
5. Brooks, Harold; Brown, Barb; Ebert, Beth; Ferro, Chris; Jolliffe, Ian; Koh, Tieh-Yong; Roebber, Paul; Stephenson, David (2015-01-26). «WWRP/WGNE Joint Working Group on Forecast Verification Research». Collaboration for Australian Weather and Climate Research. World Meteorological Organisation. Retrieved 2019-07-17.
6. Chicco D, Jurman G (January 2020). «The advantages of the Matthews correlation coefficient (MCC) over F1 score and accuracy in binary classification evaluation». BMC Genomics. 21 (1): 6-1–6-13. doi:10.1186/s12864-019-6413-7. PMC 6941312. PMID 31898477.
7. Chicco D, Toetsch N, Jurman G (February 2021). «The Matthews correlation coefficient (MCC) is more reliable than balanced accuracy, bookmaker informedness, and markedness in two-class confusion matrix evaluation». BioData Mining. 14 (13): 13. doi:10.1186/s13040-021-00244-z. PMC 7863449. PMID 33541410.
8. Tharwat A. (August 2018). «Classification assessment methods». Applied Computing and Informatics. 17: 168–192. doi:10.1016/j.aci.2018.08.003.

En fin, solo estoy divagando de nuevo. Volvamos a donde estábamos.

Métricas de evaluación de modelos de clasificación con Python

Pasemos al campo de batalla. En esta práctica calcularemos medidas de evaluación de los modelos de clasificación que trabajamos en la introducción a la regresión logística, y haremos el análisis de los resultados, para derivar las conclusiones correspondientes.

Puedes previsualizar el contenido aquí:

Así concluye esta (un poco) larga sesión. Estas métricas las verás varias veces a lo largo de tu carrera, es por eso que le hemos dedicado especial detalle. En la siguiente aventura hablaremos sobre el subajuste y sobreajuste de modelos de machine learning, otro tópico altamente relevante para la ciencia de datos.

Durante esta travesía conocerás las métricas más utilizadas para medir el desempeño de modelos de regresión, su finalidad, definición, análisis, y el cómo utilizarlas con Python.

Inventario recomendado

Matemáticas: algo de álgebra, probabilidad y estadística

Fundamentos del aprendizaje supervisado

Regresión lineal

Funciones de pérdida

Google Colab

Programación en Python

Algún aperitivo

Métricas de evaluación de modelos de regresión: cuáles y cómo utilizarlas

Después de finalizar el ajuste de los parámetros de un modelo mediante un algoritmo de aprendizaje automático, siempre será necesario evaluar qué tan capaz es de realizar cálculos eficientes sobre datos nuevos. Para esto, se utilizan métricas que operan sobre el conjunto de datos de prueba y un grupo predicciones realizadas con la función obtenida. En esta ocasión, aprenderemos sobre medidas que son frecuentemente utilizadas para evaluar modelos de regresión (modelos que realizan predicciones sobre valores en el espectro continuo), y que son parte medular de todo proceso post-entrenamiento.

Métricas para evaluar modelos de regresión

Existe una rica diversidad de medidas que puedes utilizar para determinar qué tan bien realiza estimaciones un modelo entrenado con machine learning. Para este fin, podemos utilizar funciones de pérdida como las que hemos visto en la exploración correspondiente, donde podemos recordar las siguientes para modelos de regresión:

• Error cuadrático medio (Mean Squared Error, MSE).
• Error absoluto medio (Mean Absolute Error, MAE).
• Error absoluto porcentual medio (Mean Absolute Percentage Error, MAPE)
• Raíz del error cuadrático medio (Root Mean Square Error, RMSE).
• Raíz del error logarítmico cuadrático medio (Root Mean Squared Logarithmic Error, RMSLE).
• Pérdida de Huber (Huber Loss).
• Pérdida Log-cosh. (Log-Cosh Loss).
• Pérdida cuantílica (Quantile Loss).
• L1 suavizado (Smooth L1).
• Pérdida ∈-insensible (∈-Insensitive Loss).

Pero, además, podemos hacer uso de cálculos como los que ofrecen otras métricas que no forman parte del conjunto de las funciones de pérdida:

• Coeficiente de determinación \text{R}^2.
• Coeficientes de correlación.

A pesar de que las opciones son variadas, aquí nos centraremos en algunas de uso frecuente. Siempre debes tener en cuenta que, dependiendo de las características de tus datos, algunas métricas serán más beneficiosas que otras, por lo que tú tienes la última palabra en cuanto a cuál utilizar.

Las mediciones que revisaremos y pondremos a prueba son:

• Error cuadrático medio (Mean Squared Error, MSE).
• Error absoluto medio (Mean Absolute Error, MAE).
• Coeficiente de determinación \text{R}^2 (R-Squared).
• Coeficiente de correlación de Pearson (Pearson Correlation Coefficient).

Definiciones y usos de métricas de evaluación con ejemplos

Las métricas que estamos a punto de explorar son ampliamente utilizadas para la evaluación de modelos de regresión, y aunque no son las únicas, nos ayudarán a comprender cómo operan y cómo utilizar otras para el mismo fin.

Para abordarlo, plantearemos un nuevo caso para el entrenamiento de un modelo: predicción de precios de casas (un ejemplo típico en machine learning, aunque siempre vigente).

Supongamos que se nos ha dado un conjunto de datos con precios de casas que dependen de características de estas como su tamaño, número de habitaciones, y ubicación:

Utilizando esto, nuestra meta es modelar la relación entre las variables de entrada y la variable objetivo.

Ya que hemos identificado los aspectos y tareas clave para cumplir nuestro objetivo, supondremos que hemos preprocesado nuestros datos y entrenado un modelo de aprendizaje supervisado que captura las relaciones entre las entradas y salidas, dando el siguiente resultado en las estimaciones realizadas:

Ya que tenemos predicciones hechas con el modelo, lo que sigue es evaluar su desempeño utilizando las métricas antes propuestas.

Veamos qué son y qué nos dice cada una.

Nota: estamos a punto de comenzar a explorar el funcionamiento e implicaciones de algunas métricas de evaluación. El fin es que conozcas cómo operan y cómo analizar los resultados obtenidos. Es tu obligación como científica/o de datos conocer gran parte de las métricas que tienes a disposición y aprender a utilizarlas de forma oportuna. (Es decir, en lo que concierne a las demás medidas de evaluación, se deja como ejercicio al lector).

Error cuadrático medio (MSE)

Las primeras dos métricas (MSE y MAE) son funciones de pérdida que operan de la forma que hemos presenciado con anterioridad, comparando los valores del conjunto de datos reales con las predicciones realizadas utilizando el modelo (véase la Imagen 3.4.1). Sin embargo, ambas son ligeramente diferentes, y lo revisaremos a detalle. Comenzaremos con la que ya hemos definido en una excursión pasada.

El Error Cuadrático Medio (MSE, por sus siglas en inglés de Mean Squared Error) es una métrica que mide la magnitud de los errores en las predicciones de un modelo de regresión, lo cual se hace calculando el promedio de elevar al cuadrado las diferencias entre los valores reales y las predicciones realizadas con el modelo.

Interpretación del MSE

Para interpretar los resultados del Error Cuadrático Medio, se debe considerar lo siguiente:

• Un MSE bajo indica que las predicciones del modelo están más cerca de los valores reales, lo cual es deseable.
• Un MSE alto significa que el modelo tiene un error más grande en las predicciones, lo cual indica un mal ajuste.

También debemos tomar en cuenta que, dado que el MSE es una métrica cuadrática, los errores grandes son penalizados de manera más severa que los errores pequeños (son más vistosos en el resultado, por así decirlo). Esto lo convierte en una métrica sensible a valores atípicos (outliers).

Por eso debemos tener cuidado al preparar los datos para su ingesta.

Cálculo del MSE

Ahora calculamos el MSE, justo como lo dicta la fórmula, con los datos de la Tabla 3.6.2:

Se obtiene el cuadrado de la diferencia entre las predicciones y los valores reales, y se suman:

\text{Suma de diferencia de errores} = (150,000 - 145,000)^2 + (200,000 - 210,000)^2\\ + (300,000 - 295,000)^2
+ (100,000 - 110,000)^2 + (180,000 - 175,000)^2

\text{Suma de diferencia de errores} = (5,000)^2 + (-10,000)^2, (5,000)^2 + (-10,000)^2 + (5,000)^2

\text{Suma de diferencia de errores} = 25,000,000 + 100,000,000 + 25,000,000 + 100,000,000\\ + 25,000,000

Se suman estos errores y se calcula el promedio, el cual se obtiene dividiendo la suma entre el número total de ejemplos (5 en este caso):

\text{MSE} = \frac{25,000,000 + 100,000,000 + 25,000,000 + 100,000,000 + 25,000,000}{5}

\begin{aligned}\text{MSE} &= \frac{275,000,000}{5} \\ &= 55,000,000\end{aligned}

Notarás que el MSE obtenido es 55,000,000 USD², lo cual representa el error promedio al cuadrado de las predicciones del modelo en comparación con los valores reales.

Análisis del MSE

En primera instancia, parece un valor alto. Dado que el MSE tiende a crecer con valores grandes en los datos, se puede deber a la presencia de algún valor atípico. Pero, además, se debe considerar la escala, ya que el MSE eleva al cuadrado las diferencias, por lo que el resultado no se encuentra en la escala original de los precios, que rondan entre 150 mil y 300 mil USD, dificultando la interpretación del resultado sin un contexto estadístico adicional. En algunos casos, se usa la Raíz del Error Cuadrático Medio (RMSE), que es simplemente la raíz cuadrada del MSE, para tener una métrica en las mismas unidades que la variable objetivo (en este caso, el precio en USD); o también se puede optar por utilizar alguna otra métrica para complementar la información, como el error absoluto medio, el cual veremos a continuación.

Error Absoluto Medio (MAE)

El Error Absoluto Medio (MAE) es una función de pérdida como el MSE, pero esta mide el error promedio entre las predicciones y los valores reales, sin tomar en cuenta el signo (si las pérdidas son positivas o negativas). Es decir, calcula el promedio de las diferencias absolutas entre las predicciones y los valores reales. La definición matemática concreta de esta y las demás medidas la veremos en la última sección.

Interpretación del MAE

Se considera lo siguiente para interpretar los resultados del MAE:

• Un MAE más bajo indica un error promedio menor, lo que significa que las predicciones están cerca de los valores reales.
• A diferencia del MSE, el MAE no penaliza tanto los errores grandes, ya que no los eleva al cuadrado. Esto lo hace más robusto frente a valores atípicos.

Eso no es la mejor idea, pero es una posibilidad. Recuerda que todo lo que uses para procesar tus datos va de acuerdo a las características que has develado mediante su análisis y manipulación.

Cálculo del MAE

Calculamos el MAE obteniendo la suma del valor absoluto de las diferencias entre los valores estimados y los del conjunto de datos como sigue:

\text{Suma de valor absoluto de errores} = |150,000 - 145,000| + |200,000 - 210,000|+\\ |300,000 - 295,000|+ |100,000 - 110,000|+ |180,000 - 175,000| 

\text{Suma de valor absoluto de errores} = 5,000 + 10,000 + 5,000 + 10,000 + 5,000 

Y obtenemos el promedio de esta suma:

\begin{aligned}\text{MAE} &= \frac{5,000 + 10,000 + 5,000 + 10,000 + 5,000}{5}\\ &= \frac{35,000}{5}\\ &= 7,000\end{aligned}

Análisis del MAE

El MAE obtenido es 7,000 USD, lo cual significa que, en promedio, las predicciones están a 7,000 USD de los valores reales. Esto es una porción relativamente baja, que ya se trata del 4.6% del valor más bajo en los precios, así como representa el 2.3% del valor más alto. Esto puede indicar que el modelo ha logrado capturar de manera efectiva las relaciones entre las entradas y las salidas.

Como verán en la práctica de Python, con una sola línea de código pueden obtener el valor de una métrica de evaluación, pero aquí estamos desarrollando un poco el proceso para captar la idea de operar con las predicciones y los datos del terreno real para determinar la precisión del modelo. No se asusten, el obtener las métricas es sencillo, lo importante es interpretarlas correctamente.

Coeficiente de Determinación (R2)

Ahora que hemos utilizado un par de funciones de pérdida, vamos con otro tipo de métricas útiles. \text{R}^2 es una medida que, entre otras palabras, indica qué proporción de la variabilidad en los datos es explicada por el modelo.

Cuando decimos que \text{R}^2 explica la variabilidad en los datos, nos referimos a cuánto del cambio o variación en los valores de la variable dependiente (o variable objetivo) puede ser explicado por las variables independientes (entradas o características) del modelo.

En el contexto de nuestro ejemplo, en nuestro conjunto de datos el precio de las viviendas puede variar debido a varios factores, como el tamaño, la ubicación o el número de habitaciones. Esta <<variabilidad>> o <<dispersión>> de los precios en el conjunto de datos es lo que el modelo intenta capturar, y \text{R}^2 cuantifica qué tanto los cambios en las entradas producen cambios en las salidas.

Interpretación del R2

La interpretación de esta métrica es relativamente sencilla:

• \text{R}^2=1 significa que el modelo explica el 100% de la variabilidad en los datos. Esto indica que el modelo se ajusta perfectamente a los datos, ya que todas las predicciones coinciden con los valores reales.
• \text{R}^2=0 indica que el modelo no explica ninguna variabilidad en los datos. En este caso, el modelo no es mejor que simplemente predecir el promedio de los valores reales; en otras palabras, el modelo no está mejorando la predicción en comparación con una simple línea horizontal que representaría el promedio de los valores de salida.
• Un \text{R}^2 negativo es posible si los errores del modelo son tan grandes que el modelo no solo no explica la variabilidad, sino que introduce más error, o sea, más valores alejados del patrón que se asume que describen los datos.

Cálculo del R2

Dado que para su definición matemática se requieren algunos términos más avanzados de estadística, solo mostraremos el resultado de esta medida para nuestro ejemplo, y hablaremos sobre cómo se calcula en la siguiente sección (donde podemos formalizar tranquilamente).

Supongamos que hemos calculado el R^2 y hemos obtenido lo siguiente:

\text{R}^2=0.75

Análisis del coeficiente de determinación

Un \text{R}^2 de 0.75 significa que el 75% de la variabilidad en el precio de las viviendas puede ser explicado por los valores de las variables de entrada. El otro 25% de la variabilidad puede deberse a factores no incluidos en el modelo, o a ruido aleatorio. Se puede concluir que, respecto a esta métrica, las variables independientes sí generan cambios en la variable objetivo, y el modelo ha logrado capturar parte de esta variabilidad. El valor es bueno, pero su lejanía de 25 puntos del 100 (0.75 de 1) indica que se puede mejorar la precisión de predicción del modelo evaluado.

Coeficiente de Correlación de Pearson

Por último, pero definitivamente no menos importante, el ya tradicional Coeficiente de Correlación de Pearson, es una medida de la la correlación lineal entre los valores reales y las predicciones del modelo, cuyo valor resultante está en el rango de -1 a 1. Esta métrica indica qué tan dependientes son las salidas de las entradas, y engloba esa dependencia en valores fácilmente interpretables, como vimos que hace \text{R}^2.

Interpretación del Coeficiente de Pearson

El coeficiente de Pearson se interpreta como sigue:

• Un 1 indica una correlación lineal positiva perfecta: a medida que aumentan o disminuyen los valores reales, aumentan o disminuyen también los valores de las predicciones.
• Un 0 indica que no hay correlación lineal entre las predicciones y los valores reales.
• Un -1 indica una correlación lineal negativa perfecta: a medida que aumentan los valores reales, las predicciones disminuyen, o viceversa, a medida que disminuyen los valores reales, las predicciones aumentan.

Sí, algo así es la idea.

Cálculo del Coeficiente de Correlación de Pearson

Al igual que como hicimos con \text{R}^2, dejaremos para después las operaciones propias de esta métrica. Por el momento, plantearemos que obtuvimos el siguiente valor de correlación:

\rho = 0.85

Análisis del coeficiente de correlación

Al obtener un valor de 0.85, podemos inferir que, al ser cercano a 1, implica que existe una correlación positiva fuerte entre las dos variables en cuestión. Esto significa que, en general, a medida que una variable aumenta, la otra también tiende a aumentar. Además, nótese la relación entre las variables es positiva, pero no perfecta. Es decir, aunque las dos variables se muevan en la misma dirección, puede haber algunos puntos que no sigan esta relación exacta debido a la variabilidad o ruido en los datos. Esto empata con el resultado obtenido en \text{R}^2.

Métricas de evaluación de modelos de regresión con Python

Ha llegado el momento de poner en marcha lo aprendido. En la práctica de hoy obtendremos medidas de evaluación de los modelos de regresión que trabajamos en la introducción a la regresión lineal, y haremos su respectivo análisis.

Puedes previsualizar el contenido aquí:

Para finalizar con este recorrido, haremos mención de la definición matemática de cada métrica para tener consciencia de cómo es que se calculan. No usaremos mucho estas definiciones en el futuro, pero te las dejaré aquí por si llegas a necesitarlas.

Métricas de evaluación de regresión: definiciones matemáticas

Para estas definiciones, consideremos que \mathcal{D} = \lbrace (x_{1},y_{1}),…,(x_{N},y_{N})\rbrace es un conjunto de N datos etiquetados, donde x_n representa las entradas y y_n a la salidas observada correspondiente a cada entrada. Además, se asume que existe un modelo h(x) entrenado con estos datos mediante un algoritmo de aprendizaje supervisado, el cual genera predicciones \hat{y}_n = h(x_n) para cada entrada x_n .

Definición (3.12) Error Cuadrático Medio. El Error Cuadrático Medio (MSE) evalúa la precisión promedio de un modelo h(x) como sigue:

\text{MSE} = \frac{1}{N} \sum_{i=1}^N (y_n - \hat{y}_n)^2,\tag{3.65}

donde, debe recordarse, \hat{y}_n es la predicción del modelo dadas las variables de la entrada x_n , y y_n es el valor del terreno real del conjunto de datos para esa entrada.

El MSE mide la magnitud del error al cuadrado, penalizando errores grandes más que errores pequeños.

Definición (3.13) Error Absoluto Medio. El Error Absoluto Medio (MAE) calcula el error promedio en valor absoluto entre las predicciones y los valores reales, proporcionando una medida de la distancia media absoluta entre los valores predichos y los valores observados. Se define como:

\text{MAE} = \frac{1}{N} \sum_{i=1}^N |y_n - \hat{y}_n|\tag{3.66}

Esta métrica es menos sensible a los valores atípicos que el MSE, ya que no eleva los errores al cuadrado. Nótese que |y_i - \hat{y}_i| representa la diferencia absoluta entre el valor observado y el valor predicho para cada observación.

Definición (3.14) Coeficiente de Determinación. El coeficiente de determinación \text{R}^2 mide la proporción del error cuadrático medio y la varianza. Se calcula mediante la siguiente operación:

\text{R}^2 = 1 - \frac{\sum_{n=1}^N (y_n - \hat{y}_n)^2}{\sum_{n=1}^N (y_n - \bar{y})^2}, \tag{3.67}

donde \bar{y} es el promedio de los valores observados y_n . Nótese que el numerador es el MSE, y el denominador la varianza de los datos. Cuando el error cuadrático medio es menor que la varianza total, significa que el modelo ha logrado capturar al menos parte de la variabilidad en los datos. En otras palabras, es indicativo de que el modelo mejora las predicciones en comparación con el uso de una simple línea promedio. Cuanto más se reduzca el error cuadrático medio en comparación con la varianza, mayor será el valor de \text{R}^2, lo cual indica un mejor ajuste del modelo.

Por lo tanto, la métrica \text{R}^2 toma valores entre 0 y 1, donde un valor cercano a 1 indica que el modelo explica bien la variabilidad de los datos, mientras que un valor cercano a 0 indica que el modelo no captura de forma eficiente la variabilidad.

Definición (3.15) Coeficiente de Correlación de Pearson. El Coeficiente de Correlación de Pearson mide la fuerza y dirección de la relación lineal entre las predicciones y los valores observados. Se obtiene como sigue:

\rho = \frac{\sum_{i=1}^n (y_i - \bar{y})(\hat{y}_i - \bar{\hat{y}})}{\sqrt{\sum_{i=1}^n (y_i - \bar{y})^2 \sum_{i=1}^n (\hat{y}_i - \bar{\hat{y}})^2}}, \tag{3.68}

donde \bar{y} y \bar{\hat{y}} representan las medias de los valores observados y predichos, respectivamente. El coeficiente r varía entre -1 y 1, donde un valor cercano a 1 indica una fuerte correlación positiva, un valor cercano a -1 indica una fuerte correlación negativa, y un valor cercano a 0 indica poca o ninguna correlación lineal.

Nuestra travesía ha concluido. Hemos aprendido cómo utilizar métricas para evaluar el rendimiento de un modelo de regresión. En nuestra siguiente sesión aprenderemos sobre la evaluación de modelos de clasificación, y con eso estaremos preparando nuestra salida hacia las exploraciones previas a uno de los modelos más icónicos del aprendizaje de máquinas.

Inventario recomendado

Nociones sobre conjuntos de datos y su ciclo de vida

Matemáticas: conocimiento en estadística descriptiva e inferencial

Algún acompañamiento

Análisis Exploratorio de Datos

Hasta el momento hemos abordado qué son los conjuntos de datos y cómo obtenerlos, pero después, ¿qué sigue?

El siguiente paso es conocer los datos. Esto implica tomarlos y explorarlos a conciencia con el fin de aprender sobre sus características, alcance, limitaciones, y las modificaciones que serán necesarias para dejarlos listos como entradas para un algoritmo de machine learning. Esto se hace realizando lo que se conoce como análisis de datos exploratorio.

Un análisis de datos exploratorio (EDA, por sus siglas en inglés: Exploratory Data Analysis) es un procedimiento que consiste en obtener conocimientos sobre un conjunto de datos mediante su manipulación, análisis estadístico descriptivo e inferencial, y visualización en representaciones gráficas. Es un paso vital en el flujo de trabajo cuyo fin es el entrenamiento de algoritmos de aprendizaje automático, ya que es necesario para conocer los aspectos básicos del conjunto de datos a utilizar, y del tratamiento que debe tener antes de ser modelado.

¿Cómo se hace un análisis exploratorio de datos?

El cómo ejecutar un análisis exploratorio puede variar conforme a los tipos de datos y los objetivos particulares, pero en general se recomienda seguir un flujo compuesto por las siguientes etapas.

1. Exploración de las características generales de los datos

El primer paso es conocer lo datos de manera superficial, aún sin preocuparnos por obtener medidas estadísticas. Esto se trata sobre conocer su composición, estructura, y calidad, y se puede resumir como sigue:

• Dimensión de los datos: Conocer cuántos registros (filas) y cuántos atributos o características (columnas) tiene el conjunto de datos.
• Tipo de datos: Identificar los tipos de datos que componen al conjunto: ¿se trata de datos estructurados o no estructurados?, ¿cuáles de estos son cuantitativos o cualitativos?, ¿qué tipo de datos computacionales son? (float, int, object, etc). Conocer los tipos de datos será vital para su manipulación numérica.
• Calidad de los datos: Debemos buscar posibles inconsistencias en los datos que puedan generar conflictos en cálculos realizados sobre estos, por ejemplo: datos faltantes, datos nulos, datos duplicados, datos mal registrados.

2. Estadística descriptiva

Después de conocer los datos con un primer acercamiento, es hora de obtener algunas medidas que nos hablen sobre estos en cuanto a sus propiedades matemáticas. Para esto, utilizaremos estadística descriptiva, la cual consiste en calcular medidas que resuman algunas de sus características más elementales. Ejemplos de métricas que se suelen utilizar son las siguientes:

• Medidas de tendencia central: Media, mediana, moda.
• Medidas de dispersión: rango, varianza, desviación estándar, rango intercuartílico.
• Medidas de posición: cuartiles, percentiles.
• Medidas de forma: asimetría, curtosis.

No precisamente. Todo dependerá de los datos, tus necesidades, y lo que hayas observado en estos. Tú llevas la batuta de los componentes de tu análisis exploratorio.

3. Visualización de datos

Una parte imprescindible de la ciencia de datos es la visualización de datos utilizando gráficas. Esto facilita el conocimiento intuitivo de algunas de las propiedades de los datos, y facilita su comprensión. Es importante saber llevar los datos al dominio de las gráficas, tanto para observar propiedades como para compartir hallazgos.

Algunas gráficas recomendadas son las siguientes:

• Histogramas: Utilizados para visualizar la distribución de una variable numérica.
• Gráficos de barras: Utilizados para representar y comparar la frecuencia, cantidad o proporción de diferentes categorías o grupos.
• Diagramas de cajas y bigotes: Representan la distribución de una variable numérica resaltando los cuartiles, la mediana y los valores atípicos (outliers).
• Gráficos de dispersión: Utilizados para examinar la relación entre dos variables numéricas.
• Gráficos de densidad: Son una versión suavizada de los histogramas, utilizados para visualizar la distribución de una variable. Proporcionan una visión más continua de la densidad de los datos, sin depender de la elección de bins.
• Gráficos de pastel: Se utiliza para representar la composición o proporción de un todo. Está formada por un círculo dividido en «rebanadas» (sectores) que muestran cómo se distribuyen diferentes partes dentro de un conjunto total de datos.
• Mapas de calor: Utilizados para visualizar matrices de correlación entre múltiples variables numéricas. Facilitan la identificación de relaciones fuertes o débiles entre las variables.
• Gráficos de línea: Utilizados para visualizar datos temporales o series de tiempo. Ayudan a identificar tendencias a lo largo del tiempo, patrones estacionales y anomalías.

Estos son algunos ejemplos para darte una idea de la variedad de gráficas que puedes tener a tu disposición. Recuerda que tú decides cuáles serán o no de utilidad para tus fines.

Se considera que la primera gráfica utilizada con fines estadísticos fue publicada en 1644 por el astrónomo y cartógrafo belga Michael Florent van Langren, en su obra <<La verdadera Longitvd por Mar y Tierra>>. En esta se mostraban las diferentes estimaciones de la longitud geográfica entre las ciudades de Toledo (España) y Roma (Italia), realizadas por varios astrónomos y geógrafos de la época.

4. Análisis inferencial

El análisis inferencial, finalmente, consiste en la aplicación de técnicas estadísticas para obtener información más profunda sobre los datos; esto se hace a través de métodos que infieran propiedades de estos al operar sobre ellos. Algunos ejemplos de técnicas que podrías utilizar, son los siguientes:

• Pruebas de hipótesis.
• Medidas de covarianza y correlación.
• Detección de datos anómalos.
• Análisis de componentes principales.
• Análisis de componentes de series de tiempo.

Lo vuelvo a repetir, lo que hagas para realizar inferencias estadísticas en un análisis exploratorio dependerá de las cualidades de tus datos, y de los aspectos que hayas develado anteriormente mediante la estadística descriptiva; los mencionados aquí son meramente informativos, y no pretenden ser ni obligatorios ni únicos.

Las distintas tareas que hemos explicado aquí para la ejecución de un análisis exploratorio se resumen en la Figura 2.6.1:

Existen diferentes formas de hacerlo. Se puede realizar con cualquier plataforma o lenguaje de programación que permita la manipulación de datos y la aplicación de técnicas estadísticas. Yo personalmente sugiero que lo hagas usando la misma herramienta con la que crees y pongas en marcha tu algoritmo de machine learning. En nuestro caso, lo haremos con Python, pero esto será hasta nuestro próximo encuentro.

Así finaliza este breve cruce con una de las actividades más elementales en todo proceso que incluya la puesta en marcha de un algoritmo de aprendizaje automático. Nuestra siguiente expedición será sobre preprocesamiento de datos, una etapa del ciclo de vida de los datos que incluye el análisis aquí expuesto, y que pondremos en práctica utilizando Python.

Equipaje recomendado

Tentempié

Tipos de datos

Todo dato recabado puede ser categorizado de varias maneras dependiendo del enfoque y las características que se desean enfatizar. Dada su particular importancia para el aprendizaje de máquinas. A continuación, hablaremos sobre dos pares de tipificaciones específicas:

• Tipos de datos por la presentación de sus valores.
• Tipos de datos por su estructura.

Tipos de datos por la presentación de sus valores

Una de las formas en las que se pueden clasificar datos es respecto a las propiedades de los valores que contienen, los cuales se expresan mediante el uso de diferentes tipos de signos. Estos son generalmente categorizados como no numéricos o numéricos, o de forma más común, como cualitativos y cuantitativos.

Datos cualitativos

Los datos cualitativos son un tipo de datos que describen entidades subjetivas o cualidades/características de objetos, que no se pueden expresar consistentemente con entidades matemáticas. Se trata de datos a los que no se les puede asignar un número o expresión matemática de acuerdo a un sistema estandarizado, por lo que, generalmente, estos se recolectan y simbolizan en forma de texto.

Un ejemplo de datos cualitativos son las opiniones de un conjunto de personas sobre una película. Al tratarse de valoraciones personales, estas no pueden ser fácilmente comunicadas en términos numéricos, por lo que se recolectan y se almacenan como texto.

Además de juicios personales como opiniones o gustos, como ya he mencionado, los datos cualitativos también pueden referirse a propiedades que no se suelen cuantificar.

Es correcto, toda característica o cualidad que sea fácilmente descrita de una manera no numérica cae en esta clase de datos. Veamos otros ejemplos.

Ejemplos de datos cualitativos:

• Reseñas de productos de una tienda virtual.
• Nombres de personas
• Videojuegos favoritos de un grupo de adolescentes.
• Estaciones del año.
• Marcas de computadoras.

Datos cuantitativos

Los datos cuantitativos son el tipo de datos que representan información mediante cifras o expresiones matemáticas equivalentes.

Los datos cuantitativos, por lo tanto, pueden tratarse sobre cualquier cosa o cualidad que se pueda comunicar sencillamente utilizando números, como el peso de un objeto, su longitud, o su temperatura.

Ejemplos de datos cuantitativos:

• Número de estudiantes extranjeros en una universidad.
• La amplitud de una onda.
• Calificación dada a un hotel (por ejemplo, entre 0 y 5).
• Magnitud de un sismo.
• Porcentaje de sal en el agua.

En la Figura 2.2.1 puedes observar una comparación entre ambos tipos de datos:

Como los datos cualitativos son muy comunes, es necesario que tomes en cuenta que para que una computadora pueda procesar la información para la generación de modelos matemáticos, esta siempre debe ser convertida a una forma numérica. Entre las artes del machine learning residen técnicas que transforman todo tipo de información cualitativa en entidades numéricas digeribles para una máquina. Esto lo irás conociendo poco a poco, conforme avancemos en nuestras travesías.

Tipos de datos por su estructura

En este último tramo, hablaremos sobre otro par de tipos de datos bastante común en la labor de un especialista en aprendizaje automático, y que hacen alusión a la forma en la que se presenta la información recolectada: datos estructurados y no estructurados.

Datos estructurados

Los datos estructurados son los tipos de conjuntos de datos que están organizados en formatos que permiten su fácil almacenamiento y/o procesamiento. La mayoría de las veces, estos se presentan en forma de tablas (las cuales pueden ser almacenadas en lo que se conoce como bases de datos relacionales, y manipularse con lenguajes de programación como SQL o Python), pero también puede presentarse en otros formatos estandarizados o «semi-estructurados» como el JSON.

Datos no estructurados

Los datos no estructurados, por otra parte, son un tipo de datos no organizados en formatos predefinidos para bases de datos tradicionales, por lo cual su almacenamiento y procesamiento computacional no es tan sencillo como con los datos estructurados. Ejemplos de estos pueden ser: videos, imágenes, o sonidos.

La razón por la que estas distinciones son importantes es análoga a la de datos cualitativos y cuantitativos: la información siempre deberá ser estructurada de la mejor manera para su lectura por la computadora, por lo que todo tipo de datos no estructurados se deberá pretender organizar hasta alcanzar un formato adecuado su procesamiento numérico, principalmente en arreglos vectoriales o matriciales. Estas transformaciones forman parte de un conjunto de tareas llamado preprocesamiento, que todos los científicos de datos deben conocer, y sobre el cual aprenderás más en las próximas expediciones.

Con esto concluye esta breve exploración sobre tipos de datos, en el próximo recorrido conocerás qué es y cómo se conforma un conjunto de datos en el contexto del aprendizaje de máquinas, uno de los conceptos más conocidos y utilizados en este ámbito.

Equipaje recomendado

Programación en Python

Google Colab

Nota: Este tutorial tiene una versión más extensa y detallada en YouTube, en forma de minicurso:

Antes de comenzar… ¿API?

La librería Spotipy de Python permite establecer comunicación con la API Web de Spotify, la cual a su vez ofrece un medio para la extracción de datos mediante comandos con contenido específico para cada tipo de consulta. Para poder utilizar de manera efectiva esta librería, es necesario tener al menos la noción de lo que es una API, cómo funciona, y (para el caso específico de Spotify) cómo y dónde está documentada.

¿Qué es una API?

Cómo se menciona en el artículo sobre cómo obtener conjuntos de datos, una API (de las siglas en inglés Application Programming Interface) es una interfaz de programación de aplicaciones, lo cual es, en pocas palabras, una forma de comunicación entre diferentes softwares mediante protocolos relativamente sencillos.

Una API (en específico, una API Web) permite establecer comunicación con plataformas web como Facebook, Google, Netflix o Spotify, y pueden ser consumidas mediante clientes utilizando diversas aplicaciones y lenguajes de programación, dentro de los cuales se encuentra Python.

API Web

Las API Web son un tipo de API que se utiliza para generar comunicación entre aplicaciones mediante el uso de la web. Esta conexión se da mediante solicitudes que se realizan a servidores utilizando un protocolo HTTP, el cual, simplemente, es la manera estandarizada en la que se deben estructurar los mensajes para generar tales solicitudes.

La Figura T.1 muestra de forma muy simplificada cómo se establece el flujo de datos mediante el consumo de una API Web:

Ejemplos de API web

Algunos ejemplos de este tipo de API son los siguientes:

GitHub API:

• Usada para acceder a datos de repositorios, usuarios, y más.
• Ejemplo de uso: Obtener información de un usuario de GitHub.
• Documentación

Twitter/X API v2:

• Usada para interactuar con tweets, usuarios, y estadísticas.
• Ejemplo de uso: Publicar un tweet desde tuuna aplicación desarrollada por ti.
• Documentación

OpenWeatherMap API:

• Ofrece datos climáticos como temperatura, precipitación, etc.
• Ejemplo de uso: Consultar el clima actual de una ciudad.
• Documentación

Google Maps API:

• Ofrece servicios como generación de mapas, cálculo de rutas, y geocodificación.
• Ejemplo de uso: Obtener coordenadas de una dirección.
• Documentación

API Web de Spotify y endpoints

La API Web de Spotify permite interactuar con el servicio de streaming de Spotify para realizar acciones como recuperar datos y metadatos de contenido, obtener recomendaciones, crear y gestionar listas de reproducción, o controlar la reproducción misma.

Para el uso de esta API se deben seguir al pie de la letra las formas de comunicación con los puntos de acceso o endpoints especificados por Spotify. Un endpoint es una URL que podemos utilizar para enviar solicitudes para interactuar con el servidor.

Estos endpoints están detallados en la documentación de la API: https://developer.spotify.com/documentation/web-api

En el cómo llamar a estos endpoints es donde entra en acción la librería de Spotipy, ya que simplifica la forma de consumir la API Web mediante funciones. Pasemos a ver cómo utilizarla.

¿Cómo consumir la API Web de Spotify con Python?

Spotipy es una librería de Python que facilita el consumo de la API web de Spotify mediante el uso de una sintaxis sencilla. Permite enviar solicitudes de manera simplificada, sin necesidad generar las estructuras de cada endpoint señaladas en la documentación.

Más adelante veremos cómo es la sintaxis para hacer uso de esta librería.

A continuación, se describen los pasos para consumir la API Web de Spotify con Python, utilizando Spotipy:

1. Configura una aplicación en Spotify for developers

Para poder acceder a la API, antes deberás crear una cuenta en https://developer.spotify.com/, y crear una app (un registro de proyecto que te permitirá extraer datos); es muy sencillo y rápido.

Primero deberás acceder a la sección de Login en la página principal e iniciar sesión si ya tienes una cuenta, o crear una:

Una vez realizado tu ingreso a la plataforma, deberás acceder a tu dashboard desde el menú desplegable del header:

Acepta los términos y condiciones:

Una vez dentro del dashboard, deberás dar clic en el botón «Create app«:

Llenas los campos del formulario, puedes añadir lo siguiente para los dos primeros:

• App Name: My App
• App Description: This is my first Spotify app

No es necesario llenar el campo Website. Añades el siguiente el siguiente valor en el campo Redirect URIs: http://127.0.0.1:3000 o http://localhost:3000, y das clic en el botón Add:

Selecciona las casillas como se muestra a continuación:

Y das clic en Save.

Aquí te puede salir el siguiente error:

Si esto sucede, solo hay que esperar algunos minutos, prepárate un café y vuelve a dar clic en Save.

Y con esto ya has completado el primer paso, lo siguiente es obtener las credenciales para acceder a la API.

2. Obtén tu client ID y client secret

Después de haber creado la app, deberás obtener códigos de identificación que te permitan hacer uso de la API, estos los podrás extraer desde la opción de «Settings» de tu app:

Una vez ahí, elige la opción «View client secret«, debajo del Client ID:

Finalmente, te mostrará los valores que necesitas:

Y listo, con estas cadenas de caracteres puedes comenzar a utilizar la API.

3. Configuración en Python

Ahora proseguiremos a instalar la librería en nuestro entorno de ejecución; estos pasos pueden variar ligeramente dependiendo de dónde correrás tu programa, ya sea en tu ordenador de forma local o en un servicio en la nube como Google Colab, si no sabes de qué se trata, visita este rápido tutorial. Aquí te explicaré ambas formas:

Pasos si ejecutarás el código de forma local

Primero, claramente debemos asegurarnos de tener Python instalado en nuestro sistema. En caso contrario, puedes descargarlo desde python.org.

Una vez hecho esto, deberás crear un directorio para tu proyecto y, dentro de él, crear un entorno virtual. Puedes hacerlo utilizando el siguiente comando en tu terminal:

python -m venv venv

Ahora activa el entorno virtual ejecutando el siguiente comando:

En macOS/Linux:

source venv/bin/activate

En Windows:

venv\Scripts\activate

Por último, instala la librería Spotipy ejecutando el siguiente comando dentro de tu compilador de Python:

pip install tqdm==4.67.1 pandas==2.2.2 spotipy==2.25.0

Pasos si ejecutarás el código en Google Colab

En lo que respecta a Google Colab, solo deberías instalar las librerías utilizando el siguiente comando:

!pip install pandas==2.2.2
!pip install tqdm==4.67.1
!pip install spotipy==2.25.0

4. Comencemos con Python: declaración de credenciales

Es hora de programar; lo siguiente será importar las librerías, declarar las variables client_id y client_secret con los valores que obtuviste al crear tu app (las credenciales para utilizar la API), y definir la variable que se utilizará para llamar a la API:

# Se importan las librerías necesarias.
import warnings
import spotipy
from spotipy.oauth2 import SpotifyClientCredentials
import pandas as pd
from tqdm import tqdm

# Se filtran las advertencias.
warnings.filterwarnings('ignore')

# Se declara el ID del cliente.
client_id = 'Añade tu Client ID'

# Se declara el valor del secret client.
client_secret = 'Añade tu Client Secret'

client_credentials_manager = SpotifyClientCredentials(client_id, client_secret)

5. Extrayendo datos

Con lo que tenemos hasta ahora ya podemos dar inicio a la obtención de datos de Spotify. ¿Qué es lo que podemos obtener utilizando la API?, las opciones son variadas, y pueden ser consultadas en la documentación de la librería: https://spotipy.readthedocs.io/en/2.24.0/#api-reference

Vayamos a un ejemplo específo para comprender cómo debemos estructurar las consultas. Supongamos que has explorado las funciones a utilizar, y te decides por la función search, la cual permite obtener información del catálogo de Spotify sobre álbumes, artistas, listas de reproducción, canciones, programas, episodios o audiolibros que coincidan con una cadena de palabras clave (es decir, buscará y traerá información sobre algún elemento especificado, como si utilizarás la barra de búsqueda).

Debemos identificar los elementos que conforman al comando para utilizar esta función en la documentación de la librería:

Notarás que se hace una breve descripción de lo que hace la función, y se especifican los parámetros que deben pasarse.

El parámetro más importante es q, el cual es la consulta de búsqueda a realizar, la cual puede ser acotada con los demás parámetros. La salida de esta función puede ser consultada en su respectivo espacio en la documentación de la API: https://developer.spotify.com/documentation/web-api/reference/search

Es aquí donde podemos ver por qué es necesario entender que es la API web y cómo es utilizada por la librería Spotipy, será necesario atender a ambas documentaciones para generar y comprender las consultas.

Ahora utilicemos la función. Supongamos que has decidido realizar la búsqueda «Blackpink» para obtener información sobre este grupo desde los servidores de Spotify. Usarías la función como sigue, especificando el nombre del grupo, y que se trata de un artista y no de una canción o algún otro tipo:

# Se busca información sobre Blackpink.
result = sp.search(q='Blackpink', type='artist', limit=1)

# Se imprime el resultado.
result

Como se aprecia arriba en la salida del código, el resultado es un diccionario con diferentes elementos correspondientes a información relacionada a la consulta (géneros a los que pertenece, imágenes relacionadas, popularidad, etc.), en este caso, la agrupación Blackpink.

Si deséaramos obtener de este diccionario, por ejemplo, el número de seguidores que tiene el grupo en la plataforma, tendríamos que acceder a la llave «followers«, y después al elemento ‘total‘:

# Se imprime el número de seguidores de Blackpink. 
result['artists']['items'][0]['followers']['total']

Nota: El valor retornado es el que se ve debajo de las líneas de código.

Ahora, supongamos que queremos algo un poco más específico: las 10 canciones más populares del grupo. Para esto obtendremos el ID que ha asignado Spotify a Blackpink, y después usaremos el método artist_top_tracks para obtener las canciones.

El código quedaría como sigue:

# Se obtiene ID de Blackpink de la información antes extraída.
blackpink_id = result['artists']['items'][0]['id']

# Se obtienen las 10 canciones más escuchadas de Blackpink.
results = sp.artist_top_tracks(blackpink_id)

# Se imprime el nombre de las canciones.
for track in results['tracks']:
    print(track['name'])

Como notarás, el uso de esta librería consiste en definir qué datos requieres, y traerlos mediante la manipulación de las respuestas de la API. Para saber todo sobre la información que puedes disponer a través de este medio, no olvides consultar las referencias del repositorio oficial de la librería, y complementar tu comprensión de cada característica acudiendo a la página oficial de la API de Spotify.

Nota: a veces la ejecución de códigos con esta librería puede arrojar el siguiente error:

Si es el caso, no te preocupes, esto se debe a una inocua incidencia de conexión; solo vuelve a ejecutar el código.

6. Extracción, transformación y descarga de datos: de diccionarios a tablas, y de tablas a CSV/Excel

Por último, te mostraré un ejemplo de cómo obtener una tabla con datos de 500 canciones, y descargar esta en formato CSV o Excel.

La intención será la de obtener una lista de 50 canciones de 10 géneros diferentes, de las cuales se tendrá la siguiente información: nombre, género, nombre del/la artista, nombre del álbum, fecha de estreno del álbum, duración, popularidad, número de canción en el álbum, URI.

El siguiente fragmento de código crea una función para la extracción de 50 canciones del género definido, sus características, y acomoda la información en un dataFrame de Pandas (formato de tabla):

def get_tracks_by_genre(genre):
    """
    Función que obtiene información de 50 canciones de un género musical de
    Spotify y organiza la información de un Pandas dataframe.
    """

    # Se buscan 50 canciones del género especificado.
    results = sp.search(q=f'genre:{genre}', type='track', limit=50)

    # Se extraen los IDs de las canciones.
    track_ids = [track['id'] for track in results['tracks']['items']]

    # Se obtienen detalles de las canciones.
    tracks_info = sp.tracks(tracks=track_ids)

    # Se crea una lista para almacenar los datos.
    track_data = []

    # Se obtienen los datos de cada canción y se añaden a la lista.
    for track in tracks_info['tracks']:
        track_data.append({
            'genre': genre,
            'name': track['name'],
            'artists_name': ', '.join([artist['name'] for artist in track['artists']]),  # Si hay varios artistas
            'album_name': track['album']['name'],
            'album_release_date': track['album']['release_date'],
            'duration_ms': track['duration_ms'],
            'popularity': track['popularity'],
            'track_number': track['track_number'],
            'uri': track['uri']
        })

    # Se convierte la lista en un DataFrame de pandas.
    df = pd.DataFrame(track_data)

    return df

Así luce la tabla resultante, por ejemplo, del uso de la función con el género Rock como parámetro de entrada:

# Ejemplo de uso con el género 'rock'.
genre = "rock"
get_tracks_by_genre(genre)

Ahora, creamos un bucle que obtenga estos datos para cada género especificado en una lista, y concatenamos las tablas resultantes, generando una única tabla con los datos de todas las canciones:

# Se crea una lista con los géneros musicales deseados.
genres_list = ['world-music', 'salsa', 'rock-n-roll', 'reggae', 'reggaeton', 'pop', 'black-metal', 'k-pop', 'hip-hop', 'electronic']

# Se itera sobre esta lista utilizando sus elementos como entradas de la función creada.
tables = []

for item in tqdm(genres_list, desc = 'Creando conjunto de datos:'):
  table = get_tracks_by_genre(item)
  tables.append(table)

# Se concatenan las tablas y se imprime el resultado.
dataset = pd.concat(tables)
dataset

El resultado es un conjunto de datos estructurados en formato de tabla, con 500 renglones y 13 columnas.

Nota: una lista de los géneros disponibles se puede consultar en https://everynoise.com/everynoise1d.html

Por último, se puede obtener en formato CSV o Excel como sigue:

De forma local:

 # Se guarda en formato CSV.   
dataset .to_csv('dataset .csv', index=False)

 # Se guarda en formato Excel.   
dataset .to_excel('dataset .xls', index=False)

En Google Colab:

# Se guarda en formato CSV.   
dataset .to_csv('dataset .csv', index=False)

# Se guarda en formato Excel.   
dataset .to_excel('dataset .xls', index=False)

# Se descarga el CSV.   
from google.colab import files
files.download('dataset .csv')

# Se descarga el Excel.   
from google.colab import files
files.download('dataset .xls')

Puedes ver y ejecutar el código completo en Google Colab dando clic al siguiente botón:

Con esto concluimos este rápido tutorial de consumo de la API de Spotify en Python; notarás que es un proceso sencillo, y que depende de que te instruyas en qué datos puedes extraer, y cómo puedes acceder a ellos correctamente en el formato en el que son entregados.

¿Siguientes pasos? Lo que puedes hacer ahora es someter estos datos a un preprocesamiento y procesamiento, para un análisis o un modelo de aprendizaje automático. ¿Te interesa ver cómo alimentar un algoritmo de machine learning con estos datos? Revisa el tutorial sobre regresión logística, donde te enseño un código de Python en el que utilizamos estos datos para entrenar un modelo que aprende a clasificar canciones en diversos géneros musicales dadas algunas características.

La regresión logística se considera como uno de los componentes clave del aprendizaje de máquinas, principalmente para la creación de modelos de clasificación, y desde su estudio podemos no solamente comprender la esencia de su funcionamiento en cuanto a asignación de categorías, sino también conocer la percepción matemática del machine learning desde un enfoque probabilístico.

En esta excursión experimentaremos un viaje con emociones más tórridas: nos embarcaremos en la búsqueda y comprensión de este algoritmo desde una frívola descripción demostrativa hasta sus raíces matemáticas, y pondremos en práctica lo aprendido utilizando un conjunto de datos obtenido con la API de Spotify, lo cual nos permitirá operar sobre una minúscula muestra del big data generado por uno de los más icónicos gigantes tecnológicos de esta era.

Equipaje recomendado

Google Colab

Programación en Python

Preprocesamiento de datos

Matemáticas: principalmente álgebra, probabilidad y estadística.

Regresión lineal

Algún acompañamiento

Introducción a la regresión logística

El método de regresión lineal que hemos explorado anteriormente nos permite realizar estimaciones numéricas dado un conjunto de entradas (variables independientes) y una salida (variable dependiente) mediante la obtención de un modelo que describa la relación entre estas.

Este modelo, si bien es útil para realizar cálculos dadas variables continuas, no es de gran ayuda cuando es necesario asignar una categoría a un conjunto de entradas, es decir, ejecutar una tarea de clasificación.

Para esto es que se invoca a la regresión logística, un artefacto que utiliza principios de probabilidad para la categorización de datos, y el cual comenzaremos a sondear, al igual que hicimos con la regresión lineal, desde un ejemplo sobre su uso para la resolución de un problema.

Regresión logística: caso de uso

Para ejemplificar el empleo de la regresión logística, haremos uso de datos obtenidos de Spotify, la afamada plataforma de música vía streaming.

Supongamos que se nos ha asignado la tarea de crear un modelo capaz de clasificar una canción por su género dada su «bailabilidad» (danceability), la cual es una métrica (con un rango continuo de entre 0 y 1) creada por Spotify que determina qué tan adecuada es una canción para ser bailada; esto se define de acuerdo con la combinación de algunos elementos musicales como el tempo o la estabilidad del ritmo).

Justamente la idea de utilizar un modelo que aprenda a clasificar canciones utilizando esta métrica como atributo de entrada nos puede arrojar insights sobre si es una característica funcional o no.

El objetivo será clasificar un conjunto de canciones en dos géneros musicales respecto a su bailabilidad:

• Black metal.
• Reggaeton.

Para esto utilizaremos la regresión logística, y la forma en que atacaremos este problema es considerándolo desde un punto de vista probabilístico. La pregunta que intentaremos resolver sobre cualquier canción de nuestro conjunto de datos será la siguiente:

• Dado el grado de bailabilidad de una canción, ¿a qué género es más probable que pertenezca?

¿Qué es la regresión logística?

La regresión logística es un método matemático cuyo objetivo es modelar la probabilidad de que un evento pertenezca a una o más categorías dados los valores de una o más variables independientes.

Esto quiere decir, en el contexto de los algoritmos de clasificación, que el fin de la regresión logística es el de ajustar un modelo que pueda ser utilizado para calcular la probabilidad de que una entrada sea miembro de una clase en particular. La definición matemática de esto la veremos con más detalle en la siguiente sección.

Justo como se hace en una regresión lineal, la idea de obtener un modelo con la regresión logística es la de encontrar una ecuación que nos permita modelar la relación de las variables que determinan el comportamiento de los datos, y para ello el patrón a definir es el de una curva dibujada por una función llamada función logística.

Como podrás notar en la Figura 3.3.1, la función logística (o función sigmoidea) genera una curva cuyos puntos se encuentran entre los valores 0 y 1 del eje vertical y. Esto quiere decir que cualquier entrada para el modelo será mapeada a un valor en este rango.

Espero que lo hayas vislumbrado. El transformar cada entrada en un número comprendido entre el 0 y el 1 es traducible a que la salida del modelo es una probabilidad. Recordemos que, dados los axiomas de Kolmogórov, todo valor de probabilidad está situado en este rango, siendo 1 la máxima probabilidad de que un evento suceda, y 0 la mínima.

Entre otras palabras, el modelo generado por la regresión logística tomará como entrada los datos a los que deseamos asignar una clase, y nos dará como salida la probabilidad de que estos pertenezcan a alguna categoría en particular, lo cual nos permitirá clasificarlos, como se ilustra en la Figura 3.3.2:

Asignación de clases

Ahora que hemos explorado algunos fundamentos de este método para realizar clasificaciones de datos, volvamos al caso planteado.

Echemos un vistazo a parte del conjunto de datos de canciones que vamos a utilizar:

En la tabla se puede apreciar el nombre de la canción, su grado de bailabilidad, y el género al que pertenece. Estos datos etiquetados (con entradas y salidas definidas, justo como lo demandan los algoritmos de aprendizaje supervisado) serán procesados por la regresión logística, produciendo un modelo que nos ayudará a clasificar canciones nuevas.

Supongamos que ya hemos entrenado el modelo con estos datos, por lo que ahora lo probaremos con cinco canciones:

1. Efecto
2. Deathcrush
3. Blow your trumpets Gabriel.
4. TQG.
5. Silver Lining.

Lo que haremos será evaluar cada una de estas con el modelo resultante, de forma que buscamos obtener la siguiente probabilidad:

p(canción pertenece a la clase black metal | bailabilidad)

Lo cual significa: probabilidad de que la canción pertenezca a la clase black metal dada su bailabilidad.

La probabilidad calculada por el modelo para cada canción se muestra en la siguiente tabla:

De acuerdo con estas probabilidades, queda delegar cada canción a una clase. ¿Cómo se define esto?, esto se hace respecto a un umbral conocido como límite de decisión, el cual es el valor que define la probabilidad mínima necesaria para asignar un elemento a una clase específica. Sin ahondar en su cálculo por el momento, especificaremos que el límite de decisión para nuestro modelo es de 0.58, lo que significa que toda canción con una probabilidad mayor a este será considerada como parte de la categoría black metal.

El primer renglón, por ejemplo, nos dice que la probabilidad de que la canción Efecto sea del género del black metal es del 30%; al estar por debajo del umbral, se determina que esta no pertenece a esta categoría. Ahora, dadas las probabilidades, asignamos una clase a las 5 canciones:

En los algoritmos de clasificación procreados desde Python no es necesario realizar este último paso manualmente, todas las asignaciones de cada nueva observación se hacen de forma automática, junto con el ajuste del modelo.

Correcto, es una descripción básica, pero permite identificar los casos de uso de la regresión logística para modelos de clasificación.

Ahora que hemos explorado superficialmente este algoritmo de aprendizaje supervisado, podemos pasar a conocerla con mayor escrutinio, desde su anatomía matemática.

Matemáticas de la regresión logística

Para enunciar las definiciones matemáticas correspondientes para la comprensión de la regresión logística, atenderemos al ejemplo propuesto y el cómo resolverlo considerando lo que sabemos hasta ahora, de forma que alcancemos poco a poco tales definiciones.

Regresión lineal vs regresión logística para algoritmos de clasificación

Volvamos de nuevo al punto de inicio de nuestra tarea de clasificación de canciones, y realicemos una pregunta más específica:

• ¿Cómo puedo crear un algoritmo que clasifique canciones en dos categorías (reggaeton y black metal) dado su grado de bailabilidad?

Ahora intentaremos utilizar el conocimiento que ya tenemos de machine learning hasta nuestra exploración pasada para dar respuesta a esta cuestión, por lo que planteamos la siguiente pregunta:

• ¿Puedo utilizar una regresión lineal para obtener un modelo que haga los cálculos necesarios para este algoritmo de clasificación?

Al principio podría sonar relativamente confuso, o incluso sin sentido, ya que nuestra definición de regresión lineal no comprende el uso de probabilidades; sin embargo, podríamos pensar de manera no premeditada que es posible calcular la probabilidad p(x) como salida dados los valores de la variable independiente x. Es decir, postular p(x) como una función lineal de x como sigue:

\begin{aligned}
    p(x)=\theta_{0}+\theta_{1}x\:. \tag{3.23}
\end{aligned}

Dicho esto, y con lo que ya se ha mencionado durante el recorrido, ¿puedes decir cuál es el mayor impedimento para que pueda modelarse de esta manera?

¿Lo recuerdas?, de nuevo se trata del rango en el que deben estar contenidas las salidas si estas son probabilidades. Recordemos que para toda probabilidad p(x) se cumple que p(x)\in(0,1), y las funciones lineales no están limitadas a estos valores, sus salidas pueden generar cifras tanto mayores a 1, como negativas.

Esta y otras razones no postulan a la regresión lineal como una buena candidata para el mapeo de probabilidades, y para algoritmos de clasificación en general.

Sin embargo, es conveniente encontrar una expresión lineal que pueda ser utilizada para modelar la relación entre las variables dependientes y la variable independiente, ya que permitiría entender cómo los cambios en las variables independientes afectan a la probabilidad de que ocurra un evento específico, el cual está representado por la variable dependiente. Por ello, buscaremos la forma de modelar la interacción lineal entre estas, y a su vez mapear sus salidas a una probabilidad.

Un elemento oportuno para esto es la razón de probabilidad (odds), la cual se escribe como sigue:

\begin{aligned}
    \text{odds}=\frac{p(x)}{1-p(x)}\:, \tag{3.24}
\end{aligned}

donde p(x) es la probabilidad de que ocurra un evento. Esta razón de probabilidades expresa la proporción o razón de la probabilidad de que ocurra un evento y la probabilidad de que no ocurra, y la utilizaremos para modelar las relaciones entre las variables que determinan esas ocurrencias o no ocurrencias.

Se asume, entonces, que esta razón de probabilidad puede ser expresada como una combinación lineal de las variables independientes (predictoras), es decir:

\begin{aligned}
    \frac{p(x)}{1-p(x)}=\theta_{0}+\theta_{1}x\:. \tag{3.25}
\end{aligned}

Ahora tenemos una ecuación que iguala la razón de las probabilidades de ocurrencia y no ocurrencia de un evento con la combinación lineal de las variables predictoras, permitiendo relacionar las probabilidades con los elementos de una expresión lineal. Sin embargo, hay una inconsistencia matemática relacionada a los valores que puede tomar la expresión lineal del lado derecho (su rango o imagen), los cuales se encuentran en el rango (-\infty,\infty), mientras que el rango de la función odds es (0,\infty). Para lidiar con esto, se realiza una transformación sobre la razón de probabilidades odds aplicando un logaritmo natural, quedando

\begin{aligned}
    \mathrm{ln}(\frac{p(x)}{1-p(x)})=\theta_{0}+\theta_{1}x\:. \tag{3.26}
\end{aligned}

Esta forma es llamada logit, y es conveniente en este sentido ya que la concordancia entre los rangos de ambos lados de la ecuación permiten la igualación de una combinación lineal de las variables independientes a la razón de probabilidades (ya que el rango de un logaritmo natural también es (-\infty,\infty)).

Finalmente, como buscamos obtener una función de probabilidad, despejamos p(x) en la ecuación, obteniendo

\begin{aligned}
   p(y|x,\theta)=\frac{1}{1+e^{-(\theta_{0}+\theta_{1}x)}}\:. \tag{3.27}
\end{aligned}

donde p(y|x,\theta) es equivalente a p(x), detallando que se expresa la probabilidad de que el evento y suceda dada la variable independiente x parametrizada por coeficientes \theta.

Esta forma final es conocida como función logística \sigma(x), y su principal virtud es que los valores que pueden tomar sus salidas oscilan entre el 0 y el 1, por lo que pueden ser interpretadas como probabilidades. En este caso, p(y|x;\theta) quiere decir «la probabilidad de y dados x y \theta. El rango de esta función es fácilmente constatable en la Figura 3.3.1:

Podemos resumir la lógica de lo que hemos revisado hasta ahora como sigue:

• Podemos tener la necesidad de modelar probabilidades condicionales para realizar clasificaciones de datos, pero la regresión lineal convencional no funciona adecuadamente para ello.
• Sin embargo, pretendemos utilizar un proceso de regresión asumiendo que la relación entre las variables inmiscuidas es lineal, por lo que igualamos el logaritmo natural de la razón de probabilidad a una combinación lineal de las variables predictoras o regresoras.
• Finalmente, se manipula la ecuación para definir la probabilidad en función de x y \theta, dando como resultado una función logística, la cual arroja salidas únicamente comprendidas entre 0 y 1, y que pueden ser interpretadas como probabilidades.

Con esto ya contamos con todos los elementos necesarios para hacer la definición formal de la regresión logística, la cual generalizaremos a más de una variable independiente.

Definición 3.6 (Regresión logística). Dado un conjunto \lbrace (x_{1},y_{1}),…,(x_{N},y_{N})\rbrace de N observaciones o datos etiquetados, donde cada entrada x_n está compuesta por un conjunto \lbrace x_n^1, x_n^2, \ldots, x_n^D \rbrace de D variables independientes, predictoras o regresoras parametrizadas por un conjunto \lbrace\theta_0, \theta_1, \ldots, \theta_D\rbrace de D coeficientes correspondientes a cada variable regresora x_n^d , y cada salida del conjunto de datos es binaria, es decir, y_n \in {0, 1} , la regresión logística es un método que pretende modelar las relaciones entre estas entradas y salidas, y mapearlas a probabilidades mediante el ajuste de los parámetros de la función

\begin{aligned}
   \sigma(x_n) &=p(y_{n}=1|x_{n},\theta)\\
 &=\frac{1}{1+e^{-(\theta_0{} + \sum_{i=1}^D \theta_{d} x_n^{d})}}\:, \tag{3.28}
\end{aligned}

donde p(y_n = 1|x_n, \theta) quiere decir <<probabilidad condicional de y_n = 1 dados los valores de la variable independiente parametrizada por \theta >>, donde 1 representa a una clase en particular. Es decir, p(y_n = 1|x_n, \theta) se refiere a la probabilidad de que una entrada x_n parametrizada por \theta pertenezca a una categoría arbitraria representada por el número 1.

Y en general, hay que tomar en cuenta que \sigma:\mathbb{R}\rightarrow(0,1).

Por último, tengamos en mente que la función sigmoidea de una sola variable, que es la que estaremos utilizando en nuestros ejercicios, tiene la siguiente forma:

\begin{aligned}
   \sigma(x_n)=\frac{1}{1+e^{-(\theta_{0}+\theta_{1}x_n)}}\:,  \tag{3.29}
\end{aligned}

donde, recordemos, \sigma(x_n)=p(y_{n}=1|x_{n},\theta).

Veremos esta función aplicada a nuestro ejemplo, y su comprensión será mucho más fácil. Por lo pronto, hemos definido cómo es que la regresión logística mapea números reales a probabilidades condicionales, las cuales utilizamos para designar una entrada a una categoría específica. Antes de aplicar esto a nuestro ejemplo, veamos cómo estimar los parámetros de nuestra función, lo cual es el proceso de entrenamiento del algoritmo de machine learning.

Estimación de parámetros en la regresión logística

Existen varios métodos para ajustar los parámetros de un modelo de regresión logística, pero aquí haremos hincapié en uno en específico por el enorme eco que hace en la teoría del machine learning desde su perspectiva probabilística. Esta técnica es conocida como estimación de la máxima verosimilitud.

Estimación de la máxima verosimilitud (MLE)

La estimación de la máxima verosimilitud (MLE, por las siglas en inglés de Maximum Likelihood Estimation) es una metodología para estimar los parámetros de un modelo probabilístico mediante lo que se conoce como verosimilitud, el cual es un componente clave de la probabilidad bayesiana. En general, la MLE es comparable como marco general a la minimización del riesgo empírico.

Función de verosimilitud

Definición 3.7 (Función de verosimilitud). Dada una función de masa o función de densidad de probabilidad f(x|\theta), donde x_1, x_2, …, x_N son N observaciones independientes e identicamente distribuidas (iid), y \theta es el conjunto de parámetros \theta_1, \theta_2, …, \theta_D, la distribución de probabilidad conjunta de todas las observaciones es

\begin{aligned}
   p(x_1, x_2,…, x_n|\theta)=f(x_1|\theta)f(x_2|\theta),...,f(x_n|\theta)\:. \tag{3.30}
\end{aligned}

Esto es llamado función de verosimilitud, la cual expresa que los valores x_1, x_2, …, x_N son fijos, mientras que los parámetros \theta son variables, por lo que la función calcula las probabilidades de que dichas observaciones se den dados ciertos valores de los parámetros (es decir, qué tanto los valores de los parámetros generan a las observaciones).

Tomando en cuenta que las observaciones son independientes y que la probabilidad es conjunta, reescribimos la función de verosimilitud \mathcal{L}(\theta|x) como

\begin{aligned}
   \mathcal{L}(\theta|x_1, x_2,…, x_n) = \prod_i^nf(x_i|\theta)\:. \tag{3.31}
\end{aligned}

Esta función determina qué tanto los valores que parametrizan a una distribución de probabilidad generan a las observaciones del conjunto de datos, por lo que puede ser utilizada para encontrar dichos valores.

Nótese que la notación cambia ligeramente para expresar que ahora los datos observados x_1, x_2,…, x_n son fijos, y los parámetros \theta son las incógnitas o las variables que queremos ajustar. Por lo tanto, se reorganiza el enfoque de la notación para resaltar que la función depende de \theta, mientras que los datos son un componente fijo.

Definición 3.8 (Estimación de la máxima verosimilitud). Dada la función de verosimilitud mostrada en (3.31), el método de estimación de máxima verosimilitud \hat{\theta} consiste en maximizar la probabilidad de obtener las salidas del conjunto de datos dados los valores de los parámetros mediante la operación

\begin{aligned}
   \hat{\theta}=\mathrm{arg\:max}\mathcal{L}(\theta|x_1, x_2,…, x_n)\:, \tag{3.32}
\end{aligned}

lo cual quiere decir que, al maximizar la probabilidad de que tales parámetros produzcan las observaciones, se hace una estimación de los valores que parametrizan al modelo (la función de distribución de probabilidad).

Entre otras palabras, para un modelo probabilístico, la máxima verosimilitud puede ser utilizada para estimar los valores de sus parámetros, así como se utiliza la minimización del riesgo empírico en algoritmos como la regresión lineal.

Máxima verosimilitud en la regresión logística

No ahondaremos mucho en todo el proceso matemático involucrado en la estimación de los parámetros de la regresión logística utilizando la máxima verosimilitud, pero sí hablaremos un poco sobre las consideraciones matemáticas que conducen al cómo realizarla.

Debemos recordar que el objetivo del modelo obtenido por la regresión logística es predecir la probabilidad de ocurrencia de un evento binario en función de un conjunto de variables predictoras, por lo que la distribución de probabilidad que mejor se adecúa a este caso es la distribución de Bernoulli:

\begin{aligned}
   f(x;p) = p^x(1-p)^{1-x}, \quad x \in {0,1}\ \tag{3.33}
\end{aligned}

donde p es la probabilidad de éxito de un experimento, o probabilidad de que x=1, siendo x el resultado del experimento.

Sabiendo esto, tenemos que la función de verosimilitud de la distribución de Bernoulli que utilizaremos para estimar los parámetros es:

\begin{aligned}
   \mathcal{L}(\theta) = \prod_{n=1}^{N} p_n^{y_n}(1-p_n)^{(1-y_n)}\:, \tag{3.34}
\end{aligned}

donde p_n es la probabilidad de que y=1 dadas las variables predictoras x_n^{d} y los parámetros \theta, es decir,

\begin{aligned}
   p_n = p(y = 1 | x_n, \theta) =\frac{1}{1+e^{-(\theta_0{} + \sum_{i=1}^D \theta_{d} x_n^{d})}}\:. \tag{3.35}
\end{aligned}

Además, la función de verosimilitud se suele expresar en términos de un logaritmo natural para la simplificación de cálculos, dando como resultado que la estimación de parámetros del modelo esté dada por

\begin{aligned}
   \mathrm{arg\:max}\:\mathcal{L}(\theta|x_1, x_2,…, x_N) = \sum_{n=1}^{N} y_n \log(p_n) + (1 - y_n) \log(1-p_n)\:, \tag{3.36}
\end{aligned}

siendo esta la forma final de la función que ajusta los valores de los parámetros del modelo.

Aplicación de la regresión logística para clasificación de datos

Es tiempo de volver al ejemplo planteado y explicar cómo es que el modelo obtenido puede ser utilizado para realizar las clasificaciones deseadas.

Supongamos que hemos utilizado la regresión logística alimentando al algoritmo con nuestros datos de canciones, tomando ahora como objetivo a la clase «reggaeton» (ahora buscamos predecir qué tan probable es que una canción sea de reggaaeton según su bailabilidad), y el ajuste de los parámetros ha quedado como sigue:

\theta_{0} = -2.28

\theta_{1} = 4.12

Dado que solo tenemos una variable independiente, o regresor, el cual es la bailabilidad de la canción, utilizamos el modelo de regresión logística univariable mostrada en la Ecuación (3.29), donde al sustituir con los valores de los parámetros obtenidos de la fase de entrenamiento, quedaría como sigue:

\begin{aligned}
   \sigma(x_n)=\frac{1}{1+e^{-(-2.28+4.12(x_n))}} \tag{3.37}
\end{aligned}

Ahora tomaremos dos canciones del conjunto de prueba y estimaremos la probabilidad de que pertenezcan a la categoría reggaeton, que está representada con el número 1. Las canciones a utilizar serán Deathmask Divine y Gasolina (un clásico de clásicos), cuyos grados de bailabilidad son:

Realizamos el cálculo para la primer canción utilizando la función sigmoidea, donde x_n=0.43:

Estimación de probabilidad para Deathmask Divine

\begin{aligned}
   \sigma(0.43)=\frac{1}{1+e^{-(-2.28+4.12(0.43))}}=0.38 \tag{3.38}
\end{aligned}

Para entender cómo es que el patrón descrito por esta función dibuja las probabilidades en función de las entradas, observemos la gráfica de la estimación dada para Deathmask Divine:

Ahora realizamos el cálculo para la canción Gasolina, con x_n=0.85.

Estimación de probabilidad para Gasolina

\begin{aligned}
   \sigma(0.85)=\frac{1}{1+e^{-(-2.28+4.12(0.85))}}=0.77 \tag{3.39}
\end{aligned}

Se puede apreciar cómo las probabilidades son marcadamente diferentes para cada una, pero ¿cómo es que nuestro algoritmo de machine learning decidirá etiquetar nuestros datos en clases utilizando estos valores?

Este es el paso final, y la respuesta a esto es un elemento conocido como límite de decisión.

Límite de decisión

Para asignar categorías a cada dato dada la probabilidad mapeada por la función logística se utiliza el límite de decisión, el cual es el umbral que define si esta probabilidad es suficiente o insuficiente para que una observación pertenezca a la clase de referencia.

Definición 3.9 (Límite de decisión). Dada la función logística generada por la regresión logística, el límite de decisión b_{dec} se obtiene mediante

\begin{aligned}
   b_{dec}=-\frac{\theta_{0}}{\theta_{1}}\:\, \tag{3.40}
\end{aligned}

cuyo resultado es la frontera en la que la probabilidad de pertenecer a una clase es igual a 0.5, es decir, determina qué valor de las salidas de la función sigmoidea funge como el umbral entre la asignación de una clase u otra.

Para entenderlo mejor, procederemos a calcular el valor del límite de decisión para nuestro modelo:

\begin{aligned}
   b_{dec}=-\frac{-2.39}{4.12}=0.58\:\, \tag{3.41}
\end{aligned}

Por lo tanto, para toda canción con probabilidad p(y=1|x,\theta) estimada por la función logística, se cumple que:

• La canción pertenece a la clase 1 si su probabilidad es mayor a 0.58 (si p>b_{dec}).
• La canción pertenece a la clase 0 si su probabilidad es menor que 0.58 (si p<b_{dec}).

De acuerdo con esto, veamos qué categorías corresponden a cada una de las canciones seleccionadas a evaluar:

Con esto queda entendido que este umbral nos dice si un dato pertenecerá o no a una clase: si la probabilidad calculada para cierta observación está por encima del límite, entonces pertenece a la clase de referencia, y viceversa.

De forma gráfica, el límite de decisión para una función sigmoidea con una variable predictora luce como una línea recta, la cual separa las observaciones después de haberse adjudicado a alguna clase:

En la gráfica se puede notar que el modelo no es un predictor perfecto: existen algunos puntos debajo del umbral de decisión que aún forman parte de la clase objetivo, lo cual es normal sabiendo que se trata de un fenómeno no determinista.

Para concluir, con toda esta información, ¿puedes contestar a la pregunta planteada al inicio de la sección?

Pregunta:

• ¿Cómo puedo crear un algoritmo que clasifique canciones en dos categorías (reggaeton y black metal) dado su grado de bailabilidad?

La respuesta corta sería: modelando la relación que existe entre la bailabilidad y la probabilidad de que una canción pertenezca a una de las clases, mapeando el resultado a un rango de probabilidades utilizando un modelo ajustado por una regresión logística, la cual calculará los parámetros del modelo maximizando la verosimilitud de su distribución de probabilidad (de Bernoulli), dando como resultado una función que genera probabilidades respecto a una entrada parametrizada, y la cual puede ser utilizada para definir si una canción pertenece o no a una clase respecto a un umbral de decisión.

Es una buena pregunta, ya que es muy probable necesitar hacer clasificaciones con más de dos clases, la regresión logística de clases múltiples es un tema que retomaremos más adelante y abordaremos con mayor escrutinio. Por el momento, nos limitaremos a saber que sí es posible hacer esto, y que las técnicas más conocidas para ello son las siguientes:

1. Uno contra el resto (One-vs-Rest).
2. Softmax o Regresión Logística Multinomial.

De entre las cuales la función softmax será tema de discusión en una expedición próxima, ya que es un elemento recurrente en modelos de aprendizaje automático. La regresión multiclase la podrás experimentar en la práctica en Python de la siguiente sección.

Regresión logística: código de programación en python

Hora de aplicar lo aprendido a un conjunto de datos reales. En esta ocasión, como ya se ha hecho mención durante toda la expedición, utilizaremos un conjunto de datos generado haciendo uso de la API de Spotify. Si te interesa aprender a hacer esto, visita el tutorial en este link.

Por lo pronto, es momento de ponernos manos a la obra:

También puedes observar el código y previsualizar sus salidas en la siguiente ventana, pero sin posibilidad de ejecutarlo:

Ahora tenemos un conocimiento más que suficiente de lo que es, cómo, y para qué se utiliza la regresión logística. Este algoritmo es el que utilizaremos para introducir conceptos básicos de machine learning relativos a los algoritmos de clasificación, mientras que utilizaremos la regresión lineal para aquellos que arrojan estimaciones en rangos numéricos continuos. Estamos por comenzar a tantear terrenos que competen a fundamentos importantes del aprendizaje de máquinas, y que nos conducirán a uno de los modelos más consagrados de su historia: la red neuronal artificial.

Entre la diversa gama de algoritmos del machine learning, la regresión lineal es, probablemente, al menos en lo que respecta al aprendizaje supervisado, el más elemental. Esta técnica es bastante útil para realizar inferencias sobre datos cuyas variables que los describen guardan aparentes relaciones lineales entre sí; su uso abarca tanto los ámbitos científicos y empresariales, y es un componente básico de algoritmos más complejos y con mayor relevancia en la actualidad como las redes neuronales artificiales (que a su vez son la partícula elemental de los avances más grandes en IA actualmente), por lo que su estudio fungirá como un puente hacia la inspección de varias definiciones relevantes del aprendizaje de máquinas.

En esta exploración te mostraré todo lo que necesitas saber sobre la regresión lineal: su significado, funcionamiento, definición matemática, y otras peculiaridades a tomar en cuenta para su correcta aplicación para el análisis de datos inferencial. Todo esto lo pondrás en práctica con un programa en Python, el cual tiene un enfoque hacia la resolución de un problema en el que utilizaremos datos reales.

Este será tu primer acercamiento a un algoritmo de machine learning cimentado desde su definición hasta la resolución de problemas utilizándolo para modelar patrones de un conjunto de datos.

Equipaje recomendado

Preprocesamiento de datos

Fundamentos del aprendizaje supervisado

Google Colab

Programación en Python

Matemáticas

Álgebra, probabilidad, estadística, y las definiciones dadas en nuestro acercamiento al aprendizaje supervisado.

Algun acompañamiento

*Notas:

1. Debido a las necesidades que debemos cubrir antes de iniciar nuestro encuentro con la regresión lineal en Python, la sección de matemáticas esta vez aparecerá precediendo a la de programación.

2. Esta travesía develará principalmente el funcionamiento de la regresión lineal simple/univariable. La teoría que corresponde a su versión multivariable se considerará de manera breve en la sección de matemáticas.

Regresión lineal, la madre de los algoritmos del machine learning

Como ya se ha mencionado, la regresión lineal es uno de los corpúsculos que componen la base del aprendizaje automático; el tipo de fenómenos que es capaz de modelar puede ser de cualquier índole, y ha sido extensamente utilizada desde hace más de dos siglos.

Su esencialidad para el desarrollo ulterior de la teoría del aprendizaje de máquinas no la dota de una simplicidad exenta de la teoría matemática, ya que nace y se desarrolla puramente a través de ella. Sin embargo, es posible explicar sus usos y los principios de su método sin aludir explícitamente a este campo.

Como ha sucedido en nuestros recorridos hasta ahora, primero exploraremos su definición de una manera no rica en tecnicismos, con ejemplos e ilustraciones complementarias, y después desglosaremos su forma matemática.

Para empezar a tantear los terrenos pertenecientes a la regresión lineal, en esta ocasión partiremos desde un ejemplo, y lo iremos desarrollando hasta introducir la idea general de su funcionamiento y objetivo, para lo cual supondremos un nuevo misterio a ser abordado.

Regresión lineal: planteamiento del problema

El cuestionamiento a atacar en esta ocasión es el siguiente: dada una tabla con información sobre las horas de estudio de un grupo de alumnos y su calificación obtenida, ¿cómo podemos estimar la calificación de un alumno dado el número de horas que destinó a estudiar?

En la Tabla 3.2.1 se puede observar el conjunto de datos en su forma tabular, la cual nos permite discernir la relación que guarda el puntaje obtenido por los alumnos con las horas que han dedicado al estudio.

Para poder vislumbrar más claramente el tipo de relación existente entre nuestras entradas y salidas, emplearemos uno de los principales métodos para explorar un conjunto de datos cuando este consta de dos o tres variables, y del cual hemos hablado en la excursión sobre análisis exploratorio de datos: observar su dispersión en una gráfica.

En este caso, utilizaremos un sencillo plano en el que dibujaremos los puntos correspondientes a los valores del puntaje obtenido respecto a las horas dedicadas.

¿Qué es lo que podemos percibir en la Figura 3.2.1 respecto a la relación entre ambas variables? A simple vista, podemos identificar un patrón entre la forma en que se dan los puntajes obtenidos respecto a las horas de estudio: pareciera que se asocian dibujando una especie de línea recta con tendencia creciente (a mayores horas de estudio, mejor calificación).

Sí, se trata de la misma técnica exhibida en el ejemplo utilizado para ilustrar el aprendizaje supervisado, pero esta vez desglosaremos cómo funciona el método en su totalidad.

Sabemos que el machine learning, y más específicamente, el aprendizaje supervisado, busca la obtención <<automática>> de patrones en conjuntos de datos etiquetados, los cuales pueden ser descritos mediante funciones matemáticas. Para casos como este, en el que se atisba una relación lineal entre un par de variables, nuestro objetivo es hallar la expresión matemática que dibuje la línea recta que describa de manera más aproximada el comportamiento de nuestros datos, y esto es justo lo que podemos hacer utilizando la regresión lineal.

Ya que hemos identificado por qué esta técnica nos puede servir para nuestros fines, pasaremos a su definición.

¿Qué es la regresión lineal?

En términos sencillos, la regresión lineal es un método matemático para encontrar los parámetros de la ecuación de una recta que describe de manera aproximada la relación entre una variable dependiente y una variable independiente.

La definición más concreta es la que se expresa matemáticamente, pero esta forma la veremos en su sección correspondiente; por el momento, contemplaremos cómo luce el resultado de esta técnica, y qué usos le podemos dar.

Ejecución y resultados de la regresión lineal simple

Volvamos a nuestro problema sobre la estimación de calificaciones de acuerdo a las horas de estudio. Después de haber realizado una somera exploración de nuestros datos observando su dispersión en una gráfica de dos dimensiones (Figura 3.2.1), hemos decidido que podemos utilizar la regresión lineal para la obtención de una ecuación (línea recta) que describa de manera aproximada el comportamiento de nuestros datos, y por lo tanto, nos permita realizar predicciones sobre estos.

Sin entrar aún en detalle, para la obtención de esta recta se utiliza un método matemático, de entre los cuales el más común es el denominado de mínimos cuadrados, el cual, de forma simplificada, se puede describir como una técnica que genera una recta de manera que las distancias entre los datos y esta sea la mínima posible.

No entraremos en más especificaciones por el momento, en la Figura 3.2.2 se puede observar el resultado de la aplicación del método de regresión lineal para la adquisición de una recta (y por lo tanto, su ecuación). La operación señalada como procesamiento de datos corresponde al uso de la técnica de mínimos cuadrados para el ajuste de la recta a los datos (nótese que se pueden utilizar otros métodos para su procesamiento, pero como se ha mencionado, este es el más frecuente y el que desarrollaremos más adelante).

Nota: como ya se ha mencionado, el resultado de la regresión lineal es una ecuación, la cual funge como modelo matemático para la estimación de valores respecto a la variable independiente. La forma y obtención de esta entidad matemática se desarrollará propiamente en la sección consiguiente.

La regresión lineal es el resultado de la aplicación del método de mínimos cuadrados para encontrar el valor de los parámetros de una ecuación lineal. Este método fue publicado por primera vez, en 1805, por el matemático francés Adrien-Marie Legendre en su libro <<Nuevos métodos para la determinación de las órbitas de los cometas>>, en el cual desarrolló un método matemático destinado a estimar los movimientos orbitales de los cometas, dados los datos de sus ubicaciones observadas.

En 1809, el titán alemán Carl Gauss publicó el mismo método para el cálculo de órbitas de cuerpos celestes, adjudicándose su creación al anunciar que lo había desarrollado alrededor del año 1795 (a la edad de 18 años).

Esto es un ejemplo (de entre muchos) de cómo científicos realizan trabajos similares en sus áreas de forma asíncrona, a veces generando altercados de todo tipo en su comunidad.

¿Cómo utilizar la regresión lineal para el análisis de datos?

Una vez que hemos obtenido una recta acoplada a nuestros datos como la mostrada en la Figura 3.2.2, podemos darle uso para obtener algún tipo de conocimiento de valor, o insight. Aquí hablaremos sobre los dos usos más comunes de la regresión lineal para el análisis de datos (descriptivo e inferencial):

• Predicción de nuevos valores.
• Identificación de tendencias.

Prediciendo datos con la regresión lineal: resolución del problema

Para abordar el primer punto, retomaremos la pregunta planteada al inicio:

• ¿Cómo podemos estimar la calificación de un alumno dado el número de horas que destinó a estudiar?

Nosotros hemos propuesto el uso de la regresión lineal para la resolución de esta cuestión, pretendiendo obtener una recta que guarde las distancias más cortas con los valores de los ejemplos de entrenamiento del conjunto de datos, y por lo tanto, utilizarla para la estimación de cantidades que no se hallan dentro de este. Esta recta se ve como sigue:

Para hacer uso de la regresión lineal aplicada, vayamos más lejos en el planteamiento de nuestra cuestión inicial haciendo una pregunta más puntual:

• ¿Cuál es el puntaje estimado para un alumno que estudió 6 horas?

Como podrás constatar en la Tabla 3.2.1, no tenemos un registro concreto de calificación para este número de horas de estudio, por lo que para hacer una aproximación del punto respecto a este valor utilizaremos el resultado obtenido por la regresión lineal. ¿Cómo lo haremos?, esto se hace identificando el valor que tiene la calificación sobre la recta en el punto que corresponde a las 6 horas de estudio.

En la Figura 3.2.4 se muestra el punto que corresponde al valor del puntaje dado por la recta en el valor de horas igual a 6:

Se puede verificar cómo al identificar el número 6 en el eje horizontal, que corresponde a las horas, llegamos al punto que está sobre la recta (punto amarillo); este se sitúa aproximadamente a la altura del número 61.1 en el eje vertical, es decir, el de los puntajes. Esto se muestra de manera más concisa en la siguiente gráfica:

Esto quiere decir que, según la recta producida con la regresión lineal (la cual modeló un patrón intrínseco en nuestro conjunto de datos), al estudiarse 6 horas se obtendrá aproximadamente una calificación de 61.1, lo cual no difiere del comportamiento mostrado por las cantidades que ya tenemos mapeadas en la Tabla 3.2.1. Claro, esto es meramente ilustrativo, el procedimiento consiste en realidad en utilizar la ecuación de la recta obtenida para hacer las estimaciones, lo cual veremos más adelante.

Es correcto, de esta forma podemos estimar datos cuando determinamos que hay una aparente relación lineal entre estas.

Con esto que hemos trazado, ya es tiempo de responder de manera concisa a la pregunta planteada en un inicio:

¿Cómo podemos estimar la calificación de un alumno dado el número de horas que destinó a estudiar?

Nuestra respuesta a esto es que una forma de hacerlo es, dado su comportamiento aparentemente lineal, modelando una recta que se ajuste a estos datos, y utilizando el modelo resultante para predecir valores nuevos respecto a entradas nuevas, es decir, utilizando el modelo para estimar calificaciones respecto a cierto número de horas dadas.

Regresión lineal para avistar tendencias

Otra forma de utilizar la regresión lineal es para obtener un indicio de la tendencia de un conjunto de datos, es decir, si muestra un comportamiento creciente o decreciente. Varias aplicaciones que permiten visualización de datos generan y despliegan rectas obtenidas mediante regresiones lineales con la intención de denotar estas tendencias, y prácticamente solo nos muestran hacia dónde están inclinadas las rectas resultantes, es decir, su pendiente.

En las Figura 3.2.6 puedes observar dos conjuntos de datos con tendencias crecientes y decrecientes:

Un ejemplo de esto es lo que hace Excel para mostrar tendencias en los datos; para que te des una idea más detallada, aquí puedes ver cómo ellos mismos mencionan utilizar el método de mínimos cuadrados para sus fines: tendencias en Excel.

Con esto que hemos aprendido sobre la regresión lineal ya hemos obtenido un vasto panorama sobre cuál es su objetivo y cómo podemos utilizarla para solucionar problemas de ciencia de datos.

Ahora, antes de pasar a la práctica en Python, atendamos a sus definiciones matemáticas.

Definición matemática de la regresión lineal simple

Las definiciones matemáticas de la regresión lineal y el método de los mínimos cuadrados son relativamente sencillas, pero antes debemos asegurarnos de que tenemos bien presente lo básico respecto a las rectas y su interpretación en el espacio.

Echemos un vistazo a estos aspectos.

Ecuación de la recta e interpretación geométrica

Definición 3.2. (Ecuación de la recta). La ecuación de la recta es la expresión matemática que al ser evaluada/mapeada como una función describe la dirección y posición de una recta en un plano cartesiano. Su forma es la siguiente:

\begin{aligned}
    y=mx+b\:, \tag{3.9}
\end{aligned}

donde m \in \mathbb{R} es el valor de la pendiente (la cual determina su inclinación) y b\in \mathbb{R} es el valor en el que la recta se intersepta con el eje y. Se dice que m y b son sus parámetros o regresores.

En la Figura 3.2.7 se pueden visualizar diferentes ejemplos de cómo varía la presentación de la recta de acuerdo a diferentes variantes de sus parámetros:

Componente aleatorio

Como hemos comprobado tanto en el recorrido anterior como al inicio de este, la ecuación de una recta se puede utilizar para representar patrones en conjuntos de datos que consten de dos variables con una relación lineal entre estas.

En nuestro ejemplo sobre calificaciones, los puntajes obtenidos por los estudiantes dependen del número de horas que dedicaron al estudio. Al identificar visualmente una relación lineal en la Figura 3.2.1, se decidió que se podía utilizar una recta para modelar este patrón subyacente.

Por lo tanto, si suponemos que la interacción de este par de variables puede ser modelada por la ecuación de una recta, la variable independiente x representa a las horas de estudio, mientras que la variable dependiente y es la calificación obtenida (ya que los valores de esta última dependen de los valores de la otra).

Por razones de consistencia en nuestra notación matemática, reescribiremos la ecuación de la recta de la siguiente forma:

\begin{aligned}
    y=\Theta_{0}+\Theta_{1}x\:, \tag{3.10}
\end{aligned}

donde y es la variable dependiente, y x la variable independiente parametrizada por \Theta, siendo \Theta_0 la intersección con las ordenadas (antes b), y \Theta_1 la pendiente de la recta (antes m).

Ahora que tenemos definida la forma de nuestra ecuación, y hemos identificado un posible patrón lineal en el comportamiento de los datos, notemos que la dispersión de estos no dibuja una línea recta exacta, sino que estos se distribuyen en una forma cercana a esta, como se puede constatar en la Figura 3.3.2.

Esto sucede porque no existe ningún fenómeno completamente determinista (hasta donde sabemos/creemos); siempre que tengamos un conjunto de datos de cualquier tipo, notaremos que no existe una relación completamente predecible entre las variables que lo componen (por ejemplo, no todos los alumnos que estudien 5 horas obtendrán siempre la misma calificación).

Se dice, entonces, que este tipo de fenómenos son de naturaleza probabilística, y por lo tanto, su comportamiento no puede ser descrito con total precisión por un modelo matemático. Por ello, cuando se intenta describir la relación entre variables asignadas a un conjunto de datos mediante una expresión matemática, se debe añadir un componente aleatorio que representa este «ruido» o aleatoriedad en las observaciones.

Tomando en cuenta estas consideraciones, redefinimos que la variable y se relaciona con la variable x a través de la ecuación:

\begin{aligned}
    y=\Theta_{0}+\Theta_{1}x+\varepsilon\:, \tag{3.11}
\end{aligned}

donde \varepsilon es la variable que representa al componente aleatorio, el cual suele ser llamado error aleatorio.

Y de hecho, otro punto importante es que se asume que estas «desviaciones» tienen una distribución normal alrededor de la recta, es decir, su media cae sobre la recta, y los puntos más alejados de esta son poco comunes.

Puede llegar a ser poco intuitivo, pero con tenerlo presente basta. Para entender mejor los conceptos hasta aquí expuestos relacionados a la regresión lineal, y una parte de las bases de los objetivos del aprendizaje de máquinas, podemos resumir la lógica que precede al uso de la regresión lineal de la siguiente manera:

• Tenemos un conjunto de datos que consta de un par variables, de las cuales los valores de una dependen de la otra.
• Al explorarlo, determinamos que podemos modelar su comportamiento con la función de una recta.
• Ahora debemos obtener dicha función, por lo que para esto asumimos que existe tal modelo matemático.
• Habiendo asumiendo lo anterior, también se debe suponer que hay cierto ruido o componente aleatorio que genera puntos fuera de esa recta, entre los cuales estarán todas o una parte de las observaciones de las que consta el conjunto de datos, por lo que todo modelo obtenido no tendrá una capacidad predictiva totalmente exacta.

La cuestión clave a resolver ahora es: ¿cómo obtenemos dicha ecuación?

La regresión lineal como técnica de aprendizaje supervisado

Es aquí donde concebimos a la regresión lineal como la simiente de un modelo de machine learning. Recordemos que el aprendizaje supervisado tiene como objetivo encontrar, de entre un conjunto de hipótesis h(x), el modelo matemático que describa de forma más aproximada el comportamiento de un conjunto de datos, justo como reza la Definición 3.1 mostrada en nuestra última expedición.

Esto quiere decir que, ahora que sabemos que estamos buscando un patrón que puede ser representado por una recta, sabemos que existe un conjunto infinito de posibles rectas, y que entre estos debemos hallar el que se ajuste mejor a nuestros datos. Un ejemplo de esto lo podemos visualizar en la Figura 3.2.8:

En esta ilustración se observa a un grupo de líneas dadas por funciones (hipótesis) con diferentes valores de sus parámetros, y la función objetivo, la cual es el modelo ideal que dibuja el patrón más afín a la dispersión de los datos.

Para ser más conscientes de cómo surgen estas rectas, recordemos que la función lineal ideal f(x), y la función lineal hipotética h(x), se expresan como sigue:

\begin{aligned}
    f(x)=\Theta_{0}+\Theta_{1}x \tag{3.12}
\end{aligned}

\begin{aligned}
    h(x)=\theta_{0}+\theta_{1}x\:, \tag{3.13}
\end{aligned}

Esta búsqueda de un modelo matemático entre posibles hipótesis a partir de datos etiquetados es lo que le confiere a la regresión lineal su puesto dentro de los anaqueles del aprendizaje supervisado, y por lo tanto, del aprendizaje automático.

Como ya he mencionado, la forma de obtener este modelo no es única, pero la más común es el método de mínimos cuadrados, el cual forma parte de un marco general del machine learning.

Minimización del riesgo empírico (empirical risk minimization), un enfoque general del aprendizaje de máquinas

La esencia del método de mínimos cuadrados reside en hallar la recta más cercana a las salidas del conjunto de datos. Para esto, lo que se hace es recurrir a un marco general del machine learning, el cual consiste en resolver el cómo seleccionar el modelo matemático más apropiado de entre el conjunto de hipótesis posibles.

¿Cómo lograrlo?, esto se puede lograr comparando las predicciones generadas por la hipótesis propuesta y los puntos que conforman al conjunto de datos.

Para observar este proceso, utilizaremos las funciones de las Ecuaciones (3.12) y (3.13) para calcular salidas o predicciones de una hipótesis en particular. Supongamos que nuestro modelo h_{\theta}(x) (hipótesis) para la estimación de datos sobre el conjunto de datos de calificaciones tiene la siguiente forma:

\begin{aligned}
    h(x)=3+10x,\: \tag{3.14}
\end{aligned}

con \theta_{0}=3 y \theta_{1}=10.

Esta función puede utilizarse para predecir cuál es el valor del puntaje de un alumno dadas determinadas horas de estudio, por lo que la usaremos para estimar el valor del puntaje en 4.5 horas:

\begin{aligned}
    h(4.5)=3+10(45)=48.\: \tag{3.15}
\end{aligned}

Esto quiere decir que el modelo calcula que para 4.5 horas de estudio, un alumno obtendrá aproximadamente un 48 de calificación.

Revisando el conjunto de datos (Tabla 3.2.1), podemos constatar en el renglón número 12 (doceavo ejemplo de entrenamiento) que el valor observado para este valor es de 41, por lo que la diferencia entre este y la cantidad real (asumiendo que está dada por la función objetivo y = f(x)) es:

\begin{aligned}
    \hat{y}_{12}-y_{12}&=48-41\\
&=7, \tag{3.16}
\end{aligned}

donde \hat{y}_n representa al valor obtenido al evaluar la función hipotética en 4.5, como se hizo en (3.15).

Esta diferencia entre valores correspondientes al conjunto de datos y valores predichos por el modelo, es lo que se conoce como «error» o «riesgo«, y mientras este es más pequeño, el modelo es mejor en sus predicciones, ya que esto significa que sus salidas se asemejan más a las cantidades reales.

Dado esto, es lógico pensar que, para obtener el mejor modelo, las diferencias entre los puntos predichos por el modelo y los puntos pertenecientes al conjunto de datos debe ser la menor posible.

La operación de minimizar estas diferencias o errores es lo que se conoce como minimización del riesgo empírico, y es un marco general a través del cual se puede abordar la obtención de modelos de machine learning.

Regresión lineal simple

Definición 3.2. (Regresión lineal simple). La regresión lineal simple es un método cuyo objetivo es encontrar la ecuación que describe la relación lineal entre una variable independiente x, una variable dependiente y, y un componente aleatorio \varepsilon. La ecuación resultante tiene la forma

\begin{aligned}
    y=\Theta_{0}+\Theta_{1}x+\varepsilon\:, \tag{3.17}
\end{aligned}

donde \Theta_{0} y \Theta_{1} son los regresores que la parametrizan.

Función de error para la regresión lineal

Como lo determina la minimización del error empírico, para evaluar qué tan bien predice valores el modelo hallado por la regresión lineal, se comparan las salidas de este con los valores del conjunto de datos (también conocido como el terreno verdadero, terreno real, o verdad fundamental).

Definición 3.3 (Error). Dado un conjunto \mathcal{D}=\lbrace (x_{1},y_{1}),…,(x_{n},y_{n}),…,(x_{N},y_{N})\rbrace de N datos etiquetados, una función hipótesis h(x) =\theta_{0}+\theta_{1}x ajustada a los datos, donde \hat{y}_n es la salida de la hipótesis evaluada en x_{n}, y y_{n} la n-ésima salida del conjunto de datos, el n-ésimo error e_{n} está dado por

\begin{aligned}
    e_{n}=y_{n}-\hat{y}_n\:, \tag{3.18}
\end{aligned}

la cual es la diferencia entre las salidas del conjunto de datos, y las salidas generadas por h(x).

Teniendo esto en cuenta, finalmente definimos la función de error, o función de pérdida para la regresión lineal.

Definición 3.4 (Función de error cuadrático medio). La función de error para la regresión lineal es la función de error cuadrático, la cual tiene la forma

\begin{aligned}
    &l(y_{n},\hat{y}_n)=e_{n}^{2} \tag{3.19}\\
&l(y_{n},\hat{y}_n)=(y_{n}-\hat{y}_n)^{2}.
\end{aligned}

Esta función calcula el cuadrado de los residuales, es decir, el cuadrado de las diferencias entre lo que predice el modelo y los valores del conjunto de datos. Lo que buscaremos ahora será minimizar esos errores con la función del error cuadrático medio:

\begin{aligned}
\text{MSE} &= \min \frac{1}{N} \sum_{n=1}^{N} l(y_n, \hat{y}_n) \tag{3.20} \\
           &= \min \frac{1}{N} \sum_{n=1}^{N} (y_n - \hat{y}_n)^2,
\end{aligned}

la cual minimiza la suma del cuadrado de las diferencias entre las predicciones de \hat{y}_n y las salidas y_{n} del conjunto de datos.

Esta minimización implica que se encontrarán los parámetros \theta_{0} y \theta_{1} que reduzcan las diferencias entre las predicciones del modelo y los valores reales.

Haciendo predicciones con el modelo ajustado

El desarrollo matemático correspondiente a la obtención de las ecuaciones que determinan los valores de los regresores \theta_{0} y \theta_{1} que minimizan la función MSE (del error cuadrático medio, por sus siglas en inglés: mean squared error) no serán mostradas aquí para evitar alargar demasiado el recorrido.

Sin embargo, si se desea explorar esta parte, recomiendo el capítulo 11 del libro Probabilidad y estadística de Walpole, o este texto del profesor Esteban Hurtado de la facultad de ciencias de la UNAM: El método de mínimos cuadrados.

Para finalizar, haremos algunas estimaciones con la función encontrada por la regresión lineal.

Supongamos que hemos calculado los parámetros de la ecuación de la recta utilizando el método de mínimos cuadrados, y hemos obtenido la siguiente función:

\begin{aligned}
    h(x)=2.48+9.77x\:, \tag{3.21}
\end{aligned}

donde \theta_{0}=2.48 y \theta_{1}=9.77.

Ahora lo que buscamos es obtener alguna aproximación de una calificación dada un número de horas que no se encuentre dentro de nuestro conjunto de datos. En esta ocasión, elegiremos el 5.3.

Sustituimos en (3.21):

\begin{aligned}
    h(x)=2.48+9.77(5.3)=54.26.\: \tag{3.22}
\end{aligned}

Por lo tanto, nuestro modelo estima una calificación de aproximadamente 54 para alumnos que estudien 5.3 horas, lo cual es consistente con los valores de la Tabla 3.2.1.

En la Figura 3.2.9 se ilustra el resultado:

Para esos casos aún se puede utilizar la regresión lineal, pero en su versión multivariable. Lo definiremos a continuación, pero de manera opcional (este recorrido ha sido exaustivo). Ya luego la retomaremos.

Regresión lineal multivariable (opcional)

Es importante que al menos sepas que existe una versión de la regresión lineal que considera a más de una variable independiente. Esta se llama regresión lineal multivariada o multivariable, y te puede llegar a ser de utilidad.

Definición 3.5 (Regresión lineal multivariable). La regresión multivariable es un método cuyo objetivo es encontrar la ecuación que describe la relación lineal entre varias variables independientes x_1, x_2, \dots, x_n , una variable dependiente y , y un componente aleatorio \varepsilon . La ecuación resultante tiene la forma

y = \Theta_0 + \Theta_1 x_1 + \Theta_2 x_2 + \dots + \Theta_n x_n + \varepsilon, \tag{3.22.1}

donde \Theta_0, \Theta_1, \dots, \Theta_n son los regresores que la parametrizan.

Esto quiere decir que, en caso de existir, puedes modelar la relación de más de una variable de entrada con tu salida. Por ejemplo, se podrían utilizar las variables número de horas de estudio, edad del alumno, y nivel socioeconómico del alumno para estimar la calificación total que obtendrá un estudiante, lo cual generaría una ecuación como la que sigue:

y = \Theta_0 + \Theta_1 x_1 + \Theta_2 x_2 +\Theta_3 x_3, \tag{3.22.2}

donde

• x_1= horas de estudio
• x_2= edad
• x_3= nivel socioeconómico

Supuestos de la regresión lineal (opcional)

Para cerrar esta sección, haré mención de los supuestos de la regresión lineal, los cuales son asunciones que deben de cumplirse para que la técnica pueda ser correctamente aplicada. Esto es importante para determinar si el patrón de la relación entre variables de un conjunto de datos puede ser eficientemente modelado por una regresión lineal, y aunque no las estudiaremos a profundidad, al menos es importante que sepas de su existencia.

Si no los entiendes a la perfección, no te preocupes; si deseas aprenderlo más a fondo, recomiendo el capítulo 5.1 del libro Interpretable Machine Learning de Christopher Molnar.

Supuestos de la regresión lineal:

• Linealidad: se asume que las variables involucradas guardan relaciones lineales entre sí, es decir, la ecuación que las modela son el resultado de una combinación lineal de la variable independiente y los residuos (componente aleatorio).
• Homocedasticidad: la varianza de los errores es constante.
• Independencia: las observaciones son independientes una de la otra.
• Normalidad: la variable dependiente posee una distribución normal.
• No-colinealidad: no existe relación lineal exacta entre ninguna de las variables independientes.
• Exogeneidad: las variables independientes no deben estar correlacionadas con los términos de error. Esto significa que las variables predictoras son exógenas, es decir, cualquier cambio en las variables independientes no debe estar relacionado con el término de error de la regresión.

Regresión lineal simple: código de programación en python

Hemos llegado al final de esta travesía. Como último paraje a recorrer, confrontaremos una situación en la que haremos uso de la regresión lineal simple en Python para la solución de un problema. Para este caso, proseguiremos con el tema de automóviles y sus características con el fin de dar continuidad a lo visto en la introducción al preprocesamiento de datos, para lo cual utilizaremos un conjunto de datos diferente y más actualizado.

Da clic aquí para dirigirte a la práctica en Colab:

También puedes observar el código en la siguiente ventana, pero sin posibilidad de ejecutarlo:

Aquí finaliza nuestra travesía. Por fin has aprendido sobre el funcionamiento y uso de un algoritmo de machine learning, y lo has puesto en acción. En la siguiente exploración conocerás a la afamada regresión logística, un método que se enfoca en tareas de clasificación, y el cual también se considera clave para el estudio de modelos más avanzados.

Hemos alcanzado la penúltima sesión de nuestro entrenamiento especializado en conjuntos de datos, uno de los peldaños más significativos previo a dar partida en caminos más intrincados, poblados por los desafíos que plantean los modelos del machine learning.

En esta ocasión, conocerás y pondrás en práctica un paso ineludible en el desarrollo de todo algoritmo de aprendizaje de máquinas: el preprocesamiento de datos. Este es una parte cardinal del ciclo de vida de los datos, y es una actividad muy frecuente a realizar por quienes tienen la tarea de implementar modelos de aprendizaje de máquinas, ya que la mayoría de las veces es necesario modificar algunos aspectos de los datos para procurar su eficaz procesamiento computacional.

Equipaje recomendado

Nociones sobre conjuntos de datos, el ciclo de vida de los datos, y tipos de datos

Matemáticas: conocimiento en estadística descriptiva e inferencial

Análisis exploratorio de datos

Google Colab

Programación en Python: uso de librerías y comprensión básica de sintaxis

Tentempié

En este caso, además de explicar nuestro objeto de estudio, también tendremos nuestra primera práctica en Python, la cual vendrá desarrollada en un cuaderno de Google Colab, y para el que solo tendrás que ejecutar líneas de código y observar los resultados.

Nota: Recuerda que para utilizar Google Colab solo tendrás que hacer clic en el botón que te compartiré en la sección de programación, el cual te dirigirá hacia el espacio de trabajo con el código ejecutable y sus respectivas explicaciones. No olvides revisar la introducción rápida a Colab si aún no sabes de qué se trata.

¿Qué es el preprocesamiento de datos?

El preprocesamiento de datos es el conjunto de técnicas empleadas con el fin de preparar los datos para asegurar su calidad, viabilidad, y eficiencia para su procesamiento computacional. Es una de las etapas del ciclo de vida de los datos, y su importancia radica en que su objetivo es procurar las mejores propiedades de los datos para su computación.

El preprocesamiento de datos como una etapa del ciclo de vida de los datos está justo detrás de la fase de procesamiento (Fig. 2.7.1), que es la que corresponde a la operación computacional de los datos para su transformación en conocimiento de valor.

A quien le interesa particularmente acondicionar los datos es a quien está involucrado directamente con el procesamiento de estos (en nuestro caso, alimentar un modelo de aprendizaje de máquinas).

A pesar de que el preprocesamiento se da en un momento posterior a la transformación de los datos, la cual consiste en modificar estos para su correcto almacenamiento en bases de datos relacionales o no relacionales (es decir, dotarlos de formatos estructurados o semi-estructurados), esto no quiere decir que la información ya está en la mejor forma para entrar en la etapa de procesamiento.

Para entenderlo mejor, dejemos de lado las analogías de panes, y veamos las técnicas empleadas para ello, y algunos ejemplos.

Técnicas de preprocesamiento de datos

El preprocesamiento de datos comprende un conjunto de técnicas o tipos de técnicas originadas principalmente en la minería de datos (la cual trata sobre extracción de patrones en grandes volúmenes de datos). Estas componen el flujo del preprocesamiento, y conocerlas ilustrará los objetivos que persigue.

Las cuatro técnicas o enfoques principales del preprocesamiento se dividen de la siguiente forma:

• Integración
• Limpieza.
• Transformación.
• Reducción.

Veamos de qué va cada una.

Integración de datos

La la etapa de integración de datos en el preprocesamiento consiste en combinar información proveniente de diversas fuentes en un solo conjunto unificado. El realizar o no esta tarea dependerá de diversos factores referentes a tus bases de datos: ¿de dónde tomarás los datos?, ¿son compatibles entre sí?, ¿qué tipos de datos tienes y qué requieres para unirlos en un solo conjunto?

Entre otras palabras, esta etapa consiste en tomar datos de diversas bases y cruzarlos para tener un solo conjunto sobre el cual operar. Es importante, ya que para entrenar un modelo de aprendizaje artificial debes tener ordenados tus datos en un solo conjunto de ejemplos de entrenamiento, como vimos en las definiciones de conjuntos de datos y conjuntos de datos etiquetados.

Puede que esto suene un poco inconsistente con el flujo del ciclo de vida de los datos presentado hasta ahora, ya que he hablado de que los datos suelen almacenarse en espacios centralizados como data warehouses o datalakes. Pero esto no implica que TODOS los datos se encuentren en una sola estructura como una tabla, si no que se tendrán diferentes conjuntos almacenados en estructuras separadas, generalmente tablas relacionadas entre sí (cuando son datos estructurados). Y de ahí debes tomar lo que necesites, y combinarlo en un solo conjunto para tus fines.

Antes de continuar… no olvidemos el análisis exploratorio

Una vez que tenemos un conjunto unificado, es hora de realizar las modificaciones correspondientes a los datos para que queden listos como entradas para un algoritmo de machine learning. Pero, ¿cómo sabemos qué acciones específicas llevar a cabo?

Para esto, se realiza un análisis de datos exploratorio, en el que irás descubriendo los aspectos de tus datos que debes trabajar. Por lo tanto, el análisis de datos va aunado a las siguientes etapas; conforme vas analizando tus datos, vas determinando qué tareas necesitarás ejecutar para preprocesar los datos adecuadamente. Por ello, consideraremos que el análisis exploratorio es parte del peprocesamiento de datos, y no una actividad separada.

Recordemos de qué va este tipo de análisis visualizando de nuevo el esquema de la Figura 2.6.1 de la sesión pasada:

Ahora sí, es momento de modificar esos datos.

Limpieza de datos

Esta es generalmente la más elemental más concurrida actividad dentro del preprocesamiento. Consiste en la detección y corrección de inconsistencias en el conjunto de datos. Para su ejemplificación, nos referiremos principalmente a datos organizados en tablas, dado que es muy frecuente encontrarlos en estas estructuras. Algunos ejemplos de inconsistencias en datos para su limpieza (las cuales encontraste mediante un análisis exploratorio) son:

• Datos nulos o ausentes: generalmente son expresados por la máquina con la forma «NaN» o «Null», estos representan espacios vacíos o datos no válidos en el conjunto de datos.
• Datos duplicados: renglones/ejemplos de entrenamiento repetidos en el conjunto de datos.
• Datos mal escritos: palabras o números que no tienen sentido en el contexto del conjunto de datos por algún error de transcripción.
• Tipos de datos inconsistentes: que cada columna no esté definida con su tipo de datos correspondiente, por ejemplo, los datos cuantitativos deberían expresarse como enteros (int) o racionales (float), y los datos cualitativos en su mayoría como cadenas de caracteres (strings).
• Datos atípicos: valores que se alejan de forma estadísticamente considerable de la tendencia.

Transformación de datos

Este enfoque tiene el mismo nombre que el de nuestro ciclo de vida de los datos, pero no debe confundirse: la transformación de datos en el preprocesamiento trata sobre modificar el conjunto de datos para posibilitar o acrecentar su facilidad de procesamiento. Algunas de estas transformaciones pueden ser: normalización/estandarización de los datos (una operación muy común), suavizado, vectorización, escalado, o codificación (traducción de datos cualitativos a números o estructuras matemáticas).

Reducción de datos

La reducción de datos consiste en la obtención de una representación más pequeña, pero más conveniente, del conjunto de datos. Entre las actividades que la conforman están la reducción de categorías/dimensionalidad (una práctica muy frecuente), y reducción de numerosidad. Para esto se pueden emplear incluso algoritmos de aprendizaje supervisado y no supervisado, y su fin es la optimización del procesamiento de la información, y la generación de los resultados más óptimos posibles.

Como podrás notar, el preprocesamiento consiste en asegurar que los datos a procesar no generen errores al tomarse como entradas en los algoritmos, y sean computados en el menor tiempo posible; esta es la razón de ser de este paso del ciclo de vida de los datos, el cual es casi rutinario en la creación y ejecución de un modelo de aprendizaje de máquinas.

¿Cómo hacer preprocesamiento de datos?

El preprocesamiento se puede trabajar con distintas herramientas que permitan la manipulación de los datos, ya sea con algún lenguaje de programación como SQL, Python o R, o aplicaciones como Excel, Google Sheets, entre otras. La mejor idea es (si está dentro de las posibilidades) hacer este acondicionamiento de los datos desde el mismo lugar en el que ejecutarás su procesamiento, ya que simplifica el salto entre etapas (pre y procesamiento); en términos generales, un lenguaje de programación flexible como Python es la mejor opción, ya que puedes llevar a cabo tareas altamente personalizables, y definir tanto las operaciones de la etapa de preprocesamiento y procesamiento con códigos escritos en el mismo lenguaje, lo cual aporta fluidez.

Como he mencionado al principio de esta travesía, nosotros usaremos Python para preprocesar nuestros conjuntos de datos, y ya es tiempo de navegar hacia tu primera práctica en este lenguaje de programación, donde entenderás mucho mejor el proceso de preparación de datos definido hasta ahora.

Análisis exploratorio y preprocesamiento de datos con Python

En el siguiente código en Python observarás ejemplos de manipulación de datos utilizando parte de las técnicas anteriormente descritas, principalmente mediante la librería Pandas. Operarás sobre un conjunto de datos real, y visualizarás los cambios que se van suscitando en estos conforme a las modificaciones realizadas alineadas a objetivos propuestos.

No necesitas programar nada, solo ejecutar el código para atestiguar los resultados, aunque eres libre de realizar cambios si deseas realizar experimentos.

Accede dando clic en el siguiente botón:

También puedes echar un vistazo al código en la siguiente ventana:

Esta primera práctica en Python funge como una introducción a la forma de trabajo en libretas de Google Colab, y tiene como objetivo el darte una idea de las metas del preprocesamiento y su importancia al programar un algoritmo de aprendizaje automático.

Las técnicas empleadas para ejecutar estas tareas varían de acuerdo a los datos a preprocesar, e irás explorando sus distintas formas conforme avancemos en el curso.

Has concluido el tramo más escabroso de tu entrenamiento en datos, el cual es imprescindible para iniciar tus andanzas en los territorios que albergan los principales algoritmos del aprendizaje de máquinas.

Si te quedaste con dudas sobre lo que hemos puesto en marcha en la práctica, no te preocupes, haremos preprocesamiento de datos y análisis exploratorio en innumerables ocasiones a lo largo de nuestras travesías. El fin de este primer acercamiento fue mostrarte cómo evoluciona un conjunto de datos al ir aplicando las etapas de análisis y preprocesamiento.

Como última parada antes de comenzar nuestro estudio de algoritmos de machine learning, haremos una breve exploración en un tema inherente a la división de los datos para el entrenamiento y evaluación de modelos.