15. Etapas de un proyecto de Machine Learning: El modelo

📝 Podéis encontrar las notas del programa completas en https://datos.ninja/podcast/15-etapas-proyecto-machine-learning-parte-3/

En el episodio 13 hablamos del planteamiento del problema de Machine Learning.

En el episodio 14 vimos como construir un dataset de calidad.

Y hoy, vemos la fase de diseño del modelo de Machine Learning, aunque damos por hecho que un ingeniero de datos se ha encargado de seleccionar el almacenamiento adecuado para nuestros datos y los tenemos listos para usar.

Si queréis saber más sobre el ciclo de vida de un dato desde su ingesta hasta que está listo para ser utilizado, podéis ver este hilo de twitter al que hago referencia en el episodio de hoy.

Antes de entrenar el modelo hay que preparar los datos.

• Transformaciones obligatorias de los datos para que sean compatibles con el modelo.
• Transformaciones opcionales, aunque muy convenientes, que ayudan a que el modelo converja más rápido como la normalización de los datos.
• Manejo de los valores faltantes, que son aquellos registros de datos que vienen vacíos por alguna razón.

Lo primero que haremos es separar unos cuantos datos que utilizaremos más adelante como conjunto de datos de validación. Estos datos no los podremos usar durante el entrenamiento del modelo.

Después elegiremos la versión más sencilla de un modelo de Machine Learning que se ajuste a nuestro problema.

Añadiremos complejidad al modelo y ajustaremos sus parámetros lo mejor que podamos mediante una función de coste, que cuantifica el error de nuestras predicciones, y un algoritmo de optimización.

Pero ojo que si los resultados son muy buenos en el dataset de entrenamiento, tal vez estemos sobreajustando. Para comprobarlo tenemos el conjunto de validación. Usaremos el dataset de validación para ver si el rendimiento del modelo baja mucho con datos que no ha visto durante el entrenamiento. Si lo hace, estamos sobreajustando y habrá que aplicar técnicas de regularización.

El mejor modelo es el que encuentra el equilibrio entre ajustar los datos de entrenamiento y ser capaz de generalizar y dar buenos resultados con datos que no ha visto antes.

Espero que os guste el episodio 😊

Si es así, no olvidéis dejar un «Me gusta» y algún comentario al episodio en Ivoox o una valoración de 5 estrellas del podcast en Apple podcasts, en Spotify, en Google podcasts o donde quiera que escuchéis el podcast.

Recordad que si tenéis cualquier duda o pregunta podéis contactar conmigo a través del formulario de contacto o podemos seguir la conversación en Twitter.

Muchas gracias por estar ahí y os espero en el próximo episodio de Un Podcast Ninja sobre Big Data.