SAN FRANCISCO: Microsoft ahora es compatible de forma nativa con MLflow, una herramienta de gestión de aprendizaje automático de código abierto desarrollada por primera vez por Databricks, dentro de su servicio Microsoft Azure Machine Learning. Además, el gigante tecnológico, que es socio de Databricks desde hace mucho tiempo, dijo que contribuirá activamente a MLflow.
Presentada en Spark + AI Summit 2019, patrocinada por Databricks, la nueva colaboración de Databricks y Microsoft es una señal de los lazos cada vez más profundos de las empresas, pero es demasiado nuevo para decir con qué eficacia la asociación hará avanzar MLflow para los desarrolladores, dijo Mike Gualtieri. un analista de Forrester.
Microsoft ha vendido Azure Databricks, un servicio de análisis basado en Apache Spark que utiliza tecnología Databricks, desde 2017. Anteriormente, MLflow solo estaba disponible de forma nativa en ese servicio de Microsoft.
«MLflow es una herramienta bienvenida para ML [machine learning] desarrolladores, pero creo que está muy sobrevalorado, porque todavía son los primeros días para este tipo de herramientas «, dijo Gualtieri.
Gualtieri señaló que herramientas similares de código abierto, como Kubeflow para Google, se han beneficiado del apoyo de grandes proveedores de nube.
El auge de MLflow
Databricks introdujo MLflow por primera vez en junio de 2018. De inmediato, las nuevas empresas y las empresas más grandes comenzaron a usarlo para administrar sus ciclos de vida de aprendizaje automático Desde su lanzamiento, más de 80 colaboradores de unas 40 empresas han trabajado en la herramienta de aprendizaje automático de código abierto, y regularmente ve más de 500.000 descargas al mes.
Hotels.com, un sitio de reserva de viajes que forma parte de la empresa de tecnología de viajes de miles de millones de dólares Expedia, utiliza MLflow para aumentar algunas de las muchas plataformas de ciencia de datos que utiliza.
«La mayoría de las empresas, incluida la nuestra, tienen enormes plataformas de experimentación, pero a esas plataformas a menudo les faltan algunos de esos conjuntos de métricas y capacidades específicas de aprendizaje automático», dijo Matthew Fryer, vicepresidente y director de ciencia de datos de Hoteles.com. , con sede en Dallas, dijo en una entrevista en la conferencia.
«MLflow nos permite aumentar estas plataformas. Nos permite recoger algunos de esos aspectos centrales que normalmente no se ven en plataformas de experimentación más genéricas», continuó Fryer.
Hotels.com fue uno de los primeros en adoptar MLflow, señaló Fryer. El sitio también utiliza otros productos de Databricks, así como una serie de otras herramientas de ciencia de datos y aprendizaje automático, incluidas las plataformas TensorFlow y Amazon.
«Claramente, es un producto que se está desarrollando y evolucionando», dijo Fryer sobre MLflow. «Los casos de uso que está tratando de resolver, es muy importante para nosotros. Ya está ayudando, pero es muy emocionante ver hacia dónde se dirige el desarrollo».
Nuevas funciones y la colaboración de Databricks y Microsoft
Matthew FryerVicepresidente y director de ciencia de datos de Hoteles.com
Al mismo tiempo que Databricks y Microsoft hicieron pública su nueva colaboración, Databricks reveló que MLflow 1.0 se lanzará en mayo. MLflow 0.91 salió el 21 de abril en preparación para la versión 1.0, que ayudará a estabilizar la API en MLflow para un uso a largo plazo, dijo el proveedor.
Databricks también presentó dos características nuevas: MLflow Workflows y MLflow Model Registry.
Mientras tanto, Matei Zaharia, cofundador y jefe de tecnología de Databricks, con sede en San Francisco, explicó durante un discurso de apertura el 25 de abril que el componente Workflows permitirá a los usuarios acceder a sus parámetros de cambio de datos en tiempo real, sin tener que revisar su código. .
En cuanto al Registro de modelos, «le permite administrar, etiquetar y versiones de modelos en el servidor, y luego realizar un seguimiento [of] dónde se implementa, qué versión se implementa, etc. «, dijo Zaharia.
Sin embargo, la colaboración de Databricks y Microsoft fue la historia principal de MLflow de Spark + AI Summit 2019.
Microsoft, un usuario desde hace mucho tiempo de productos basados en Spark, está «adoptando la cultura de código abierto», dijo Shivani Patel, gerente de programas de Microsoft, en una entrevista en la conferencia.
«Todavía puede usar MLflow, pero también puede usar esas API con nuestro servicio de aprendizaje automático», dijo.
Con la nueva colaboración entre Microsoft Azure y Databricks, los usuarios de Azure Machine Learning pueden usar MLflow, pero no tienen que usar código de Microsoft.
«Pueden escribir todo su código en la API de MLflow, y luego pueden subirlo directamente al portal», dijo Patel. «Estamos invirtiendo continuamente en MLflow para asegurarnos de que se integre con Machine Learning».
La Spark + AI Summit 2019 se llevó a cabo en el Moscone Center del 23 al 25 de abril.