Meltano se desprende de GitLab para avanzar en la plataforma DataOps

Obtener datos de una plataforma a otra es un enfoque desafiante de las organizaciones con una variedad de herramientas.

Para la plataforma de desarrollo colaborativo GitLab, la respuesta a su desafío de integración de datos fue construir su propia extracción, carga y transformación (ELT) plataforma, conocida como Meltano. El 30 de junio, GitLab dijo que iba a convertir a Meltano en su propia empresa independiente. La nueva empresa se lanzará con 4,2 millones de dólares en financiación inicial, liderada por la firma de capital de riesgo GV, antes conocida como Google Ventures.

Meltano se basa en una serie de tecnologías de código abierto, incluido el proyecto Singer para conectores de datos y dbt para transformación de datos. El objetivo de Meltano es construir una plataforma de operaciones de datos (DataOps) que pueda ayudar a las organizaciones a implementar canalizaciones de datos para usar datos para inteligencia empresarial y análisis. Actualmente, Meltano es todo de código abierto, pero el plan como empresa proveedora es desarrollar servicios comerciales, incluido un servicio en la nube administrado en el futuro.

En esta sesión de preguntas y respuestas, Douwe Maan, fundador y CEO de Meltano, describe el enfoque de la nueva compañía y hacia dónde se dirige Meltano.

¿Qué es Meltano y su visión para DataOps?

Douwe Maan: Desde el primer día, tuvimos la idea de crear una especie de solución de extremo a extremo para todo el ciclo de vida de DataOps. Entonces, identificamos lo que pensamos que eran los diferentes pasos en ese ciclo de vida y básicamente hicimos un acrónimo de ellos. Entonces, Meltano significa modelar, extraer, cargar, transformar, analizar, anotar y orquestar.

Meltano comenzó porque el equipo de datos internos de GitLab necesitaba una pila de datos que se alineara más con sus valores y principios. En 2018, cuando comenzamos Meltano, descubrimos que la mayoría de las herramientas de datos estaban estancadas hace cinco años en comparación con los avances que ha logrado el espacio de desarrollo de software. Entonces, decidimos construir algo nosotros mismos.

Douwe Maan

Al utilizar tecnología de código abierto y proporcionar, esencialmente, el pegamento entre los diferentes componentes, creamos una plataforma que permite que diferentes tecnologías de código abierto trabajen juntas para construir algo que se vuelve mejor que la suma de sus partes. Meltano es una plataforma de código abierto que tiene como objetivo llevar todo el ciclo de vida de los datos a la forma de pensar de DataOps sobre los proyectos de datos.

¿Por qué convertir Meltano en una empresa independiente ahora?

Maan: Meltano no estaba destinado a ser otra línea de productos para GitLab; fue realmente una herramienta interna para el equipo de datos. Pero nos dimos cuenta muy rápido de que hay muchas empresas que tienen las mismas necesidades que GitLab para una pila de datos.

En el último año, hemos visto un crecimiento significativo y la adopción de Meltano. Nos dimos cuenta de que, para que el proyecto siguiera creciendo, tenía más sentido girar. GitLab quiere poder mantenerse enfocado en su única plataforma durante todo el ciclo de vida de DevOps. Al sacar a Meltano, mantiene a ambas empresas enfocadas.

Identificamos lo que pensamos que son los diferentes pasos en [the DataOps] ciclo de vida y básicamente hicimos un acrónimo de ellos. Entonces, Meltano significa modelar, extraer, cargar, transformar, analizar, anotar y orquestar.

¿Cómo defines DataOps?

Maan: DataOps se trata realmente de tomar los principios y prácticas de DevOps y aplicarlos a los datos. Eso significa comenzar a pensar en las canalizaciones de datos más como un tipo de ingeniería de software.

Para mí, estoy pensando en permitir que los equipos sean más colaborativos y eficientes a través de la revisión de código, el control de versiones y la integración con CI / CD. [continuous integration/continuous deployment].

Entonces, cuando pienso en DataOps, tiene más que ver con los procesos de DevOps y la eficiencia de la colaboración.

¿Qué sigue para Meltano?

Maan: Estamos planeando pasar, al menos, el resto del año realmente enfocándonos en el producto y convirtiéndolo en una solución preferida para los equipos de datos y desarrolladores de software encargados de los desafíos de datos. Comenzaremos a integrarnos con más tecnologías de código abierto para comenzar a mostrar la visión que tenemos para Meltano, siendo esa base estable para los proyectos de datos, sobre la cual se pueden construir pilas de productos de datos.

Entonces, nuestras primeras contrataciones las hemos hecho ya en las últimas semanas; [they] están en el lado del marketing y la gestión de la comunidad, así como una serie de ingenieros adicionales. El enfoque realmente será atraer a la comunidad que desea mejores herramientas de datos que se adapten a la forma de trabajar de DataOps.

Nota del editor: Esta entrevista ha sido editada para mayor claridad y concisión.