GitLab ha annunciato lo spin-out di Meltano, una piattaforma ELT (Extract, Load, Transform) open source costruita per l’era dei DataOps.
Meltano ha anche chiuso un round da 4,2 milioni di dollari di finanziamenti seed guidati da GV e da una serie di investitori angel, tra cui Ram Shriram, il fondatore di WordPress Matt Mullenweg, e Max Beauchemin, creatore di Apache Airflow e Superset.
Come società indipendente, ha sottolineato GitLab, Meltano ha l’opportunità di crescere ulteriormente come azienda open source e concentrarsi sulle esigenze del mercato dell’ingegneria dei dati, a partire da una migliore integrazione dei dati.
I team di dati oggi affrontano sfide simili a quelle che hanno portato alla rivoluzione DevOps e alla nascita di piattaforme come GitLab, che offre ora una piattaforma DevOps completa, ha sottolineato GitLab.
Ci sono soluzioni per tutte le parti del ciclo di vita dei dati, ma sono tipicamente poco flessibili, difficili da integrare tra loro e non favoriscono la collaborazione.
Le soluzioni di integrazione dei dati (ETL), in particolare, sono difficili da estendere e rendono complicato il troubleshooting; inoltre, le loro limitate librerie di connettori costringono le organizzazioni a completarle con soluzioni personalizzate costruite e mantenute in-house.
In risposta a queste difficoltà, gli ingegneri e gli analisti dei dati stanno cercando di abbracciare il software open source e le best practice DevOps come il controllo delle versioni, la revisione del codice e la CI/CD, per aumentare l’efficienza e la fiducia nel risultato del loro lavoro e nelle decisioni a valle.
Oggi, ha messo in evidenza GitLab, Meltano offre un’interessante soluzione open source di integrazione dei dati (ELT) che abbraccia lo standard Singer per il movimento dei dati e la sua libreria esistente di oltre 200 connettori mantenuti dalla comunità, insieme a dbt per la trasformazione e Airflow per l’orchestrazione.
Meltano rende più facile usare e fare il deploy di questi strumenti insieme, scoprire i connettori esistenti e costruirne di nuovi.
Nel prossimo futuro, ha inoltre sottolineato GitLab, Meltano prevede di aggiungere il supporto per strumenti open source come Superset e Metabase per la visualizzazione, e soluzioni alternative di orchestrazione come Dagster e Prefect, mentre continua a crescere la sua libreria di connettori con l’aiuto della community.
