Google Cloud ha annunciato il lancio di nuove funzionalità progettate per aiutare gli sviluppatori e i team operativi ad accedere più facilmente all’analisi dei flussi.
Tra le nuove funzionalità, ci sono la disponibilità generale di Dataflow SQL, l’integrazione con la Cloud AI Platform, funzioni di monitoraggio avanzate e altro ancora.
Costruita sull’infrastruttura a scalabilità automatica di Pub/Sub, Dataflow e BigQuery, la piattaforma di analisi dei flussi di Google Cloud fornisce le risorse di cui i team tecnici e operativi hanno bisogno per importare, elaborare e analizzare volumi variabili di dati in streaming per ottenere informazioni aziendali in tempo reale.
Per quanto riguarda Dataflow SQL, ora generalmente disponibile, questo strumento consente ai data analyst e agli ingegneri dei dati di sfruttare le proprie competenze SQL per sviluppare pipeline di Dataflow direttamente dall’interfaccia utente web di BigQuery.
Le pipeline di Dataflow SQL hanno pieno accesso al ridimensionamento automatico, al time-based windowing, a uno Streaming Engine e all’elaborazione parallela dei dati. È possibile unire flussi di dati di Pub/Sub a file di Cloud Storage o tabelle di BigQuery, scrivere risultati in BigQuery o Pub/Sub e creare dashboard in tempo reale utilizzando Fogli Google o altri strumenti di business intelligence.
È anche disponibile, sottolinea Google Cloud, un’interfaccia a riga di comando recentemente aggiunta per scriptare i job di produzione, con il pieno supporto dei parametri delle query, e ci si può affidare all’integrazione con Data Catalog.
In tema di integrazione, è ora possibile trarre vantaggio da una semplice integrazione con le API della AI Platform, per sfruttare l’intelligenza artificiale di Google Cloud e accedere alle librerie per l’implementazione di casi d’uso di analytics avanzati. Le funzionalità di AI Platform e Dataflow includono la classificazione dei videoclip, la classificazione delle immagini, l’analisi del testo naturale, la prevenzione della perdita di dati e una serie di altri casi d’uso di previsione dei flussi.
Inoltre, gli sviluppatori possono ora creare in modo iterativo pipeline da zero con AI Platform Notebooks e distribuirle con il runner di Dataflow. Disponibile tramite la AI Platform di Google, Notebooks consente di scrivere pipeline in un ambiente intuitivo con i più recenti framework di data science e machine learning, in modo da poter sviluppare facilmente customer experience migliori.
I template di Dataflow consentono poi di condividere facilmente le proprie pipeline con i membri del team e all’interno dell’organizzazione, o di sfruttare i molti modelli forniti da Google per implementare attività di elaborazione dei dati semplici ma utili. Con i Flex Template è possibile creare un modello da qualsiasi pipeline di Dataflow.
Per quanto riguarda la gestione e la manutenzione delle pipeline di dati, Google Cloud ha inoltre migliorato l’esperienza di monitoraggio per Dataflow, a vantaggio dei team operativi.
Le dashboard per l’osservabilità e il monitoraggio inline di Dataflow consentono di accedere direttamente alle job metric per facilitare il troubleshooting di pipeline batch e streaming. È possibile accedere ai grafici di monitoraggio a livello di visibilità sia di step che di lavoratore e impostare alert per condizioni come dati non aggiornati e latenza del sistema elevata.
