Amazon CloudWatch Evidently è una funzionalità introdotta di recente da Aws per aiutare gli sviluppatori a testare e convalidare in modo sicuro le nuove funzionalità delle loro applicazioni.
CloudWatch Evidently fornisce strumenti di gestione di esperimenti e funzioni delle applicazioni, e può essere utilizzato per due casi d’uso simili ma distinti: l’implementazione di feature flag e A/B testing.
Le feature flag rappresentano una tecnica di sviluppo software che permette di abilitare o disabilitare delle funzioni senza bisogno di distribuire di nuovo il codice.
In pratica, spiega Aws, disaccoppia il deployment delle funzionalità dal rilascio. Le nuove funzionalità nel codice sono distribuite prima del rilascio effettivo, e rimangono “nascoste”.
In fase di esecuzione, il codice dell’applicazione interroga un servizio remoto che decide la percentuale di utenti che sono esposti alla nuova funzionalità. È anche possibile configurare il comportamento dell’applicazione per alcuni utenti specifici, ad esempio i beta tester.
Quando si utilizzano le feature flag, è possibile fare il deployment del nuovo codice in anticipo rispetto al lancio. Quindi, è possibile introdurre progressivamente una nuova funzionalità a una percentuale limitata di utenti.
Durante il lancio, lo sviluppatore può monitorare le proprie metriche tecniche e di business. Se tutto va bene, può gradualmente aumentare il traffico per esporre la nuova funzionalità ad altri utenti.
Nel caso in cui qualcosa non funzioni come previsto, può invece modificare il routing lato server con un solo clic o una chiamata API, per presentare solo la vecchia esperienza ai propri clienti, quella che funziona.
Questo permette agli sviluppatori di ripristinare l’esperienza dell’utente senza richiedere il deployment di rollback.
L’A/B testing – sottolinea Aws – presenta molte somiglianze con le feature flag, pur servendo a uno scopo diverso.
I test A/B consistono in un esperimento randomizzato con variazioni multiple. Permette di confrontare più versioni di una singola funzionalità, tipicamente testando la risposta di un soggetto alla variazione A rispetto alla variazione B, e determinando quale delle due è più efficace.
Ad esempio, in un sito di ecommerce, un’impresa potrebbe voler sperimentare con diverse forme, dimensioni o colori per il pulsante di checkout, e poi misurare quale variazione ha il maggior impatto sulle revenue.
L’infrastruttura richiesta per condurre i test A/B – evidenzia Aws – è simile a quella richiesta dalle feature flag. Si distribuiscono più scenari nella propria app e si controlla come indirizzare parte del traffico dei clienti verso uno scenario o l’altro. Poi, si esegue un’analisi statistica in profondità per confrontare gli impatti delle variazioni.
CloudWatch Evidently assiste nell’interpretare e agire sui risultati sperimentali senza la necessità di conoscenze statistiche avanzate.
È possibile utilizzare gli insight forniti dal motore statistico di Evidently per il processo decisionale mentre un esperimento è in corso.
In Amazon, sottolinea Aws, vengono ampiamente usate le feature flag per controllare i lanci e l’A/B testing per sperimentare nuove idee.
Amazon può contare su anni di esperienza nel costruire strumenti e librerie per gli sviluppatori e mantenere e gestire servizi di sperimentazione su scala.
Ora anche i clienti Aws possono trarre vantaggio da questa esperienza.
