OpenAI ha annunciato una serie di novità: il rilascio di nuovi modelli, la riduzione dei prezzi per GPT-3.5 Turbo e l’introduzione di nuovi modi per gli sviluppatori di gestire le API key e comprendere l’utilizzo delle API.
Tra i nuovi modelli ci sono: due nuovi modelli di embedding; un modello preview di GPT-4 Turbo aggiornato; un modello GPT-3.5 Turbo aggiornato; un modello di moderazione del testo aggiornato.
Per impostazione predefinita, i dati inviati all’API OpenAI non vengono utilizzati per addestrare o migliorare i modelli OpenAI.
L’azienda sta introducendo in primo luogo due nuovi modelli di embedding: un modello text-embedding-3-small, più piccolo e altamente efficiente, e un modello text-embedding-3-large, più grande e potente.
Un embedding è una sequenza di numeri che rappresenta i concetti all’interno di un contenuto come il linguaggio naturale o il codice. Gli embedding facilitano ai modelli di apprendimento automatico e ad altri algoritmi la comprensione delle relazioni tra i contenuti e l’esecuzione di operazioni come il raggruppamento o il recupero. Sono alla base di applicazioni come il knowledge retrieval in ChatGPT e nell’API Assistants, e di molti strumenti di sviluppo di retrieval augmented generation (RAG).
text-embedding-3-small è il nuovo modello di embedding ad alta efficienza e rappresenta un significativo upgrade rispetto al suo predecessore, sottolinea OpenAI. text-embedding-3-large è invece il nuovo modello di embedding più grande di nuova generazione e crea embedding con un massimo di 3072 dimensioni.
Entrambi i nuovi modelli – spiega OpenAI – sono stati addestrati con una tecnica che consente agli sviluppatori di trovare un compromesso tra prestazioni e costi dell’uso degli embedding. In particolare, gli sviluppatori possono accorciare gli embedding (cioè rimuovere alcuni numeri dalla fine della sequenza) senza che l’embedding perda le sue proprietà di rappresentazione dei concetti, passando il parametro API dimensions.
OpenAI sta poi introducendo un nuovo modello GPT-3.5 Turbo, gpt-3.5-turbo-0125, e per la terza volta nell’ultimo anno l’azienda diminuirà i prezzi di GPT-3.5 Turbo per aiutare i clienti a scalare. I prezzi di input per il nuovo modello sono ridotti del 50% a $0,0005 /1K token e i prezzi di output sono ridotti del 25% a $0,0015 /1K token.
Questo modello presenta inoltre vari miglioramenti, tra cui una maggiore precisione nella risposta ai formati richiesti e la correzione di un bug che causava un problema di codifica del testo per le chiamate di funzione in lingua non inglese.
Oltre il 70% delle richieste da parte dei clienti dell’API GPT-4 – sottolinea OpenAI – sono passate a GPT-4 Turbo dal suo rilascio, in quanto gli sviluppatori sfruttano il knowledge cutoff aggiornato, le finestre di contesto più ampie da 128k e i prezzi più bassi.
Ora l’azienda sta rilasciando un modello di anteprima GPT-4 Turbo aggiornato, gpt-4-0125-preview. Questo modello completa compiti come la generazione di codice in modo più approfondito rispetto al precedente modello preview e mira a ridurre i casi di “pigrizia” in cui il modello non completa un compito. Il nuovo modello include anche la correzione del bug che ha un impatto sulle generazioni UTF-8 non inglesi.
Per coloro che desiderano essere aggiornati automaticamente alle nuove versioni di anteprima di GPT-4 Turbo, L’azienda sta introducendo anche un nuovo alias del nome del modello gpt-4-turbo-preview, che punterà sempre all’ultimo modello preview di GPT-4 Turbo.
OpenAI prevede di lanciare GPT-4 Turbo con vision in general availability nei prossimi mesi.
L’API Moderation gratuita consente agli sviluppatori di identificare i testi potenzialmente dannosi. Nell’ambito del suo continuo lavoro sulla sicurezza, OpenAI sta ora rilasciando text-moderation-007, il suo modello di moderazione più robusto finora. Gli alias text-moderation-latest e text-moderation-stable sono stati aggiornati per puntare a questo modello.
Nuovi modi per comprendere l’utilizzo delle API e gestire le key, da OpenAI
OpenAI ha inoltre annunciato il lancio di due miglioramenti della piattaforma, per dare agli sviluppatori maggiore visibilità sull’utilizzo e controllo delle API key.
In primo luogo, gli sviluppatori possono ora assegnare autorizzazioni alle chiavi API dalla pagina delle API key. Ad esempio, a una chiave può essere assegnato l’accesso in sola lettura per alimentare una dashboard di monitoraggio interno, oppure può essere limitato l’accesso a determinati endpoint.
In secondo luogo, la dashboard di utilizzo e la funzione di esportazione dell’utilizzo espongono ora le metriche a livello di chiave API dopo aver attivato il monitoraggio. In questo modo è semplice visualizzare l’utilizzo a livello di funzionalità, team, prodotto o progetto, semplicemente disponendo di API key separate per ciascuno di essi.
Nei prossimi mesi OpenAI ha in programma di migliorare ulteriormente la possibilità per gli sviluppatori di visualizzare l’utilizzo delle API e di gestire le chiavi API, soprattutto nelle organizzazioni più grandi.
