DeepSeek R1 – la famiglia di modelli della startup cinese che sta facendo parlare tanto di sé, e che in Italia sta ora avendo problemi con il Garante Privacy – è già disponibile in hosting su cloud su Azure AI Foundry, e ora Microsoft sta portando le versioni ottimizzate per NPU di DeepSeek-R1 direttamente sui PC Copilot+, a partire dal Qualcomm Snapdragon X, seguito da Intel Core Ultra 200V e altri.
Microsoft ha spiegato che la prima versione, DeepSeek-R1-Distill-Qwen-1.5B, sarà disponibile in AI Toolkit, mentre le varianti 7B e 14B arriveranno presto. Questi modelli ottimizzati consentono agli sviluppatori di creare e distribuire applicazioni AI che vengono eseguite in modo efficiente sul dispositivo, sfruttando appieno le potenti NPU dei PC Copilot+.
L’unità di elaborazione neurale, la Neural Processing Unit (NPU), dei PC Copilot+ offre un motore altamente efficiente per l’inferenza dei modelli, sbloccando un paradigma in cui l’intelligenza artificiale generativa può essere eseguita non solo quando viene invocata, ma anche con servizi in esecuzione semi-continua. In questo modo gli sviluppatori possono attingere a potenti motori di ragionamento per creare esperienze proattive e durature.
Con il lavoro di Microsoft su Phi Silica, l’azienda sottolinea che è stata in grado di sfruttare l’inferenza in modo altamente efficiente, fornendo un tempo molto competitivo per il primo token (time to first token) e per i tassi di throughput, con un impatto minimo sulla durata della batteria e sul consumo di risorse del PC.
I modelli DeepSeek ottimizzati per la NPU sfruttano molti degli insegnamenti e delle tecniche chiave di questo lavoro, spiega Microsoft, tra cui la separazione delle varie parti del modello per ottenere i migliori compromessi tra prestazioni ed efficienza, la quantizzazione a basso bit rate e la mappatura dei transformer sulla NPU. Inoltre, Microsoft sfrutta il Windows Copilot Runtime (WCR) per scalare attraverso il diversificato ecosistema Windows con il formato QDQ ONNX.
Per i dettagli su come eseguire DeepSeek sul Copilot+ PC, è possibile consultare il blog post di Microsoft.
