La NPU non è altro che un po' di operazioni matriciali in hardware in floating point super schifida (float16, bfloat16, float8). o matematica basata su int8!
una scheda grafica discreta di ultima generazione può fare di meglio.
l'unica comodita' e' che la NPU puo' usare la ram del computer e se questa e' TANTA (128gb contro i 16gb di una scheda grafica che costa come un portatile! ) ci puoi fare cosine interessanti.
ad esempio velocizzare i software di elaborazioni di immagini, magari supportati da modelli basati su NN.
Per il resto, sono grandi ‘scemenze'.
I modelli veramente grossi/interessanti richiedono TANTA RAM E TANTO HARDWARE per funzionare.
Anche i modellini locali, per fare qualcosa di interessate, richiedono TANTA ram, quindi ti tocca acquistare un portatile con 128 g di ram per farti dire a voce che ore sono? O per comandarlo a voce?
Immagina il macello in un ufficio! Tutti che sbraitando con il proprio computer che accetta i comandi solo da quello che urla di più!