TPU o GPU per lavorare con framework di Machine Learning

di il
6 risposte

TPU o GPU per lavorare con framework di Machine Learning

Buongiorno a tutti

vorrei chiedervi un consiglio,

sto valutando un upgrade hardware al mio pc per lavorare con i framework di Machine Learning

tuttavia vorrei chiedervi se, secondo voi, una GPU 3060 (12gb di VRAM) può andare bene per risolvere problemi di classificazione

oppure è meglio acquistare una TPU basata su Coral Edge di 3° generazione

(aggiungo che i dataset con cui sto lavorando sono molti grandi)

al momento sto utilizzando google colab pro però i limiti della connessione adsl si sentono, perciò sto valutando l'ipotesi di un upgrade considerando che il comune del paese dove abito non è disposto a mettere una fibra superiore alla FTTE (tradotto dalla centrale locale alla mia abitazione restano i doppini adsl dell'anteguerra)

vi ringrazio anticipatamente per le vostre risposte

a presto e buon lavoro/studio

Luca

6 Risposte

  • Re: TPU o GPU per lavorare con framework di Machine Learning

    Intanto cosa intendi per 'abbastanza grandi'.

    l'aggeggino google coral edge e' una scatoletta USB con 4gb di ram.

    in alternativa c'e'

    ASUS AI Accelerator

    con 8 coral edge, 32gb di ram MA suddivisa in 8 blocchi da 4, che NON E' la stessa cosa di averne 32 contigui

    Il problema NON E' l'hardware MA l'hardware supportato dalla libreria che usi.

    SE parli di GPU/TPU va da se che parli di neural network. E ci sono 2 principali librerie:

    tensorflow che supporta ANCHE la tpu MA che non funziona sotto windows

    pytorch che funziona in windows/linux/mac e di sicuro con nvidia. non so la tpu ma probabilmente si la versione su pci, no la versione usb (e' uno degli 'accelerators').

    Quindi io andrei di NVIDIA, MA farei di meglio: acquisterei una 3090 con 24gb di ram invece della 3070 con SOLO 12gb.

    E' la quantita di ram sulla scheda grafica il collo di bottiglia nel 90% dei casi.

    Poi, ovviamente, dipende dagli algo usari: per un decision tree ti basta la ram del computer e la cpu. Basta avere TANTI thread.

    comunque, una soluzione vale l'altra, basta accettarne i limiti

  • Re: TPU o GPU per lavorare con framework di Machine Learning

    Ciao @Migliorabile

    grazie mille per la tua risposta

    si la libreria che sto utilizzando è tensorflow

    per dataset molto grandi intendo file csv con 20mila righe

    ti ringrazio per il consiglio sulla scheda video, seguirò le tue indicazioni optando per una 3090 con 24gb ram

    grazie ancora per l'aiuto

    buona serata

    Luca

  • Re: TPU o GPU per lavorare con framework di Machine Learning

    05/03/2025 - LucaDev ha scritto:

    per dataset molto grandi intendo file csv con 20mila righe

    Se il numero è corretto, 20mila righe per un file CSV è una bazzeccola minuscola.

  • Re: TPU o GPU per lavorare con framework di Machine Learning

    Ah ok, grazie per l'informazione

    ho iniziato da poco ad avvicinarmi al machine learning perciò sono ancora un po' noob in questo settore

    il file in questione è un dataset "demo" che ho trovato in rete che sto usando per smanettare un po' con queste tecnologie

  • Re: TPU o GPU per lavorare con framework di Machine Learning

    09/03/2025 - LucaDev ha scritto:

    ho iniziato da poco ad avvicinarmi al machine learning perciò sono ancora un po' noob in questo settore

    Ok, però prima di ragionare su hardware anche molto costosi, dovresti trovare qualcosa con cui valga la pena sfruttarlo.

    Un file CSV di quelle dimensioni a momenti si elabora anche manualmente col Notepad++. :)

    Non mi è chiara la "ratio" generale con cui stai approcciando cercando di scalare verticalmente e orizzontalmente con un set di dati irrisorio, questo era il dubbio.

  • Re: TPU o GPU per lavorare con framework di Machine Learning

    La scelta di una scheda gradica di 3 generazioni fa e' OTTIMA: per giocare con le reti neurali non ha senso spendere per una scheda di ultima generazione, che costo un paio di reni.

    D'altra parte anche iniziando con dataset microscopici, dopo un po l'appetito vien mangiando, come si suol dire, ed avere sotto mano un prodotto che ti supporta nelle  tue esplorazioni e' una cosa da non sottovalutare.

    Altrimenti ti trovi a fare una spesa al risparmio e subito dopo ne trovi i limiti.

    Una buona scheda la puoi usare per i prossimi 5/10 anni. 

    Poi, raggiunti i limiti di utilizzo, si puo' passare a qualcosa altro MA con cognizione di causa.

    Infine e' ovvio che bisogna fare i conti anche con il budget a disposizione. Ma un buon investimento rimane tale.

    Inoltre, al limite, un buon prodotto puo' essere rivenduto piu' o meno allo stesso prezzo d'acquisto rimettendoci un minimo

Devi accedere o registrarti per scrivere nel forum
6 risposte