Gestione grosse quantità di dati

di
massimop1973
il
6 risposte
massimop1973
massimop1973
Pochi posts
Iscritto da
gen, 2014
Messaggi:
11

Gestione grosse quantità di dati

Ciao a tutti, premetto che non sono esperto di database ma mi trovo nella situazione di dover gestire una grossa mole di dati proveniente da un foglio excel, una trentina di colonne e parecchie migliaia di righe, che ogni mese aumenteranno, su questi record devo fare alcune analisi (semplici somme e poco altro) ma i dati sono talmente tanti che excel va in crisi.
Sono obbligato a riversare questi dati su sql server, da li faccio delle query per estrapolare le informazioni e i dati che mi servono, il lavoro però è molto oneroso perchè le query che scrivo sono abbastanza complesse, cioè query con dentro altre query e così via, rendendo il lavoro estremamente lento e complicato (dovuto anche al fatto che molte cose le devo studiare prima di poterle utlìlizzare) purtroppo non ho moltissimo tempo per fare questo lavoro.
La domanda che vorrei farvi è la seguente: sono sulla strada giusta? esistono metodi o strumenti migliori per fare questo lavoro? non vorrei spendere intere giornate ed accorgermi alla fine di aver perso tempo in quanto esistono strumenti migliori.
Dopo aver importato i dati fatto tutto tramite query sql, devo forse usare un altro programma che legge i dati da sql server e li elabora?
Scusate ma sono un novellino e mi trovo ad affrontare un problema più grande delle mie attuali capacità

6 Risposte

  • M
    migliorabile
    Super Famoso
    Iscritto da
    apr, 2013
    Messaggi:
    6073

    Re: Gestione grosse quantità di dati

    1) grosse quantita di dati e' sinonimo di CENTINAIA DI MILIONI/MILIARDI di record, sotto il milione e' robetta
    2) piu' o meno si. Dipende da che ci devi fare, ovviamente.

    In teoria, l'analisi dei dati (quella seria) e' un'attivita' fatta da specialisti con strumenti abbastanza complessi (e per il quale ci vuole tempo per imparare ad usarli).

    I termini sono: Business Intelligence/Business Analytics. Ci sono corsi universitari/master che ti insegnano come si lavora (e gli strumenti da usare).

    Comunque, l'idea di usare un programma (fatto a mano, inizialmente) per fare le elaborazioni non e' totalmente da scartare.
  • massimop1973
    massimop1973
    Pochi posts
    Iscritto da
    gen, 2014
    Messaggi:
    11

    Re: Gestione grosse quantità di dati

    Innanzitutto grazie per la risposta, ho sentito parlare dei "cubi" in sql server, pensi siano uno strumento utile? grazie
  • O
    OsvaldoLaviosa
    Super Famoso
    Iscritto da
    apr, 2012
    Messaggi:
    7501

    Re: Gestione grosse quantità di dati

    Secondo me un foglio Excel con una "trentina" di colonne potrebbe essere razionalizzato in più tabelle "coerentemente" impostate (normalizzate). Ti serve appunto un DATABASE. Imparare una applicazione che lo gestisca...nel forum iprogrammatori puoi spaziare fra MySQL, SQLServer, Oracle, Access...
    Raccontato così possiamo parlare di tutto e nulla. Se descrivi queste 30 colonne e di cosa dovrebbe parlare il database, si potrebbe cominciare una discussione più concreta/tecnica.
  • +m+
    +m+
    Molto attivo
    Iscritto da
    gen, 2016
    Messaggi:
    712

    Re: Gestione grosse quantità di dati

    "ma i dati sono talmente tanti che excel va in crisi."
    Sono un pochino confuso, da quanto scrivi le elaborazioni sono banali, e da excel >=2007 puoi gestire fino a un milione di righe.
    Ritengo pertanto che la soluzione migliore sia banalmente usare excel, che non va in "crisi" se non si usano funzioni quali risolutore, whatif etc.

    Riguardo poi alle query SQL fai qualche esempio di questa "complicatezza", giacchè mi sembra un po' in contraddizione con quanto hai scritto sulla semplicità delle elaborazioni.

    Sui "cubi" invece lascia perdere, riguarda l'introduzione ai datamart del tutto superfluo nel tuo caso
  • M
    migliorabile
    Super Famoso
    Iscritto da
    apr, 2013
    Messaggi:
    6073

    Re: Gestione grosse quantità di dati

    massimop1973 ha scritto:

    innanzitutto grazie per la risposta, ho sentito parlare dei "cubi" in sql server, pensi siano uno strumento utile? grazie
    Si, ma per usarli c'e' tutto un processo complicato da mettere in piedi.
    Per non parlare, poi, di come si fanno le analisi multidimensionali, di come si devono organizzare i fatti, le dimensioni e le misure.

    Ti serve un corso dedicato solo per muovere i primi passi.
  • massimop1973
    massimop1973
    Pochi posts
    Iscritto da
    gen, 2014
    Messaggi:
    11

    Re: Gestione grosse quantità di dati

    Grazie a tutti per le risposte, in effetti molti problemi che riscontro anche in excel sono dovuti alla mia poca esperienza con il programma, mi è arrivato capo collo questa cosa da fare, ma credo che la cosa migliore sia prima studiare bene excel e sql server e poi un passo alla volta vedere come posso fare, magari a quel punto riuscirò anche a fare delle domande sensate e non generiche cosichè riusciate ad aiutarmi meglio
Devi accedere o registrarti per scrivere nel forum
6 risposte