Gestione grosse quantità di dati

di il
6 risposte

Gestione grosse quantità di dati

Ciao a tutti, premetto che non sono esperto di database ma mi trovo nella situazione di dover gestire una grossa mole di dati proveniente da un foglio excel, una trentina di colonne e parecchie migliaia di righe, che ogni mese aumenteranno, su questi record devo fare alcune analisi (semplici somme e poco altro) ma i dati sono talmente tanti che excel va in crisi.
Sono obbligato a riversare questi dati su sql server, da li faccio delle query per estrapolare le informazioni e i dati che mi servono, il lavoro però è molto oneroso perchè le query che scrivo sono abbastanza complesse, cioè query con dentro altre query e così via, rendendo il lavoro estremamente lento e complicato (dovuto anche al fatto che molte cose le devo studiare prima di poterle utlìlizzare) purtroppo non ho moltissimo tempo per fare questo lavoro.
La domanda che vorrei farvi è la seguente: sono sulla strada giusta? esistono metodi o strumenti migliori per fare questo lavoro? non vorrei spendere intere giornate ed accorgermi alla fine di aver perso tempo in quanto esistono strumenti migliori.
Dopo aver importato i dati fatto tutto tramite query sql, devo forse usare un altro programma che legge i dati da sql server e li elabora?
Scusate ma sono un novellino e mi trovo ad affrontare un problema più grande delle mie attuali capacità

6 Risposte

  • Re: Gestione grosse quantità di dati

    1) grosse quantita di dati e' sinonimo di CENTINAIA DI MILIONI/MILIARDI di record, sotto il milione e' robetta
    2) piu' o meno si. Dipende da che ci devi fare, ovviamente.

    In teoria, l'analisi dei dati (quella seria) e' un'attivita' fatta da specialisti con strumenti abbastanza complessi (e per il quale ci vuole tempo per imparare ad usarli).

    I termini sono: Business Intelligence/Business Analytics. Ci sono corsi universitari/master che ti insegnano come si lavora (e gli strumenti da usare).

    Comunque, l'idea di usare un programma (fatto a mano, inizialmente) per fare le elaborazioni non e' totalmente da scartare.
  • Re: Gestione grosse quantità di dati

    Innanzitutto grazie per la risposta, ho sentito parlare dei "cubi" in sql server, pensi siano uno strumento utile? grazie
  • Re: Gestione grosse quantità di dati

    Secondo me un foglio Excel con una "trentina" di colonne potrebbe essere razionalizzato in più tabelle "coerentemente" impostate (normalizzate). Ti serve appunto un DATABASE. Imparare una applicazione che lo gestisca...nel forum iprogrammatori puoi spaziare fra MySQL, SQLServer, Oracle, Access...
    Raccontato così possiamo parlare di tutto e nulla. Se descrivi queste 30 colonne e di cosa dovrebbe parlare il database, si potrebbe cominciare una discussione più concreta/tecnica.
  • Re: Gestione grosse quantità di dati

    "ma i dati sono talmente tanti che excel va in crisi."
    Sono un pochino confuso, da quanto scrivi le elaborazioni sono banali, e da excel >=2007 puoi gestire fino a un milione di righe.
    Ritengo pertanto che la soluzione migliore sia banalmente usare excel, che non va in "crisi" se non si usano funzioni quali risolutore, whatif etc.

    Riguardo poi alle query SQL fai qualche esempio di questa "complicatezza", giacchè mi sembra un po' in contraddizione con quanto hai scritto sulla semplicità delle elaborazioni.

    Sui "cubi" invece lascia perdere, riguarda l'introduzione ai datamart del tutto superfluo nel tuo caso
  • Re: Gestione grosse quantità di dati

    massimop1973 ha scritto:


    innanzitutto grazie per la risposta, ho sentito parlare dei "cubi" in sql server, pensi siano uno strumento utile? grazie
    Si, ma per usarli c'e' tutto un processo complicato da mettere in piedi.
    Per non parlare, poi, di come si fanno le analisi multidimensionali, di come si devono organizzare i fatti, le dimensioni e le misure.

    Ti serve un corso dedicato solo per muovere i primi passi.
  • Re: Gestione grosse quantità di dati

    Grazie a tutti per le risposte, in effetti molti problemi che riscontro anche in excel sono dovuti alla mia poca esperienza con il programma, mi è arrivato capo collo questa cosa da fare, ma credo che la cosa migliore sia prima studiare bene excel e sql server e poi un passo alla volta vedere come posso fare, magari a quel punto riuscirò anche a fare delle domande sensate e non generiche cosichè riusciate ad aiutarmi meglio
Devi accedere o registrarti per scrivere nel forum
6 risposte