Interfaccia gestione grandi volumi di dati

di
hangart
il
9 risposte
H
hangart
Utente Attivo
Iscritto da
giu, 2012
Messaggi:
113

Interfaccia gestione grandi volumi di dati

Buongiorno a tutti,

ho necessità di creare un'applicazione che permetta l'analisi statistica ( quindi campi calcolati) di gruppi di dati voluminosi (circa 50/100.000 linee di record alla volta su una tabella di 20 campi ).
I dati sono relativi a singoli batch di produzione e vanno appunto elaborati per batch
Inizialmente ho creato in MySQL le 2 tabelle di appoggio ( tblcodes e tblbatches) per la raccolta di questi dati e ho costruito il front-end con MSAccess per gestire appunto l'analisi statistica.
Tutto bello ma quando i record iniziano ad essere tanti ( >10/15.000) il sistema si appesantisce e rallenta fino a non rispondere più.

Immagino che il collo di bottiglia sia MS access, qualcuno sa indicarmi se esistono applicativi (meglio open source) da poter utilizzare per gestire grossi volumi di dati e relativi calcoli statistici? L'attuale MySQL che abbiamo è su Linux.
Grazie per l'aiuto.
Saluti.

9 Risposte

  • A
    anthelios
    Pochi posts
    Iscritto da
    ott, 2018
    Messaggi:
    17

    Re: Interfaccia gestione grandi volumi di dati

    hangart ha scritto:

    Buongiorno a tutti,

    ho necessità di creare un'applicazione che permetta l'analisi statistica ( quindi campi calcolati) di gruppi di dati voluminosi (circa 50/100.000 linee di record alla volta su una tabella di 20 campi ).
    I dati sono relativi a singoli batch di produzione e vanno appunto elaborati per batch
    Inizialmente ho creato in MySQL le 2 tabelle di appoggio ( tblcodes e tblbatches) per la raccolta di questi dati e ho costruito il front-end con MSAccess per gestire appunto l'analisi statistica.
    Tutto bello ma quando i record iniziano ad essere tanti ( >10/15.000) il sistema si appesantisce e rallenta fino a non rispondere più.

    Immagino che il collo di bottiglia sia MS access, qualcuno sa indicarmi se esistono applicativi (meglio open source) da poter utilizzare per gestire grossi volumi di dati e relativi calcoli statistici? L'attuale MySQL che abbiamo è su Linux.
    Grazie per l'aiuto.
    Saluti.
    Non conoscendo Access mi pare strano che con 15.000 records vada in palla, non sono nulla per un db.

    Per rispondere alla tua domanda Postgres, MySql, Firebird, MariaDB sono quelli che conosco.

    Ciao
  • H
    hangart
    Utente Attivo
    Iscritto da
    giu, 2012
    Messaggi:
    113

    Re: Interfaccia gestione grandi volumi di dati

    Grazie per la risposta Anthelios,
    è probabile che sia da migliorare la connessione tra Access e MySQL agendo su qualche parametro.
    A livello di tabelle MySQL i campi sono quasi tutti decimali con 2 cifre dopo la virgola, mi srembrano abbastanza semplici…
    Proverò ad approfondire i tools che mi hai indicato, grazie ancora!
  • A
    anthelios
    Pochi posts
    Iscritto da
    ott, 2018
    Messaggi:
    17

    Re: Interfaccia gestione grandi volumi di dati

    hangart ha scritto:

    Grazie per la risposta Anthelios,
    è probabile che sia da migliorare la connessione tra Access e MySQL agendo su qualche parametro.
    A livello di tabelle MySQL i campi sono quasi tutti decimali con 2 cifre dopo la virgola, mi srembrano abbastanza semplici…
    Proverò ad approfondire i tools che mi hai indicato, grazie ancora!
    Io intendevo di passare da Access ad uno dei db che ti ho elencato, non di utilizzarne uno tra quelli indicati ma sempre passare per Access, spero di essere stato chiaro.
    Va benissimo MySQL che stai utilizzando ma senza utilizzare Access come bridge, devi accedere in modo nativo con qualche altro tool di sviluppo.

    Ciao
  • H
    hangart
    Utente Attivo
    Iscritto da
    giu, 2012
    Messaggi:
    113

    Re: Interfaccia gestione grandi volumi di dati

    In effetti avevo frainteso..
    puoi cortesemente indicarmi qualche tool che possa accedere in modo nativo?
    Grazie Ciao
  • A
    anthelios
    Pochi posts
    Iscritto da
    ott, 2018
    Messaggi:
    17

    Re: Interfaccia gestione grandi volumi di dati

    hangart ha scritto:

    In effetti avevo frainteso..
    puoi cortesemente indicarmi qualche tool che possa accedere in modo nativo?
    Grazie Ciao
    Un qualsiasi linguaggio di programmazione a tua scelta, basta che non utilizzi Access.

    Se la logica ce l'hai all'interno di Access devi riscriverti tutto con un'altro tool di programmazione altrimenti ti tieni la situazione che hai tuttora.

    Ciao
  • O
    oregon
    Super Famoso
    Iscritto da
    nov, 2011
    Messaggi:
    21785

    Re: Interfaccia gestione grandi volumi di dati

    Ma come fai queste statistiche? Se è codice vba ed è scritto male. .
  • H
    hangart
    Utente Attivo
    Iscritto da
    giu, 2012
    Messaggi:
    113

    Re: Interfaccia gestione grandi volumi di dati

    oregon ha scritto:

    Ma come fai queste statistiche? Se è codice vba ed è scritto male. .
    le statistiche sono fatte con semplici campi calcolati in una subform di access: Max, Min , Dev. standard, etc.
    Avevo previsto anche una versione con grafici a dispersione, ma era ancora più lenta..
    E' consigliabile eseguire i calcoli statistici da codice VBA?
    GRazie
  • M
    migliorabile
    Super Famoso
    Iscritto da
    apr, 2013
    Messaggi:
    6072

    Re: Interfaccia gestione grandi volumi di dati

    100.000 record NON SONO grandi volumi di dati. Sono quisquiglie!
    100.000.000 sono un bel po', ma ancora gestibili.
    Dal miliardo in su se ne puo' discutere.

    In un dbms relazionale (come access e mysql) l'SQL supporta gia' min, max, mean, count e diverse altre funzioni di aggregazione.
    Statistiche di questo tipo si risolvono con UNA (al limite, qualche) riga SQL. E sono abbastanza efficienti: rispondono in millisecondi!

    Se hai problemi di memoria/performance NON E' passando a VBA che li risolvi, ma analizzando DOVE sono i colli di bottiglia.

    Ci sono un'infinita' di motivi che possono essere responsabili. Non basta elencarli, perche' bisogna anche sapere come analizzarli.

    Devi chiedere aiuto a qualche esperto che venga fisicamente li!
  • H
    hangart
    Utente Attivo
    Iscritto da
    giu, 2012
    Messaggi:
    113

    Re: Interfaccia gestione grandi volumi di dati

    migliorabile ha scritto:

    100.000 record NON SONO grandi volumi di dati. Sono quisquiglie!
    100.000.000 sono un bel po', ma ancora gestibili.
    Dal miliardo in su se ne puo' discutere.

    In un dbms relazionale (come access e mysql) l'SQL supporta gia' min, max, mean, count e diverse altre funzioni di aggregazione.
    Statistiche di questo tipo si risolvono con UNA (al limite, qualche) riga SQL. E sono abbastanza efficienti: rispondono in millisecondi!

    Se hai problemi di memoria/performance NON E' passando a VBA che li risolvi, ma analizzando DOVE sono i colli di bottiglia.

    Ci sono un'infinita' di motivi che possono essere responsabili. Non basta elencarli, perche' bisogna anche sapere come analizzarli.

    Devi chiedere aiuto a qualche esperto che venga fisicamente li!
    Grazie per il suggerimento, è chiaro che il problema va oltre le mie capacità. Proverò a sentire un esperto e a far valutare la cosa.
    Grazie ancora.
Devi accedere o registrarti per scrivere nel forum
9 risposte