Limite ad importazione dati da web

di il
10 risposte

Limite ad importazione dati da web

Buongiorno,

sto cercando d'importare, con una query, dei dati da Web

Questo è il link da dove importo i dati

***https://it.finance.yahoo.com/quote/PST.MI/history?p=PST.MI
(logicamente senza i tre asterischi davanti)

Le righe da importare sono tante, circa 250.

Quindi inizio da: Dati, nuova query, da web

inserisco il link

seleziono la tabella, ma il sistema mi avverte che i dati saranno troncati

infatti il sistema mi carica solo 100 righe + quella di intestazione

E' possibile impostare la query, in modo che carichi tutte le righe (250 e anche di più)?

Grazie

10 Risposte

  • Re: Limite ad importazione dati da web

    Spiegazione:

    https://techcommunity.microsoft.com/t5/excel/power-query-returns-only-100-rows/m-p/2508285

    Yahoo loads 100 records on the page and the rest is uploaded by java script while you scrolling the page. Power Query loads only first static data.

    e soluzione direi completa qui:

    https://www.datapears.com/post/connect-to-yahoo-finance-building-a-stock-market-tracker

    (troppo lungo da quotare)

  • Re: Limite ad importazione dati da web

    Ti ringrazio per la risposta.

    Ho guardato la soluzione indicata nel link e sinceramente non ci ho capito quasi niente.

    Anche perche è abbastanza complessa.

  • Re: Limite ad importazione dati da web

    Il concetto e' semplice:

    gratuitamente Yahoo ti fornisce SOLO 100 risultati alla volta nell'intervallo di tuo interesse. 

    Quindi i trucchi sono

    1. acquisti una licenza che ti permette di fare quello che vuoi (limitatamente, vedi sotto) 
    2. fai scorrere la finestra di 100 risultati all'interno della TUA finestra di interesse. 

    l'esistenza di un limite nei risultati ha senso per tanti motivo:

    1. un utonto potrebbe richiedere 1'000'000'000 di risultati
    2. la generazione del risultato da inviare via http viene fatto in memoria, quindi se richiedi troppi risultati potresti usare tutta la memoria del computer facendo schiantare l'app licazione

    la qual cosa non e' proprio una genialata ;-) 

    period1 e period2 sono l'inizio e la fine della finestra in cui fare la query.

    Da qui, puoi procedere anche da solo.

    La prima volta e' stato difficile per tutti, nessuno e nato imparato

  • Re: Limite ad importazione dati da web

    30/08/2023 - arietedimarzo ha scritto:


    la soluzione … è abbastanza complessa.

    Se consideri che nel primo link dicono che non si può e bisogna rassegnarsi è già un passo avanti.

    Ho provato in fretta e furia la prima parte, quella del download / interrogazione con le date “fisse”, non ho proseguito con la parte che adatta period2 alla data attuale. Si può fare senza impazzire, secondo me.

  • Re: Limite ad importazione dati da web

    Ciao,

    per lo scarico dei dati sono a posto.

    Sono riuscito a scaricare una query con oltre 1200 righe

    con questa query ho scaricato lo storico di 5 anni di un azione (Poste Italiane)

    Solo che ora se vado su “aggiorna tutti”

    il sistema non inserisce le righa del nuovo giorno (31 Agosto e 1 Settembre)

    E' possibile creare un sistema dinamico, che in fase di aggiornamento mi inserisca i nuovi dati giornalieri?

    Grazie

  • Re: Limite ad importazione dati da web

    01/09/2023 - arietedimarzo ha scritto:


    il sistema non inserisce le righa del nuovo giorno (31 Agosto e 1 Settembre)

    E' possibile creare un sistema dinamico, che in fase di aggiornamento mi inserisca i nuovi dati giornalieri?

    Ti sei fermato alla parte “più facile”.

    Come ha evidenziato 

    31/08/2023 - migliorabile ha scritto:


    period1 e period2 sono l'inizio e la fine della finestra in cui fare la query.

    e se prosegui con il punto 4) della pagina che dà la soluzione completa, trovi:

    4) …

    - The time period: period1=1022112000&period2=1589241600

    You can define automatically the start and end period of the stocks you want to retrieve. …

    The time stamp is in epoch format. We will talk more about this in the next step.

    5) The epoch time... Why is it important?

    If you want your report always up to date, you will need to get the current epoch time to replace in the period2 part of the URL, every time you hit refresh. I'm sure there are a few weird calculations you can do, but I prefer to make use of our good old friend: Google!!

    So what I did was pretty simple, just googled Epoch Time and I came up with this web site:

    https://www.epochconverter.com/

    Someone will get the current epoch time for you, every time you refresh.

    e via andare, un passaggio alla volta, illustra tutto. Magari ci sono anche altre soluzioni, però trovata quella non sono andato avanti nella ricerca.

  • Re: Limite ad importazione dati da web

    Allora, ho seguito anche l'altra soluzione al punto n. 3, 4 e 5

    Tutto bene, solo che non capisco alla fine (il punto 5) come inserire la data “epocale” per far si che la query diventi dinamica in aggiornamento

    ed inserisca le nuove date:

    Dal punto 6 , mi sembra di capire che inizi un'altra soluzione, solo che

    questa è l'immagine di esempio

    e questo è quello che ho io:

    non ho il tasto per aggiungere una tabella di esempio e quindi sono bloccato.

  • Re: Limite ad importazione dati da web

    Non riesco proprio a capire come inserire la data epocale al posto del periodo2

  • Re: Limite ad importazione dati da web

    01/09/2023 - arietedimarzo ha scritto:


    Dal punto 6 , mi sembra di capire che inizi un'altra soluzione

    No, non è un'altra soluzione ma l'avanzamento delle operazioni per ottenere quello che si vuole, cioè un download “dinamico” delle quotazioni.

    Siamo però stati ingannati entrambi dall'interfaccia: ancora fermo al post https://www.iprogrammatori.it/forum-programmazione/excel/importazione-dati-da-sito-web-t52286.html di importazione dei dati da sito web, non ci siamo accorti che la procedura indicata in quel link dice

    3) You will now connect to Yahoo Finance data in Power BI. To do this open Power BI Desktop

    6) You just need to use the web connector again… However, Power BI will return…

    Quindi quella pagina sta illustrando la procedura da Power BI (desktop) non da Excel tramite Power Query, anche se in molte cose è identico. In molte, non in tutte. Ecco che manca proprio “Add Table Using Examples” (scritto in italiano, ovviamente). Speravo che questa assenza fosse una limitazione di Excel 2016 (ho quello, a casa) ma vedo che non cambia in Microsoft365.

    Ho già trovato qualche suggerimento su come “travasare” in Excel quello che è prerogativa di Power BI ma credo che un passo inevitabile (anche per eventuali usi futuri) sia installare Power BI Desktop. Sono fiducioso.

  • Re: Limite ad importazione dati da web

    Ho trovato un'altra soluzione che funziona, più pulita e veloce.

    E' descritta in questo video

    https://www.youtube.com/watch?v=DvmeBzm8OYg

    Grazie a tutti

Devi accedere o registrarti per scrivere nel forum
10 risposte