Differenti metodi di download dei dati
Esistono diversi modi per scaricare i dati dal portale Meteo-Hub.
Interfaccia Web
Un utente registrato può ottenere dati da uno o più dataset della piattaforma utilizzando la funzione Data Extraction tramite l’interfaccia web di Meteo-Hub.
Come utilizzare la funzione di estrazione dati
Nella prima fase, l’utente deve selezionare uno o più set di dati (la selezione multipla è consentita solo con set di dati della stessa categoria: osservazione, previsione, radar).
Nel secondo passaggio, l’utente può filtrare rispettando i parametri forniti specifici per la categoria del set di dati:
| Categoria | Filtro |
| Osservazioni | Reftime, Livello, Prodotto, Intervallo di tempo |
| Previsione | Reftime, Area, Livello, Origine, Proddef, Prodotto, Esecuzione, Intervallo di tempo |
| Radar | Reftime, Area, Livello, Origine, Proddef, Prodotto, Esecuzione, Intervallo di tempo |
Se all’utente è consentito utilizzare strumenti di post-elaborazione, questi possono essere applicati nel terzo passaggio. Il set di strumenti di post-elaborazione è specifico per la categoria del set di dati:
| Categoria | Post-processing |
| Osservazioni | Variabili derivate, tempo di post-processing, filtro di controllo qualità, conversione del formato |
| Previsione | Variabili derivate, Post-processing temporale, Post-processing spaziale |
| Radar | Variabili derivate, Post-processing temporale, Post-processing spaziale |
Nel quarto e ultimo passaggio, l’utente deve immettere un nome per la richiesta corrente e inviare la richiesta al sistema. Prima di inoltrare la richiesta, è anche possibile programmarla utilizzando il pulsante “Pianifica”.
Dopo aver inviato una richiesta, l’utente viene indirizzato alla pagina “Le mie richieste” dove, una volta completata l’estrazione, è possibile scaricare i dati di output.
Un video tutorial che illustra le quattro fasi di costruzione e presentazione della richiesta è disponibile sul canale YouTube del progetto MISTRAL:
Un tutorial con ulteriori informazioni sull’estrazione dei dati è disponibile:
Come scaricare pacchetti di dati open
Per tutti gli utenti, anche quelli non loggati, è possibile scaricare pacchetti di open data. Le confezioni vengono prodotte giornalmente e sono disponibili sulla pagina principale di Meteo-Hub.
Currently this feature is available for the following datasets:
Attualmente questa funzionalità è disponibile per i set di dati seguenti:
- COSMO-2I: COSMO a 2.2km – Area Italia
- COSMO-5M: COSMO a 5km – Regione Mediterranea
- Progetto multimodel ensemble Arpa Piemonte
- Intensità delle precipitazioni superficiali da Radar-DPC
- Italia Flash Flood
I dati aperti dei dataset osservativi possono essere scaricati dalla pagina web della mappa delle Osservazioni.
Client Meteo-Hub
Un’applicazione client che consente agli utenti di eseguire le principali operazioni sulla piattaforma Meteo-Hub da riga di comando è disponibile in questo repository GITLab.
L’applicazione consente agli utenti di scaricare i dati estratti da una richiesta immediata o programmata preparata in modo interattivo sull’interfaccia web di Meteo-Hub. Fornisce inoltre una funzionalità di attesa e download per gli utenti che hanno accesso a una coda pronta per i dati AMQP. Per ulteriori informazioni su come avere accesso a una coda pronta per i dati AMQP, contattare il team tecnico Mistral all’indirizzo mistral-support@cineca.it
Al momento, il client a riga di comando non consente di eseguire o pianificare richieste di estrazione dei dati che devono essere preparate in modo interattivo attraverso l’interfaccia web.
Un tutorial su come utilizzare il client Meteo-Hub è disponibile sul canale youtube del progetto:
API
Gli utenti possono utilizzare direttamente le API di Meteo-Hub per creare e pianificare richieste di estrazione dei dati, e per scaricare i dati di output. Le API sono documentate utilizzando la definizione disponibile a questa URL.
Come scaricare gli open data usando le API
Questa API deve essere utilizzata per ottenere l’elenco di tutti i pacchetti di dati aperti per un set di dati specifico:
GET https://meteohub.mistralportal.it/api/datasets/{dataset_name}/opendata
dove il parametro dataset_name nella query corrisponde al nome del set di dati a cui si fa riferimento all’elenco dei pacchetti.
I parametri attualmente disponibili per questa funzionalità sono:
- COSMO-2I : si riferisce a COSMO at 2.2km -set di dati dell’area Italia
- COSMO-5M: si riferisce a COSMO at 5km – Set di dati regione de Mediterraneo
- multim-forecast: si riferisce al dataset Multimodel ensemble forecast sviluppato da Arpa Piemonte
- radar_dpc: si riferisce all’intensità delle precipitazioni superficiali dal set di dati Radar-DPC
- COSMO-2Ipp_ecPoint: si riferisce al dataset Italia Flash Flood
Per richiedere il download di un pacchetto specifico di dati aperti deve essere utilizzata questa API:
GET https://meteohub.mistralportal.it/api/opendata/{filename}
dove il parametro filename nella query corrisponde al nome del pacchetto da scaricare.
Non è richiesta alcuna autenticazione per utilizzare queste API descritte in precedenza.
Come ottenere un token di accesso
Per utilizzare l’API autenticata, l’utente deve fornire un token di accesso. Il token viene ottenuto in risposta all’API di login.
POST https://meteohub.mistralportal.it/auth/login
Esempio del corpo della richiesta:
{
"username": "user@example.com",
"password": "string",
}
Come creare una richiesta di estrazione utilizzando le API
Per creare una richiesta di estrazione dei dati è necessario utilizzare la seguente API:
POST https://meteohub.mistralportal.it/api/data
Esempio del corpo della richiesta:
{
"request_name": name of the request,
"reftime": {
"from": "2022-01-10T11:04:54.615Z",
"to": "2022-01-10T11:04:54.615Z"
},
"dataset_names": [
list of datasets
],
"filters": {
"area": [{}],
"level": [{}],
"origin": [ {}],
"proddef": [{} ],
"product": [{}],
"quantity": [{}],
"run": [{}],
"task": [{}],
"timerange": [ {}],
"network": [{}]
},
"output_format": "json"/null,
"only_reliable": true/false,
"postprocessors": [ object ] //elenco dei postprocessori richiesti con la loro specifica configurazione
} Nel corpo della richiesta devono essere specificati i metadati relativi ai dati desiderati. I filtri sono specifici per la categoria del set di dati (vedere la tabella nel capitolo precedente “Scaricare dati dall’interfaccia web”). Output_format e only_reliable sono parametri specifici per i dati delle osservazioni: il primo specifica se l’utente desidera che i dati di uscita siano in formato json anziché nel formato predefinito (BUFR). Il secondo specifica se l’utente desidera scaricare solo i dati convalidati
Per utilizzare l’API descritta in precedenza è necessaria un’autenticazione. Il token di accesso ottenuto dall’API di accesso deve essere incluso come autorizzazione nel request Header.
Come creare una richiesta pianificata di estrazione dei dati utilizzando le API
Per creare una richiesta pianificata è necessario utilizzare la seguente API:
POST https://meteohub.mistralportal.it/api/schedules
Il corpo della richiesta, dove sono specificati tutti i metadati relativi alla richiesta, è simile a quello descritto nel capitolo precedente “Come creare una richiesta di estrazione dati“. È necessario aggiungere parametri aggiuntivi per specificare l’intervallo di pianificazione. I metodi di pianificazione disponibili sono:
Richiesta periodica: i dati vengono estratti a specifici intervalli di tempo:
"period-settings": {
"every": interval in number,
"period": "hours”/"days"/”months”/”years”
} Richiesta puntuale: i dati vengono estratti in giorni specifici in un momento specifico
"crontab-settings": {
"minute": number // gamma tra
0-59,
"hour": number // gamma tra
0-23,
"day_of_week": number // gamma tra
0-7 dove 0 e 7 si riferiscono a domenica, 1 a lunedì, e via di seguito
"day_of_month": number // gamma tra
0-31,
"month_of_year": number // gamma tra
1-12 dove 1 si riferisce a gennaio e 12 si riferisce a dicembre
}
Richiesta pronta per i dati: i dati vengono estratti non appena sono disponibili sulla piattaforma. Questa opzione è disponibile solo per i set di dati COSMO-2I e COSMO-5M:
"on-data-ready": true, Per utilizzare l’API descritta in precedenza è necessaria un’autenticazione. Il token di accesso ottenuto dall’API di accesso deve essere incluso come autorizzazione nel request Header.
Come scaricare i dati utilizzando le API
Per ottenere l’elenco di tutte le richieste inviate e il loro stato questa API deve essere utilizzata:
GET https://meteohub.mistralportal.it/api/requests
Se l’estrazione dei dati è stata completata, il parametro fileoutput nella risposta indica il nome del file di output.
Per scaricare i dati di output è necessario utilizzare la seguente API:
GET https://meteohub.mistralportal.it/api/data/{filename}
dove il parametro di query filename specifica il file da scaricare.
Per utilizzare l’API descritta in precedenza è necessaria un’autenticazione. Il token di accesso ottenuto dall’API di accesso deve essere incluso come autorizzazione nel request Header.
