Ad oggi la verifica riguarda il bollettino meteo ordinario ed è limitata a valutare l’accuratezza nella previsione di uno dei parametri di fondamentale importanza per la maggior parte degli utenti, ovvero la precipitazione, di seguito per brevità definita con il termine di “pioggia”. La verifica della pioggia mira a valutare 2 sole tipologie di eventi, "pioggia SI" e "pioggia NO", attraverso il confronto di tutti i bollettini meteorologici ordinari pubblicati quotidianamente tra il 2011 e il 2013 con le osservazioni disponibili sul territorio regionale. Nello specifico, sono stati analizzate tutte le mappa dei bollettini ordinari relativi al "domani" (GIORNO+1) e al "dopodomani" (GIORNO+2). Previsioni: sono state eseguite le verifiche per i primi due giorni di previsione, ovvero per ognuno dei 27 simboli meteorologici che compongono la mappa della mattina, del pomeriggio e della sera relativamente al "domani" e al "dopodomani", sia a livello annuale che stagionale. Osservazioni: l'occorrenza di precipitazioni prende come riferimento principale i dati pluviometrici afferenti alla rete del Centro Funzionale della Regione Toscana ed è stato adottato come criterio univoco per stabilire se la pioggia si è effettivamente verificata se almeno il 20% dei pluviometri presenti nell’area geografica sottesa da ciascun simbolo ha mediamente registrato almeno 0,6 millimetri nei tre intervalli temporali considerati (mattina, pomeriggio e sera). La scelta della soglia di 0,6 millimetri esclude l’attribuzione di pioggia a fenomeni di condensazione dovuti, per esempio, alla presenza di nebbia o alla formazione di rugiada e la densità spaziale dei pluviometri sul territorio regionale fa sì che il venti per cento sia un rapporto congruo per l’attribuzione della pioggia ad ognuno dei 27 simboli. Per quanto la rete pluviometrica costituisca la principale fonte di misurazione, talvolta si rende necessario l'integrazione di altre tipologie di dati come i radar meteorologici del Consorzio LaMMA e della Protezione Civile Nazionale, le immagine satellitari del Meteosat, dati METAR e SYNOP e altre osservazioni non convenzionali, come ad esempio le segnalazioni della rete autostradale e le webcam disponibili sul territorio regionale. Analisi delle performance Per analizzare l'attendibilità di un set di previsioni si ricorre a uno strumento noto con il nome di tabella di contingenza, utilizzata in statistica per rappresentare e analizzare le relazioni tra due o più variabili e la loro frequenza relativa. La tabella riassume le 4 combinazioni possibili delle coppie "previsioni – osservazioni" relativamente alla precipitazione. • Eventi totali: A+B+C+D • Eventi piovosi: A+C • Eventi Non piovosi: B+D A numero di volte in cui l’evento è stato previsto e osservato = ha piovuto ed era stata prevista pioggia (Hit o previsione corretta) B numero di volte in cui l’evento è stato previsto e non osservato = non ha piovuto ma era stata prevista pioggia (False alarm o falso allarme) C numero di volte in cui l’evento è stato osservato e non previsto = ha piovuto ma non era stata prevista pioggia (Miss o previsione mancata) D numero di volte in cui l’evento non è stato né previsto né osservato = non ha piovuto e non era prevista pioggia (Correct rejection o previsione corretta di un non evento) La verifica è su ogni simbolo meteo della mappa del bollettino ordinario. Ogni simbolo meteo della mappa costituisce un evento, quindi per ogni mappa ci sono 27 eventi, per una totalità di 3 mappe al giorno (mattina, pomeriggio e sera), ovvero 81 eventi che in un anno sono 29.565 eventi (29.646 nel caso di anno bisestile) e 85.766 eventi totali analizzati nel triennio 2011-2012-2013. Gli indici considerati A partire dalla tabella di contingenza vengono calcolati alcuni indici statistici che permettono di analizzare la qualità delle previsioni. Va però evidenziato che nessun indice da solo è sufficiente per stabilire la bontà delle previsioni, che può essere "sancita" solo dopo l’analisi congiunta di tutti gli indici sotto descritti: ACCURACY (H) H = (A+D) / (A+B+C+D) Permette di determinare la frazione di previsioni corrette rispetto al totale delle previsioni (sia di pioggia che di non pioggia). In altre parole: Nel complesso, quante volte le nostre previsioni sono corrette ? 0 = previsione totalmente errata 1 = previsione perfetta N.B.: questo indice è fortemente influenzato dal tipo di evento più comune che, nel caso delle precipitazioni, perlomeno per la climatologia toscana, è l’evento “pioggia NO”. PROBABILITY OF DETECTION (POD) POD= A / (A+C) Permette di valutare la percentuale di volte in cui la pioggia è stata prevista correttamente rispetto a tutte le volte che è piovuto. In altre parole: Su tutte le volte che ha piovuto quante volte è stata prevista pioggia correttamente? 0 = previsione totalmente errata 1 = previsione perfetta N.B.: siccome questo indice non considera le volte in cui è stata prevista pioggia ma non è piovuto (falsi allarmi), va letto congiuntamente all’indice FAR di seguito descritto. Paradossalmente, infatti, se prevedessimo sempre pioggia avremmo un POD molto buono (pari a 1 o 100%), ma allo stesso tempo un FAR altissimo. FALSE ALARM RATIO (FAR) FAR= B / (A+B) Permette di valutare la percentuale di volte in cui è stata prevista la pioggia ma non si è verificata rispetto al totale di volte in cui è stata prevista pioggia. In altre parole: Quante volte abbiamo previsto pioggia e invece non ha piovuto? 0 = previsione totalmente errata 1 = previsione perfetta BIAS BIAS= (A+B) / (A+C) E' il rapporto tra il numero degli eventi di pioggia previsti e il numero di eventi di pioggia effettivamente osservati. Quest’indice fornisce quindi indicazioni sulla tendenza a sovrastimare o sottostimare il numero di eventi di pioggia. Range: 0 → ± infinito Bias > 1 indica che le previsioni sovrastimano il numero di eventi di pioggia Bias < 1 indica che le previsioni sottostimano il numero di eventi di pioggia N.B.: questo indice non valuta la corrispondenza tra le volte in cui la pioggia è stata prevista correttamente rispetto a tutte le volte che è piovuto, ma solo la frequenza relativa. Quali valori sono soddisfacenti I risultati della verifica possono ritenersi soddisfacenti se, congiuntamente, l’indice POD è superiore a 0.6 , il FAR inferiore a 0.4 , l’ ACCURACY superiore a 0.8 e il BIAS compreso tra -0.2 e +0.2. In sintesi: POD > 0.6 FAR < 0.4 ACCURACY > 0.8 BIAS compreso tra -0.2 e +0.2 Se piove poco si sbaglia di più Il metodo di verifica della precipitazione può essere influenzato anche in maniera significativa dalla percentuale di eventi piovosi rispetto alla totalità degli eventi. In generale si può infatti asserire che meno piove nell’arco temporale considerato, minori sono le performance della verifica. Tali performance saranno pertanto inferiori nel periodo primaverile e soprattutto in quello estivo in cui, non solo piove molto meno, ma le precipitazioni sono spesso legate a fenomeni per loro natura meno predicibili e meno estesi arealmente (come temporali).