GFS vs. ECMWF: indici di correlazione dei modelli e chiacchiere da bar

Chi conosce l'approccio scientifico e studia e/o lavora con i modelli matematici, se persona seria lascia alle chiacchiere da bar le varie considerazioni sulla superiorità o meno di questo o quel modello matematico. Ciò per varie ragioni, tra le quali il fatto che il giudizio va ben supportato da solidi dati statistici e non tramite impressioni personali da tifo da stadio. Non è una gara, ma appunto roba seria (anche se una sana "competizione" non guasta).

Con questo non si vuole negare il fatto che in generale i modelli numerici non sono tutti uguali (anzi) e che alcuni possono essere "superiori" rispetto ad altri, piuttosto vorremmo cercare di capire in che senso esattamente e come stanno davvero le cose.

Per approfondire in parte questo tema, prenderemo in esame due tra i più famosi e usati modelli matematici per la fisica atmosferica: il modello americano GFS e quello europeo di Reading ECMWF. Il primo in quanto offre gratuitamente una gamma di prodotti che non ha eguali, il secondo perché considerato il migliore in assoluto (e a ragione, ma vedremo con quale significato tra poco), peccato che a fronte delle tasse che paghiamo forniscano in chiaro solo qualche briciola, anche se finalmente dal 7 Ottobre 2020 mettono a disposizione tutte le mappe (ma non i file grib, che se li fanno pagare ancora a caro prezzo...)

Mettiamo in evidenza subito un fatto e non per essere parziali: GFS è disponibile in 4 corse (run) al giorno, con dati iniziali 00Z, 06Z, 12Z, 18Z, mentre ECMWF solo in 2 (00Z e 12Z). GFS arriva fino a +384h, mentre ECMWF a +240 (in chiaro). E' evidente che a parità di altre condizioni GFS è in apparenza più soggetto a oscillazioni e ritrattamenti che semplicemente nel modello di Reading non hanno occasione di manifestarsi (mancano 2 run al giorno e i giorni oltre il decimo, peraltro proprio quelli ancora più soggetti a cambiamenti essendo forecast più "lontane" dai dati iniziali e quindi con più errori e divergenze). A difesa del modello americano non è quindi giusto non tenere presente questi aspetti che alterano il confronto.

Pertanto abbiamo bisogno di un confronto oggettivo e nelle stesse condizioni. Per farlo si usano alcuni indici statistici, tra cui la correlazione.

Che cos'è la correlazione e confronto GFS-ECMWF

In statistica, semplificando, la correlazione indica la tendenza che hanno due variabili (X e Y) a variare insieme, cioè, a covariare. Per esprimere la relazione esistente tra due variabili, in termini di entità e direzione, si utilizza il coefficiente di correlazione. Tale coefficiente è standardizzato e può assumere valori che vanno da -1 (correlazione perfetta negativa, dove se una variabile va in una direzione, l'altra va nella direzione opposta) a +1.00 (correlazione perfetta positiva, come fra il lato di un quadrato e la sua area (correlazione perfetta) e dove aumentano all'unisono (positiva)). Una correlazione uguale a 0 indica che tra le due variabili non vi è alcuna relazione (la mia età con la temperatura della stazione meteo di Pechino :-)). Una correlazione diversa da zero e diversa da -1 e +1 indica una correlazione parziale. Ad esempio nel caso tra altezza e peso. E' evidente che in qualche modo se si cresce in altezza il peso "tende" (ma solo "tende") ad aumentare anch'esso.

Attenzione: la correlazione non include il concetto di causa-effetto, ma solo quello di rapporto tra variabili. La correlazione ci permette di affermare che tra due variabili c'è una relazione sistematica, ma non è detto che una causi l’altra.

Non è questa la sede per entrare eccessivamente in dettagli tecnici e matematici, basti qui tenere presente i concetti "base", quindi venendo a ciò che ci interessa, è chiaro che quanto più un modello matematico è "ben fatto" (con tutti i se e i ma che consigliamo di approfondire qui), tanto più riuscirà a prevedere bene il tempo. Ma come misurare questa situazione? Mettendo in "correlazione" statistico/matematica opportune variabili previste dal modello con gli stessi valori misurati nella "realtà". Abbiamo messo tra virgolette il termine realtà perché ciò che si usa come dati misurati saranno comunque quelli assimilati in analisi (o re-analisi) nei modelli stessi. Occorre infatti che i dati siano coerenti con la fisica e il grigliato di calcolo dei modelli per renderli disponibili agli stessi. In ogni caso è chiaro che se la previsione ad esempio della 500hPa a 5 giorni del modello dovesse coincidere al 100% in tutto e per tutto e ovunque con lo stesso geopotenziale effettivo misurato il 5° giorno allora avremo una previsione che si è rivelata perfetta e avremmo una correlazione pari a 1 (cioè appunto del 100%). Questo non succede e non succederà mai, ma è evidente che quanto più ci avviciniamo a 1, tanto più la previsione (di quel parametro!) sarà stata corretta. Bene, nella categoria a cui appartiene questo articolo, si possono trovare delle carte e dei link che mostrano tali indici, in varie forme e combinazioni (oltre ad altri indici statistici), intanto nel presente articolo vediamo due casi particolari, ma molto significativi: la correlazione dell'altezza geopotenziale a 500hPa per il nord emisfero a 5 giorni e la stessa cosa per la temperatura a 850hPa, che potete vedere in queste due cartine, dove ogni linea colorata rappresenta l'andamento della correlazione di modelli diversi (indicati insieme alla media su un certo numero di giorni) rispetto al valore misurato.

Nel caso in esame la media di GFS per la HGT 500hPa della forecast a 120 ore è di 0.876, mentre di ECMWF è 0.919. Questi valori oscillano e cambiano continuamente (e peggiorano se andiamo a prendere una forecast più lontana, come ci si aspetta, vista la propagazione degli errori). Reading è sempre più o meno in testa e anche la media lo è, anche se GFS ha avuto periodi in cui si è avvicinato di più, per poi riallontanarsene, dopo l'implementazione di ulteriori migliorie applicate al modello europeo. Notare comunque gli alti valori di correlazione, non male per una forecast a 5 giorni!


Queste mappe comunque si riferiscono ai run 00Z e sono state elaborate il 9 Maggio 2016, prima di un nuovo upgrade operato al modello GFS, dove una delle novità più significative è l'uso, a partire dall'11 Maggio, del 4DVar per l'assimilazione dati. Dopo questa modifica GFS ha recuperato posizioni, sperando che in generale mantenga tale andamento. Per non avere più, nei valori medi che sono calcolati su un mese, l'influenza del "vecchio" GFS, abbiamo aspettato più di un mese e questi sono i risultati in data 26 Luglio 2016:

Sebbene le cose in generale cambino di mese in mese e da stagione a stagione possiamo notare quanto segue:
- GFS si è avvicinato a Reading in quanto la differenza tra GFS ed ECMWF è passata 0.04/0.05 per l'HGT a 5 giorni a circa 0.03, mentre per la T850 da 0.05/0.06 a meno di 0.04);
- tutti i modelli sono nel frattempo peggiorati e questo fa parte delle oscillazioni stagionali che vedono delle difficoltà diverse da parte dei modelli nel prevedere i comportamenti atmosferici, secondo periodi e circostanze;
- notare anche come il tanto decantato UKMO sia stato superato da GFS per entrambi i parametri. Il modello inglese è un altro modello tanto dichiarato "migliore" rispetto a GFS, ma come si vede così in realtà, almeno al momento in cui scriviamo, non è. E non lo è sempre stato.

Infine vi mostriamo un'altra mappa che mostra l'andamento della correlazione in funzione delle ore di forecast per la 500hPa. Si osserva la costante superiorità di ECMWF, ma a poca distanza GFS e gli altri...