Time horizon in forecasting, and rules of thumb

I recently received an email about forecasting and rules of thumb. “Dans la profession […] se transmet une règle empirique qui voudrait que l’on prenne un historique du double de l’horizon de prévision : 20 ans de données pour une prévision à 10 ans, etc… Je souhaite savoir si cette règle n’aurait pas, par hasard, un fondement théorique quitte à ce que le rapport ne soit pas de 2 pour 1, mais de 3 pour 1 ou de 1 pour 1 par exemple.” To summarize briefly, the rule is to consider a 2-1 ratio for the period of observation vs. forecast horizon. And the interesting question is if there are justifications for such a rule…

At first, I remembered a rules of thumb, from the book by Box and Jenkins, which states that it is meaningless to look at autocorrelations when lags exceed the sample size over 6. So with 12 years of data, autocorrelations with a lag higher than two years are useless. But it is not what is mentioned here. So I looked at some dataset, and some standard time series models.

  • It depends on the series

It might obvious… but if it is the case, it means that it will be difficult to have a general rule of thumb. Consider e.g. the number of airline passengers,

library(forecast)
X = AirPassengers
ETS = ets(X)
plot(forecast(ETS,h=length(X)/2))

or some sales in a big store,

or car casualties in France, or the temperature in Nottingham Castle,

or the water level at Lack Hurron, or the flow of the Nile river,

or see also here for forecasting techniques in demography. Actually, in the case of life insurance, actuaries have to forecast future demography, i.e. try to assess death rates of those who currently purchase retirement contracts, who might be 20 years old. So they have to forecast death rate until 2100, say. One the one hand, it sounds difficult to make forecast over a century (it is already difficult for climate, I guess it is even more complex for human life). On the other hand, a 2-1 ratio means that we have to use data from 1800… Here again, it is difficult to justify that mortality in the 1850 could be interesting to say anything about mortality in 2050. So I guess it will be difficult to justify the use of general rules of thumb….

  • It depends on the model

Consider the following (simulated) series. Several models can be fitted. And the shape on the forecast (and the forecast error) will depend on the model considered. The benchmark can be the model without any dynamics, i.e. we assume that observations are i.i.d. Or more classically, assume that it is simple a white noise, i.e. an i.i.d centered process. Then the forecast is the following,

With that kind of assumption, we see that the 2-1 ratio is useless since we can get forecasts up to any horizon…. But that does not seem very robust. For instance, if we consider exponential smoothing techniques, we can obtain

Which is rather different. And with the 2-1 ratio, obviously, there is a lot of uncertainty at the end ! It would be even worst if we assume that we look at a random walk. Because actually a dozen models – at least – can be considered, from ARIMA, seasonal ARIMA, Holt Winters, Exponential Smoothing, etc…

http://freakonometrics.blog.free.fr/public/perso2/animationforecast.gif

So I do not see any theoretical justification of that rule of thumb. Obviously, the maximum horizon can not be extremely far away if the series is non-stationary, with a very irregular pattern, and with a lot of noise… So we’re back at the beginning. If anyone is willing to share his or her experience, comments are open.


3 thoughts on “Time horizon in forecasting, and rules of thumb”

  1. C’est la tristesse dans l’âme que je lis peut-être mon dernier billet depuis la Côte d’Ivoire où les combats font rage à Abidjan. Afficher le drapeau ivoirien dans une rubrique serait une marque de sympathie de la part de tous les bloggers à l’égard de mon pays. Que la PAIX reste chez vous. Merci.

    REPONSE: effectivement, ça doit paraitre un peu dérisoire de se demander s’il faut un ratio de 2:1 ou de 3:1 quand on veut faire de la prédiction, quand dans la rue c’est la guerre civile…. J’ai lu qu’à Duékoué il y avait eu des massacres atroces (ici e.g.). Je me souviens que plusieurs étudiants sur le campus de Cocody m’avaient dit qu’ils suivaient mon cours que je faisais en visio et qu’ils appréciaient que le mette le cours en streaming sur le blog… J’avais été surpris par la violence du pays quand j’y étais lorsque j’avais donné un cours, il y a plusieurs années (juste avant que ne soit déclenchée l’opération licorne je crois), et je n’ose pas imaginer la situation actuelle. Bon courage !

  2. Effectivement la prévision dépend de la modélisation et donc du modèle et de la série utilisée.

    Je n’ai pas non plus la réponse à cette règle empirique mais quelques éléments à apporter à cette réflexion:
    Dans un modèle de façon générale, on calcule l’ erreur d’estimation puis l’erreur de prévision ou de validation. Pour calculer l’erreur de prévision sur une observation on ne doit pas faire intervenir l’observation dans la construction du modèle. Et donc, plus on veut faire une prévision à long terme (et donc connaître l’erreur de prévision), plus on empiète sur les observations disponibles.
    En dehors du domaine étudié, on tombe dans de l’extrapolation, ce que ne font jamais les statisticiens 🙂
    Finalement cette règle de 2:1 est peut-être un bon équilibre entre pouvoir construire un modèle suffisamment fiable et l’utiliser pour faire des prévisions à un horizon qui intéressera le statisticien.

Leave a Reply

Your email address will not be published. Required fields are marked *

This site uses Akismet to reduce spam. Learn how your comment data is processed.